机器学习中的数学基础（四）：概率论

在看西瓜书的时候有些地方的数学推导（尤其是概率论的似然、各种分布让我很懵逼本科的忘光了感觉有点懂又不太懂基于此干脆花一点时间简单从头归纳一下机器学习中的数学基础也就是高数、线代、概率论（其实大学都学过。
本文全部都是基于我自己的数学基础、尽量用方便理解的文字写的记录的内容都是我本人记忆不太牢靠、需要时常来翻笔记复习的知识已经完全掌握的比如极限连续性啥的都不会出现在这里。

学习内容来自这里

4 概率论

4.1 一些概念

随机事件：
是什么？扔硬币王者峡谷击杀数一批产品合格数。。。这些有什么特点呢?

• 可以在相同条件下重复执行
• 事先就能知道可能出现的结果
• 试验开始前并不知道这一次的结果

随机试验E的所有结果构成的集合称为E的样本空间： S = { e } S=\{e\} S={e}
抛硬币：$S=$ {正面反面}
击杀数：$S=$ {0,1,2,.….}

频率和概率：

实验次数越多越稳定。

古典概型：

条件概率：

P(B|A)与P(AB)：
相同点：事件A、B都发生了
不同点：样本空间不同。在P(B|A)中事件A成为样本空间在P(AB)中样本空间仍为$\Omega$。

独立性：

重复独立试验：

• 重复独立试验：在相同的条件下将试验E重复进行且每次试验是独立进行的即每次试验各种结果出现的概率不受其他各次试验结果的影响。
• n重伯努利试验：若一试验的结果只有两个A和$\overline{A}$在相同的条件下将试验独立地重复进行n次,则称这n次试验所组成的试验为n重伯努利试验或伯努利概型。
  计算：
  

4.2 二维随机变量

有两个指标不仅要观察两个指标各自的情况还要了解其相互的关系。

4.2.1 离散型

4.2.2 连续型

举例子：

4.3 边缘分布

边缘分布函数：二维随机变量(X, Y)作为整体有分布函数F(x,y)。其中X和y都是随机变量它们的分布函数记为：$F_X(x)$$F_Y(y)$称为边缘分布函数。
在分布函数F(x,y)中令y趋向于正无穷就能得到$F_X(x)$：

4.3.1 离散型边缘分布

4.3.2 连续型边缘概率密度

连续型的边缘概率密度
对于连续型随机变量 $(X,Y)$ 概率密度为 $f(x,y)$
$X,Y$ 的边缘概率密度为: $$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy{f}_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$$
事实上： $$F_X(x)=F(x,+\infty )={\int }_{-\infty }^x\left[{\int }_{-\infty }^{+\infty }f(t,y)dy\right]dt={\int }_{-\infty }^x{f}_X(t)dt$$
同理：
$$F_Y(y)=F(+\infty ,y)={\int }_{-\infty }^y\left[{\int }_{-\infty }^{+\infty }f(x,t)dx\right]dt={\int }_{-\infty }^y{f}_Y(t)dt$$

举例子：

4.4 期望

4.4.1 一维期望

离散型：

连续型：

4.4.2 二维期望

期望的性质：

4.5 马尔可夫不等式

方差：

大数定理：在试验样本不变的条件下重复试验多次随机事件的频率近似于它的概率。
小的样本试验不足以以偏概全因为有一些局限。

马尔可夫不等式：
$$P(X\ge a)\le \frac{E(X)}{a},X\ge 0,a>0$$
证明：由 $X\ge 0$$X\ge a$ 可知$\frac{X}{a}\ge 1$那么：$P(X\ge a)={\int }_a^{+\infty }f(x)dx\le {\int }_a^{+\infty }\frac{X}{a}dx$。则：

4.6 切比雪夫不等式

中心极限定理：样本的平均值约等于总体的平均值。不管总体是什么分布任意一个总体的样本平均值都会围绕在总体的整体平均值周围并且呈正态分布。