机器学习相关知识点整理【更新中】_利用机器学习相关

---

一、前言

此文章记录一些机器学习的相关知识点、公式及书写方法

---

二、参考文献

1. KaTeX库 文档 https://katex.org/docs/supported.html
2. 王木头b站视频 https://space.bilibili.com/504715181
3. 李沐b站视频 https://space.bilibili.com/1567748478

---

三、知识点及公式

1.线性回归

$$y=wx+b$$

---

2.sigmoid函数

$$\sigma (x)=\frac{1}{1+e^{-x}}$$

---

3.逻辑回归

$$\sigma (x)=\frac{1}{1+e^{-(wx+b)}}$$

---

4.基尼指数

$$Gini\_index(D,a)=\sum _{v=1}^V\frac{D^v}{D}Gini(D^v)$$

---

5.基尼值

$$Gini(D)=1-\sum _{k=1}^{|y|}{P}_k^2$$

---

6.联合概率公式

$$P(AB)=P(B|A_i)\ast P(A_i)$$

ps

1. $P(B|A_i)$表示$A_i$事件已发生时$B$事件发生的概率
2. $P(AB)$表示A、B事件的联合概率【A、B同时发生的概率】

---

7.全概率公式

$$P(B)=\sum _{k=1}^{n}P(B|A_k)\ast P(A_k)$$

ps

1. $P(B)$表示B事件的发生概率【全概率】

---

8.贝叶斯公式

$$P(A_i|B)=\frac{P(AB)}{P(B)}=\frac{P(B|A_i)\ast P(A_i)}{\sum _{k=1}^{n}P(B|A_k)\ast P(A_k)}$$

ps

1. $P(A_i)$先验概率【事件还没有发生时根据以往经验和分析得到的事件发生概率概率】比如掷骰子结果为3的概率是六分之一
2. $P(A_i|B)$后验概率【事件已经发生但事情发生可能有多个原因判断事件由哪个原因引起的概率】比如你坐在马桶上分析今天窜稀的原因是吃了那种水果
3. $P(B|A_i)$似然概率

---

9.求向量的模【$L2$范数】

$$设A=[a_1,a_2,...a_n]$$
$$则|A|=\sqrt{a_1^2+a_2^2+...+a_n^2}=\sqrt{\sum _{i=1}^n{a}_i^2}$$

---

10.向量内积

$$设A=[a_1,a_2,...a_n]B=[b_1,b_2...b_n]$$
$$则A\cdot B=|A||B|\cos \theta =a_1\ast b_1+a_2\ast b_2+...+a_n\ast b_n=\sum _{i=1}^n{a}_i\ast b_i$$

---

11.向量的余弦相似度

$$设A=[a_1,a_2,...a_n]B=[b_1,b_2...b_n]$$
$$则similarity=\cos (\theta )=\frac{向量的内积}{向量模的乘积}=\frac{向量的内积}{向量L2范数的乘积}=\frac{A\cdot B}{|A|\cdot |B|}=\frac{A}{|A|}\cdot \frac{B}{|B|}=\frac{\sum _{i=1}^n{a}_i\ast b_i}{\sqrt{\sum _{i=1}^n{a}_i^2}\ast \sqrt{\sum _{i=1}^n{b}_i^2}}$$

PS

1. 一般做相似度检索时有两种方式
   <1> 将文本或图像编码获得向量化特征之后入库使用余弦相似度检索
   <2> 将文本或图像编码获得向量化特征之后先除以该向量的模(L2范式)得到归一化的向量特征再入库使用向量内积进行检索因为L2范式归一化之后的向量内积就等于向量的余弦相似度计算
   优劣方式一便于理解方式二速度更快

---

12.似然函数

$$P(x_1,x_2,x_3...x_n|\theta )=\prod _{i=1}^{n}P(x_i|\theta )$$

ps

1. 似然值定义当假设概率模型$\theta$为真时所得到的样本观察结果出现的概率。如果P值很小说明原假设情况的发生的概率很小而如果出现了根据小概率原理我们就有理由拒绝原假设P值越小我们拒绝原假设的理由越充分。
   举例
   1. 假设抛硬币正、反的概率分别为0.1、0.9真实观察10次结果为4正6反那么
      $P_1=0.1^4\ast 0.9^6=5.314410000000001e-05$
   2. 假设抛硬币正、反的概率分别为0.3、0.7真实观察10次结果为4正6反那么
      $P_2=0.3^4\ast 0.7^6=9.529568999999997e-04$
   3. $P_2>P_1$所以我们可以拒绝第一种假设保留第二种

---

13.伯努利分布

如果随机变量X只取0和1两个值并且相应的概率为
$$Pr(X=1)=p,Pr(X=0)=1-p,0<p<1$$
则称随机变量X服从参数为p的伯努利分布X的概率函数可写为
$$f(x|p)=p^x(1-p{)}^{1-x}=\{\begin{array}{ll}p& x=0\\ 1-p& x=1\\ 0& x/=0,1\end{array}$$
令q=1一p的话也可以写成下面这样
$$f(x|p)=\{\begin{array}{ll}{p}^x{q}^{1-x}& x=0,1\\ 0& x/=0,1\end{array}$$

ps

1. 定义伯努利分布指的是对于随机变量X有, 参数为p(0<p<1)如果它分别以概率p和1-p取1和0为值。EX= p,DX=p(1-p)

2. 什么样的事件遵循伯努利分布任何我们只有一次实验和两个可能结果的事件都遵循伯努利分布【例如抛硬币、猫狗分类】

---

14.信息量

某个事件发生的信息量可以定义成如下形式

$$F(p)=-{\log }_{2}p$$

ps

1. $p$当前事件发生的概率
2. $F(p)$的单位是比特

---

15.熵

对概率系统 $P$ 求熵 $H$ 可定义为对系统 $P$ 求信息量 $f$ 的期望
$$H(P):=E(P_f)=\sum _{i=1}^m{p}_i\ast f(p_i)=\sum _{i=1}^m{p}_i(-lo{g}_2{p}_i)=-\sum _{i=1}^m{p}_i\ast lo{g}_2{p}_i$$
系统熵的求解过程简单来说就是把系统里面所有 可能发生事件的信息量 $-lo{g}_2{p}_i$ 求出来然后和这个 事件发生的概率 $p_i$ 相乘最后把这些 结果 $-lo{g}_2{p}_i\ast p_i$ 相加得到的就是这个系统的熵

ps

1. 熵的定义衡量一个系统从原来的不确定到确定难度有多大【系统趋于稳定的难度有多大】简单来说就是衡量一个系统的混乱程度混乱程度越小系统越稳定结果置信度越高
   信息量的定义与熵类似时衡量一个事件从原来的不确定到确定难度有多大【系统中某个事件趋于稳定的难度有多大】
   举例
   1. 一个预测中国乒乓球是否夺冠的系统熵就很小因为它输出稳定、置信度高
   2. 一个抛硬币的系统熵就很高因为它混乱程度高、输出不稳定

---

16.相对熵【KL散度】

相对熵用于计算两个系统之间的熵的差距公式如下

$$D_{KL}(P||Q):=\sum _{i=1}^m{p}_i\ast (f_Q(q_i)-f_P(p_i))=\sum _{i=1}^m{p}_i\ast ((-{\log }_2{q}_i)-(-{\log }_2{p}_i))=\sum _{i=1}^m{p}_i\ast (-{\log }_2{q}_i)-\sum _{i=1}^m{p}_i\ast (-{\log }_2{p}_i)=H(P,Q)-H(P)$$

ps

1. $D_{KL}(P||Q)$表示以$P$系统为基准计算$Q$与$P$的熵的差距
2. $f_Q(q_i)-f_P(p_i)$代表某件事在$Q$系统中的信息量减去此事件在$P$系统中的信息量
3. $q_i$表示当前事件在$Q$系统发生的概率$p_i$表示当前事件在$P$系统发生的概率
4. $H(P)$就是P系统的熵
5. $H(P,Q)$就是P系统的交叉熵
6. 交叉熵 $H(P,Q)$ 永远大于 熵 $H(P)$【可根据吉布斯不等式求出】
7. 当以 $P$ 系统为基准求 $P、Q$ 两系统的相对熵 $D_{KL}(P||Q)$ 时$H(P)$ 是固定的$H(P,Q)$ 又一定大于 $H(P)$所以$H(P,Q)$ 越小相对熵越小因此相对熵的大小取决于交叉熵 $H(P,Q)$ 交叉熵越小系统 $P$ 越接近于 $Q$这就是交叉熵可以作为损失函数的原因
8. $\sum _{i=1}^m$ 中的事件数量 $m$ 取两个系统中事件数量较多的那个即可因为如果某个事件在 $Q$ 系统中存在在 $P$ 系统中不存在那么该事件在 $P$ 系统中的概率 $p_m=0$ $P$ 系统中的信息量就是 $0$ 那么m事件的信息差 $M=f_Q(q_m)-f_P(p_m)=f_Q(q_m)$ 受该事件影响最终求出的相对熵也就距 $0$ 越远【因为 $Q$ 系统中多出了一个无关紧要的事件导致 $P$ 和 $Q$ 的相似度变低这很河里旺柴】

---

17.交叉熵

基本公式如下
$$H(P,Q)=\sum _{i=1}^m{x}_i\ast (-{\log }_2{y}_i)$$
考虑正反两面的情况后可以写成如下形式
$$H(P,Q)=-(\sum _{i=1}^n(x_i\ast {\log }_2{y}_i+(1-x_i)\ast {\log }_2(1-y_i)))$$

---

18.泰勒公式

设 $f(x)$ 在 $x_0$ 处有n阶导数则有公式
$$f(x)=f(x_0)+\frac{f^{\prime }(x_0)}{1!}(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2!}(x-x_0{)}^2+...+\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n+o[(x-x_0{)}^n]$$

ps:

1. 泰勒公式作用是 用一些幂函数相加来拟合原函数 $f(x)$本质就是近似
2. 泰勒公式展开的项数越高最终拟合原函数的近似度就越高
3. 等价无穷小就是只展开一次的泰勒公式是特殊的泰勒公式
4. 泰勒公式的本质是近似洛必达计算的本质是降阶

---

19.麦克劳林公式

当 $x_0=0$ 时的 泰勒公式 就是 麦克劳林公式了如下
$$f(x)=f(0)+\frac{f^{\prime }(0)}{1!}x+\frac{f^{\prime \prime }(0)}{2!}{x}^2+...+\frac{f^{(n)}(0)}{n!}{x}^n+o(x^n)$$

参考视频
https://www.bilibili.com/video/BV1WX4y1g7bx

---

todo…