[概率论与数理统计]笔记:5.2 参数的最大似然估计与矩估计
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
5.2 参数的最大似然估计与矩估计
估计其实就是猜数。
最大似然估计
基本思想
- 概率大的事件比概率小的事件更易发生。
- 将使事件\(A\)发生的概率最大的参数\(\theta\)作为估计值。
案例
总体:100个球(黑球或白球)
需要估计的参数:黑球的个数\(\theta=99\)或\(1\)
抽样:摸球并放回
结论:
如果经常摸出黑球,则估计\(\theta=99\)
如果经常摸出白球,则估计\(\theta=1\)
做题模板
-
写出总体的概率函数/密度函数。(分别对应离散型/连续型)
-
写出似然函数\(L(\theta)\).
似然函数表示取得样本的概率,所以是概率函数值相乘的格式,求导很复杂,所以要使用自然对数将乘除转化为加减。
-
两边取\(\ln\).
-
两边对参数\(\theta\)求(偏)导,令(偏)导数=0,使得似然函数取最大值的参数\(\theta\)就是估计值。
例题
泊松分布例题
例1:总体\(X\sim P(\lambda)\),样本\((X_1,\cdots,X_n)\),求\(\lambda\)的极大似然估计。
解:
总体的概率函数为:
则\(\lambda\)的似然函数为:
似然函数的因变量只有\(\lambda\).
这里的\(x_i\)都是具体的样本观测值,也就是常数,因此下面求导的时候可以直接去掉。
两边取\(\ln\):
两边对\(\lambda\)求导,并令导数为0:
因此\(\hat\lambda = \frac{x_1+\cdots+x_n}{n}=\overline{X}\)
指数分布例题
例2:总体\(X\sim e(\lambda)\),样本\((X_1,\cdots,X_n)\),求\(\lambda\)的极大似然估计。
总体的密度函数为:
则\(\lambda\)的似然函数为:
这里的\(f(x;\lambda)\)不会取到0的情况,因为样本已经取到了,认为其概率就是大于0的。
存疑:概率为0的事件也可能会发生,但是这里似乎忽略了这种情况?
两边取\(\ln\):
两边对\(\lambda\)求导,并令导数为0:
因此\(\hat\lambda = \frac{n}{x_1+\cdots+x_n}=\frac{1}{\overline{X}}\)
正态分布例题
例3:总体\(X\sim N(\mu,\sigma^2)\),样本\((X_1,\cdots,X_n)\),求\(\mu,\sigma^2\)的极大似然估计。
总体的密度函数为:
则\(\mu, \sigma^2\)的似然函数为:
两边取\(\ln\):
先对\(\mu\)求偏导,并令偏导数为0:
因此\(\hat\mu= \frac{x_1+\cdots+x_n}{n}=\overline{X}\).
再将\(\sigma^2\)作为整体对其求偏导:
化简得
均匀分布例题
例4:总体\(X\)服从\([\theta_1,\theta_2]\)上的均匀分布,样本\((X_1,\cdots,X_n)\),求\(\theta_1,\theta_2\)的极大似然估计。
总体的密度函数为:
则\(\theta_1,\theta_2\)的似然函数为:
均匀分布是特殊情况,不能使用做题模板。
如果继续使用取对数求导的思路,会出现:
\[\frac{n}{\theta_2-\theta_1}=0 \]这样的情况,无法再继续求解。
因此应该转换思路。
为了取得似然函数的最大值,那么\((\theta_2-\theta_1)\)应该取最小值,也就是区间越小越好,但又要包含样本。
因此:
- \(\hat{\theta_1}=\min\{x_1,\cdots,x_n\}\)
- \(\hat{\theta_2}=\max\{x_1,\cdots,x_n\}\)
矩估计
基本思想
使用相应的样本矩去估计总体矩。
使用相应的样本矩的函数去估计总体矩的函数。
"相应的":一阶对应一阶,二阶对应二阶......
例题
例1:\(X\sim N(\mu, \sigma^2)\),\((X_1,\cdots,X_n)\)是样本,求\(\mu,\sigma^2\)的矩估计。
-
总体的一阶原点矩:\(EX=\mu\),
-
样本的一阶原点矩:\(\overline{X}=\frac{1}{n}\sum\limits_{i=1}^nX_i\),
使用样本矩估计总体矩:\(\hat{\mu}=\overline{X}\);
- 总体的二阶原点矩:\(EX^2\)
因为\(DX=EX^2-(EX)^2\)
所以\(EX^2=DX+(EX)^2=\sigma^2+\mu^2\)
- 样本的二阶原点矩:\(A_2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\).
所以\(\hat{EX^2}=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\).
所以
这里最后的等号没有写错,可以反过来计算证明其正确性:
\[\begin{align*} \frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2 &= \frac{1}{n}\sum\limits_{i=1}^n(X_i^2-2X_i\overline{X}+\overline{X}^2) \\ &= \frac{1}{n}\sum X_i^2-2\overline{X}(\frac{1}{n}\sum X_i)+\frac{1}{n}n\overline{X}^2 \\ &= \frac{1}{n}\sum X_i^2-2\overline{X}\overline{X}+\overline{X}^2 \\ &= \frac{1}{n}\sum X_i^2 -\overline{X}^2 \end{align*} \]因此:
\(\frac{1}{n}\sum X_i^2 -\overline{X}^2=\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)
这里的\(\frac{1}{n}\sum\limits_{i=1}^n(X_i-\overline{X})^2\)其实就是二阶中心矩\(B_2\).
所以\(\hat{\sigma^2}=B_2\).
正态分布的两个参数的极大似然估计和矩估计的结果是一致的。
例2:\(X\sim P(\lambda)\),\((X_1,\cdots,X_n)\),求\(\lambda\)的矩估计.
泊松分布的期望和方差都是\(\lambda\),也就是说可以列出两个方程:
- \(\hat{\lambda}=\overline{X}\)
- \(\hat{\lambda}=B_2\)
究竟使用哪个作为估计值可以采取评价估计量的标准进行评估,比如有效性。这里使用一阶的\(\hat{\lambda}=\overline{X}\)更好。
例3:\(X\)服从\([\theta_1,\theta_2]\)上的均匀分布,求\(\theta_1,\theta_2\)的矩估计。
根据均匀分布的性质,有
- \(EX=\frac{1}{2}(\theta_1+\theta_2)\)
- \(DX=\frac{(\theta_2-\theta_1)^2}{12}\)
第一个式子可以用均值估计:\(\frac{1}{2}(\hat{\theta_1}+\hat{\theta_2})=\overline{X}\)
同时,有\(DX=EX^2-(EX)^2=EX^2-\frac{(\theta_1+\theta_2)^2}{4}\)
所以\(EX^2=\frac{(\theta_2-\theta_1)^2}{12}+\frac{(\theta_1+\theta_2)^2}{4}\).
\(EX^2\)使用\(A_2=\frac{1}{n}\sum\limits_{i=1}^nX_i^2\)近似,样本是已知的,所以\(A_2\)是可计算的已知的量。
所以\(\frac{(\hat{\theta_2}-\hat{\theta_1})^2}{12}+\frac{(\hat{\theta_1}+\hat{\theta_2})^2}{4}=A_2\)
综上,可以列出两个方程用于求解\(\hat{\theta_1},\hat{\theta_2}\):
求解得到:
使用教材:
《概率论与数理统计》第四版 中国人民大学 龙永红 主编 高等教育出版社