1.吴恩达机器学习课程笔记模型描述、假设函数、代价函数

吴恩达机器学习课程笔记模型描述
吴恩达机器学习课程笔记代价函数

仅作为个人学习笔记若各位大佬发现错误请指正

什么是模型

机器学习模型简单来说即是学习数据特征与标签的关系或者学习数据特征内部的规律的一个函数。摘自机器学习中的模型到底是指什么

先选一个模型然后根据数据样本学习不断调整优化参数得到最优参数最终获得决策函数之后使用该决策函数进行预测

视频中以回归问题为例介绍什么是模型如何优化参数
例子房价预测

样本数据如下
符号解释m代表样本容量、x代表输入值特征、y代表输出值

根据经验先大概选一个初始模型假设函数这里选的是单变量线性回归模型

假设函数$h(x)={\theta }_0+{\theta }_{1}x$
不同的参数对应不同的函数

我们怎样调整参数才能使得模型更好地符合样本数据也就是如何在整体上使得预测值$h(x)$与样本值y的距离更近由此引入最小二乘法
$$\text{minimize}J({\theta }_1)=\text{minimize}\frac{1}{2m}\sum _{i=1}^m{\left(h^{(i)}(x)-y^{(i)}\right)}^2$$
注右上角标代表第$i$个样本数据、m代表样本容量
我们通过最小化代价函数$J({\theta }_1)$来寻找最优参数
假设函数$h^{(i)}(x)={\theta }_{1}x$的函数值为模型预测值、样本数据$y^{(i)}$为真实值

例如样本数据11、22、33根据这些样本数据我们大致认为截距为0的函数可以较好拟合这些数据所以我们就假设只有一个参数斜率
我们首先假设参数${\theta }_1=1$则假设函数为$h^{(i)}(x)={\theta }_{1}x=x$
将$x=1$代入假设函数$h^{(1)}(1)=1$
将$x=2$代入假设函数$h^{(2)}(2)=2$
将$x=3$代入假设函数$h^{(3)}(3)=3$
将样本数据代入代价函数计算$y^{(1)}=1、y^{(2)}=2、y^{(3)}=3$计算结果代价函数值为$0$以参数${\theta }_1$为横轴以代价函数值为纵轴绘制图像通过不断更新参数${\theta }_1$得到不同的代价函数值最终可以得到一个最小代价此时代价函数值对应的参数${\theta }_1$的值便是最优值

我们将参数${\theta }_1$调整为$0.5$并计算代价函数值

我们将参数${\theta }_1$调整为$0$并计算代价函数值

通过对参数不断调整我们可以最终在以参数${\theta }_1$为横轴以代价函数值为纵轴的函数图像中找到代价最小时对应的参数值此时的参数值就是最优值
当样本数据如下图我们大致认为假设函数有两个参数${\theta }_0$(截距)、${\theta }_1$(斜率)假设函数为$h(x)={\theta }_0+{\theta }_{1}x$

当我们有两个参数需要确定时对应的代价函数为$J({\theta }_0,{\theta }_1)$
$$\text{minimize}J({\theta }_0,{\theta }_1)=\text{minimize}\frac{1}{2m}\sum _{i=1}^m{\left(h^{(i)}(x)-y^{(i)}\right)}^2$$
注右上角标代表第$i$个样本数据、$m$代表样本容量
我们通过最小化代价函数$J({\theta }_0,{\theta }_1)$来寻找最优参数
假设函数$h^{(i)}(x)={\theta }_0+{\theta }_{1}x$的函数值为模型预测值、样本数据$y^{(i)}$为真实值
首先给两个参数初始值并计算对应代价函数值而后对两个参数值进行调整每次调整都计算出对应的代价函数值最终得到类似下图右侧的函数图像$z$轴为代价函数值$x$轴与$y$轴分别为两个参数我们可以在此图像中找到最小的代价函数值此值对应的参数即为最优参数我们便得到了符合以下样本数据的最优模型$h(x)={\theta }_0+{\theta }_{1}x$对应的最优值代入两个参数

当然我们也可以用等高线图来表示代价函数图像
同一个椭圆上的所有点其代价函数值相等
不同椭圆上的点代价函数值不同颜色代表了代价函数值的高低从下图中我们可以得到最内部的点对应的代价函数值最小通过此值我们找到了对应两个参数的值