第二章.线性回归以及非线性回归

2.1 一元线性回归

1.概念

1).自变量

被用来进行预测的变量相当于输入

2).因变量

被预测的变量相当于输出

3).回归分析

用来建立方程模拟两个或者多个变量之间如何关联两个以上的自变量则称作多元回归分析。

2.一元线性回归方程

1).ℎ𝜃𝑥 =β1𝑥+β0

参数说明
β0回归线的截距
β1回归线的斜率

注意β1和β0也可以使用其他标识符代替后续会使用θ0替代β0θ1替代β1

2).正相关

3).负相关

4).不相关

2.2 代价函数 (Cost Function)

1.概念

1).代价函数

也称为损失函数(Loss Function)

2).代价函数使用的算法

最小二乘法

2.代价函数方程

1).真实值y,预测值h0(𝑥),则误差平方为(y-h0(𝑥))^2

• 注意 :不可以用绝对值不利于后续的计算

2).代价函数

• 参数说明
  i样本点
  m样本总数
  
  注意方程中的1/2参数可有可无存在的意义是形式比较好看函数在对x求导的时候^2会被提到函数前面正好与1/2消掉

3).找到合适的参数使得误差平方和最小

4).总结

·公式

·图像

以θ1=0.5为例通过误差平方和公式画曲线
·𝑥=1时h0(𝑥)=0.5,平方为0.25；
·𝑥=2时h0(𝑥)=1,平方为1；
·𝑥=3时h0(𝑥)=1.5,平方为2.25；
·计算三个值均值再除以2(0.25+1+2.25)/3/2=0.58(图中第二个五角星所在位置)

·如何看等高线图

·图中每个圈圈(线条颜色相同)上的值都是相同的例如3个红色叉叉值是相同的
·中间的实心红点代表图中的最小值空心红圈越接近实心红点就是损失函数越小
·空心红圈所对应的代表左侧图像的蓝色线y轴数值代表左侧图像的斜率x轴数值代表左侧图像的截距

2.3 相关系数: （R

1.目的

衡量线性相关性的强弱（用来描述两个变量之间的线性关系

2.公式

3.结果

相关系数越接近于1样本点的分布越接近于线性关系

2.4 决定系数: （R^2

1.目的

用来描述非线性或两个及以上自变量的相关关系也可用于评价模型的效果

2.公式

1).总平方和: (SST)

参数说明
𝑦𝑖真实值的y
y`真实值的均值

2).回归平方和: (SSR)

参数说明
y^:预测值的y值
y`真实值的均值

3).残差平方和: (SSE)

参数说明
𝑦𝑖真实值的y
y^:预测值的y值

5).相关系数: (R^2)

4).SST,SSR,SSE之间的关系:

3.结果

相关系数越接近于1样本点的分布越接近于线性关系