寒假本科创新——机器学习（二）

1.3归纳偏好

归纳偏好lnductive Bias 机器学习算法在学习过程中对某种类型假设的偏好
偏好就是对某一种东西有特别的喜好。
下面两个机器学习算法A和B现在我们考虑一个简单的问题A和B哪个算法更好 当AB都可以完美解释训练数据的情况下在图中体现为A、B都穿过图中的6个点

要记住 任何一个有效的机器学习算法必有其偏好
虽然AB形式上有很大的差别体现在具体算法中它可能是个决策树、可能是个神经网络、也可能是个支持向量机但是本质上是需要做出某种选择的 这种选择是我们的算法相信什么样的模型是更好的
什么样的模型更好呢

一般原则奥卡姆剃刀

基本思想: 若非必要勿增实体
简单来说当我们发现有很多假说可以解释某个问题的时候选择最简单的那一个

对于机器学习我们看到的训练样本 即现实世界反映出的现象而如果有多个模型可以解释这个现象我们就找最简单的那个模型

继续上面这个问题我们很可能一眼看去就选择A曲线因为看着简单、舒服、不像B曲线弯弯绕绕那么复杂。如果要写出函数方程A无疑比B更简单。 我们这种朴素的思想也是奥卡姆剃刀原则的一个体现

⭐ 那么问题来了面对诸多模型哪个是最简单的那个呢这个问题本身并不简单
举个栗子给出两个曲线方程①y = ax²+bx+c②y = ax³ +bx
📙①是二阶②是三阶我可以说①更简单 我也可以换一个角度因为②只有ab两个系数我说②更简单 所以①和②哪个更简单呢不好说这个问题本身就不是一个简单的问题

什么样的算法比较好

// 这个问题最关键的一点是 学习算法的归纳偏好是否与问题本身匹配这实际上决定了这个算法在这个任务上到底能用的多好 能否取得好的性能

💻不要说什么算法是好的真正起作用的不是某个算法而是其背后的那个假设。“某个算法是好的or不好的” 实际上说的是这个算法的偏好是什么这个偏好是不是和当下要解决的问题更合适更匹配

👉回到一开始那个问题实际情况如果是某个东西非常频繁发生变化的在AB都正确的情况下 这时候我们应该取B相反如果变化的非常平缓那我们最好取A

1.4NFL定理

🌏没有免费的午餐定理(No Free Lunch简称NFL) 无论学习算法σa有多聪明学习算法σb有多笨拙他们的期望性能是相同的
📗该定理的结论是由于对所有可能函数的相互补偿最优化算法的性能是等价的。

NFL定理的前提

所有“问题”出现的机会相同、或所有问题同等重要。
但是实际情况并不是这样

NFL定理的寓意

NFL定理让我们清楚地认识到 脱离具体问题空泛的谈论“什么学习算法更好”毫无意义。 因为如果考虑所有潜在的问题那么所有学习算法都一样好要谈论算法的相对优劣必须要针对具体的学习问题