机器学习基本概念及问题梳理

前言整理西瓜书第一、二章中的基本概念

待办第二章评估方法、性能度量及后续内容未整理

---

下图梳理机器学习中部分概念

模型评估与选择相关知识点

错误率error rate, E如果在m个样本中有a个样本分类错误则错误率E=a/m

精度accuracy=1-E=1-a/m

误差error学习器的实际预测输出与样本的真实输出之间的差异。误差在不同数据集上含义不同在训练集上的误差称为训练误差training error或经验误差empirical error在测试集上的误差称为测试误差testing error在新样本上的误差称为泛化误差generalization error。

过拟合overfitting学习能力过强将训练样本中不太一般的特征学到。难以避免只能缓解。

欠拟合underfitting学习能力低下。在决策树学习中拓展分支、在神经网络学习中增加训练轮数以克服。

学习问题

1、概念理解–假设、假设空间和版本空间

西瓜书P4-P6

假设hypothesis学得的模型对应假设空间中的一个假设。换句话说一个假设就是一种映射方法它把具有某些特定属性值的西瓜映射为好瓜其余西瓜映射为坏瓜。¹

假设空间hypothesis space所有不重复假设组成的空间。

版本空间version space一个与训练集一致的所有假设构成的集合也就是假设空间中的一个最大子集该子集内的每一个元素都不与训练集相冲突因此版本空间也是唯一的。¹另外值得注意的是训练集的不同会导致版本空间的不同。

2、已知训练数据集求解版本空间²

1. 列出所有可能的假设即假设空间
2. 不断删除与正例已知训练数据集中的好瓜不一致的假设和与反例一致的假设
3. 得到与训练集一致的假设即版本空间

3、为什么要考虑归纳偏好

版本空间内每一个假设都可以判断训练数据集中的每个瓜是好是坏若用不同的假设判断同一条记录可能会得出不一样的结果这便引出讨论归纳偏好的必要性。

4、训练集、验证集、测试集有何区别

训练数据一般划分为训练集training set和验证集validation set训练集是用来训练模型或确定模型参数的验证集是用来做模型选择即做模型的最终优化及确定。

测试集testing set测试已训练好的模型在实际使用中的泛化能力。

在实际应用中一般只将数据集分成训练集和测试集并不涉及验证集。

未解决问题为什么过拟合无法避免P23

---

---

参考文章

---

1. 《机器学习》周志华–假设空间和版本空间概念辨析 - 知乎 ↩︎ ↩︎

2. 《机器学习》周志华–假设空间和版本空间 - CSDN博客 ↩︎