小谈一直想整理机器学习的相关笔记但是一直在推脱今天发现知识快忘却了虽然学的也不是那么深但还是浅浅整理一下吧便于以后重新学习。

最近换到新版编辑器写文章了有的操作挺方便的但是😭我目前还没有找到在哪里插入目录。

---

1.机器学习的定义

机器学习专门研究计算机怎样模拟或实现人类的学习行为以获取新知识或技能重新组织已有的知识结构使之不断改善自己的性能。

机器学习是人工智能的一个分支。我们使用计算机设计一个系统使它能够根据提供的训练数据按照一定的方式来学习随着训练次数的增加该系统可以在性能上不断学习和改进通过参数优化的学习模型能够用于预测相关问题的输出。

2.机器学习的发展历程

推理期→知识期→学科形成→繁荣期

• 推理期认为只要给机器赋予逻辑推理能力机器就能具有智能

• 知识期认为要使机器具有智能就必须设法使机器拥有知识

• 学科形成20世纪80年代机器学习成为一个独立学科领域并开始迅速发展、各种机器学习技术百花齐放

• 繁荣期20世纪90年代后统计学习方法占主导

3.监督学习、半监督学习和无监督学习的特点

3.1 监督学习

从给定的有标注的训练数据集中学习出一个函数模型参数当新的数据到来时可以根据这个函数预测结果。

常见任务包括分类与回归。

3.2 无监督学习

没有标注的训练数据集需要根据样本间的统计规律对样本集进行分析

常见任务聚类

3.3 半监督学习

结合少量的标注训练数据和大量的未标注数据来进行数据的分类学习。

半监督学习可进一步分为纯半监督学习和直推学习前者假定训练数据中的未标记样本并非待测的数据而后者则假定学习过程中所考虑的未标记样本恰是待预测数据学习的目的就是在这些未标记样本上获得最优泛化性能。

3.4 强化学习

基于环境的反馈而行动通过不断与环境交互、试错使整体行动收益最大化强化学习不需要训练数据的Label但是它需要每一步行动环境给予的反馈是奖励还是惩罚基于反馈不断调整训练对象的行为。

强化学习接触的很少以后遇到会补充

4.机器学习的一般流程

数据预处理→特征工程→数据建模→结果评估

4.1 数据预处理

数据预处理数据清洗、数据集成、数据采样

4.1.1 数据清洗

数据清洗对各种脏数据进行对应方式的处理得到标准、干净、连续的数据提供给数据统计数据挖掘等使用。

确保数据的五个性质完整性、合法性、一致性、唯一性、权威性

数据清洗要保证数据的完整性、数据的合法性、数据的一致性、数据的唯一性、数据的权威性

这个期末考试考到了没有写上一致性😶

解析一下数据的一致性吧

不同来源的不同指标实际内涵是一样的或是同一指标内涵不一致。

解决方法建立数据体系包含但不限于指标体系、维度、单位等

4.1.2数据采样

1数据不平衡

数据不平衡指数据集的类别分布不均。

2解决方法

解决方法过采样Over-Sampling、欠采样Under-Sampling

过采样通过随机复制少数类来增加其中的实例数量从而可增加样本中少数类的代表性。

欠采样通过随机地消除占多数的类的样本来平衡类分布直到多数类和少数类的实例实现平衡。

4.1.3 数据集拆分

1常将数据划分为3份

• 训练数据集train dataset用来构建机器学习模型

• 验证数据集validation dataset辅助构建模型用于在构建过程中评估模型提供无偏估计进而调整模型参数

• 测试数据集test dataset用来评估训练好的最终模型的性能

2常用拆分方法

5.2 特征工程

特征工程特征编码、特征选择、特征降维、规范化

5.3 数据建模

数据建模回归问题、分类问题、聚类问题、其他问题

5.4 结果评估

结果评估拟合度量、查准率、查全率、F1值、PR曲线、ROC曲线