机器学习（四）：机器学习工作流程
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
文章目录
机器学习工作流程
一、什么是机器学习
机器学习是从数据中自动分析获得模型并利用模型对未知数据进行预测。
二、机器学习工作流程
机器学习工作流程总结
- 1.获取数据
- 2.数据基本处理
- 3.特征工程
- 4.机器学习(模型训练)
- 5.模型评估
- 结果达到要求上线服务 - 没有达到要求重新上面步骤
1、获取到的数据集介绍
数据简介
-
在数据集中一般
- 一行数据我们称为一个样本
- 一列数据我们成为一个特征
- 有些数据有目标值标签值有些数据没有目标值如上表中电影类型就是这个数据集的目标值
-
数据类型构成
- 数据类型一特征值+目标值目标值是连续的和离散的
- 数据类型二只有特征值没有目标值
-
数据分割
- 机器学习一般的数据集会划分为两个部分
- 训练数据用于训练构建模型 - 测试数据在模型检验时使用用于评估模型是否有效 - 划分比例
- 训练集70% 80% 75% - 测试集30% 20% 25%
- 机器学习一般的数据集会划分为两个部分
2、数据基本处理
即对数据进行缺失值、去除异常值等处理。
3、特征工程
3.1、什么是特征工程
特征工程(Feature Engineering)是使用专业背景知识和技巧处理数据使得特征能在机器学习算法上发挥更好的作用的过程。
- 意义会直接影响机器学习的效果
3.2、为什么需要特征工程
机器学习领域的大神Andrew Ng(吴恩达)老师说“Coming up with features is difficult, time-consuming, requires expert knowledge. “Applied machine learning” is basically feature engineering. ”
注业界广泛流传数据和特征决定了机器学习的上限而模型和算法只是逼近这个上限而已。
3.3 特征工程包含内容
- 特征提取
- 特征预处理
- 特征降维
3.4 特征工程类别介绍
- 特征提取
- 将任意数据如文本或图像转换为可用于机器学习的数字特征
特征预处理
- 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
特征降维
- 指在某些限定条件下降低随机变量(特征)个数得到一组“不相关”主变量的过程
4、机器学习
选择合适的算法对模型进行训练。
5、模型评估
对训练好的模型进行评估。
- 📢博客主页https://lansonli.blog.csdn.net
- 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正
- 📢本文由 Lansonli 原创首发于 CSDN博客🙉
- 📢停下休息的时候不要忘了别人还在奔跑希望大家抓紧时间学习全力奔赴更美好的生活✨