分类具有明确的类别

        如去银行借钱会有借或者不借的两种类别

回归不具有明确的类别和数值

        如去银行借钱预测银行会借给我多少钱如1~100000之间的一个数值

不纯度

        为了要将表格转化为一棵树决策树需要找出最佳节点和最佳的分枝方法对分类树来说衡量这个 “ 最佳 ” 的指标 叫做“ 不纯度 ” 。通常来说不纯度越低决策树对训练集的拟合越好。

        ·不纯度基于节点来计算树中的每个节点都会有一个不纯度并且子节点的不纯度一定是低于父节点的也就是 说在同一棵决策树上叶子节点的不纯度一定是最低的。

不存度的概念  

        决策树的每个叶子节点中都会包含一组数据在这组数据中如果有某一类标签占有较大的比例我们就说叶子 节点“ 纯 ” 分枝分得好。某一类标签占的比例越大叶子就越纯不纯度就越低分枝就越好。
       如果没有哪一类标签的比例很大各类标签都相对平均则说叶子节点 ” 不纯 “ 分枝不好不纯度高。      

机器学习的例子

y=kx+b

先通过已知x和y求出k和b

再通过y=kx+bk已知b已知和x的测试集

求出y预测=k已知*x测试+b已知

y的预测值和y的测试值相比较需要使y的预测与y的测试尽量的接近

from sklearn import tree #从sklearn 包里面导入tree类
clf = tree.DecisionTreeClassifier() #实例化一个决策树分类器
clf =clf.fit(X_train,y_train) #用训练集数据训练模型
result=clf.score(X_test,y_test)#导入测试集从接口中调用需要的信息

建立一棵树

#导入需要的算法库和模块
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split

#搜索数据

红酒数据集 

#红酒数据集
#导入需要的算法库和模块
from sklearn import tree
from sklearn.datasets import load_wine
from sklearn.model_selection import train_test_split
wine = load_wine() #加载并返回葡萄酒数据集分类。
wine.data.shape #看一下这个表格是怎么样的
#输出(178, 13)代表存在178行13列
wine.target #查看表格中有几个标签
# array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
#        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,
#        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1,
#        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
#        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1,
#        1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2,
#        2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
#        2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2, 2,
#        2, 2])
#即数据集中的标签有三种01和2也就是这些红酒被分成了三类。

#如果wine是一张表应该长这样
# import pandas as pd
# pd.concat([pd.DataFrame(wine.data),pd.DataFrame(
#     .wine.target)],axis=1)
#这里是将红酒属性数据集和标签列进行了横向链接也叫合并学过数据库的都知道

# wine.feature_names
#查看红酒的属性名字
# wine.target_names
#查看标签名字也就是分类的名字

Xtrain,Xtest,Ytrain,Ytest=train_test_split(wine.data,wine.target,test_size=0.3)
#将数据集分为训练集和测试集其中70%为训练集30%为测试集。
Xtrain.shape
#训练集有124个样本13个属性
Xtest.shape
#训练集有54个样本13个属性
Ytrain
#查看训练集的目标属性有三种为012

#建立模型
clf = tree.DecisionTreeClassifier(criterion="entropy") #建立决策分类树判断不纯度的方法是信息熵
clf = clf.fit(Xtrain,Ytrain) #用训练集数据训练模型
score = clf.score(Xtest,Ytest) #返回预测的准确accuracy分数
score#查看预测的模型分数

#画出这棵树
feature_name = ['酒精','苹果酸','灰','灰的碱性','镁','总酚','类黄酮','非黄烷类酚类','花青素','颜 色强度','色调','od280/od315稀释葡萄酒','脯氨酸']
import graphviz 
dot_data = tree.export_graphviz(clf,out_file = None,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True) 
#以 DOT 格式导出决策树。

# decision_tree决策树分类器要导出到 GraphViz 的决策树。

# out_file对象或字符串默认=无输出文件的句柄或名称。如果 None 则结果以字符串形式返回。

# feature_namesstr列表默认=无每个函数的名称。如果 None 将使用通用名称(“feature_0”、“feature_1”、...)。

# class_namesstr 或 bool 的列表默认 = 无
# 每个目标类别的名称按数字升序排列。仅与分类相关不支持multi-output。如果 True 则显示类名的符号表示。

# filled布尔默认=假
# 当设置为 True 时绘制节点以指示分类的多数类、回归值的极值或 multi-output 的节点纯度。

#rounded布尔默认=假当设置为 True 时绘制圆角节点框。
graph = graphviz.Source(dot_data) #获取生成的决策树
graph #打印生成的决策树

#特征重要性
clf.feature_importances_ 
#打印每个属性的重要性的数值只有数值不知道数值对应的属性是什么
[*zip(feature_name,clf.feature_importances_)]
#打印每个属性及其对应的重要性的数值

# 建更多的不同的树然后从中取最好的。
# 在每次分枝时不从使用全部特征而是随 机选取一部分特征从中选取不纯度相关指标最优的作为分枝用的节点。
clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30)
# random_state 用来设置分枝中的随机模式的参数默认 None
#random_state是一个随机种子是在任意带有随机性的类或函数里作为参数来控制随机模式。
#当random_state取某一个值时也就确定了一种规则。
# 在高维度时随机性会表现更明显低维度的数据 比如鸢尾花数据集随机性几乎不会显现。
#固定random_state后每次构建的模型是相同的、生成的数据集是相同的、每次的拆分结果也是相同的。

clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest) #返回预测的准确度
score
#这里的score会固定在0.925不论你运行多少遍它都不会变因为每次都是选择的最优的树。

#使用splitter来降低过拟合的可能性
clf = tree.DecisionTreeClassifier(criterion="entropy",random_state=30 ,splitter="random") 
clf = clf.fit(Xtrain, Ytrain) 
score = clf.score(Xtest, Ytest)
score #输出结果为0.944444
# splitter 也是用来控制决策树中的随机选项的有两种输入值
# 输入 "best" 决策树在分枝时虽然随机但是还是会 优先选择更重要的特征进行分枝重要性可以通过属性feature_importances_ 查看
# 输入 "random" 决策树在 分枝时会更加随机树会因为含有更多的不必要信息而更深更大并因这些不必要信息而降低对训练集的拟合。
# 这也是防止过拟合的一种方式。当你预测到你的模型会过拟合用这两个参数来帮助你降低树建成之后过拟合的可能性。

#画出图像
import graphviz 
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True ) 
graph = graphviz.Source(dot_data)
graph

#我们的树对训练集的拟合程度如何
score_train = clf.score(Xtrain, Ytrain) #返回预测的准确分数
score_train  #查看预测的准确分数此时结果为1.0 过拟合了

#剪枝方法降低过拟合的可能性
#1max_depth 限制树的最大深度
#2min_samples_split 限定一个节点必须要包含至少 min_samples_split 个训练样本这个节点才允许被分枝否则分枝就不会发生。
#3min_samples_leaf 限定一个节点在分枝后的每个子节点都必须包含至少 min_samples_leaf 个训练样本否则分枝就不会发生
#     或者分枝会朝着满足每个子节点都包含min_samples_leaf 个样本的方向去发生

#通过限制条件进行剪枝得到的决策树会更简洁预测的准确分数也不错
clf=tree.DecisionTreeClassifier(criterion="entropy",random_state=30,splitter="random",max_depth=3,min_samples_leaf=5,min_samples_split=5)
clf = clf.fit(Xtrain, Ytrain)
dot_data = tree.export_graphviz(clf,feature_names= feature_name,class_names=["琴酒","雪莉","贝尔摩德"],filled=True,rounded=True)
graph = graphviz.Source(dot_data)
graph
score = clf.score(Xtest, Ytest)
score #0.9629629629629629

# 超参数的学习曲线是一条以超参数的取值为横坐标模型的度量指标为纵坐标的曲线它是用来衡量不同超参数取值下模型的表现的线。
# 在我们建好的决策树里我们的模型度量指标就是score 。
import matplotlib.pyplot as plt #导入画图库
test = [] #创建一个列表
for i in range(10): #循环10次
    clf = tree.DecisionTreeClassifier(max_depth=i+1,criterion="entropy",random_state=30,splitter="random")
    clf = clf.fit(Xtrain, Ytrain) #训练模型
    score = clf.score(Xtest, Ytest) #预测的准确分数
    test.append(score) #往列表里面添加预测的分数值
plt.plot(range(1,11),test,color="red",label="max_depth") #画图
#横坐标为max_depth取值纵坐标为score图线颜色为redlabel为图例的名称
#从图中我们可以看到当max_depth取3的时候模型得分最高
plt.legend() #给图像加图例
plt.show() #显示所打开的图形