Python机器学习数据建模与分析——Numpy和Pandas综合应用案例：空气质量监测数据的预处理和基本分析

数据

在进行案例之前我首先将本案例即将用到的数据集链接分享北京市空气质量数据
大家可以进入文档中将数据复制到你自己创建的Excel文件中更改文件名为北京市空气质量数据。

数据含义解释

数据名称	含义
日期	空气质量监测的日期
AQI	空气质量指数
质量等级	空气质量等级判段污染程度
PM2.5	空气中细颗粒物的含量
PM10	空气中人体可吸入颗粒物的含量
SO2	空气中二氧化硫的含量
CO	空气中一氧化碳的含量
NO2	空气中二氧化氮的含量
03	空气中臭氧的含量

一、空气质量监测数据的预处理

数据预处理的目标如下

• 根据空气质量监测的日期生成对应的季度标志变量。
• 对空气质量指数AQI分组获得对应的空气质量等级。
  代码及运行结果如下所示

import numpy as np
import pandas as pd


data=pd.read_excel('北京市空气质量数据.xlsx')  # 数据文件地址
data=data.replace(0,np.NaN)
data['年']=data['日期'].apply(lambda x:x.year)
month=data['日期'].apply(lambda x:x.month)
quarter_month={'1':'一季度','2':'一季度','3':'一季度',
               '4':'二季度','5':'二季度','6':'二季度',
               '7':'三季度','8':'三季度','9':'三季度',
              '10':'四季度','11':'四季度','12':'四季度'}
data['季度']=month.map(lambda x:quarter_month[str(x)])
bins=[0,50,100,150,200,300,1000]
data['等级']=pd.cut(data['AQI'],bins,labels=['一级优','二级良','三级轻度污染','四级中度污染','五级重度污染','六级严重污染'])
print('对AQI的分组结果\n{0}'.format(data[['日期','AQI','等级','季度']]))

# 运行结果如下
对AQI的分组结果
             日期    AQI      等级   季度
0    2014-01-01   81.0     二级良  一季度
1    2014-01-02  145.0  三级轻度污染  一季度
2    2014-01-03   74.0     二级良  一季度
3    2014-01-04  149.0  三级轻度污染  一季度
4    2014-01-05  119.0  三级轻度污染  一季度
...         ...    ...     ...  ...
2150 2019-11-22  183.0  四级中度污染  四季度
2151 2019-11-23  175.0  四级中度污染  四季度
2152 2019-11-24   30.0     一级优  四季度
2153 2019-11-25   40.0     一级优  四季度
2154 2019-11-26   73.0     二级良  四季度

[2155 rows x 4 columns]

代码说明
1第6行利用数据框函数replace()将数据框中的0表示无监测结果替换为缺失值NaN。
2第78行利用.apply()方法以及匿名函数基于“日期”变量得到每个样本观测的年份和月份。
3第9-12行建立一个关于月份和季度的字典quarter_month。
4第13行利用Python函数map()依据字典quarter_month将序列month中的123等月份映射对应到相应的季度上。
5第14行生成一个后续用于对AQI分组的列表bins。它描述了AQI和空气质量等级的数值对应关系。
6第15行利用Pandas的cut()方法对AQI进行分组。

二、上例中所用到的函数讲解

2.1 lambda表达式

介绍
Lambda 表达式是一个匿名函数Lambda表达式基于数学中的λ演算得名直接对应于其中的lambda抽象是一个匿名函数即没有函数名的函数。Lambda表达式可以表示闭包。

示例

double1 = lambda x:2*x
print("lambda表达式的输出",double1(2))


def double2(x):

    return 2*x

print("double2函数的输出",double2(2))
# 输出结果如下
lambda表达式的输出 4
double2函数的输出 4

详细可参考博客:python的lambda表达式详细讲解

2.2 apply()函数

介绍
apply函数是pandas里面所有函数中自由度最高的函数。该函数如下

*DataFrame.apply(func, axis=0, broadcast=False, raw=False, reduce=None,args=(), *kwds)

该函数最有用的是第一个参数这个参数是函数相当于C/C++的函数指针。
这个函数需要自己实现函数的传入参数根据axis来定比如axis = 1就会把一行数据作为Series的数据 结构传入给自己实现的函数中我们在函数中实现对Series不同属性之间的计算返回一个结果则apply函数 会自动遍历每一行DataFrame的数据最后将所有结果组合成一个Series数据结构并返回。
说太多概念性的东西可能不太理解这里直接上样例

import pandas as pd


data=pd.read_excel('E:\python机器学习数据建模与分析\数据\北京市空气质量数据.xlsx')
print(data['日期'])
data['年']=data['日期'].apply(lambda x:x.year)
print(data['年'])

# 输出结果如下
0      2014-01-01
1      2014-01-02
2      2014-01-03
3      2014-01-04
4      2014-01-05
          ...    
2150   2019-11-22
2151   2019-11-23
2152   2019-11-24
2153   2019-11-25
2154   2019-11-26
Name: 日期, Length: 2155, dtype: datetime64[ns]
0       2014
1       2014
2       2014
3       2014
4       2014
        ... 
2150    2019
2151    2019
2152    2019
2153    2019
2154    2019
Name: 年, Length: 2155, dtype: int64

通过输出结果我们其实可以看出我们使用apply函数可以将日期中的年份提取出来。
想要更加详细了解可以看这篇博客python中apply函数

2.3 map函数

介绍
map函数是 Python 内置的高阶函数在Python3.0版本中它接收一个函数 f 和一个 list并通过把函数 f 依次作用在 list 的每个元素上返回一个list的可迭代对象。如果想得到一个list列表则用listmap()进行强制转换。

map(function, iterable)

• function – 函数
• iterable – 序列

map函数的第一个参数是一个函数第二个参数是一个序列里面的每个元素作为函数的参数进行计算和判断。函数返回值则被作为新的元素存储起来。

示例

def add(x):
    return x**2			#计算x的平方

lists = range(11)       #创建包含 0-10 的列表
a = map(add,lists)      #计算 0-10 的平方并映射
print(a)                # 返回一个迭代器<map object at 0x0000025574F68F70>
print(list(a))          # 使用 list() 转换为列表。
# 结果为[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]


# 使用lambda匿名函数的形式复现上面的代码会更简洁一些
print(list(map(lambda x:x**2,range(11))))   
# 结果为[0, 1, 4, 9, 16, 25, 36, 49, 64, 81, 100]

2.4 cut函数

在对数据进行分段分组时可采用cut方法用bins的方式实现。这种情况一般使用于对于年龄、分数等数据。

import random
import pandas as pd
import numpy as np
from pandas import Series,DataFrame
#用随机数产生一个二维数组。分别是年龄的性别。
df=pd.DataFrame({'Age':np.random.randint(0,70,100),
                'Sex':np.random.choice(['M','F'],100),
                })
#用cut函数对于年龄进行分段分组用bins来对年龄进行分段左开右闭
age_groups=pd.cut(df['Age'],bins=[0,18,35,55,70,100])
# print(age_groups)
print(df.groupby(age_groups).count())

# 结果如下所示
           Age  Sex
Age                
(0, 18]     23   23
(18, 35]    23   23
(35, 55]    31   31
(55, 70]    20   20
(70, 100]    0    0

cut()方法主要用于对连续数据分组也称对连续数据进行离散化处理。在上面的例子中我们使用cut()依照分组标准即列表bins对变量AQI进行分组并给出分组标签。即AQI在区间$(0,50]$的为一组组标签为“一级优”在区间$(50,100]$的为一组组标签为“二级良”等等以此类推。生成的“等级”与变量与数据集中原有的“质量等级”一致为分类型有顺序的变量。

补充解释DataFrame函数

DataFrame是一个类似于二维数组或表格如excel的对象它每列的数据都可以是不同的数据类型。

注意
DataFrame的索引不仅有行索引还有列索引数据可以有多列

创建方式
Pandas的DataFrame类对象的原型如下仅作了解

pandas.DataFramedata = None,index = None,columns = None,dtype = None,copy = False

index表示行标签。若不设置该参数则默认会自动创建一个从0~N的整数索引。
columns列标签
举个例子
通过传入数组来创建DataFrame类对象

import numpy as np
import pandas as pd

# 创建数组
demo_arr = np.array([['a', 'b', 'c'],
                     ['d', 'e', 'f']])
# 基于数组创建DataFrame对象
df_obj = pd.DataFrame(demo_arr)
print(df_obj)

# 输出结果如下
   0  1  2
0  a  b  c
1  d  e  f

在创建DataFrame类对象时如果为其指定了列索引则DataFrame的列会按照指定索引的顺序进行排列比如指定列索引No1,No2, No3的顺序

import numpy as np
import pandas as pd

# 创建数组
demo_arr = np.array([['a', 'b', 'c'],
                     ['d', 'e', 'f']])
# 基于数组创建DataFrame对象
df_obj = pd.DataFrame(demo_arr, columns=['No1', 'No2', 'No3'])
print(df_obj)

# 输出结果如下
  No1 No2 No3
0   a   b   c
1   d   e   f

详细了解请看博客Pandas数据结构–Series、DataFrame详解

三、空气质量监测数据的基本分析

在上面的基础上我们利用Pandas的数据分类汇总和列联表编制等功能对空气监测数据进行基本分析。基本分析的目标如下

• 计算各季度AQI和PM2.5的平均值等描述统计量。
• 找到空气质量较差的若干天的数据以及各季度中空气质量较差的若干天的数据。
• 计算季度和空气质量等级的交叉列联表。
• 派生空气质量等级的虚拟变量。
• 数据集的抽样。

3.1 基本统计描述

以下代码利用Pandas实现以上前三个目标

print('各季度AQI和PM2.5的均值:\n{0}'.format(data.loc[:,['AQI','PM2.5']].groupby(data['季度']).mean()))
print('各季度AQI和PM2.5的描述统计量:\n',data.groupby(data['季度'])['AQI','PM2.5'].apply(lambda x:x.describe()))

def top(df,n=10,column='AQI'):
    return df.sort_values(by=column,ascending=False)[:n] # 对AQI列的数据进行降序排列然后返回前n个这里n=10
print('空气质量最差的5天:\n',top(data,n=5)[['日期','AQI','PM2.5','等级']])
print('各季度空气质量最差的3天:\n',data.groupby(data['季度']).apply(lambda x:top(x,n=3)[['日期','AQI','PM2.5','等级']]))
print('各季度空气质量情况:\n',pd.crosstab(data['等级'],data['季度'],margins=True,margins_name='总计',normalize=False))

输出结果如下图所示

代码说明
1第1行利用数据框的groupby()方法计算各季度AQI和PM2.5的平均值。groupby()方法是将数据按指定变量进行分组可以对分组结果进一步计算均值等。
2第2行计算几个季度AQI和PM2.5的基本描述统计量均值标准差最小值四分位数最大值。这里将groupby、apply以及lambda表达式集中在一起使用。首先将数据按照季度分组然后对分组后的AQI和PM2.5分别根据lambda表达式指定的处理步骤处理计算基本描述统计量。
3第45行定义了一个名为top的用户自定义函数对给定数据框按指定列默认AQI列值的降序排序返回排在前n默认10条数据。
4第6行调用用户自定义函数top对data数据框中按AQI值的降序排序并返回前5条数据即AQI最高的5天的数据。
5第7行首先对数据按季度分组依次对分组数据调用用户自定义函数top得到各季度AQI最高的3天数据。
6第8行利用Pandas函数crosstab()对数据按季度和空气质量等级交叉分组并给出各个组的样本量。
 例如在2014年1月至2019年11月之间的2149天中空气质量为严重污的天数为46天集中分布在第一和第四季的冬天供暖季分别是21天和23天。
 crosstab()函数可以方便地编制两个分类变量的列联表。列联表单元格可以是频数也可以是百分比还可指定是否添加行列合计等。

3.2 groupby函数

pandas对象支持的groupby()方法语法格式如下

groupby(by=None, axis=0, level=None, as_index=True, sort=True, group_keys=True, squeeze=False)

• 参数by用于指定分组依据可以是函数、字典、Series对象、DataFrame对象的列名等
• 参数axis表示分组轴的方向可以是0或’index’1或’columns’默认值为0
• 参数level表示如果某个轴是一个MultiIndex对象层级索引则按照特定级别或多个级别分组
• 参数as_index=False表示用来分组的列中的数据不作为结果DataFrame对象的index
• 参数sort指定是否对分组标签进行排序默认值为True。

使用groupby()方法可以实现两种分组方式返回的对象结果不同。如果仅对DataFrame对象中的数据进行分组将返回一个DataFrameGroupBy对象如果是对DataFrame对象中某一列数据进行分组将返回一个SeriesGroupBy对象。

# 按列名对列分组
obj1 = data['Country'].groupby(data['Region'])
print(type(obj1))

# out
<class'pandas.core.groupby.generic.SeriesGroupBy’>

# 按列名对数据分组
obj2 = data.groupby(data['Region'])
print(type(obj2))
# out
<class'pandas.core.groupby.generic.DataFrameGroupBy'>

可以使用groupby(‘label’)方法按照单列分组也可以使用groupby(‘label1’,‘label2’)方法按照多列分组返回一个GroupBy对象。

data.groupby('Region')# 按单列分组
# out<pandas.core.groupby.generic.DataFrameGroupByobject at 0x7f0aee73e850>
data.groupby(['Region', 'Country'])# 按多列分组
# out<pandas.core.groupby.generic.DataFrameGroupByobject at 0x7f0aedeb99d0>

使用数据分组的groupby()方法返回一个GroupBy对象此时并未真正进行计算只是保存了数据分组的中间结果。

3.3 派生虚拟自变量

这里利用Pandas派生空气质量等级的虚拟变量。
虚拟变量也称作哑变量是统计学处理分类型数据的一种常用方式。对具有K个类别的分类型变量X也可以生成K个变量如$X_1,X_2,...,X_K$,且每个变量仅有0和1两种取值。这些变量称为分类型变量的虚拟变量。其中1表示属于某个类别0表示不属于某个类别和True和False含义差不多。

虚拟变量在数据预测建模中将起到非常重要的作用。Pandas生成虚拟变量的实现如下所示

pd.get_dummies(data['等级'])
data.join(pd.get_dummies(data['等级']))

代码说明
1第1行利用Pandas的get_dummies得到分类型变量“等级”的哑变量。
 例如数据中的“等级”是包含6个类别的分类型变量。相应的6个虚拟变量依次表示是否为一级优是否为二级良等等。如2014年1月1日的等级为二级良所以后面二级良的哑变量为1其它的相应为0。
2第2行利用数据框的join()方法将原始数据和哑变量数据按行索引进行横向合并。
 使用join()方法进行数据的横向合并的时候要确保两分数据的样本观测在行索引上是一一对应的否则会出现“张冠李戴”也就是哑变量的取值和实际不符。

3.4 数据集的抽样

数据集的抽样在数据建模中极其普遍因此掌握Numpy的抽样实现方式是非常必要的。以下利用Numpy对空气质量监测数据进行了两种策略的抽样一种是简单随机抽样另一种是依条件抽样。

# 简单随机抽样
np.random.seed(123)
sampler=np.random.randint(0,len(data),10)
print(sampler)
sampler=np.random.permutation(len(data))[:10]
print(sampler)
# 条件抽样
data.take(sampler)
data.loc[data['质量等级']=='优',:]

简单随机抽样的结果如下

[1346 1122 1766 2154 1147 1593 1761   96   47   73]
[1883  326   43 1627 1750 1440  993 1469 1892  865]

条件抽样的结果如下

代码说明
1第3行利用Pandas函数random.randint()在指定范围内随机抽取指定个数这里是10的随机数。
2第 5行利用Pandas函数random.permutation是对数据随机打乱重排。之后再抽取前10个样本观测。
3第8行利用数据框的take()方法基于指定随机数获得数据集的一个子集。
4第9行利用数据框访问的方式抽取满足指定条件质量等级等于优行的数据。

四、Matplotlib的综合应用空气质量监测数据的图形化展示

Matplotlib是Python中最常用的绘图模块其主要特点如下
1Matplotlib的Pyplot子模块与MATLAB非常相似可以方便地绘制各种常见的统计图形是用户进行探索式数据分析的重要工具。
2可以通过各种函数设置图形的图标题、线条样式、字符形状、颜色、轴属性以及字体属性等等。
以下我们就用Matplotlib子模块Pyplot的强大功能基于空气质量监测数据进行画图。

4.1 AQI的时序变化特点

以下代码利用Matplotlib的线图展示2014年至2019年每日AQI的时序变化特点运行环境选取jupyter notebook

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

%matplotlib inline
plt.rcParams['font.sans-serif']=['SimHei']  #解决中文显示乱码问题
plt.rcParams['axes.unicode_minus']=False

data=pd.read_excel('E:\python机器学习数据建模与分析\数据\北京市空气质量数据.xlsx')
data=data.replace(0,np.NaN)   # 将缺失值用0代替

plt.figure(figsize=(10,5))
plt.plot(data['AQI'],color='black',linestyle='-',linewidth=0.5)
plt.axhline(y=data['AQI'].mean(),color='red', linestyle='-',linewidth=0.5,label='AQI总平均值')
data['年']=data['日期'].apply(lambda x:x.year)
AQI_mean=data['AQI'].groupby(data['年']).mean().values
year=['2014年','2015年','2016年','2017年','2018年','2019年']
col=['red','blue','green','yellow','purple','brown']
for i in range(6):
    plt.axhline(y=AQI_mean[i],color=col[i], linestyle='--',linewidth=0.5,label=year[i])
plt.title('2014年至2019年AQI时间序列折线图')
plt.xlabel('年份')
plt.ylabel('AQI')
plt.xlim(xmax=len(data), xmin=1)
plt.ylim(ymax=data['AQI'].max(),ymin=1)
plt.yticks([data['AQI'].mean()],['AQI平均值'])
plt.xticks([1,365,365*2,365*3,365*4,365*5],['2014','2015','2016','2017','2018','2019'])
plt.legend(loc='best')
plt.text(x=list(data['AQI']).index(data['AQI'].max()),y=data['AQI'].max()-20,s='空气质量最差日',color='red')
plt.show()

运行结果如下图所示

代码说明
1第3行Matplotlib的Pyplot子模块指定别名为plt。
2第5至7行指定立即显示所绘图形且通过参数设置解决图形中文显示乱码问题。
3第12行利用函数plt.figure说明图形的一般特征如这里宽为10高5。
4第13行利用函数plt.plot绘制序列折线图还可以绘制其他图。同时指定折线颜色、线形、线宽等。
5第14行利用函数plt.axhline在参数y指定的位置上画一条平行于横坐标的直线并给定直线图例文字。plt.axvline可参数x指定的位置上画一条平行于纵坐标的直线。
6第16至20行首先分组计算各年AQI的平均值然后通过for循环绘制多条平行于横坐标的直线表征各年AQI平均值。
7第21至23行利用title()、xlabel()、ylabel()指定图的标题横纵坐标的坐标标签。
8第2425行利用xlim()、ylim()指定横纵坐标的取值范围。
9第2627行利用xticks()、yticks()在指定坐标刻度位置上给出刻度标签。
10第28行利用legend()在指定位置这里best表示最优位置显示图例。
11第29行利用text()在指定的行列位置上显示指定文字
12第30行利用show()表示本次绘图结束。

4.2 AQI的分布特征及相关性分析

下面将利用Matplotlib对空气质量监测数据做如下图形化展示

• 利用线图展示2014年到2019年的年均AQI的变化特点。
• 利用直方图展示2014年到2019年AQI的整体分布特征。
• 利用散点图展示AQI和PM2.5的相关性。
• 利用饼图展示空气质量等级的分布特征。

具体代码如下

import warnings
warnings.filterwarnings(action = 'ignore')
plt.figure(figsize=(10,5))
plt.subplot(2,2,1)
plt.plot(AQI_mean,color='black',linestyle='-',linewidth=0.5)
plt.title('各年AQI均值折线图')
plt.xticks([0,1,2,3,4,5],['2014','2015','2016','2017','2018','2019'])
plt.subplot(2,2,2)
plt.hist(data['AQI'],bins=20)
plt.title('AQI直方图')
plt.subplot(2,2,3)
plt.scatter(data['PM2.5'],data['AQI'],s=0.5,c='green',marker='.')
plt.title('PM2.5与AQI散点图')
plt.xlabel('PM2.5')
plt.ylabel('AQI')
plt.subplot(2,2,4)
tmp=pd.value_counts(data['质量等级'],sort=False)  #等同tmp=data['质量等级'].value_counts()
share=tmp/sum(tmp)
labels=tmp.index
explode = [0, 0.2, 0, 0, 0,0.2,0]
plt.pie(share, explode = explode,labels = labels, autopct = '%3.1f%%',startangle = 180, shadow = True)
plt.title('空气质量整体情况的饼图')

结果如下图所示

代码说明
1第12行导入warnings模块并指定忽略代码运行过程中的警告信息。
2第4行subplot(2,2,1)表示将绘图区域分成2行2列4个单元且下一副图将在第1个单元显示。
3第8行subplot(2,2,2)表示将绘图区域分成2行2列4个单元且下一副图将在第2个单元显示。
4第9行利用hist()绘制AQI的直方图图中包含20个柱形条即将数据分成20组。
5第12行利用scatter()绘制PM2.5和AQI的散点图。并指定点的大小s颜色c和形状marker。
6第21行利用pie()绘制饼图。
 绘制饼图之前需事先计算饼图各个组成部分的占比距离饼图中心位置的距离那些组成部分需要拉出来突出显示、标签等以及第一个组成部分排放的起始位置等。

4.3 优化空气质量状况的统计图形

由于上图中四幅画出现了重叠现象为此可采取以下方式对图形进行优化调整。

fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,5))
axes[0,0].plot(AQI_mean,color='black',linestyle='-',linewidth=0.5)
axes[0,0].set_title('各年AQI均值折线图')
axes[0,0].set_xticks([0,1,2,3,4,5])
axes[0,0].set_xticklabels(['2014','2015','2016','2017','2018','2019'])
axes[0,1].hist(data['AQI'],bins=20)
axes[0,1].set_title('AQI直方图')
axes[1,0].scatter(data['PM2.5'],data['AQI'],s=0.5,c='green',marker='.')
axes[1,0].set_title('PM2.5与AQI散点图')
axes[1,0].set_xlabel('PM2.5')
axes[1,0].set_ylabel('AQI')
axes[1,1].pie(share, explode = explode,labels = labels, autopct = '%3.1f%%',startangle = 180, shadow = True)
axes[1,1].set_title('空气质量整体情况的饼图')
fig.subplots_adjust(hspace=0.5)
fig.subplots_adjust(wspace=0.5)

结果如下图所示

由于饼图中的“无”比例分配不太清晰所以单独重画一下

代码说明
1第1行说明绘图区域的宽和高并指定将绘图区域分成2行2列4个单元。结果将赋值给fig和axes对象。可通过fig对整个图的特征进行设置axes对应各个单元格对象。
2通过图形单元索引的方式指定绘图单元。例如axes[0,0]表示第1行第1列的单元格。
3单元格对象的图标题、坐标轴标签、坐标刻度等需采用set_title()、set_xlabel()、set_ylabel()、set_xticks()、set_xticklabels()设置。
3第1415行利用subplots_adjust调整各图形单元行或列之间的距离。

总结

Python作为一款面向对象、跨平台并且开源的计算机语言是机器学习实践的首选工具。入门Python机器学习应从了解并掌握Python的Numpy、Pandas、Matplotlib包开始。学习Python和完成机器学习实践的有效途径是以特定的机器学习应用场景和数据作为出发点沿着由浅入深的数据分析脉络以逐个解决数据分析实际问题为目标逐步展开对Python的学习和机器学习的实践。

📢博客主页https://blog.csdn.net/m0_63007797?spm=1011.2415.3001.5343
📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正
📢本文由 心无旁骛~ 原创首发于 CSDN博客🙉
📢停下休息的时候不要忘了别人还在奔跑希望大家抓紧时间学习全力奔赴更美好的生活✨