微信小程序爬能源相关题目

微信小程序爬虫

• 1.安装fiddler或其他抓包软件

• 1.1在tool options里面配置端口8889
• 1.2安装证书并且配置options

• 2.安装逍遥模拟器

• 2.1进bios里打开vt
• 2.2选择手机
• 2.3选择合适机型
• 2.4安装微信

• 3.安装证书以及代理

• 3.1先进入小程序
• 3.2打开设置
• 3.3打开cmd输入ipconifg
• 3.4清空fiddler

• 4.开始抓包

1.安装fiddler或其他抓包软件

1.1在tool options里面配置端口8889

1.2安装证书并且配置options

我选择的从所有进程，app爬虫最好选择从remote，我这个选择后没有包；

试过了很多模拟器，最后选择逍遥模拟器

2.安装逍遥模拟器

2.1进bios里打开vt

2.2选择手机

2.3选择合适机型

网络模式选择默认即可

2.4安装微信

由于最新版微信协议的问题会抓不到包，这里采用老版本

先下载

• 选择历史版本
• 选择7.0以前版本

3.安装证书以及代理

3.1先进入小程序

3.2打开设置

长按，选择修改网络

3.3打开cmd输入ipconifg

按本机ipv4地址设置好

并打开手机浏览器，地址栏访问本机ipv4地址

选择下面的download the fiddlerrootcertificate,并安装证书

3.4清空fiddler

浏览器地址栏输入www.baidu.com看fiddler能否抓到https的包

m.baidu.com是百度移动端的url,已经抓到了

已经抓到包了

可以看到请求的url和返回的json

完全相符

再次抓包

这样选择

经过简单分析，可以写脚本了，已经知道url地址和请求需要的参数

subjectid和name有对应关系，但是每个大的分类都要抓包

if subjectid == "838":
                sb = "锅炉"
            elif subjectid == "839":
                sb = "汽机"
            elif subjectid == "840":
                sb = "电气"
            elif subjectid == "841":
                sb = "控制"
            elif subjectid == "842":
                sb = "安全"
            elif subjectid == "843":
                sb = "环化"
            elif subjectid == "836":

if ques_type == "1":
                qstype = "单选"
            elif ques_type == "2":
                qstype = "多选"
            elif ques_type == "3":
                qstype = "判断"

if level == "1":
                level_content = "简单"
            elif level == "2":
                level_content = "中等"
            elif level == "3":
                level_content = "困难"

分别写了三个脚本，一个是url分别请求获取json并打包。一个是分析json，一个是分析json并分析数据组合到文本。代码已经放到gitee
链接: 微信小程序爬虫 的一次探索.