PC端微信小程序使用Fiddler进行爬取抓包_pc微信小程序抓包

本博客用于个人学习与工作中的收获

前言

前两天被安排了一个没有接触过的爬取微信小程序中数据的任务虽然我是连爬虫貌似都还没写过的实习仔但是想着应该不难那可不就信心满满地接下任务了。然后第一天一整天都在查资料看python爬虫相关的东西什么urllib、BeautifulSoup虽然一天下来我也就记得个流程了但至少知道是个啥了也算是个有收获摸鱼的一天了。

结果到了第二天搜索爬取微信小程序相关的内容结果发现貌似不太对微信小程序我好像直接拿不到地址啊那我的urllib.request就没有用武之地了啊这可咋办通过查阅资料发现微信小程序虽然把地址啥的都封装起来了但是好像可以通过Fiddler和 Charles 等抓包工具抓到数据包。行吧那就马上安排起来开整要是抓到包了总可以拿到数据或者地址啥的了吧

准备工作

• 下载Fiddler Classic : Fiddler Classic | Original Web Capturing Tool for Windows官网下载就完事了下载的时候邮件啥的随便填就完事了安装也就选个位置下一步就行了

• 在Fiddler中配置 Tool -> Options

• 勾选之后证书安装等弹窗全点 是 即可

  

  这个端口号后面配置代理需要用到

  

微信小程序设置

• 理论上微信小程序使用手机端通过局域网代理的模式应该可以抓到包但是经过尝试之后发现貌似抓不到啊~又是经过一般努力研究百度查查查发现抓取手机微信小程序上的包需要Android 系统的版本比较低7 以下没仔细查了或者是使用iOS的也行可是贫穷的我没有啊(ಥ_ಥ)那我就只好将目标转移到PC端的微信小程序啦

• 电脑微信登录时选择使用代理进行登录代理的地址可以将鼠标在Fiddler的右上角的Online上查看端口即为上面设置的端口号

  

  

• 但是注意这时候你可能出现打不开微信小程序或者是抓不到小程序的包的情况 可以先将目录 C:\Users\[你的用户名]\AppData\Roaming\Tencent\WeChat\XPlugin\Plugins\WMPFRuntime 下的文件先删除[微信先退出]注意【AppData】是隐藏目录哦。

  

• 然后再次使用代理登录微信后打开小程序打开小程序之后记得先将Fiddler的Cache和Cookies清除一下不然可能会抓不到

  

• 然后按需访问小程序应该就可以抓到包进行一下相关爬取操作啦实际效果如下可以看到小程序的数据包中的内容了