数据的解析的介绍（1）

1.xpath

注意提前安装xpath插件
1打开chrome浏览器
2点击右上角小圆点
3更多工具
4扩展程序
5拖拽xpath插件到扩展程序中
6如果crx文件失效需要将后缀修改zip
7再次拖拽
8关闭浏览器重新打开
9ctrl + shift + x
10出现小黑框

出现这个表示已经安装好了

xpath基本语法

1.路径查询 //查找所有子孙节点不考虑层级关系 / 找直接子节点
2.谓词查询 //div[@id] //div[@id=“maincontent”]
3.属性查询 //@class
4.模糊查询 //div[contains(@id, “he”)] //div[starts‐with(@id, “he”)]
5.内容查询 //div/h1/text() 6.逻辑运算 //div[@id=“head” and @class=“s_down”] //title | //price

1.安装lxml库
pip install lxml ‐i https://pypi.douban.com/simple
2.导入lxml.etree
from lxml import etree
3.etree.parse()
解析本地文件 html_tree = etree.parse(‘XX.html’)
4.etree.HTML() 服务器响应文件
html_tree = etree.HTML(response.read().decode(‘utf‐8’)
5.html_tree.xpath(xpath路径)

2.BeautifulSoup

1.BeautifulSoup简称 bs4
2.什么是BeatifulSoup BeautifulSoup和lxml一样是一个html的解析器主要功能也是解析和提取数据
3.优缺点 缺点效率没有lxml的效率高 优点接口设计人性化使用方便
注意默认打开文件的编码格式gbk所以需要指定打开编码格式

3.JsonPath