02数据提取-xpath
2018-04-13 本文已影响26人
何惧l
xpath
xpath（XML Path Language）是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历
xpath语法
http://www.w3school.com.cn/xpath/xpath_syntax.asp
具体的用法可以在这个网站上进行查看
XPath开发工具
- Chrome插件XPath Helper
lxml库
lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据
lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息
- lxml python 官方文档
http://lxml.de/index.html - 需要安装C语言库，可使用 pip 安装：pip install lxml
使用lxml解析HTML代码
- 解析html字符串，使用
lxml.etree.HTML进行解析
# 使用lxml的etree库
from lxml import etree
# text = '''
# <div>
# <ul>
# <li class="item-0"><a href="link1.html">first item</a></li>
# <li class="item-1"><a href="link2.html">second item</a></li>
# <li class="item-inactive"><a href="link3.html">third item</a></li>
# <li class="item-1"><a href="link4.html">fourth item</a></li>
# <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
# </ul>
# </div>
# '''
# 利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text)
# 按字符串序列化HTML文档
result = etree.tostring(html) # 这个时候文档会出现乱码
# 采用下面的方法，文档不会出现乱码
result = etree.tostring(html,encoding='utf-8').decode('utf-8')
# print(result)
# 可以看到,lxml会自动修改HTML代码
从文件中读取html代码：
解析html文件：使用lxml.etree.parse进行解析,这个函数默认的是XML解析器，所以如果遇到不规范的HTML代码的时候就会解析错误，这个时候就的自己定义解析器
from lxml import etree
# 从文件中读取html代码
# 读取外部文件hello.html,规范的html代码
html = etree.parse('hello.html')
result = etree.tostring(html,encoding='utf-8').decode('utf-8')
print(result)
遇到不规范的HTML代码
from lxml import etree
# 若遇到不规范的html出现问题，那么这样解析就会报错
# 这个时候就得添加一个属性parse,还得指定解释器
def parse_lagou_file():
# 自定义一个解释器
parse = etree.HTMLParser(encoding='utf-8')
# 解析的时候添加一个属性
html = etree.parse('lagou.html',parser=parse)
# 这样就可以准确的打印出来汉字
result = etree.tostring(html,encoding='utf-8').decode('utf-8')
print(result)
在lxml中使用XPath语法
XPath函数返回的永远是一个列表
- 常见的操作：
#encoding: utf-8
# 在lxml中使用Xpath语法
from lxml import etree
parse = etree.HTMLParser(encoding='utf-8')
# 从外部读取html文件
html = etree.parse('hello.html',parser=parse)
# 查看返回类型
print(type(html))
# 1. 打印li标签的元素集合
# result = html.xpath('//li')
# print(result)
# 2. 获取所有li元素下的所有class属性的值
result = html.xpath('//li[@class]')
print(result)
# 3. 获取li标签下href为www.baidu.com的a标签
result = html.xpath('//li/a[@href="www.baidu.com"]')
print(result)
# 4. 获取li标签下所有span标签
# result = html.xpath('//li/span')
# 这样是不对的，因为 / 是用来获取子元素的，而
# span元素并不是li的子元素
result = html.xpath('//li//span')
print(result)
# 5. 获取li标签下的a标签里的所有class
result = html.xpath('//li/a//@class')
print(result)
# 获取最后一个li的a的href属性对应的值
result = html.xpath('//li[last()]/a/@href')
print(result)
# 获取倒数第二个li元素的内容
result = html.xpath('//li[last()-1]/a/text()')
print(result)
- 实例的html代码，
https://hr.tencent.com/social.php
<table class="tablelist" cellpadding="0" cellspacing="0">
<tbody><tr class="h">
<td class="l" width="374">职位名称</td>
<td>职位类别</td>
<td>人数</td>
<td>地点</td>
<td>发布时间</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=36628&keywords=&tid=87&lid=0">21557-音视频质量评估算法工程师（深圳）</a></td>
<td>技术类</td>
<td>1</td>
<td>深圳</td>
<td>2018-02-02</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=36624&keywords=&tid=87&lid=0">MIG16-自动驾驶协调控制(北京)</a></td>
<td>技术类</td>
<td>1</td>
<td>北京</td>
<td>2018-02-02</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=36610&keywords=&tid=87&lid=0">22989-系统运维工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>1</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=36609&keywords=&tid=87&lid=0">22989-系统测试工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>3</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=36608&keywords=&tid=87&lid=0">22989-高级系统测试工作师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>1</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=36607&keywords=&tid=87&lid=0">22989-后台开发工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>2</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=36606&keywords=&tid=87&lid=0">22989-高级后台开发工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>2</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=36605&keywords=&tid=87&lid=0">22989-web前端开发工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>2</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="even">
<td class="l square"><a target="_blank" href="position_detail.php?id=36617&keywords=&tid=87&lid=0">22989-应用架构设计师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>3</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
<tr class="odd">
<td class="l square"><a target="_blank" href="position_detail.php?id=36616&keywords=&tid=87&lid=0">22989-高级售前技术工程师—数字广东公司（腾讯投资）</a><span class="hot"> </span></td>
<td>技术类</td>
<td>1</td>
<td>广州</td>
<td>2018-02-02</td>
</tr>
</tbody>
</table>
- 对上面的文本进行实际操作：
#encoding: utf-8
from lxml import etree
# 自己定义一个解释器
parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('tencent.html',parser=parser)
# result = etree.tostring(html,encoding='utf-8').decode('utf-8')
# xpath返回的是列表
# 1.获取所有的tr标签
trs = html.xpath('//tr')
for tr in trs:
print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
# 2.获取第二个tr标签
# trs = html.xpath('//tr[2]')
# for tr in trs:
# print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
# 也可以这样写,因为返回的是一个列表，选第一个元素就可以，
tr = html.xpath('//tr[2]')[0]
# 3.获取所有class等于even的标签
trs = html.xpath('//tr[@class="even"]')
print(type(trs))
for tr in trs:
print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))
# 4.获取所有a属性的href属性的值
# 注意：这个是获取所有拥有href属性的a标签
# trs = html.xpath('//a[@href]')
# 若返回的值字符串类型就不用进行tostring
ass = html.xpath('//a/@href')
for a in ass:
print('https://hr.tencent.com/'+a)
# 5.获取所有的职位纯文本
trs = html.xpath('//tr[position()>1]')
positions = []
for tr in trs:
# 获取当前的a的href属性
# 在某个标签下再执行xpath函数，获取这个标签下的子孙元素
# 那么应该在//之前加一个.，表示从当前元素下获取
href = tr.xpath('.//a/@href')[0]
fullurl = 'https://hr.tencent.com'+ href
# 这个获取文本
# title = tr.xpath('.//a/text()')[0]
# 或者.这里需要注意，使用的是 // ，因为a元素的文本不是td的直接下一级元素
title = tr.xpath('./td[1]//text()')[0]
category = tr.xpath('./td[2]/text()')[0]
# print(category)
# break
nums = tr.xpath('./td[3]/text()')[0]
adds = tr.xpath('./td[4]/text()')[0]
time = tr.xpath('./td[5]/text()')[0]
position = {
'url':fullurl,
'title':title,
'category':category,
'nums':nums,
'adds':adds,
'time':time
}
positions.append(position)
# print(etree.tostring(href,encoding='utf-8').decode('utf-8'))
for p in positions:
print(p)
实战结果.png
