Python爬虫【如何爬取内容（html）和解析内容】（2019
本文链接：https://blog.csdn.net/Strive_0902/article/details/84201690
1 基础
HTML解析：定位基础是xpath，了解下面的链接的基本知识。
http://www.w3school.com.cn/xpath/xpath_syntax.asp
在python中使用HTML解析等操作时，需要安装lxml包，在pycharm的terminal下：pip install lxml
最重要的两个函数是：
html = etree.HTML(response.text) 获取到响应的内容后，采用etree的HTML方法，返回DOM树型结构的根节点
ans = html.xpath('//div[@class = "billboard-bd"]//tr/td/a/text()') 采用etree的xpath方法，定位到我们需要的东西
2 例题
DOM Tree是嵌套树结构，形象的理解为下图：
下面是构建HTML的DOM嵌套树形结构：
from lxml import etree
##构建HTML：header和body
###添加元素
root = etree.Element('html')
body = etree.Element('body')
root.append(body)
print(type(root))
print(root.tag)
###添加子元素
div1 = etree.SubElement(body,'div1')
div2 = etree.SubElement(body,'div2')
print(etree.tostring(root,pretty_print = True).decode())
运行结果为
3 爬虫（解析HTML）
目标是：用爬虫爬取豆瓣电影的一周口碑排行榜的电影名字。
首先：打开“https://movie.douban.com/”鼠标点击一周口碑榜下面的电影名字——右键查看。就可以看到该段对应的HTML源码
根据HTML的xpath定位语法，分别定位到order的文本1 ，2，3，4，5...和a下面的文本：电影的名字。xpath定位到的结果是列表。使用lxml里etree模块的最重要的两个函数：
html = etree.HTML(response.text) 获取到响应的内容后，采用etree的HTML方法，返回DOM树型结构的根节点
ans = html.xpath('//div[@class = "billboard-bd"]//tr/td/a/text()') 采用etree的xpath方法，定位到我们需要的东西
Python代码如下：
from urllib.parse import urlencode
import requests
from lxml import etree
url = "https://movie.douban.com/"
ua = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240"
with requests.request('GET',url,headers = {'User-agent':ua}) as res:
content = res.text #获取HTML的内容
html = etree.HTML(content) #分析HTML，返回DOM根节点
#path = //div[@class='billboard-bd']//td//a/text()
orders = html.xpath("//div[@class='billboard-bd']//tr/td[@class='order']/text()")
titles = html.xpath( "//div[@class='billboard-bd']//td//a/text()") #使用xpath函数，返回文本列表
print(orders)
print(titles)
ans = dict(zip(orders,titles)) #豆瓣电影之本周排行榜
for k,v in ans.items():
print(k,v)
实验结果如下：、
D:\Program_my\Anaconda3\python.exe F:/Python_workspace/spyder_study/HTML_Douban_xml.py
['1', '2', '3', '4', '5', '6', '7', '8', '9', '10']
['神奇动物：格林德沃之罪', '重金属囧途', '孤狼之血', '一个明星的诞生', '法外之王', '滑板少年', '风的另一边', '狼屋', '麦昆', '我的冤家是条狗']
1 神奇动物：格林德沃之罪
2 重金属囧途
3 孤狼之血
4 一个明星的诞生
5 法外之王
6 滑板少年
7 风的另一边
8 狼屋
9 麦昆
10 我的冤家是条狗
Process finished with exit code 0
---------------------
版权声明：本文为CSDN博主「JLL95」的原创文章，遵循CC 4.0 by-sa版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Strive_0902/article/details/84201690
