第二十一章 Beautiful Soup4 解析 HTML 文
基本介绍
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.
****官方中文文档-点我****
安装
pip3 install beautifulsoup4
安装解析器
pip3 install lxml html5lib
主要的解析器,以及它们的优缺点:
| 解析器 | 使用方法 | 优势 | 劣势 |
|---|---|---|---|
| Python标准库 | BeautifulSoup(markup, "html.parser") |
Python的内置标准库执行速度适中文档容错能力强 | Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差 |
| lxml HTML 解析器 | BeautifulSoup(markup, "lxml") |
速度快文档容错能力强 | 需要安装C语言库 |
| lxml XML 解析器 | BeautifulSoup(markup, ["lxml", "xml"])``BeautifulSoup(markup, "xml") |
速度快唯一支持XML的解析器 | 需要安装C语言库 |
| html5lib | BeautifulSoup(markup, "html5lib") |
最好的容错性以浏览器的方式解析文档生成HTML5格式的文档 | 速度慢不依赖外部扩展 |
基本使用
将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("index.html"))
默认情况下,Beautiful Soup会将当前文档作为HTML格式解析,如果要解析XML文档,要在 BeautifulSoup 构造方法中加入第二个参数 “xml”:
当然，前提是先安装 lxml
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("mycat.xml"),'xml')
对象的种类
所有对象可以归纳为4种: Tag , NavigableString , BeautifulSoup , Comment .
Tag 对象与XML或HTML原生文档中的tag相同:
from bs4 import BeautifulSoup
soup = BeautifulSoup(open("./mycat.xml"),'xml')
data_Host_tag = soup.dataHost
print(data_Host_tag)
# 只会找到第一匹配的标签
name
每个tag都有自己的名字,通过 .name 来获取
print(data_Host_tag.name)
如果改变了tag的name,那将影响所有通过当前Beautiful Soup对象生成的HTML文档
data_Host_tag.name = "div"
print(data_Host_tag)
print(data_Host_tag.name)
以下使用的示例文档是 mycat 的实例文档，目前请自行准备，或者试用任何的 HTML 文档代替进行练习
输出结果：
<div balance="1" dbDriver="native" dbType="mysql" maxCon="1000" minCon="10" name="localhost1" slaveThreshold="100" switchType="1" writeType="0">
<heartbeat>show status like 'wsrep%'</heartbeat>
<writeHost host="galera2" password="Qianfeng123!" url="galera2:3306" user="shop"> </writeHost>
<writeHost host="galera3" password="Qianfeng123!" url="galera3:3306" user="shop"> </writeHost>
<writeHost host="galera4" password="Qianfeng123!" url="galera4:3306" user="shop"> </writeHost>
</div>
div
attrs
一个标签(tag)可能有很多个属性，tag的属性的操作方法与字典相同:
# 获取所有属性
data_Host_tag.attrs
# 获取单个属性
data_Host_tag.get('dbType')
tag的属性可以被添加,删除或修改. 再说一次, tag的属性操作方法与字典一样
# 修改属性
data_Host_tag['maxCon'] = '1500'
print(data_Host_tag.attrs)
# 添加属性
data_Host_tag['id'] = 'test_id'
print(data_Host_tag.attrs)
# 删除属性
del data_Host_tag['id']
print(data_Host_tag.attrs)
多值属性，在Beautiful Soup中多值属性的返回类型是list:
div_tab = '<div class="c1 c2 c3">div 的文本内容</div>'
html_soup = BeautifulSoup(div_tab, 'lxml')
div_soup = html_soup.div
css_soup = div_soup['class']
print(css_soup)
如果转换的文档是XML格式,那么tag中不包含多值属性
遍历文档
子节点
一个 Tag 可能包含多个字符串或其它的Tag,这些都是这个Tag的子节点。
==注意: Beautiful Soup中字符串节点不支持这些属性,因为字符串没有子节点==
Beautiful Soup提供了许多操作和遍历子节点的属性.
1. 通过标签的名字操作子节点
操作文档树最简单的方法就是告诉它你想获取的tag的name.如果想获取 <head> 标签,只要用 soup.head :
获得一个文档的 <head> 标签
soup.head
==注意：通过这种方式只能获得当前所有子标签中的第一个tag:==
就像下面这样的，只能获取到整个文档中的第一 div 下的第一个 a 标签
soup.div.a
==注意：上面的div不论处在整个文档的那层位置，找到的总是第一个div==
2 .contents 和 .children
tag的 .contents 属性可以将tag的子节点以列表的方式输出:
schema_tag = soup.schema
child_li = schema_tag.contents
print(child_li)
通过tag的 .children 生成器,可以对tag的子节点进行循环:
schema_tag = soup.schema
for child in schema_tag.children:
print(child)
3. .descendants
.contents 和 .children 属性仅包含tag的直接子节点.例如,<head>标签只有一个直接子节点<title>
假如想递归的循环一个标签的所有子孙节点，就需要用 .contents
4. .parent
获取一个标签的父节点
tag.parent
5. .parents
循环一个标签的所有父节点
查找
唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表,而 find() 方法直接返回结果.
find_all() 方法没有找到目标是返回空列表, find() 方法找不到目标时,返回 None .
find()
find_all()
找到文档中所有的 a 标签
div.find_all('a')
找到文档中所有以 d 开头的标签
import re
html.find_all(re.compile("^b"))
找到文档中所有 div标签或者a标签
html.find_all(['div', 'a'])
详细分析 find_all
find_all( name , attrs , recursive , text , **kwargs )
name 参数可以查找所有名字为 name 的tag,字符串对象会被自动忽略掉.
如果一个指定名字的参数不是搜索内置的参数名,搜索时会把该参数当作指定名字tag的属性来搜索,如果包含一个名字为 id 的参数,Beautiful Soup会搜索每个tag的”id”属性.
过滤器
过滤器贯穿整个搜索的API.
过滤器可以被用在tag的name中,节点的属性中,字符串中或他们的混合中.
查找 class 的值为 test 的所有标签
soup.find_all(class='test')
查找含有 class 属性的标签，不论class 的值是什么
soup.find_all(class=True)
接上例, 只返回 5 条数据
soup.find_all(class=True, limit=5)
只搜索标签的子节点，不进行深度搜索（孙子节点）
soup.html.find_all("title", recursive=False)
