BeautifulSoup总结及contents内容分析
[Toc]
遇到的问题
今天爬取一个新闻网站时，返回了一个<link/>的自闭标签,解析后为
<item><title>美丽乡村・吉林光东村：中俄朝边境的“老人村” 种稻旅游两不误</title><link/>http://www.chinanews.com/tp/hd2011/2018/12-05/855105.shtml<description></description><pubdate>2018-12-05 11:03:02</pubdate></item>
用item.link.text返回为空。为了解决该问题，查找资料后，发现用content[2]便可获得完整的链接。
随后，我又开始疑惑为何下标为2？因为正常不应该从0开始计数么？
在这里插入图片描述
为了解决该问题，遂自行测试了以下代码，并根据python console中调试值窥探了soup的完整结构，由于结构复杂，查阅其官方文档后，给出以下总结。
html_doc = """
<html>
<head>
<title>The Dormouse's story</title>
</head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">
Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.
</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html_doc, 'html.parser')
// BeautifulSoup4解析该文件，文档树结构
BeautifulSoup
BeautifulSoup将复杂的HTML文档转换为一个复杂的树形结构，每个节点都是一个Python对象，对象可以归四类。Tag,NavigableString,BeautifulSoup,Comment
四类主要节点
Tag
主要两个属性：
{
name : 标签类别。如: u'b' , u'a' , u'head'...
attributes : 属性。如: <b class="boldset">有个"class"的属性，值为"boldset"。
其操作方法与字典相同，tag['class'] // u'boldset'
也可以直接获取属性。tag.attrs //{u'class': u'boldest'}
如果面对多值属性，返回值为List。
css_soup = BeautifulSoup('<p class="body strikeout"></p>')
css_soup.p['class']
# ["body", "strikeout"]
}
NavigableString
NavigableString类 用来包装tag中的字符串
tag.string
# u'Extremely bold'
type(tag.string)
# <class 'bs4.element.NavigableString'>
Navigable字符串与Unicode字符串相同，但是支持了 遍历文档树 和 搜索文档树 中定义的大部分属性。因此我们可以将其转换为Unicode字符串
unicode_string = unicode(tag.string)
BeautifulSoup
BeautifulSoup 对象表示的是一个文档的全部内容。大部分时候，可以直接把它当作Tag对象。
Comment
Comment是一个特殊类型的NavigableString对象。如：注释及特殊字符串
markup = "<b><!--Hey, buddy. Want to buy a used parser?--></b>"
soup = BeautifulSoup(markup)
comment = soup.b.string
type(comment)
# <class 'bs4.element.Comment'>
comment
# u'Hey, buddy. Want to buy a used parser'
soup的主要内容：
在这里插入图片描述
遍历文档树
子节点
.contents 和 .children
.contents属性可以将tag的子节点以列表的形式输出(不止tag还有navgableString)。
# 值得注意的是，哪怕只有一个换行\n也会占用contents一个位置，因此，这样就解决了本文一开始contents[2]为什么是2的原因了。([0]被一个值为"\n"的navgableString占了)
.children(<list_iterator object at 0x000002CCB1294390>)是一个list类型的迭代器。
图1 contents的内容
<center>图1 contents的内容</center>
图2 children迭代器的用法
<center>图2 children迭代器的用法</center>
.descendants
descendants同样是list迭代器，只不过指的是子孙节点，用法同children。
.string
如果tag只有一个子节点，可以直接获得子节点的值
如果有多个子节点，返回null
.strings 和 stripped_strings
strings也是一个迭代器，获得所有string(包括换行和空格)
stripped_strings和strings一样，但是去掉了多余空白内容(删除了换行和空格)
父节点
.parent 和 .parents
用法参考children
兄弟节点
.next_sibling 和 .previous_sibling
下一个兄弟和前一个兄弟
.next_sibings 和 .previos_siblings
迭代器。作用如其词义
回退和前进
HTML解析器把HTML文档的字符串转换成一连串的事件：“打开<html>标签”，“打开一个<head>标签”，”打开一个<title>标签”,”添加一段字符串”,”关闭<title>标签”,等等。BeautifulSoup就是重现了该初始化过程。因此才有了，回退和前进的概念。
.next_element 和 .previous_element
注意上述的过程，”打开一个<title>标签”,”添加一段字符串”,”关闭<title>标签”
“打开<title>标签”后，下一个动作是“添加字符串”，因此next_element为"Tillie"。
.next_elements 和 .previous_elements
同样也是迭代器，为了便于理解next_elements到底是如何实现的，下面给出代码和运行结果。
tag_a = soup.find("a",id = "link3")
tag_a
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>
for tmp in tag_a.next_elements:
print(repr(tmp))
# 'Tillie'
# ';\n and they lived at the bottom of a well.\n'
# '\n'
# <p class="story">...</p> //注释:这个动作是打开<p>标签，所以tmp是一个tag类型
# '...'
# '\n'
搜索文档树
过滤器
过滤器可以被用在tag的name中，节点属性中，字符串中或他们的混合中。
过滤器的类型：
1、字符串{最简单的过滤器。完整匹配。
soup.find_all('b')
# # [<b>The Dormouse's story</b>]
}
2、正则表达式{通过正则表达式的match()来匹配内容。灵活强大。
import re
for tag in soup.find_all(re.compile("^b")):
print(tag.name)
# body
# b
}
3、列表{ 与列表中任一元素匹配。
soup.find_all(["a", "b"])
# [<b>The Dormouse's story</b>,
# <a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
# <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
# <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
}
4、True{匹配任何值
for tag in soup.find_all(True):
print(tag.name)
# html
# head
# title
# body
# p
# b
# p
# a
# a
# a
# p
}
5、函数{ 自定义过滤器。函数只接受一个tag参数，返回值为Bool型
def has_class_but_no_id(tag):
return tag.has_attr('class') and not tag.has_attr('id')
soup.find_all(has_class_but_no_id)
# [<p class="title"><b>The Dormouse's story</b></p>,
# <p class="story">Once upon a time there were...</p>,
# <p class="story">...</p>]
}
find_all()
find_all( name , attrs , recursive , string , **kwargs )
name:
值：任一过滤器。
作用：找出所有名字为name的子tag，字符串自动被忽略
attrs:
值:除'函数'以外的过滤器。
作用: 按照过滤器规则搜索满足指定属性的tag。(如果是class属性，应该改写为class_ = "值")
recursive:
值: Bool值
作用: True时，搜索当前tag的所有子孙节点。False时，只搜索tag的直接子节点。
string:
值: 除""函数"以外的过滤器。
作用: 搜索文档中的字符串内容
limit:
值:int值
作用:限制返回结果的数量。
eg:
find_all('a',class_="sister",recursive = False, string = "story", limit = 10)
# 查找当前tag下，<a>标签，class属性值为sister，直系子节点，字符串 = story，的前10个tag。
find(), find_parent(), find_sibling(), find_next()等
这些参数都类似，效果如其字义
修改文档树
暂时无该需求，后续再补。
输出
- 格式化输出
将文档树格式化后以Unicode编码输出，每个XML/HTML标签都独占一行。 - 压缩输出（无空格换行）
str(soup) //utf-8编码
unicode(soup) //Unicode编码
一些其他细节
编码问题
传入的文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码。
BeautifulSoup有自动编码检测技术，如果想知道源文件什么编码，可以用：
soup.original_encoding
# 'utf-8'
输出时，无论进来什么编码，输出都是UTF-8编码
解析器
lxml的解析器 > html5lib > python标准库
lxml HTML 解析器：BeautifulSoup(markup, "lxml")
lxml XML 解析器：BeautifulSoup(markup, "xml")
html5lib：BeautifulSoup(markup, "html5lib")
Python标准库：BeautifulSoup(markup, "html.parser")
代码诊断
如果想知道Beautiful Soup到底怎样处理一份文档,可以将文档传入 diagnose() 方法(Beautiful Soup 4.2.0中新增),Beautiful Soup会输出一份报告,说明不同的解析器会怎样处理这段文档,并标出当前的解析过程会使用哪种解析器:
from bs4.diagnose import diagnose
data = open("bad.html").read()
diagnose(data)
# Diagnostic running on Beautiful Soup 4.2.0
# Python version 2.7.3 (default, Aug 1 2012, 05:16:07)
# I noticed that html5lib is not installed. Installing it may help.
# Found lxml version 2.3.2.0
#
# Trying to parse your data with html.parser
# Here's what html.parser did with the document:
# ...
效率问题
如果对效率要求很高，可以直接用lxml解析器。当然，BeautifulSoup使用lxml解析器的话，依旧比html5lib或Python内置解析器速度快很多。
有道云链接：http://note.youdao.com/noteshare?id=a7c5df8cd177db08f12947c9a9cd83ac
@copyright DAWN
