04_BeautifulSoup的使用3-其他功能

BeautifulSoup还支持的功能包括：
参考资料：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id47

• 修改文档树
• 输出格式
• 指定文档解析器
• 编码
• 解析部分文档

1、修改文档树

目前，对文档的修改应该不常用，若需用到，再查阅官方文档。

2、输出格式

支持的输出格式包括：

• 格式化输出：prettify() 方法将Beautiful Soup的文档树格式化后以Unicode编码输出,每个XML/HTML标签都独占一行

title = bsobj.prettify()
print(title)

# BeautifulSoup 对象和它的tag节点都可以调用 prettify() 方法
tag_s = bsobj.li.a.prettify()
print(tag_s)

• 压缩输出：如果只想得到结果字符串,不重视格式,那么可以对一个 BeautifulSoup 对象或 Tag 对象使用Python的 unicode() 或 str() 方法

• 输出格式：Beautiful Soup输出是会将HTML中的特殊字符转换成Unicode

• 获取tag中的文本信息，采用get_text():get_text()中可以指定分隔符并去除文本前后的空格。

tag_s = bsobj.get_text('!', strip=True)
print(tag_s)

3、指定文档解析器

BeautifulSoup支持不同的文档解析器，在未指定解析器的情况下，Beautiful Soup会自动选择一个解析器来解析文档。

• 指定文档解析器是在创建Beautiful Soup对象的时候指定：

bsobj = BeautifulSoup(codecs.open('index.html', 'r', 'utf-8'), 'html.parser')

• 不同的文档类型支持的文档解析器是不同的

4、编码

• 创建Beautiful Soup对象的时候可以指定编码格式：

  
  image.png

• 查看原始编码格式：bsobj.original_encoding

• 指定文档或标签的输出格式编码：bsobj.encode('utf-8)或者bsobj.title.encode('utf-8')

5、解析部分文档

如果仅仅因为想要查找文档中的<a>标签而将整片文档进行解析,实在是浪费内存和时间.最快的方法是从一开始就把<a>标签以外的东西都忽略掉。

• 采用SoupStrainer类定义文档的某段结构，这样搜索文档时就不必先解析整篇文档,只会解析在SoupStrainer中定义过的文档. 创建一个 SoupStrainer 对象并作为 parse_only 参数给 BeautifulSoup 的构造方法即可.

from bs4 import SoupStrainer, BeautifulSoup

only_a_tags = SoupStrainer("a")
only_tags_with_id_link2 = SoupStrainer(id="link2")

def is_short_string(string):
    return len(string) < 10

only_short_strings = SoupStrainer(text=is_short_string)
bsobj_1 = BeautifulSoup(codecs.open('index.html', 'r', 'utf-8'), parse_only=only_a_tags)
print(bsobj_1)

总结

• 粗略看一遍Beautiful Soup的官方文档下来，基本能理解这个库的方法和使用过程
• 接下来，就是多练习了