python爬虫系列（4）- 提取网页数据（正则表达式、bs4、

2019-07-26 本文已影响0人永恒君的百宝箱

python 爬虫常见流程.jpg

记录提取网页数据（正则表达式、bs4、xpath）一些常用方法和使用样板。

就永恒君使用经验来说，bs4、xpath比较容易上手但是功能有限，正则比较晦涩难懂但是功能超级强大。

简介

正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。
re 模块使 Python 语言拥有全部的正则表达式功能。

import re 
pattern = re.compile(r'\d+')   # 查找数字
result1 = pattern.findall('runoob 123')

##结果为123，类型为list

或者

import re 
result1=re.findall(r'\d+','runoob 123')

具体怎么写正则表达式就不多说了，这里有一个教程可以参考：https://github.com/ziishaned/learn-regex/blob/master/translations/README-cn.md

网上教程也很多，多写多练才能更好掌握。

bs4

之前介绍了用bs4来解析 html 标签，完成之后就可以调用bs4的各种方法来提取数据。

基本用法

from bs4 import BeautifulSoup

soup = BeautifulSoup(html,'lxml')
soup.prettify() #格式化网页代码，缺少的补齐等等
soup.title #获取<title>标签
soup.title.string #获取title的文本内容
soup.p #获取p标签
soup.p["class"] #获取p标签的class属性
soup.find_all('a') #返回所有的a标签，返回列表

更多详细看官方文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

xpath

简单来说，xpath 就是一种在 XML 文档中查找信息的语言。

基本用法

test = html.xpath('/html/head/title') #表示匹配根节点下的head节点下的title元素节点

test = html.xpath('/html/head/title/text()')#表示匹配根节点下的head节点下的title元素节点中的文本节点
test = html.xpath('/a/@href') #表示匹配a元素节点下的子节点中的 href 属性节点

test = html.xpath('//a[@href]') #匹配带有 href 属性的 <a> 标签

test = html.xpath('//a[@href="image1.html"]') #指定带有 href 属性且值为 image1.html 的 <a> 标签

xpath 方法返回字符串或者匹配列表，匹配列表中的每一项都是 lxml.etree._Element 对象。

如上面的 test 作为测试样例，test 中的每一项都是一个 _Element 对象。我们写爬虫最终获取的数据信息，就是通过_Element 对象的方法来获取的。

test = html.xpath('//a[@href="image1.html"]')
obj = test[0]
obj.tag #返回标签名'a'
obj.attrib #返回属性与值组成的字典{'href': 'image1.html'}
obj.get('href') #返回指定属性的值
obj.text #返回文本值

使用XPath有一个方便的地方在于，可以直接使用Chrome浏览器来获取XPath路径，方法是：在网页中右击->选择审查元素（或者使用F12打开）就可以在elements中查看网页的html标签了，找到你想要获取XPath的标签，右击->Copy XPath 就已经将XPath路径复制到了剪切板。

常用的样板

正则

import requests
import re#导入相关的库
url="https://www.yhjbox.com"
data = requests.get(url)
pattern = re.compile(r'<title>(.*?)</title>')   # 查找数字
title = pattern.findall(data.text)
print(title)

正则输出结果.png

bs4

from bs4 import BeautifulSoup
import lxml
import requests

url='https://www.yhjbox.com'
data = requests.get(url)
soup = BeautifulSoup(data.content, 'lxml')
title = soup.find_all('title')[0].string

print(title)

bs4输出结果.png

xpath

import requests
from lxml import etree

url = 'https://www.yhjbox.com'
data = requests.get(url) 
html = etree.HTML(data.text)
title = html.xpath('/html/head/title/text()') 

print(title)