用python写网络爬虫五：动态内容
根据联合国全球网站可访 问性审计报告 ， 73%的主流网站都在其重要功能
中 依赖 JavaScript （ 参考 http : / /www . un . org/esa/socdev/enable/
documents/execsumnomensa . doc）。和单页面应用 的简单表单事件不同 ，
使用 JavaScript 时， 不再是加载后立即下载所有页面内容。 这样就会造成许多
网页在浏览器中展示的 内容不会出现在 HTML 源代码中 ， 本书前面介绍的抓
取技术也就无法正常运转了 。 对于这种依赖 JavaScript 的动态网站，
本章将会介绍两种抓取其数据的方法， 分别是：
- JavaScript 逆向工程：
- 渲染 JavaScript。
1. 对动态网页进行逆向工程：
让我们来看一个动态网页的例子。 示例 网站有一个搜索表单， 可 以通过
http : / /example . webscraping . com/ search 进行访 问 ， 该页面用于查
询国家。因 为 该 网 页 中 的数据是使用JavaScript 动态加载的 。 要想抓取该数据， 我们需要了解网页是如何加载该数据 的 ， 该过程也被称为逆 向 工程 。 继续上一节 的例子 ， 在 Firebug 中单击Console 选项卡， 然后执行一次搜索， 我们将会看到产生了一个 AJAX 请求，
图片.png
AJAX 响应返回的数据是JSON格式的 ， 因此我们可以使用 Python 的 j son
模块将其解析成一个字典
import requests
import json
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=10&search_term=a'
html = requests.get(url).text
print json.loads(html)
现在， 我们得到 了一个简单的方法来抓取包含字母 A 的 国家。 要想获取
所有国家的信息， 我们需要对字母表中 的每个字母调用一次 AJAX 搜索 。 而
且对于每个字母 ， 搜索结果还会被分割成多个页面 ， 实际页数和请求时的
page si ze 相关。 保存结果时还会遇到一个问题， 那就是同一个国家可能会
在多次搜索时返回 ， 比如 Fij i 会匹配 f, i, j 三次搜索结果。 这些重复的
搜索结果需要过滤处理， 这里采用 的方法是在写入表格之前先将结果存储到
集合中 ， 因为集合这种数据类型不会存储重复的元素。
下面是其实现代码， 通过搜索字母表中 的每个字母， 然后遍历 JSON 响应
的结果页面， 来抓取所有国家信息。 其产生的结果将会存储在表格当 中 。
#!/usr/bin/env python
# -*-coding:utf-8 -*-
import requests
import json
import string
def main():
template_url = 'http://example.webscraping.com/ajax/search.json?page={}&page_size=10&search_term={}'
countries = set()
for letter in string.lowercase:
print letter
page = 0
while True:
try:
html = requests.get(template_url.format(page, letter)).text
except Exception as e:
print e
continue
try:
ajax = json.loads(html)
except ValueError as e:
print e
ajax = None
else:
for record in ajax['records']:
countries.add(record['country'])
page += 1
if ajax is None or page>= ajax['num_pages']:
break
open('countries.txt', 'w').write('\n'.join(sorted(countries)))
if __name__ == '__main__':
main()
1.1边界情况
前面 的 AJAX搜索脚本非常简单， 不过我们还可以利用一些边界 情 况使其进一 步简化。 目前， 我们是针对 每 个字母执行查询操作 的 ，也就是说我们需要 26 次 单独 的查询， 并且这些查询结果又 有 很多重复。 理想情况 下， 我们可以使用一次搜索查询就能配 所有结果 。接下来， 我们将尝 试 使用不 同 字符 来 测 试这种想法是否可行
使用’ · ’ ， 这是正则表达式里用于匹配所有字符的元字符。
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=10&search_term=.'
print json.loads(requests.get(url).text)['num_pages']
页码数为26
测试成功，说明服务端可以通过正则表达式进行匹配。因此可以把依次搜索每个字符替换成只对点号搜索一次了。
提高每个页面显示的数量的值，可以使下载次数减少 page_size 增加为20：
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=20&search_term=.'
print json.loads(requests.get(url).text)['num_pages']
页码数为 13
将pagesize改为最大值1000
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=1000&search_term=.'
print json.loads(requests.get(url).text)['num_pages']
页码数是1
服务端并没有检查该参数是否与界面允许的选项值相匹配， 而是直
接在一个页面中返回 了所有结果。 许多 Web 应用不会在 AJAX 后端检查这一参数， 因为它们认为请求只会来 自 Web 界面。
现在， 我们手工修改了这个 URL， 使其能够在一次请求中下载得到所有
国家的数据 。 进一步简化之后 ， 抓取所有国家信息的实现代码如下 ：
def main():
url = 'http://example.webscraping.com/ajax/search.json?page=0&page_size=1000&search_term='
writer = csv.writer(open('countries.csv', 'w'))
html = requests.get(url + '.').text
ajax = json.loads(html)
for record in ajax['records']:
writer.writerow([record['country']])
if __name__ == '__main__':
main()
2.渲染动态网页
选择支持Qt的python库 我选择的是Pyside,下载Pyside
为了确认 WebKit 能够执行 JavaScript， 我们可以使用位于 http://example.webscraping.com/dynamic 上的这个简单示例 。
使用传统的方式，得到的值是空值，使用webkit初始版本代码则得到了需要的值
#!/usr/bin/env python
# -*-coding:utf-8 -*-
from PySide.QtGui import *
from PySide.QtCore import *
from PySide.QtWebKit import *
import requests
import lxml.html
url = 'http://example.webscraping.com/dynamic'
# 传统方式
def normal_main():
html = requests.get(url).text
tree = lxml.html.fromstring(html)
print tree.cssselect('#result')[0].text_content()
# 使用webkit
def main():
# 初始化QApplication对象
app = QApplication([])
# 创建QWebview 对象，该对象是文本文档的容器
webview = QWebView()
# 创建QEventloop对象，该对象用于创建本地事件循环
loop = QEventLoop()
# QWebView 对象的 loadFinished 回调连接了 QEventLoop 的quit 方法， 从而可以在
# 网页加载完成之后停止事件循环。将要加载的 URL 传给 QWebViewo PyQt 需要将该 U肚 字符串封装在对象当 中 ，
# 而对于 PySide 来说则是可选工页。
webview.loadFinished.connect(loop.quit)
webview.load(QUrl(url))
#由于QWebView 的加载方法是异步的 ， 因此执行过程会在网页加载时立即传入下一行。 但我们
# 又希望等待网页加载完成， 因此需要在事件循环启动时调用 loop.exec_()
loop.exec_()
html = webview.page().mainFrame().toHtml()
tree = lxml.html.fromstring(html)
# 从最后一行可以看出 ， 我们成功执行了JavaScript, div元素果然抽取出了HelloWorldo
print tree.cssselect('#result')[0].text_content()
if __name__ == '__main__':
main()
# normal_main()
使用webkit与网站交互 :
1、等待结果
#!/usr/bin/env python
# -*-coding:GBK -*-
from PySide.QtGui import QApplication
from PySide.QtCore import QUrl, QEventLoop
from PySide.QtWebKit import QWebView
def main():
url = 'http://example.webscraping.com/search'
app = QApplication([])
webview = QWebView()
loop = QEventLoop()
webview.loadFinished.connect(loop.quit)
webview.load(QUrl(url))
loop.exec_()
webview.show()
frame = webview.page().mainFrame()
frame.findFirstElement('#search_term').setAttribute('value', '.')
frame.findFirstElement('#page_size option:nth-child(2)').setPlainText('1000')
frame.findFirstElement('#search').evaluateJavaScript('this.click()')
elements = None
while not elements:
app.processEvents()
elements = frame.findAllElements('#results a')
countries = [e.toPlainText().strip() for e in elements]
print len(countries), countries
if __name__ == '__main__':
main()
2. 渲染类
为 了提升这些功能后续的易用性， 下面会把使用 到的方法封装到一个类
中
#!/usr/bin/env python
# -*-coding:utf-8 -*-
import time
from PySide.QtGui import QApplication
from PySide.QtCore import QUrl, QEventLoop, QTimer
from PySide.QtWebKit import QWebView
import sys
import csv
class BrowserRender(QWebView):
def __init__(self, show = True):
self.app = QApplication(sys.argv)
QWebView.__init__(self)
if show:
self.show()
def open(self, url, timeout=60 ):
loop = QEventLoop()
timer = QTimer()
timer.setSingleShot(True)
timer.timeout.connect(loop.quit)
self.loadFinished.connect(loop.quit)
self.load(QUrl(url))
timer.start(timeout*1000)
loop.exec_()
if timer.isActive():
timer.stop()
return self.html()
else:
print 'Request timed out:',url
def html(self):
return self.page().mainFrame().toHtml()
def find(self, pattern):
return self.page().mainFrame().findAllElements(pattern)
def attr(self, pattern, name, value):
for e in self.find(pattern):
e.setAttribute(name,value)
def text(self, pattern, value):
for e in self.find(pattern):
e.setPlainText(value)
def click(self, pattern):
for e in self.find(pattern):
e.evaluateJavaScript('this.click()')
def wait_load(self, pattern, timeout=60):
deadline = time.time()+timeout
while time.time() < deadline:
self.app.processEvents()
matches = self.find(pattern)
if matches:
return matches
print 'wait load timed out'
def main():
url = 'http://example.webscraping.com/search'
br = BrowserRender()
br.open(url)
br.attr('#search_term', 'value', '.')
br.text('#page_size option:nth-child(2)', '1000')
br.click('#search')
elements = br.wait_load('#results a')
writer = csv.writer(open('countries.csv','w'))
for country in [e.toPlainText().strip() for e in elements]:
writer.writerow([country])
if __name__ == '__main__':
main()
3.selenium
使用前面例子中 的 WebKit 库， 我们可以 自 定义浏览器渲染引擎， 这样就
能完全控制想要执行的行为 。 如果不需要这么高的灵活性， 那么还有一个不
错 的替代品 Selenium 可 以选择 ， 它提供了 使浏览器 自 动化的 API 接 口 。
需要注意的是我们需要前往http://docs.seleniumhq.org/download/
下载所用浏览器对应的第三方driver。官网慢的话可以使用csdn的资源链接
http://download.csdn.net/download/wsryyffs/9658123
在这里，我们使用Firefox浏览器，因此需要下载Mozilla GeckoDriver：
并且把他放到火狐安装位置的路径下，将改路径添加到环境变量中
GeckoDriver配置.png
示例代码：
#!/usr/bin/env python
# -*-coding:utf-8 -*-
from selenium import webdriver
def main():
driver = webdriver.Firefox()
driver.get('http://example.webscraping.com/search')
driver.find_element_by_id('search_term').send_keys('.')
driver.execute_script("document.getElementById('page_size').options[1].text = '5'");
driver.find_element_by_id('search').click()
driver.implicitly_wait(60)
links = driver.find_elements_by_css_selector('#results a')
countries = [link.text for link in links]
driver.close()
print countries
if __name__ == '__main__':
main()
总结：
本章介绍 了 两种抓取动态 网 页数据 的方法。 第一种方法是借助 FirebugLite 对动态网页进行逆向工程， 第二种方法是使用浏览器渲染引 擎为我们触发 JavaScript 事件。 我们首先使用 WebKit 创建 自 定义浏览器， 然后使用更高级的 Selenium 框架重新实现该爬虫。
浏览器渲染引擎能够为我们节省 了解网站后端工作原理的时间 ， 但是该方法也有其劣势。 渲染网页增加 了 开销， 使其比单纯下载 HTML 更慢。 另外，使用浏览器渲染引擎的方法通常需要轮询网页来检查是否 已经得到事件生成的 HTML， 这种方式非常脆弱 ， 在网络较慢时会经常会失败。 我一般将浏览器渲染引擎作为短期解决方案， 此时长期的性能和可靠性并不算重要： 而作为长期解决方案， 我会尽最大努力对网站进行逆向工程。
不可不读
值得一看的友情链接
这个作者写的很好，其中frame.findFirstElement('#page_size option:nth-child(2)').setPlainText('1000')中的代码也是这里找到的解决方案，大家在学习python爬虫时可以借鉴一下，我这个就献丑了，哈哈，欢迎交流。
