第11章 从Web抓取信息

• webbroswer：是python自带的，打开浏览器并打开指定页面。
• requests：从因特网上下载网页和文件。需安装（pip install requests），导入（import requests）。
• beautiful soup：解析HTML，即网页编写的格式。需安装（==pip install beautifulsoup4==），导入（==import bs4==）。
  文档地址：https://www.crummy.com/software/BeautifulSoup/bs4
  https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

sys.argv 变量保存了程序的文件名和命令行参数。

如果速度够，用 Beautiful Soup 等能实现解析 HTML，就别用正则，因为正则可能出现考虑不周全的情况。当然有时候特殊情况还是用正则。

用 request 请求网页（响应结果的 text 属性传给 bs4 对象）或者直接 open 打开一个 HTML 文件，然后传递给 BeautifulSoup 对象，再用 select 方法寻找元素。这就是一种简单的爬虫方法。

#! python3
import requests, bs4
res = requests.get('http://www.baixing.com/aladdin/baidu/fuwu/normal/index.xml')    # 从网站请求
res.raise_for_status()    #检查请求是否成功，若成功，什么也不做；若失败，则抛出异常。
# exampleFile = open('example.html')            # 直接打开HTML文件的方式
# exampleSoup = bs4.BeautifulSoup(exampleFile)  # 可向bs4.BeautifulSoup()传递一个HTML文件对象
exampleSoup = bs4.BeautifulSoup(res.text)   # 也可向bs4.BeautifulSoup()传递从网站请求来的text内容
elems = exampleSoup.select('loc')
# for i in range(117):  # 发现由于抓取的网页较多，速度较慢
    # del elems[1]      # 所以测试的时候，可以删除一些存放网页的元素
ans = []    # php中变量前有$符号，所以不用提前弱弱地声明一下，但Python中要！
for every in elems: 
    childHtml = requests.get(every.getText())
    allContent = bs4.BeautifulSoup(childHtml.text) 
    catg = allContent.select('catg')
    for eve in catg:
        ans.append(eve.getText())   # php循环遍历内部，想在ans中追加元素，直接 $ans[] = 欲追加内容 
        # print(eve.getText())
    
print(type(ans))
print(len(ans))
print(ans)

有 select 方法选择 CSS 选择器元素的一些用法，如：

attrs 给了我们一个字典，包含该元素的属性和属性的值。Tag 对象的 get() 方法可以很方便地从元素中获取属性值。

在谷歌或百度搜索出来的结构链接元素，大概这样：

<a href="rul?sa=t&rct=j&后面可能还有一大堆">

但是 <a>元素有很多，如何区分哪些就是查询结果的链接呢？查看别的 HTML 发现，假如 r 类仅用于查询结果链接，那么就可以用选择符 '.r a'，找到需要的检索结果。若想使用 Beautiful Soup，从下载的 HTML 中，提取排名靠前的numOpen查找结果链。

# 前面代码省略
linkElems = soup.select('.r a')
for i in range(numOpen):
    webbrowser.open('http://google.com' + linkElems[i].get('href'))

自动下载 XKCD 漫画

import requests, os, bs4
# url = 'http://xkcd.com' 这样会下载很久，所以直接从10张开始往前下载
url = 'http://xkcd.com/10'
os.makedirs('xkcd', exist_ok=True)
while not url.endswith('#'):
    # 下载（请求）页面
    print('Downloading page %s ...' % url)
    res = requests.get(url)
    res.raise_for_status()
    
    soup = bs4.BeautifulSoup(res.text)
    # 找到漫画图片的url，并请求之
    comicElem = soup.select('#comic img')
    if comicElem == []:
        print('Could not find comic image.')
    else:
        comicUrl = 'http:' + comicElem[0].get('src')
        print('Dowloading image %s' % comicUrl)
        res = requests.get(comicUrl)
        res.raise_for_status()
    
    # 保存图像，并找到前一张图像
    imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb')
    for chunk in res.iter_content(100000):
        imageFile.write(chunk)
    imageFile.close()
    
    # 找到上一张Prev按钮的url。
    prevLink = soup.select('a[rel="prev"]')[0]
    url = 'http://xkcd.com' + prevLink.get('href')
    
print('Done.')

调用 os.path.basename() 时传入 comicURL，它只返回 URL 的最后部分 ***.png，这样就可以方便地作为文件了。用 os.path.join() 连接这个名称和 xkcd 文件夹的名称，这样程序会在 Windows 下使用到斜杠（\），在OS X 和 Linux 下使用斜杠（/）连接。

下载页面并跟踪链接，是许多网络爬虫程序的基础。类似的程序还可以做下面的事情：

☆ 顺着网站的所有链接，备份整个网站。

☆ 拷贝一个论坛的所有信息。

☆ 复制一个在线商店中所有产品的目录。

但有时候，网站可能要求你先登录，这就需要 selenium 模块来执行一些复杂任务了。