用Python实现网络爬虫
Web Scraping with Python
这是《Web Scraping with Python》一书的阅读笔记。该笔记跳过了一些不必要的描述，对书的代码也做了核实，也引入了一些我自己对爬虫脚本实现的理解。
第一章 你的第一个网络爬虫程序
为了帮助理解，作者用了一个例子。假设Alice有一个网络服务器。而Bob想用一个台式机通过浏览器访问Alice的服务器上运行的某个网站。整个访问过程归纳如下：
1. Bob输入访问网站的地址后，Bob的电脑传输一段二进制的数据，这些数据包含数据头和数据内容。数据头包含发送方的mac地址和目的地的ip地址，而数据内容包含了针对Alice网络服务器的请求，例如，获得某个网页页面。
2. Bob的本地网络路由器将数据打包传输到Alice的ip地址。
3. Bob的数据最后通过物理电缆进行传输。
4. Alice的服务器接受到了Bob的数据包。
5. Alice的服务器识别存于数据头的端口号，发现是80，意味着这是一个网页请求，于是调用网页服务器相关的程序。
6. 网页服务器程序接受到如下信息：:
- This is a GET request
- The following file is requested: index.html
7. 网页服务器程序载入正确的HTML 文件，并打包通过本地路由发送给Bob的电脑.
而Python的库包含了模拟浏览器访问某个页面的功能，如下：
from urllib.request import urlopen
html = urlopen("http://pythonscraping.com/pages/page1.html")
print(html.read())
这是一段Python3的程序，请用Python3.X的版本运行它。执行后，该网页的HTML内容会被打印出来，其实就是Chrome浏览器右键查看网页源代码可以看到的网页内容。
urllib 还是 urllib2?
Python2中用urllib2，而Python3中用urllib。urllib是Python的标准库，用于网页数据请求，处理Cookies，甚至更改请求者的数据头信息。因为正本书的代码都会涉及urllib的使用，所以有空的时候可以看看Python的官方文档：https://docs.python.org/3/library/urllib.html
BeautifulSoup的介绍和安装
一句话来概括，BeautifulSoup将不可能变成了可能，它将HTML的内容组织成了Python可以识别的对象格式。因为BeautifulSoup不是Python默认的库，我们要先安装它。本书用BeautifulSoup的第四个版本。下载地址：https://pypi.python.org/pypi/beautifulsoup4。可下载安装包：beautifulsoup4-4.5.3.tar.gz(md5)。解压后使用命令："python.exe setup.py install" 进行安装，这种安装方式在Windows下也可行。当然也可以使用pip命令安装，省去下载安装包的过程："pip install beautifulsoup4"，但Windows下，要另外装pip工具。
BeautifulSoup初体验
from urllib.request import urlopen
from bs4 import BeautifulSoup
html = urlopen("http://www.pythonscraping.com/exercises/exercise1.html")
bsObj = BeautifulSoup(html.read(), "html.parser");
print(bsObj.h1)
这段代码解析了exercise1.html这个HTML文件，并输出了h1这个字段的内容：
<h1>An Interesting Title<h1>
HTML文件的结构
上面这个图显示的是HTML的常用结构。bsObj.h1是一个快捷的访问h1数据的方法，实际上类似这样的访问也是有效的：bsObj.html.body.h1，bsObj.body.h1，bsObj.html.h1
通过这个例子，我们应该可以体会到BeautifulSoup的方便。第三章将对BeautifulSoup做更深入的讨论，例如：使用正则表达式提取网页数据。
考虑脚本的稳定性
try:
html = urlopen("http://www.pythonscraping.com/exercises/exercise1.html")
except HTTPError as e:
print(e)
#return null, break, or do some other "Plan B"
else:
#program continues. Note: If you return or break in the
#exception catch, you do not need to use the "else" statement
考虑到某些情况下会出现页面无法访问的问题，建议加上以上出错判断的代码。如果尝试访问的BeautifulSoup标签不存在，BeautifulSoup会返回None对象。那么问题来了，访问None对象会抛出AttributeError异常。以下是一个鲁棒的获取数据的脚本：
容错的脚本例子
第二章 HTML解析的进阶
第一章介绍的BeautifulSoup可以很方便地提取需要的带标签的数据，但随着标记深度的递增，简单地使用对象数据不利于表达和调试，例如以下代码就很难理解：
bsObj.findAll("table")[4].findAll("tr")[2].find("td").findAll("div")[1].find("a")
这段代码不仅不美观，还不够鲁棒。当爬取的网站做了小幅度的更改后，这段代码就无效了。有没有更好的方法呢？
BeautifulSoup的另一个功能
通常，一个HTML页面都包含有CSS样式，例如
<span class="green"></span>
<span class="red"></span>
BeautifulSoup可以通过制定class的值，过滤一些不需要的内容。例如
nameList=bsObj.findAll("span", {"class":"green"})
for name in nameList:
print(name.get_text())
这句代码可以获得class为green的span内容。其中函数get_text()可以获得标签的内容。
findAll和find的函数定义如下
findAll(tag,attributes,recursive,text,limit,keywords)
find(tag,attributes,recursive,text,keywords)
findAll还有很多有用的写法
.findAll({"h1","h2","h3","h4","h5","h6"})
.findAll("span", {"class":"green","class":"red"})
这些代码可以列出所有有关的标签内容。recursive设置为true的话就执行递归查询。默认情况该值为true。
nameList=bsObj.findAll(text="the prince")
print(len(nameList))
以上的代码可以统计"the prince"字符串出现的次数，输出为7。（真是太强大了）
allText=bsObj.findAll(id="text") #和bsObj.findAll("", {"id":"text"})是等价的
print(allText[0].get_text())
这段代码可以根据attribute来选择内容，代码的输出是id是text的div包含的所有文本内容。因为class是Python的关键字，bsObj.findAll(class="green")是不允许的，可以用以下代码替换：
bsObj.findAll(class_="green")
bsObj.findAll("", {"class":"green"}
正则表达式
正则表达式在很多人眼里都是个高大上的工具，什么都不多说了，先来一个例子。
aa*bbbbb(cc)*(d | )
aa*
这里的*指代任何东西
bbbbb
代表5个b，没有其它的意义
(cc)*
代表任意个重复的c，也可以是0个
(d | )
|代表或的意思，这句代表以d和空格结尾，或者仅仅以空格结尾
一些通用的规则如下，例如E-mail的命名规则：
E-mail能包含的字符为：大小写字母、数字、点、加号或者下划线，并且每个E-mail都要包含@符号。这个规则用正则表达式可以这样写：[A-Za-z0-9\._+]+
正则表达式非常得智能，它会知道中括号中的内容是指从A到Z的字符都可以，\.代表一个点(period)，然后最后的+号以为着这些字符可以出现任意多次，但至少要出现一次。
再看一个更复杂的：[A-Za-z0-9\._+]+@[A-Za-z]+\.(com|org|edu|net)，这种正则表达式就可以匹配任意以com|org|edu|net结尾的邮箱地址。
接下来详细介绍12个在Python中常用的正则表达式
.代表任意一个字符，如果是要查找点的话，就用转义字符\.
+的作用是将前面一个字符或一个子表达式重复一遍或者多遍。
*跟在其他符号后面表达可以匹配到它0次或多次，例如https*就可以找出http://和https://两种。
这里举一个例子介绍正则表达式在实际数据抓取，原书的代码编译不过，我做了一些修改。
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
html = urlopen("http://www.pythonscraping.com/pages/page3.html")
bsObj = BeautifulSoup(html.read(), "html.parser")
images = bsObj.findAll("img", {"src":re.compile("\.\.\/img\/gifts\/img.*\.jpg")})
for image in images:
print(image["src"])
访问属性
通过这样的方式就可以访问某个属性：myImgTag.attrs['src']
Lambda表达式
作者针对Lambda的描述是某个函数的参数是另一个函数。我的理解是，某个查找的条件是某个判断函数的返回值。例如：
bsObj.findAll(lambda tag: len(tag.attrs) == 2)
这句代码可以找出tag有两个的条目。返回的是len(tag.attrs) == 2为True的所有条目。
感觉这两章的内容足够应付基本的爬虫应用了，以后有额外的需求，再解读其他几章。^__^
