爬虫作业三之爬百度百科数据（痛苦的查bug历程）
这个作业主要就是跟着视频教学《Python开发简单爬虫》，学着自己写了一个简单的爬百度百科的爬虫。
一开始的代码都是跟着视频里写的，自己编译运行的时候就出了一堆错。
首先是打错字，比如utf写成uft，init写成int，改完后编译通过，但是爬虫只爬了输入的第一个网页就报craw failed，不再继续爬了；
继续检查发现是有些模块的函数的return语句被我再查错的时候不小心注释掉了，改后仍然只能爬取第一个网页；
打印获得的第二个网页，复制网页地址到crome里打开，发现显示的是“锁定词条”，该页面没有其他可以连接的url，于是爬虫只能停止工作。为什么我爬虫获取的第二个url是这个呢？我打开第一个url也就是百度百科python词条的页面，右键审查元素，查到了第二个url的html语句如下：
<a class="lock-lemma" target="_blank" href="/view/10812319.htm" title="锁定">
而老师视频里我抄下来的抓取url的正则表达式正好是：
links = soup.find_all('a', href=re.compile(r"/item/\d*＋.html"))
可以看到，上面的语句是满足下面的正则表达式的，所以python把这个url加入到url管理器中，作为下一条代爬取的url，导致程序的终止。那么证明由于百度又更新了编码，所以之前的正则表达式不适用于现在的页面了。重新分析页面，右键审查原色，得到可链接的其它页面的语句如下：
<a target="_blank" href="/item/Guido%20van%20Rossum">Guido van Rossum</a>
可以发现，这些语句都是标题为a，href格式为／item开头加上后面一系列字符串组成，所以我讲正则表达式改为：
links = soup.find_all('a', href=re.compile(r"/item/\w*"))
重新运行，python爬取1000个页面，成功打印出页面url、标题、内容。
不过很快我发现新的问题，输出的标题和内容，凡是有中文的都是乱码，而我按照老师的教学，在输入标题时进行了转码，代码如下：
fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
但是仍然输出的是乱码，我在网上搜了很多办法，到现在依然没有解决，希望有搞定这个问题的兄弟姐妹们告诉我是这么回事呢？？(我把打印输出的代码贴出来给大家看看，环境是python2.7 OSX系统)
# coding=utf-8
class HtmlOutputer(object):
def __init__(self):
self.datas=[]
def collect_data(self,data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = open('output.html','w')
fout.write("<html>")
fout.write("<body>")
fout.write("<table>")
for data in self.datas:
fout.write("<tr>")
fout.write("<td>%s</td>" % data['url'])
fout.write("<td>%s</td>" % data['title'].encode('utf-8'))
fout.write("<td>%s</td>" % data['summary'].encode('utf-8'))
fout.write("</tr>")
fout.write("</table>")
fout.write("</body>")
fout.write("</html>")
刚刚折腾了一个中午，大概发现了问题所在，应该是浏览器编码问题。一开始我试着直接打印输出data['title'].，发现即使是中文也不会乱码，于是我将output。html改为用pycharm打开，发现里面的中文都能正常显示。最后，我讲output_html函数改写为output_txt函数，将要打印的内容改写到txt文件，写完打开发现，中文都能正常显示了。我猜，浏览器的编码可能不是UTF8，所以它反而将中文识别称为乱码了。
总之，终于把所有bug解决完毕了，嘘一口气啦～～
－－－－－－－－－－－－－－我是不依不饶的分割线－－－－－－－－－－－－
仔细想了下，刚刚还不算是完全解决乱码问题，因为我写到html文件里面还是乱码。用crome随便打开一个网页，右键查看源码，发现如下显示；
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
里面的 <meta charset="utf-8">，就是 html 编码的约束 。
所以在 html_outputer.py 中，write之前加入一句话：
fout.write("<meta charset='utf-8'>")
再运行，用crome打开output.html，就会发现整整齐齐的中文啦。
这回真正的完结撒花，折腾了一整天了可以嘘一口气了。
