爬虫DAY-1
爬虫的坑是很久之前就想入的，一直都懒于动手。回家待了几天终于磨蹭出了点东西，写写博客巩固一下。
首先，我的理解，爬虫是一个能自动获取想要获得的信息的程序，在这个过程中需要解决各种各样的困难和问题。常见的是用户登陆，验证码。这是最基础，也是这次尝试的内容。
由此，有一个浅网和暗网的问题。这个就日后再说了。
现在开始思考爬虫的功能。我的目的是能自动登陆neu教务处的页面获取学生信息。这个过程需要输入学号密码和验证码。验证码是google了一个tesseract-ocr库来用的，下载了一张验证码尝试了一下发现可以使用就写了一个函数调用这个库。封装起来ocr的部分了。查到的攻略是在系统里安装，然后用python os模块的popen函数，直接对终端输入。将结果存在文件中。
import os
def image_to_string(img, cleanup=True, plus=''):
# cleanup为True则识别完成后删除生成的文本文件
# plus参数为给tesseract的附加高级参数
os.popen('tesseract ' + img + ' ' + img + ' ' + plus) # 生成同名txt文件
text = file(img + '.txt').read().strip()
if cleanup:
os.remove(img + '.txt')
return text
解决了验证码的问题，就要来看登陆的过程了。经过在chrome中追踪了登陆过程中的Get和Post请求后，找到了Post登陆表单的Url，和最终Get到网页信息的Url。这时候就要用到cookie了。我理解的cookie是为了解决登陆之后，服务器识别当前用户是否已经登陆用的。网上查了python中 urllib2和urllib下关于HTTP的一些函数之后，找到了解决办法。
handler = urllib2.HTTPCookieProcessor(cookie)
opener = urllib2.build_opener(handler)
# 将cookies绑定到一个opener cookie由cookielib自动管理
然后再根据抓的HTTP请求信息把header和post数据补全
postData = {
'WebUserNO':username,
'applicant':'',
'Password':password,
'Agnomen':SecretCode,
'submit7':'%B5%C7%C2%BC',
}
# 根据抓包信息 构造表单
headers = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Connection': 'keep-alive',
'Content-Type': 'application/x-www-form-urlencoded',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537$
}
# 根据抓包信息 构造headers
这样就可以把程序自动的请求伪装成像浏览器一样的样子了，有些网站会有防止自动爬取内容的功能，根据请求头来识别。
还要注意编码的问题，国外网站大多是utf-8的编码格式，国内有些旧网站是gbk 或者gb2312，需要解码。
data = urllib.urlencode(postData)
# 生成post数据 ?key1=value1&key2=value2的形式
request = urllib2.Request(PostUrl, data, headers)
# 构造request请求
try:
response = opener.open(request)
#result = response.read().decode('GBK')
result = opener.open(GetUrl).read().decode('GBK')
# 由于该网页是gb2312的编码，所以需要解码
print result
return result
# 打印登录后的页面
except urllib2.HTTPError, e:
print e.code
return null
# 利用之前存有cookie的opener登录页面
DAY-1就先这样了，有很多问题目前。代码还没完善。需要重构，改成scrapy架构。文本格式也不好，下次换一个编辑器。思路整理也不好，需要再锻炼。毕竟是第一次写这么长的博客。
贴一下源代码，在我的github上。也是刚刚开始用github，日后学明白了可以再写一篇博客。
注：tesseract-ocr可以识别数字英文，也可以下载中文字库识别汉字。据说可以通过训练，提高准确率。贴一下github网址，可以下载来试试
