爬虫天坑系列-百度指数爬虫
原文链接：http://blog.shenjianshou.cn/?p=170
最近有很多朋友跟我说，“爬虫这东西很简单啊，好像还没学就已经会了，没啥深奥的东西哦。看了你之前的教程，不就是一个队列加一些Http请求吗，不就是写写XPath和正则吗，你们还做个神箭手云爬虫出来？我自己上个厕所就写完了啊。”
废话不多说，所谓爬虫天坑，敢对得起这个名字的一定不能是等闲之辈。起码得是过完年老板给你扔这个任务，你儿童节还在头大的级别。今天第一课，咱们就先找个最难的热热身吧：爬取百度指数的关键词搜索指数。
先贴一个logo让大家跪拜一下
好了，大家平身吧，咱们马上就正式开始了，想上厕所的赶紧去，不然看完这篇文章估计你就忘了怎么上厕所了。
正式开始之前，先插个广告：如果土豪朋友不想写代码或者中途看不下去的，我们将以下代码已经打包成一个完整的应用，大家进入神箭手的云市场搜索百度指数（http://www.shenjianshou.cn/index.php?r=market/product&product_id=500036）就可以看到应用，直接调用既可。
—————前方高能预警看也看不完上厕所赶紧去分割线——————
咱们正式开始：所谓知己知彼百战不殆，我们要先了解一下我们的对手。咱们打开百度指数
http://index.baidu.com，映入眼帘的是一个简单的输入框。好开心啊，好像不用登录啊，输入一个关键字试一下吧，输入神箭手，回车：
果然百度老司机不会让我们那么开心的。没事没事，不就是登录吗，也不是没做过登录，抓包研究下请求应该不难。我们先找一个账号登录看下。登录之后继续输入神箭手：
出来了。哈哈，不难嘛，这不就直接显示了。然后就按照以前的爬虫的教程，用XPATH获取一下数字就可以了，哈哈哈…哈哈..哈……..
慢着，怎么感觉这个数字看着怪怪。吓得我赶紧掀开被子看看这货到底是啥：
什么？这是图！！！！什么？这还是拼图！！！！什么？这货居然是异步的拼图！！！！
怎么样，感受到天坑的深度没有？
那咱们就一起来看看怎么见招拆招，用神箭手把百度指数搞定的吧。
开始具体的代码之前，我们先在神箭手后台新建三个应用，分别是百度指数API，百度登录爬虫，百度指数图片识别AI。
第一章 登录应用
第一节：咱先搞定登录
模拟登录一直是爬虫的一个老大难问题，虽然我们神箭手提供了智能登录接口login函数，但是遇上复杂一些的登录依然无能为力。当然你可以登录后复制本机Cookie直接用，但这种雕虫小技百度想封你真得比捏死一只蚂蚁还简单。咱们要有不怕苦，迎难而上的精神，死磕登录！算了~还是先去搜一下有没有别人写过。不搜不知道，一搜吓一跳啊。咱就随便找个源码借鉴借鉴。乔布斯老人家说过嘛，greate artist steal。
https://github.com/qiyeboy/baidulogin/blob/master/baidulogin.py
这个不错，逻辑清晰，代码干净，万能的github果然不辜负我的重望。我们steal到神箭手平台上来。
首先我们理清这个流程，根据这个代码我们知道百度的登录流程是这样的：
1.通过请求百度首页或者任意一个百度url获得百度的基础cookie。
2.请求https://passport.baidu.com/v2/api/?getapi获得token
3.通过https://passport.baidu.com/v2/getpublickey获得密码加密的key
4.通过https://passport.baidu.com/v2/api/?login将之前获得到的token，生成的gid，生成的时间戳，用key加密密码，来提交登录。
5.如果返回有验证码，获取codestring并请求https://passport.baidu.com/cgi-bin/genimage获得验证码图片并识别。
6.通过https://passport.baidu.com/v2/?checkvcode来验证是否识别成功
7.如果不成功通过https://passport.baidu.com/v2/?reggetcodestr来切换验证码，在重复前两步。
8.再次提交https://passport.baidu.com/v2/api/?login看是否登录成功。
好了，这中间很麻烦的两个地方是
1.验证码识别 这个神箭手提供了验证码识别的函数，调用方式如下：
var codeUrl = "https://passport.baidu.com/cgi-bin/genimage?" + codeString;
var codeReg = getCaptcha(71, codeUrl);
var imgCaptchaData = JSON.parse(codeReg);
if (imgCaptchaData && imgCaptchaData.ret > 0) {
var result = imgCaptchaData.result;
verifycode = encodeURI(result,"UTF-8");
tt = (new Date()).getTime();
var codeCheck = site.requestUrl("https://passport.baidu.com/v2/?checkvcode&token=" + token + "&tpl=mn&apiver=v3&tt=" + tt + "&verifycode=" + verifycode + "&codestring=" + codeString + "&callback=");
var checkInfo = JSON.parse(codeCheck);
if (checkInfo.errInfo.no != "0") {
console.log("验证码识别错误");
}
continue;
} else {
console.log("验证码识别失败");
continue;
}
2.RSA加密
当我们获取到key之后需要对密码进行RSA加密，百度是采用的JS的开源RSA加密库，神箭手也提供了RSAEncode的方法，具体代码如下：
var pubkeyJson = site.requestUrl("https://passport.baidu.com/v2/getpublickey?token=" + token + "&tpl=mn&apiver=v3&tt=" + tt + "&gid=" + gid + "&callback=");
var pubkeyInfo = JSON.parse(pubkeyJson.replace(/'/g, "\""));
var pubkey = pubkeyInfo.pubkey;
var rsakey = pubkeyInfo.key;
var crypttype = "";
var rsaPassword="";
if (rsakey != "") {
crypttype = "12";
//加密密码
pubkey = pubkey.replace("-----BEGIN PUBLIC KEY-----", "").replace("-----END PUBLIC KEY-----", "").trim();
rsaPassword = (RSAEncode(password, pubkey));
}
其他的都是一些基础的请求，大家可以参考github中的代码进行编写。
第二节：疯狂登录
完成了第一节的工作之后，你以为登录就没问题了吗？你以为你可以用一个帐号爬到天荒地老吗？有人说限制爬取频率，这当然是一个方法，但却不是最好的解决方案。毕竟缩手缩脚，感觉很受限。最好的方案当然是登录一堆帐号，获取一堆的Cookie，然后从这堆Cookie中每次随机取一个Cookie，再通过这个Cookie去访问。那我们就需要一个新的东西：Cookie池。
我们看下神箭手如何调用Cookie池，首先我们需要新建一个爬虫应用专门用于登录：
var configs = {
shareUserWithKey:"__bindex__",
};
configs.onUserAdded = function (use, psw, site) {
var loginResult = login(use, psw, site);
if( loginResult !="success") {
return false;
}
return true;
}
这里的login方法就是刚刚我们写的百度登录，然后我们再在beforeCrawl的回调函数中反复调用以下方法：
site.addUser(user, password);
当然这里还有一个问题，如果我们一直使用一个IP来登录，也很容易被百度封掉，所以我们最好打开企业代理IP接入。
通过这种形式我们就可以建立一个可共享的Cookie池。然后我们在百度指数API应用（下一章会详细介绍）里通过设置以下代码来共享这个Cookie池：
var configs = {
shareUserWithKey:"__bindex__",
multiUser: true
}
这样在这个应用中会在每次访问一个Url的周期中随机从Cookie池取一个Cookie并请求Url。通过这种形式我们还可以把登录和请求代码解耦合。将来还可以复用登录代码。
第三节：问题来了，帐号从哪来呢？
除了把七大姑八大姨的手机都来注册一遍以外，没什么好办法，除非…（此处省略1000个字）。
第二章：获取指数图片API
第一节：异步请求数据
终于完成了登录，感觉怎么样，是不是有点天坑的意思？哈哈，万里长征咱才走了第一步。下面我们才真正来揭开天坑的核心：数字图片。
然后我们继续掀被子看看这个标签是怎么来的：
貌似不难找，不过看这个URL看着就头大，感觉已经被百度登录伤害过一次之后真的无力再一个一个参数分析，我们直接使用神箭手提供的js渲染页面的接口，直接把页面渲染出来把：
var configs = {
domains: ["index.baidu.com"],
scanUrls: ["http://index.baidu.com/?tpl=trend&word=" + encodeURI(keyword, "GBK")],
enableJS:true
}
这样我们在afterDownloadPage中拿到的就直接是渲染好的页面了，我们再通过正则和XPath取出数字图片的容器标签代码和Css代码（Css代码就是把图片设置成背景的style标签），之所以要拿Style标签是因为两个数字图片共享了一个Style，而这个Style在第一个数字图片的标签中，所以我们必须抽取出这个Style标签，在分别设置给两个不同的数字的容器标签代码。这段代码咱们再下一节中给出。
第二节：渲染数据成图片
我们拿到了数字图片的容器标签代码有什么用呢，当然是要渲染出对应的图片了。那为什么我们要这么大的弯去得到这张图呢。这一点正是百度指数能当选天坑的原因了，我们看一下这个图片是如何拼出来的，我们看下这段HTML代码。
