百度指数爬虫|爬虫篇(一)
资源收集
在写爬虫之前,一定要先在知乎、简书、CSDN、github这种网站上查查有没有人做过类似的事情。目的并不一定是抄他们的代码,而是看他们是怎么分析的,他们都发现了哪些网站的反爬措施,又是怎么解决的。通过看他们的文章和代码,可以让自己少走很多弯路。我这次写爬虫就是参考了一篇文章和一个代码。
本篇内容是分析百度指数的获取数据的接口,大家感兴趣的话可以实操一下
接口分析
界面构成
首先百度指数的首页链接是http://index.baidu.com/,打开之后就可以看到如下界面:
然后我们在关键词里搜索信息,就可以查看百度指数结果了:
- 点击1位置可以调整查看的时间范围
- 点击2位置可以选择PC、移动、PC+移动端
- 点击3位置可以切换全国的不同省份
- 拖动4的时间轴也可以达到点击1位置同样的效果
接口分析
然后我们就来分析一下接口了,所谓分析接口就是,找出来这个界面的那些数据,是从哪里弄过来的。想要想搞清楚这个问题,我们要3步走:
- 在浏览器上按F12
- 点击"Network"
- 刷新页面
现在我们就会看到这么一大堆浏览器向服务器发送的请求。我们需要的,获得搜索次数的请求肯定也藏在其中。那么问题来了,哪个是呢?????
不慌,问题不大,首先呢,我们点击这个"XHR",进行筛选(不要问我为什么按这个,按!就对了)
我们来看哈,现在请求已经被我们一下子筛选的这么这么少了,那我们就只能,一个一个看了
对于每一个请求呢,我们先要点击请求,然后点击右边的"Preview",就可以看到请求的内容了。经过查看。这个请求一看就是我们需要的东西:
你看它长得多好看,有all,有pc,有wise。每个里面有startDate(开始时间的意思,英语不行我就没辙了),endDate和data。除了data长得很奇怪好像其他的都还行。那其实这就很难受了,这个data一看就是经过加密了。那么这个问题严重么?啊,其实还蛮严重的。不过不要紧,我们知道既然服务器把加密后的数据发给我了,那么解密的方法一定在代码里,我们就来猜猜看,哪段代码是用来解密的就可以了。
具体咋办呢?问题来了,解密的英语是什么啊?decrypt!好的,我们猜猜看,百度的程序员会不会把解密的程序命名为了decrypt呢?我们来搜索一下,点击这个小搜索框,输入decrypt再回车就好了。
激动人心的时刻到了,果然搜到了两条记录,点开一看,完美!我们貌似找到了一个解密的代码:
我们看到解密需要t和e,t是我们要解密的内容,就是前面的data,那么e呢?e明显就是解密用的秘钥了,那么e怎么来得???经过分析,它是其它的请求发来的:
这个里面的data,就是我们解密用的秘钥了!但是这个请求有一个uniqid参数,它是哪来的???咦,貌似我们最上面返回数据的请求,有一个uniqid哎!没跑了,就是它!
接口总结
好的,现在我们来捋一下流程:
- 首先
index?area=0.....
的那个请求会发回来搜索数量,不过是加密后的结果,我们需要解密。并且这个接口会返回一个uniqid字段,这个字段在后面会用到 - 解密的方法在decrypt函数里,其中需要需要被解密的密文,就是上面我们获得的data,以及解密的秘钥
- 秘钥是通过
ptbk?uniqid...
这个请求来发送的,不过这个请求需要一个uniqid参数,这个参数在我们前面的index请求里就可以拿到
这样一来我们爬虫最核心的内容就有了:
-
首先请求index,拿到密文和uniqid:
def get_encrypt_datas(self, start_date, end_date, keywords): params = { 'word': ','.join(keywords), 'startDate': start_date.strftime('%Y-%m-%d'), 'endDate': end_date.strftime('%Y-%m-%d'), 'area': self.area } url = 'http://index.baidu.com/api/SearchApi/index?' + urlencode(params) html = self.get(url) datas = json.loads(html) uniqid = datas['data']['uniqid'] encrypt_datas = [] for single_data in datas['data']['userIndexes']: encrypt_datas.append(single_data) return (encrypt_datas, uniqid)
-
然后根据uniqid去拿到解密的秘钥:
def get_key(self, uniqid): url = 'http://index.baidu.com/Interface/api/ptbk?uniqid=%s' % uniqid html = self.get(url) datas = json.loads(html) key = datas['data'] return key
-
最后照着抄解密函数哈哈哈哈
def decrypt_func(self, key, data): a = key i = data n = {} s = [] for o in range(len(a) // 2): n[a[o]] = a[len(a) // 2 + o] for r in range(len(data)): s.append(n[i[r]]) return ''.join(s).split(',')
-
我们来看一下解密的结果:
已经解密成数字了,这样就,大功告成!
写在最后
其实感觉,这个爬虫真的还挺难的。百度的反爬和其它不太一样。百度对于访问的频率以及请求的Cookie的更新并没有太大的反爬加入。百度的反爬措施主要在于加密。当然,它同样恶心哈哈哈。
下一篇我们将说说,其它方面,百度还给我们准备了什么坑,等着我们跳!