爬虫踩过的那些坑

在建模分析的过程中，数据的获取总是第一步，小公司不像大厂那样有专门的爬虫工程师，除了公司的数据积累，很多时候需要自己想尽各种手段自己获取一部分数据，相信有很多的挖掘工程师会为数据获取头疼，比如爬虫，在这一章节，介绍下自己在数据抓取过程中遇到的坑以及解决方法，希望后来人少踩一些（建模分析的过程有时间再写）。

目前爬虫遇到的问题大致可以分为以下几类：

1. 不做任何限制的网站，恭喜，你可以愉快的获得需要的数据了；

2. 访问频次限制， 少量的数据可以获取，但是如果大量访问给服务器造成压力，会做出一些限制，最常见的就是图像验证码；

3. 数据加密，劳资就是不想让你通过爬虫从我这拿走一条数据！反爬策略有对前端数据通过js加密，对后端数据通过某种算法加密， cookie验证等。

当然爬虫最好的方式还是代理，只要有足够多的代理，除了数据加密的反爬策略，其它任何策略都不会对你造成障碍。代理的价格也不算贵（聪明的还可以想起他办法获得代理~），不用代理，任你玩出任何花样，直接拉黑名单或者重定向到黑洞，肯定也会死翘翘。

验证码反爬

验证码几乎是现在所有站点对付爬虫的手段，主要是成本低吧，目前开源的验证码生成器包括 kaptcha(java)， captcha(python)， simpleCaptcha(java) 等，当然也可以自己通过脚本生成验证码，像kaptcha，在web 项目中导入jar包后，通过servlet简单配置即可直接使用，验证码结果通过Session直接获取。俗话说兵来将挡水来土掩，我们只能见招拆招：

1. 直接通过验证码的url获得验证码图像，然后通过打码兔或者若快这些打码平台（非常便宜）进行打码，精度还是非常高的，将打码结果提交form表单验证，继续抓取；
2. selenium -> 浏览器内核 -> 截屏 -> 打码，对1方法不能奏效的，可以试下该方法，该方法一般情况下万无一失，但缺点也很明显，内核会吃掉机器的大量资源，所以爬虫中一定要记着对资源进行释放，切记！
3. 既然打码平台可以做，为什么不能自己训练一个ocr的模型呢？大致思路可以分为这两种：

   • 字符切分， 深度神经网络做单个字符识别，但是字符分割会是一个非常有挑战性的任务，至于字符识别算法，相信一个Lenet绝对够用了；

   • 直接训练端到端的字符识别模型， lstm + ctc是一个非常好的方案，针对数字+字母的验证码方式，训练循环神经网络+ctc可以轻松的达到95%的打码精度，单字符打码精度更高，当然对于lstm，在embedding层的前边加上一到两层的卷积网络会有意想不到的效果，谁用谁知道~（对nlp中的任务之前也遇到相似的问题，循环神经网络前边加上卷积效果很明显）

几乎所有的验证码生成器都会有固定的模式（对模型来讲，即样本分布已知），我们可以非常方便的搭建一个web项目来无限制的生成训练数据集，比如[0-9], [a-z],[A-Z]，添加鱼眼失真、随机干扰线、噪点等，生成几十万样本进行训练，难道还怕模型训练不好？

数据加密

数据加密的方式有很多种，前端加密以及服务端加密的方法都有，我对js不是很了解，所以遇到前端加密的会很头疼，有一种可行方案是通过正则找出JavaScript函数，用Js2Py可以把js转化python【参考链接】。

还有一种加密是服务器端加密，在客户端或者前端解密，比如想抓app端的一些数据，发现接口返回的结果都是加密后的密文，解决方案如下：

• 反编译apk文件获得源码
• 读源码，找到加密算法（以及密匙，或者密匙生成算法，像AES）
• 解密密文~

结束前

爬虫与反爬相生相伴，我们在做爬虫的时候也应该体谅下服务端的苦衷，所以嘛，延迟能设大一点就大一点。当然上边说了这些，最最最最重要的是代理！有条件的上代理，没条件的苦逼，创造条件上代理~ 总之，在有限的资源下想方设法完成既定目标才是王道。

欢迎一块交流讨论，文中有错误的地方，还请指正，谢谢~
email: bidai541@foxmail.com