自学Python爬虫：常见的反爬与反爬处理

有爬虫就有反爬虫的，双方都是一直在博弈升级中。

常见的反爬虫措施有：

字体反爬

基于用户行为反爬虫

基于动态页面的反爬虫

IP限制

UA限制

Cookie限制

与之应对的反爬处理手段有：

字体反加密

控制IP访问次数频率，增加时间间隔

用户代理池技术

验证码OCR处理

抓包

Cookie池保存与处理

说在最后：

关于爬虫是否合法，在不睬法律红线的前提下，合法的数据抓取是没有问题的，不做亏心事不怕鬼敲门，还有就是控制一下自己的好奇欲，别乱爬就行。爬虫技术是一把刀，怎么用这把刀才是关键。

________________END______________