爬虫小技巧：绕开登陆和访问频率控制

更换referer。

有的网站为了SEO流量，而把referer来自百度的访问控制放宽了一样。
有的产品为了微信的流量(分享到微信里的页面可以直接打开，点击其他页面时再提示要注册登录)，而对来自微信点击访问控制放宽了。

曾经我想要某职业社交APP里的一些用户详细页的信息用来做分析，但是面临如下问题：

• 该APP必须登陆才能访问所有页面。
• 你的账号如果没有关注对方，对方的详细介绍页面的很多信息就被隐藏了。
• APP的用户详细页面一个账号大概只能访问100次/天(有点记不清具体数字了)就不能访问了。

抓取思路

使用10个账号按一定频次通过APP不停的获取每个用户详细页分享到微信的URL，让另外一个程序模仿微信的user-agent不停的访问这些分享到微信的URL（要使用adsl拨号来解决单个IP访问频率控制问题）。

这样通过app加微信的方式解决了对账号的限制问题，实现了曲线救国。