爬虫学习6：爬取安居客的VR房源信息

2019-03-04 本文已影响312人 JLOVEDANZI

公司的VR产品在推广前夕，需要做一个较详细的市场分析报告，我们可以从下面几个步骤来深入探讨：

1、需要展望整个VR的市场规模有多大，从而论证我们需要面对的市场分量，

2、在这个大市场下面，我们面对的细分市场，如何划分，盘子能有多大等等

3、产品自身分析和竞品分析，这个是认识自己和别人的部分，从而认识到自己的核心优势以及相比于其他的比较优劣势。

4、新机会和风险，我们需要从重重竞争者中，开辟出最适合自己产品的细分市场，并认识到我们自定义的细分市场可以营造哪些壁垒，其他竞争者是否容易转型等等。

整个市场分析报告中，主要部分是2和3，2是看清楚自己面对的初步细分市场的成熟度和规模，3是看清楚自己与竞品的市场存量存在多大的差距。无疑，这些都需要数据来支撑。扯得有点远，回归爬虫学习，因为我们需要看VR在房地产市场上的普及度和成熟度，所以我们需要考察线下线上中介平台对VR的支持和了解。这也能从侧面反馈出客户对房地产VR的接受程度。

下面书归正传，开始走拉取安居客房源的深坑之路。

首先我们看安居客的房源列表的代码，发现每个房源信息都包含在一个<li>模块里，那么我们是否可以直接如图拉取小说的内容一样requests.get（）呢？：

我先试着模仿小说爬虫拉取安居客第一页房源列表的数据，敲下如下代码：

运行后的确拉出代码行了，但再运行一次，发现拉出来的是空值。而且安居客会触发预警机制，房源页面无法显示，还蹦出这么一行字：

WTF？这是什么鬼东西！沮丧了一波，好吧，既然你能检测到我在爬你的数据，那说明我还是小白，大神总是有办法绕过这些检测机制的，而且安居客的数据应该也不多么有保护价值，防爬虫的机制应该不难。翻看大神的文章，发现一般网站防止爬虫一般从下列几个路径去实现：

1、服务器限制了UA头（user-agent），因为我们在直接使用requests.get（）的时候，服务器接收不到任何的UA头，那么它就默认你是爬虫，因为正常的网页访问，是一定会带UA头等信息的，这个UA头在哪找呢？如下：

我们通过查看页面加载的network，然后再看js加载项中的headers，我们就能看到最后Request Headers的内容中，有一项即User-Agent。我们把它写入我们的requests语句即可。

2、也有的网站还监测访问频率和ip，那么我们可以让我们的访问频率尽量拟人化，比如100ms才去拉一次数据，ip的话，我们可以用ip池的概念，这个没研究，到时候再深入。

3、还有些网站采取什么验证码、异步加载等等手段来防止爬虫...大神们都已经解决了，以后碰到了再请教吧。（资料来源：https://jingyan.baidu.com/article/ea24bc39c1e777da62b33198.html）

根据上面所述，我们试着这样写：

再试了一下，发现ok了，安居客不会检测到我们爬去数据了哈哈，现在开始爬取数据的历程。

首先老一套，先import我们需要的库，主要是requests和BeautifulSoup库，然后再引入html5lib，这个是BeautifulSoup需要的（报错提示要安装这个...）。然后我们定义一个类，用来包含所有的函数，然后初始化我们最后excel表里的所以度量值。

然后我们准备拉取安居客前10页的房源，我们发现网页上的地址只是改变了‘p’后面的值而已，第一页就是p1，第二页就是p2.那么我们就可以定义一个提供网址的函数UrlChange（），然后我们知道，房源都包含在每个页面上的<li>标签内，class属性是“list-item”，我们先把这些房源列表抓出来，然后后面再分开处理。