2017-4-4抓取赶集房源信息存入mongodb
2017-04-04 本文已影响168人
CvnYv
看了掷骰子的求的这篇文章http://www.jianshu.com/p/5f5cfefd7f1d#觉得获益匪浅，正好在练习怎么把数据存入mongodb，就跟着博主选了赶集的租房信息作了数据源，选合租，个人（依然不会在ubuntu上打出顿号）后就是这个链接http://cd.ganji.com/fang3/a1o1。
分析页面特征并爬取每处房子的详情url
- 观察翻页时url的变动信息
页1.png
页2.png
- 页数与翻页
显而易见a1o1和a1o2的o几就是页数，赶集页面好像改版了，所以不能再像原博那样分析边界条件了，我直接改变url页数试出大概有63页（技术不够，体力来凑）。
count = 0
for i in range(1, page + 1):
url = 'http://cd.ganji.com/fang3/a1o%s/' % i
- 然后通过status_code对页面进行判断
if zf_data.status_code == 404:
pass
- 关于线程与进程只是以前看过几页书知道是怎么回事但没写过代码，代理池也并不会，慢点爬应该不会封我一个小IP吧，这次主要练习存储数据，所以就一切简单化
-
然后就遇到了一个巨大的坑，本来我是根据这个href提取url的
href.png
写了这样的代码
links = soup.select("class.f-list-item")
这个爬虫写完后以为不会再出bug,就run了起来然后起身去厕所，没想到回来它就停了。
第五个出错.png
在PyCharm上检查了一下，是第五个数据出了问题，然后检查代码发现好像没错，再打开赶集F12一下，哇，原来是被赶集这个源码坑了。上图
陷阱.png
赶集把第5个规则改了一下，确实是防爬了。好了，不怕有bug，只要知道是什么原因就好解决了。改变策略，上re，用那个puid构建url（先在源码里面搜索下数量检查一下），然后写入mongodb表url_list中。
puid = re.findall('id="puid-(.*?)"', html, re.S)
count += 1
print('抓到第%s页链接' % count)
for l in puid:
fang_url = 'http://cd.ganji.com/fang3/%sx.htm' % l
url_list.insert_one({'link': fang_url})
print(fang_url)
根据每处房子的url抓取详细信息
- 用BeautifulSoup就是很简单的页面分析
data = {
'title': soup.select(".card-title i")[0].get_text(strip=True),
'price': soup.select(".price")[0].get_text(strip=True),
'synopsis': soup.select(".fang-info")[0].get_text(" ", strip=True),
'name': soup.select(".item-con")[0].get_text(strip=True),
'area': soup.select(".item-con")[1].get_text(strip=True),
'describe': soup.select(".describe")[0].get_text(strip=True),
'url': url
}
print(data)
items_info.insert_one(data)
最后用函数封装起来
it = url_list.find()
for i in it:
url = i['link']
get_items(url=url)
运行了一会依然是有bug出现了
bug.png
抓取数量.png
数据.png
总共是3405个url，抓了912个信息存入mongodb。至于为什么912个就停了，现在丝毫不想debug，日后再说吧。
- **数据可视化还不会，抓取动态页面也还没学，还有线程代理等等要学的。B回城回满血再传送到线上继续farm **
