爬虫作业一
2017-07-03 本文已影响0人
刘伟_大数据学习者
一、要爬取的数据类型
北京二手房市场的成交记录
二、对应的数据源网站
北京链家二手房板块
https://bj.lianjia.com/chengjiao/
三、爬取数据的URL
具体的成交信息内容,如https://bj.lianjia.com/chengjiao/101101524497.html
四、数据筛选规则
抓取页面中的标题信息(包括户型、面积、成交时间、成交中介),并抓取房租的基本属性(建筑面积、建成年代、所在楼层等)、交易属性(挂牌时间、房屋用途等)、房源特色(是否为满五唯一、地铁房、税费等信息)等。