我爱编程

Python爬虫实战-抓取拉钩招聘信息

2018-04-10  本文已影响31人  加来依蓝

爬取过程:

1、获取数据:Requests

2、解析数据:使用pandas的 DataFrame.from_dict ()

3、保存数据:pandas


步骤一:分析网页

爬取拉钩招聘信息需要先登录,通过分析,爬取时需要的信息如下:

url ='https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'

请求首部:

headers ={

'Cookie': ......,

'Referer': ......,

'User-Agent': ......,

}

采用POST方法进行请求


二、代码实现

核心代码如下图所示,不过别忘了添加headers。

调用方法示例: get_job_info(2, '数据','深圳')

上一篇下一篇

猜你喜欢

热点阅读