二十八. 模拟登陆实战 - 爬取拉勾网招聘信息

爬取网址：https://www.lagou.com/
爬取信息：工作岗位等信息
爬取方式：json数据
存储方式：MongoDB

拉勾网采用了异步加载技术和提交表单，可通过逆向工程爬取招聘信息，并存储在MongoDB数据库中。
①拉勾网上关于Python的招聘信息如下：

image.png

②通过“查看网页源代码”，可以看出网页元素不在网页源代码中，说明网页采用了Ajax技术。

image.png

③此时可打开Chrome的开发者工具，选择Network选项卡，选中XHR项，就可以看到加载招聘信息的文件。在Headers中可以看到请求的网址，在Response中可以看到返回的信息，信息为Json格式。Json数据需要登录后才能访问，若未登录，看不到相关信息。

image.png
image.png
image.png

④json信息比较复杂，还可以使用Preview标签来观察。

image.png

⑤点击“下一页”或者指定页数，网址并未改变，即网页也使用了Ajax技术。

image.png

⑥打开Chrome的开发者工具，选择Network选项卡，选中XHR项，可以看到翻页后的请求URL也没变化。究其原因，是因为网页使用了Post的请求方法，可在提交表单数据中观察到pn字段发生变化。

image.png
image.png

⑦通过Preview标签，还可以看到Json数据中的招聘信息总数1414，以及每页显示的招聘信息为15个。目前拉勾网默认只有30页信息。

image.png

代码为：

import requests
url = "https://www.lagou.com/jobs/positionAjax.json"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36',
           'Cookie':'XXXX',
           'Connection':'keep-alive',
           'Host':'www.lagou.com',
           'Origin':'https://www.lagou.com',
           'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
           }
params = {'first':'true',
'pn':'1',
'kd':'python'
}
r = requests.post(url,data=params,headers=headers)
print(r.status_code)

import json
json_data = json.loads(r.text)
print(json.dumps(json_data, indent=4, sort_keys=False, ensure_ascii=False))   ##结构化json数据

结果为：

image.png
image.png

通过观察json结构，可以很简单地获取相关信息：

import json
json_data = json.loads(r.text)
# ok = json_data['success']  ##测试是否获取了正确的json数据。若正确，返回True
# print(ok)
totalcount = json_data['content']['positionResult']['totalCount']  #获取招聘总数量
totalpage = int(totalcount/15)                                     #获取总页数

pagenum = totalpage if totalpage<30 else 30  #通过计算得到需要获取的页数，用于改变pn值。
print(totalpage,pagenum)

results = json_data['content']['positionResult']['result']
for result in results:
    companyId = result['companyId']
    position_name = result['positionName']
    workyear = result['workYear']
    jobNature = result['jobNature']
    financeStage = result['financeStage']
    industryField = result['industryField']
    city = result['city']
    salary = result['salary']
    positionId = result['positionId']
    positionAdvantage = result['positionAdvantage']
    companyShortName = result['companyShortName']
    district = result['district']
    createTime = result['createTime']
    companyFullName= result['companyFullName']
    print(companyFullName,companyShortName,companyId,position_name,salary)

结果为：

image.png

多页面，存放进MongoDB的代码：

import requests
import json
import pymongo
import time

client = pymongo.MongoClient('localhost',27017)
mydb = client['mydb']
lagouzhaopin_info = mydb['lagouzhaopin_info']


headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3294.6 Safari/537.36',
           'Cookie':'xxxx',
           'Connection':'keep-alive',
           'Host':'www.lagou.com',
           'Origin':'https://www.lagou.com',
           'Referer':'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
           }

def get_page(url):
    params = {'first':'true','pn':'1','kd':'python'}
    r = requests.post(url,data=params,headers=headers)
    json_data = json.loads(r.text)
    totalcount = json_data['content']['positionResult']['totalCount']  #获取招聘总数量
    totalpage = int(totalcount/15)                                     #获取总页数
    pagenum = totalpage if totalpage<30 else 30  #通过计算得到需要获取的页数，用于改变pn值。
    return pagenum

def get_info(url,params):
    r = requests.post(url,data=params,headers=headers)
    json_data = json.loads(r.text)
    results = json_data['content']['positionResult']['result']
    for result in results:
        companyFullName= result['companyFullName']
        companyShortName = result['companyShortName']
        city = result['city']
        district = result['district']
        
        position_name = result['positionName']
        workyear = result['workYear']
        jobNature = result['jobNature']
        industryField = result['industryField']
        salary = result['salary']
        positionAdvantage = result['positionAdvantage']
        info = {'公司全名':companyFullName,
                '公司简称':companyShortName,
                '城市':city,
                '地区':district,
                '职位':position_name,
                '工作年限':workyear,
                '职业性质':jobNature,
                '职业分类':industryField,
                '工资':salary,
                '公司优势':positionAdvantage
                       }
        lagouzhaopin_info.insert_one(info)        
        #print(companyFullName,companyShortName,city,district,position_name,workyear,jobNature,industryField,salary,positionAdvantage)
    
if __name__ == '__main__':
    url = "https://www.lagou.com/jobs/positionAjax.json"
    pagenum = get_page(url)
    for pn in range(1,pagenum+1):
        params = {'first':'true','pn':str(pn),'kd':'python'}
        get_info(url,params)
        time.sleep(2)   #记得设置睡眠时间，否则运行可能会报错。