Ajax数据爬取实战--以拉勾网为例

写在最前面：

本文只做学习交流用，请勿恶意使用相关代码
测试代码，注意限制请求次数
测试代码，注意限制请求次数
测试代码，注意限制请求次数
重要的事情说三遍。。。

---

一、判断一个网站是否采用Ajax动态加载数据

1. 网页未刷新（URL未改变），网页内容发生变化
2. Ajax的请求一般都会带上X-Requested-With头域。
3. 在请求列表中找到包含“Ajax.json”字符的请求

Ajax动态加载页面.png

---

二、爬取Ajax动态加载数据的两种方式：

1. 直接分析ajax调用的接口,然后通过代码请求这个接口
2. 使用selenium+driver（浏览器驱动）模拟浏览器行为获取数据

---

三、爬取拉勾网Python相关职位信息示例代码：

1.导入相关库

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

import requests
from lxml import etree
import time
import re
import csv
import random

2.解析页面，获取职位数据

def parse_detail_position(page_html):
    '''解析详情页面，返回一个职位的信息字典'''
    html = etree.HTML(page_html)
    department = html.xpath('//div[@class="position-head"]//div[@class="company"]/text()')[0].strip()
    job_name = html.xpath('//div[@class="position-head"]//span[@class="name"]/text()')[0].strip()

    salary = html.xpath('//dd[@class="job_request"]/p/span[1]/text()')[0].strip()
    city = html.xpath('//dd[@class="job_request"]/p/span[2]/text()')[0].strip()
    city = re.sub(r'[/ ]', '', city)

    work_year = html.xpath('//dd[@class="job_request"]/p/span[3]/text()')[0].strip()
    work_year = re.sub(r'[/ ]', '', work_year)

    educ = html.xpath('//dd[@class="job_request"]/p/span[4]/text()')[0].strip()
    educ = re.sub(r'[/ ]', '', educ)

    categroy = html.xpath('//dd[@class="job_request"]/p/span[5]/text()')[0].strip()

    job_request = html.xpath('//dd[@class="job_request"]/ul[@class="position-label clearfix"]//text()')
    job_request = [i.strip() for i in job_request]
    job_request = ' '.join(job_request)

    publish_time = html.xpath('//dd[@class="job_request"]/p[@class="publish_time"]/text()')[0].strip()
    publish_time = re.match(r'(.+)\xa0',publish_time).group(1)

    job_advantage = html.xpath('//div[@class="content_l fl"]//dd[@class="job-advantage"]//text()')
    job_advantage = [i.strip() for i in job_advantage]
    job_advantage = ''.join(job_advantage)

    job_bt = html.xpath('//dl[@id="job_detail"]/dd[@class="job_bt"]//text()')
    job_bt = [i.strip() for i in job_bt]
    job_bt = ''.join(job_bt)

    work_addr = html.xpath('//div[@class="content_l fl"]//div[@class="work_addr"]//text()')
    work_addr = [i.strip() for i in work_addr]
    work_addr = work_addr[: -1]
    work_addr = ''.join(work_addr)

    company_name = html.xpath('//div[@class="content_r"]//img[@class="b2"]/@alt')[0].strip()
    company_info = html.xpath('//div[@class="content_r"]//ul[@class="c_feature"]//text()')
    company_info = [i.strip() for i in company_info]
    company_info.reverse()
    company_info = ''.join(company_info)

    job = {
        'department':department,
        'job_name':job_name,
        'salary':salary,
        'city':city,
        'work_year':work_year,
        'educ':educ,
        'categroy':categroy,
        'job_request':job_request,
        'publish_time':publish_time,
        'job_advantage':job_advantage,
        'job_bt':job_bt,
        'work_addr':work_addr,
        'company_name':company_name,
        'company_info':company_info
    }

    return job

3-2. 直接分析ajax调用的接口,请求这个接口爬取数据
拉勾网的反爬虫机制是基于cookies的，同一个cookies仅可以重复几次请求，应该是有时间方面的限制。尝试使用代理IP也不行，可能cookies与IP进行了绑定。且直接请求ajax接口的方式，很容易被发现是爬虫而被封。下面的爬虫代码爬取两三页的数据便会被识别出来而被封。

def main():
    sess = requests.session()
    
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHT\
            ML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
        'Referer': 'https://www.lagou.com/jobs/list_Python?px=default&city=%E5%85%A8%E5%9B%BD',

        'Host': 'www.lagou.com',
        'Origin': 'https://www.lagou.com',

        'X-Anit-Forge-Code': '0',
        'X-Anit-Forge-Token': 'None',
        'X-Requested-With': 'XMLHttpRequest'
    }

    data = {
        'first': 'false',
        'pn': '1',
        'kd': 'python爬虫'
    }

    url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false'

    jobs = []   #存储所有职位信息
    for page in range(1,26):
        data['pn'] = page
        response = sess.post(url=url, headers=headers, data=data)
        print('获取到的cookies：', sess.cookies.get_dict())  # 测试

        page_html = response.text

        # 获取职位ID
        positionIds = re.findall(r'"positionId":(\d{7})', page_html)

        for positionId in positionIds:
            
            try:
                # 拼接成职位详情页链接
                position_link = 'https://www.lagou.com/jobs/%s.html'%positionId
                response = sess.get(url=position_link, headers=headers)

                detail_page_html = response.text
                job = parse_detail_position(detail_page_html)
                jobs.append(job)
                print(job)  # 测试
            except Exception:
                print('错误链接',position_link)
                positionIds.append(positionId)

            #随机停顿几秒
            n = random.uniform(0.5, 3.5)
            time.sleep(n)

    return jobs

3-2. 使用selenium驱动浏览器爬取数据
使用selenium+chromedriver就可以避开拉勾网的反爬机制。

def main():

    driver = webdriver.Chrome()
    url = 'https://www.lagou.com/zhaopin/Python/?labelWords=label'
    driver.get(url)

    # 存储所有的职位信息
    jobs = []
    while True:
        #直接通过WebElement对象获取属性(职位的详情链接)
        position_a = driver.find_elements_by_xpath('//a[@class="position_link"]')
        position_links = [a.get_attribute('href') for a in position_a]

        # 打开新窗口
        driver.execute_script('window.open()')
        # 切换到新窗口
        driver.switch_to.window(driver.window_handles[-1])

        for position_link in position_links:

            #连续访问详情页有时会返回异常页面,导致解析报错
            try:
                driver.get(position_link)
                page_html = driver.page_source
                job = parse_detail_position(page_html)
                jobs.append(job)
            except Exception:
                print('异常链接',position_link)
                #错误链接重新放回
                position_links.append(position_link)

            # 每详情页停顿
            n = random.uniform(0.2, 1)  # 均匀分布
            time.sleep(n)

            # break  #测试
            print(position_link)  #测试


        #关闭当前详情页面
        driver.close()
        #切换列表页窗口,注意:虽然详情页窗口已经关闭,但仍然需要显式的切换回列表页窗口!selenium不会自动切换窗口的！
        driver.switch_to.window(driver.window_handles[0])

        #显式等待;元素出现才获取
        next_page = WebDriverWait(driver,30).until(
            EC.presence_of_element_located((By.XPATH, '//div[@class="pager_container"]/a[last()]'))
        )

        # 判断是否到最后一页,此时下一页不可点击
        if next_page.get_attribute('class') == 'page_no pager_next_disabled':
            break

        next_page.click()  #点击下一页

        #每列表页停顿
        n = random.uniform(0.5,2)  #均匀分布
        time.sleep(n)

        break  #测试
    driver.quit()  #关闭浏览器

    return jobs

4. 启动爬虫，并将数据写入csv文件

if __name__ == '__main__':

    jobs = main()

    headers = ['department','job_name','salary','city','work_year','educ',\
            'categroy','job_request','publish_time','job_advantage','job_bt',\
            'work_addr','company_name','company_info']

    with open('lagou.csv','w',encoding='utf-8',newline='') as fp:
        writer = csv.DictWriter(fp,headers)
        writer.writeheader()
        writer.writerows(jobs)