前言

• 在使用自动化测试工具selenium前，需要配置ChromeDriver并且安装好python的selenium库（Chrome浏览器）；
• 本次使用selenium驱动浏览器操作，通过标签对网页的拾取，以此获取自己想要的信息；
• 使用pandas，来对获取的数据进行整合存储；

安装

1）安装selenium

推荐使用：pip3 install selenium

2）安装ChromeDriver

下载地址：http://chromedriver.storage.googleapis.com/index.html

对应自己当前的浏览器的版本进行下载！（放在py文件同一目录）

放张图

正序

导入库
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time,pandas as pd

• 上面有些导入的方法在本次我们还用不着，可以看看！

流程

• 打开网站；

• F12开发者模式找到输入框class标签，调用send_keys()方法输入要搜索的职位名称，再调用方法控制键盘确认搜索；

  
  

• 如此，进入职位页面，后获取页面信息，找到职位信息标签，抓取文本；

  
  
• 对数据进行筛选；

# 示例：[['Python', '8k-12k', '上海', '浦东新区', '张江3-5年本科', 'ZTE', '通信/网络设备已上市10000人以上', '曹先生招聘者']]

• 抓取过后，可以关闭浏览器了（browser.close() )！

说明： 本次实现基本功能，只能抓取10条职位信息，筛选后数据以列表的数据类型存储（可后期优化）；

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time,pandas as pd

div_list = []
test_list = []
# 声明配置好的浏览器对象
browser = webdriver.Chrome()
try:
    # 打开网站，搜索
    browser.get('https://www.zhipin.com/geek/new/index/recommend?random=1554269449777')
    # 设置延时
    time.sleep(1)
    input = browser.find_element_by_class_name('ipt-search')
    input.send_keys('python爬虫')
    time.sleep(0.5)
    input.send_keys(Keys.ENTER)

    # 获取职位信息
    divdata = browser.find_element_by_class_name('job-list')
    data = divdata.text
    # 数据筛选
    div_list.append(data.replace("\n"," "))
    print(div_list)
    test = div_list[0].replace("Python",",Python")
    test = test.split(",")
    print(test)
    for index,i in enumerate(test):
        if len(i)==0:
            del test[index]
        j = test[index].replace(" ",",")
        k = j.split(",")
        del k[-1]
        test_list.append(k)
        #test[index].split(" ")
    print(test_list)
    #[['Python', '8k-12k', '上海', '浦东新区', '张江3-5年本科', 'ZTE', '通信/网络设备已上市10000人以上', '曹先生招聘者']]
finally:
    browser.close()

如此，为了使得数据更具可读性，使用pandas对数据进行处理保存！

#创建df
data = {'职位':pd.Series([' ']),
       '招聘薪资':pd.Series([' ']),
       '所在地':pd.Series([' ']),
       '公司地址':pd.Series([' ']),
       '地区':pd.Series([' ']),
       '招聘经验':pd.Series([' ']),
       '公司':pd.Series([' ']),
       '职位性质':pd.Series([' ']),
       '招聘者':pd.Series([' ']),}
df = pd.DataFrame(data)
# 将列表数据写入df，并存储到excel文件
for index,t in enumerate(test_list):
    #print(t)
    df.loc[str(index)] = [t[0],t[1],t[2],t[3],t[4][:2],t[4][2:],t[5],t[6],t[7]]
df.to_excel("F:\\test.xlsx",index=None)
print(df)

• 在F盘就生成一个excel文件test.xlsx

  
  示例

• 想要更加好看一点，可以参照本人之前发布的文章！

  
  示例

结语

• 东西不多，很基础，希望能帮助到一些人，交个朋友！
• selenium工具还是很是强大的，可以做很多有趣的事情，亦或是减少人工操作等等

• 昨晚，在朋友发的链接里看到好像比selenium好用的工具pyppeteer（黑人what？），哈！找个时间看看！

  
  送上一句