爬虫及web自动化SoEasy -- 使用python sele
2019-11-10 本文已影响0人
打出了枫采
初学python的时候常听到python爬虫,用selenium包,较少提及和注意到seleniumIDE的。
初学爬虫,常因为现在的页面设计的很复杂,对于外行很难马上定位到页面相应代码元素(需初步掌握HTLM/CSS/XPATH/JS,还有理解网页组织加载方式),大部分时候便放弃了。用了下seleniumIDE,真的强大,可以录制和重现页面操作运行过程,很方便的定位页面元素,并且转换成代码形式导出,极大地方便了网页处理脚本编写。
最近工作中很多重复性的web工具处理,想看能否用脚本进行简化,便认真去了解了下selenium,看了些博客资料后,个人习惯还是去看书(书籍介绍比较系统)便去搜了lib gen 下,才了解到seleniumIDE的。
python包下载较慢,工具包大的容易因为网络问题而失败,建议设置国内镜像源。
预备工作:
- python3
- selenium相关(包括安装过程中提示的依赖包)以及chromedriver,selenium中chromedriver设置
- 浏览器插件seleniumIDE seleniumIDE releases下载地址
- pycharm 或者其他IDE,方便运行调试分析
使用熟悉
- selenium包简单使用,如打开百度
- seleniumIDE 自行了解参考官网帮助文档,录制一个简单的网页操作过程,试运行,和导出代码看看,初步了解对应每一步操作的代码。
注意seleniumIDE回放录制示例,一些步骤容易出现失败(原因暂不清楚,相应导出代码语句在python selenium下运行时没啥问题的),可以将导出python代码进行改造,在python selenium环境下试运行,和调试修改,调试过程中可配合seleniumIDE来定位元素,并导出相关代码做参考。
一个示例 模拟实验楼网站登录
-
seleniumIDE建立测试套与case过程此处省略,可参考官网文档帮助
- seleniumIDE中获取指定元素 获取指定元素 转换代码后,有时会出现python selenium目标元素找不到,可以变换下元素的描述方式 元素多种方式
-
导出代码
下面是我学习时导出代码,导出来的是pytest用例形式,代码可能并不是百分百OK的,可以看看具体逻辑,然后根据自己需要去调试修正
# Generated by Selenium IDE
import pytest
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys
class Test00():
def setup_method(self, method):
self.driver = webdriver.Chrome()
self.vars = {}
def teardown_method(self, method):
self.driver.quit()
def test_00(self):
# Test name: 00
# Step # | name | target | value | comment
# 1 | open | / | |
self.driver.get("https://www.shiyanlou.com/")
# 2 | setWindowSize | 1050x708 | |
self.driver.set_window_size(1050, 708)
# 3 | click | linkText=登录 | |
self.driver.find_element(By.LINK_TEXT, "登录").click()
# 4 | click | id=__BVID__365 | |
self.driver.find_element(By.ID, "__BVID__365").click()
# 6 | type | id=__BVID__365 | xx@126.com |
self.driver.find_element(By.ID, "__BVID__365").send_keys("xx@126.com")
# 7 | click | id=__BVID__366 | |
self.driver.find_element(By.ID, "__BVID__366").click()
# 8 | type | id=__BVID__366 | xxxxxx |
self.driver.find_element(By.ID, "__BVID__366").send_keys("xxxxxxx")
- 最终调试修改完后成功模拟登陆的python源码 (个人运行需要把用户账号和密码改为自己的),基本是和导出来的一样的
代码中做了几处保护适配,操作元素之前确保元素已加载成功WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located( (type, elem)))
还有一点是元素定位最好使用xpath方式,更好的是先定位大的元素,再根据大的元素定位其内部元素的方式,这样更准确,不易出错
# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
import json
import time
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
def safeClickElemnt(driver, type, elem):
WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
(type, elem)))
driver.find_element(type, elem).click()
def safeSendkeys(driver, type, elem, keys):
WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
(type, elem)))
driver.find_element(type, elem).send_keys(keys)
driver = webdriver.Chrome()
driver.get("https://www.shiyanlou.com/")
safeClickElemnt(driver, By.LINK_TEXT, "登录")
# 4 | click | id=__BVID__365 | |
safeClickElemnt(driver, By.XPATH, "//div/input")
# 6 | type | id=__BVID__365 | t0@126.com |
safeSendkeys(driver, By.XPATH, "//div/input", "t0@126.com")
# 7 | click | id=__BVID__366 | |
safeClickElemnt(driver, By.XPATH, "//div[2]/input")
# 8 | type | id=__BVID__366 | t7 |
safeSendkeys(driver, By.XPATH, "//div[2]/input", "t7")
# 13 | click | xpath=//button[contains(.,'进入实验楼')] | |
safeClickElemnt(driver, By.XPATH, "//button[contains(.,\'进入实验楼\')]")
WebDriverWait(driver,5)
time.sleep(50)
cookies = driver.get_cookies()
print(type(cookies))
print(cookies)
# print ("".join(cookies))
f = open('shiyanloucookie.txt', 'w')
f.write(json.dumps(cookies))
f.close()
WebDriverWait(driver, 10)
-
不足 用户名密码是代码中明文的方式
尝试过cookie获取保存方式登陆,最开始不知为何用get_cookie获取出来是空的,单步调试的时候用监视方法执行driver.get_cookies()可以获取到cookies,后来查了很久找到解决方法先执行time.sleep(50),等待cookies生成,然后再调用就能得到cookies了; cookies
还有一种解决方法是,让程序等待在那里,手动输入用户名密码,然后继续。
-
关于网页内容信息爬取
可以单步调试查看find_element 返回的元素属性,一般在text字段中,私下试了几个招聘网站,多数页面都是div分块,配合table td以及列表ul/ui等元素布局的方式来呈现,摸索下都是成规律的。