目录
一、Selenium基础
二、浏览器操作
三、节点选取
四、提取节点数据
五、动作
六、动作链
七、延时等待
八、cookie操作

Selenium浏览器自动化测试框架

一、Selenium基础

动态页面对爬虫不友好

Selenium自动化测试工具：可以驱动浏览器执行特定的动作（例如：点击、下拉等）。同时还可以获取浏览器当前呈现的页面的源代码。

1.安装Selenium

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ selenium

常用包导入：

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
import time

2.安装谷歌浏览器及ChromeDriver

ChromeDriver镜像网站：http://npm.taobao.org/mirrors/chromedriver/

ChromeDriver安装步骤：
①下载chromedriver.exe（注意浏览器版本）
②将chromedriver.exe配置到系统环境变量Path

3.创建浏览器对象

from selenium import webdriver
browser = webdriver.Chrome()

或者使用PhantomJS（基于Webkit的“无界面”(headless)浏览器）

browser = webdriver.PhantomJS()

4.加载网页

browser.get(url)

二、浏览器操作

1.加载网页

browser.get(url)

2.执行js

browser.execute_script(js代码串)

3.截图

browser.save_screenshot("文件名.png")

4.前进与后退

# 页面后退
browser.back()
# 页面前进
browser.forward()

5.标签页切换

browser.switch_to.window(browser.window_handles[下标])

6.关闭

# 关闭当前标签页或窗口
browser.close()
# 关闭所有标签页或窗口
browser.quit()

三、节点选取

1.单节点选取

browser.find_element_by_id('kw')                # 原生语法
browser.find_element_by_css_selector('#kw')     # CSS语法
browser.find_element_by_xpath("//*[@id='kw']")  # XPath语法

以上三种方法获取的元素类型都是WebElement类型。
以下两种方法等效：

browser.find_element_by_id('kw')
browser.find_element(By.ID, 'kw')

2.多节点选取

与单节点选取相似，将element改为elements即可。

browser.find_elements_by_id()
browser.find_elements_by_name()
browser.find_elements_by_tag_name()
browser.find_elements_by_class_name()
browser.find_elements_by_xpath()
browser.find_elements_by_css_selector()
browser.find_elements_by_link_text()
browser.find_elements_by_partial_link_text()

3.页面源代码获取

browser.page_source

四、提取节点数据

语法	数据
element.get_attribute(属性名)	获取节点属性值
element.text	获取节点文本内容
element.id	获取节点ID
element.location	获取节点位置
element.tag_name	获取节点标签
element.size	获取节点大小

五、动作

1.获取节点

• 直接方法

element = browser.find_element_by_XXX(value)

• 使用By类型（需要导入By）

from selenium.webdriver.common.by import By
element = browser.find_element(By.ID, value)

2.对节点元素的操作

动作	描述
element.click()	单击
element.submit()	提交
element.send_keys(data)	向可输入元素输入数据
element.clear()	清空可输入元素中的数据

六、动作链

用来模拟鼠标拖拽、鼠标按键等操作。

1.创建动作链对象

from selenium.webdriver import ActionChains
actions = ActionChains(browser)

2.动作

（1）鼠标操作

动作	描述
actions.click(on_element)	单击
actions.double_click(on_element)	双击
actions.context_click(on_element)	右键点击
actions.click_and_hold(on_element)	点击不放
actions.drag_and_drop(source, target)	拖放
actions.drag_and_drop_by_offset(source, target, xoffset, yoffset)	拖动至元素相对位置
actions.move_by_offset(xoffset, yoffset)	移动光标
actions.move_to_element(to_element)	移动光标至元素
actions.move_to_element_with_offset(to_element, xoffset, yoffset)	移动光标至元素相对位置

（2）键盘操作

动作	描述
actions.send_keys(data)	向当前焦点元素发送信息
actions.send_keys_to_element(element, data)	向元素发送信息
actions.key_down(value, element)	按下按键
actions.key_up(value, element)	释放按键

3.执行动作链

actions.perform()

七、延时等待

1.固定等待（强制等待）

等待固定的时间，不管页面的加载情况。

time.sleep(秒数)

2.隐式等待

页面加载完成或者超时执行下一步。

browser.implicitly_wait(time_to_wait)

3.显示等待

条件成立才执行下一步，超时则会抛出TimeoutException异常。

from selenium.webdriver.support import expected_conditions as EC
wait = WebDriverWait(browser, timeout)
element = wait.until(EC.条件)

4.等待条件

等待的条件	含义
title_is	标题是某内容
title_contains	标题包含某内容
presence_of_element_located	节点加载出来，需要传入定位元组（例如：(By.ID, 'q')）
visibility_of_element_located	节点课件，传入定位元组
visibility_of	传入的节点对象可见
presence_of_all_elements_located	所有节点可见
text_to_be_present_in_element	某个节点包含某文字
element_to_be_clickable	节点可被点击
staleness_of	判断一个节点是否仍在DOM中，可以判断页面是否被刷新过
alert_is_present	判断警告框是否弹出

八、cookie操作

1.获取cookie

browser.get_cookies()

2.添加cookie

browser.add_cookie({"name": 名称, "value": 值})

3.删除cookie

browser.delete_cookie(name)
browser.delete_all_cookies()