测试相关关于自动化胖达君的数据运营

功能强大的python包(十):selenium(浏览器机器人)

2021-09-02  本文已影响0人  可爱多多少

1.selenium简介

Selenium是一个用程序操作浏览器的工具,利用它可以实现浏览器自动化、自动化测试、辅助爬虫等。

我们使用浏览器时的所有操作都是基于鼠标和键盘进行交互的,selenium就是用程序的形式来代替我们的键鼠操作,实现自动化的操作。

利用scrapy编写爬虫时,我们可以使用selenium来驱动浏览器加载页面,获取JavaScrapt渲染后的页面HTML代码,而无须考虑网页的加载形式、接口是否加密等一系列复杂的问题。

2.selenium总览

selenium
浏览器驱动

通过指定操作的浏览器驱动,我们可以通过selenium用代码来操作浏览器。

image
驱动 代码实现
Chrome浏览器 driver = webdriver.Chrome( )
IE浏览器 driver = webdriver.Ie( )
Edge浏览器 driver = webdriver.Edge( )
Opera浏览器 driver = webdriver.Opera( )
PhantomJS浏览器 driver = webdriver.PhantomJS( )
元素定位

利用元素定位可以找到加载页面中的任何对象,类似于我们查看加载的页面,并找到我们的目标信息,以便执行下一步的操作。

元素定位
元素定位 代码实现
id定位 find_element_by_id( )、find_element(By.ID,'id')
name定位 find_element_by_name( )、find_element(By.NAME,'name')
class定位 find_element_by_class_name( )、find_element(By.CLASS_NAME,'class_name')
link定位 find_element_by_link_text( )、find_element(By.LINK_TEXT,'link_text')
tag定位 find_element_by_tag_name( )、find_element(By.TAG_NAME,'tag_name')
xpath定位 find_element_by_xpath( )、find_element(By.XPATH,'xpath')
css定位 find_element_by_css( )、find_element(By.CSS,'css')
浏览器操作

浏览器操作是针对浏览器客户端的一些操作,如我们常用的最大化、最小化等。


image
浏览器操作 代码实现
最大化 browser.maximize_window( )
最小化 browser.minimize_window( )
设置窗口大小 browser.set_window_size( )
前进 browser.forword( )
后退 browser.back( )
刷新 browser.refresh( )
操作测试对象

操作测试对象是我们在自动化测试中常用的一些方法,主要是对定位到的元素进行操作。

image
操作测试对象 代码实现
点击对象 click( )
模拟按键输入 send_keys( )
清除对象内容 clear( )
提交对象内容 submit( )
获取元素文本信息 text( )
键盘事件

在操作测试对象中,send_keys( )中可以传递键盘事件,相当于我们按下一下特殊的按键。


键盘事件
键盘事件 代码实现
TAB send_keys(Keys.TAB)
ENTER send_keys(Keys.ENTER)
BackSpace send_keys(Keys.BackSpace)
Space send_keys(Keys.Space)
Esc send_keys(Keys.Esc)
F1 send_keys(Keys.F1)
F12 send_keys(Keys.F12)
全选 send_keys(Keys.CONTROL,'a')
复制 send_keys(Keys.CONTROL,'c')
剪切 send_keys(Keys.CONTROL,'x')
粘贴 send_keys(Keys.CONTROL,'v')
鼠标事件

鼠标事件能够用于执行所有鼠标能够完成的操作。


鼠标事件
鼠标事件 代码实现
执行ActionChains中的操作 perform( )
右击 content_click( )
双击 double_click( )
拖动 drag_and_drop( )
鼠标悬停 move_to_element( )
窗口、框架切换

当打开多个网页时,利用窗口、框架切换方法可以切换显示网页。


窗口切换
获取断言信息
image
cookie操作
在这里插入图片描述

3.selenium应用于爬虫

selenium应用于爬虫,主要是为了解决scrapy无法解决的问题:获取JavaScrapt渲染后的页面HTML代码。

在之前讲解scrapy库的文章中,我们了解到引擎于爬虫之间存在一个下载器中间件,scrapy就是通过这种下载器中间件来下载网页源码的;但面对JavaScrapt渲染的网页,这个下载器中间件就无能为力了,这时selenium就起到了替代下载器中间件的作用。

selenium在爬虫中的主要应用流程如下图:


image
"""苏宁易购查找iphone"""

from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait
from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com')

input = driver.find_element_by_id('searchKeywords')

input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)

wait = WebDriverWait(driver,10)
wait.until(EC.presence_of_element_located((By.CLASS_NAME,'root990')))
print(driver.page_source)
"""自动下拉页面"""

from selenium import webdriver
import time

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')
time.sleep(4)

input = driver.find_element_by_id('searchKeywords')
input.clear
input.send_keys('iphone')
input.send_keys(Keys.RETURN)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
"""定位元素"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

input_id = driver.find_element_by_id('searchKeywords')
input_name = driver.find_element_by_name('index1_none_search_ss2')
input_xpath = driver.find_element_by_xpath("//input[@id='searchKeywords']")
input_css = driver.find_element_by_css_selector('#searchKeywords')
print(input_id,input_name,input_xpath,input_css)
"""等待页面加载完成"""

from selenium import webdriver
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')

#设置页面加载的超时时间
driver.set_page_load_timeout(5)
try:
    driver.get('https://www.suning.com/')
    driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
    print(driver.page_source)
except TimeoutException:
    print('timeout')
driver.quit()
"""隐式等待"""

from selenium import webdriver

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.implicitly_wait(5)
driver.get("https://www.suning.com/")
print(driver.page_source)

"""显示等待"""

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException

driver = webdriver.Edge(executable_path='msedgedriver.exe')
driver.get('https://www.suning.com/')

try:
    input = WebDriverWait(driver,10).until(EC.presence_of_element_located((By.ID,"searchKeywords")))
    print(input)
except TimeoutException:
    print('time out!')
driver.quit()
 scrapy框架只能爬取静态网站,如需爬取动态网站,需要结合selenium库进行js的渲染,方可爬取到动态页面。

写在最后

欢迎大家关注公众号:人类之奴!
一起学习,一起进步!

上一篇下一篇

猜你喜欢

热点阅读