Selenium学习

2020-07-07  本文已影响0人  好好他爸爸

selenium安装配置

  1. Python安装

  2. selenium客户端库

    # win
pip install selenium
# mac
sudo pip3 install selenium

    • 验证是否安装成功
      控制台输入命令pip list 查看列表中是否存在selenium，如果有，则说明安装成功。

      image

  3. 谷歌浏览器驱动chromedriver notes.txt文件可以查看对应的chrome版本

  4. 将浏览器驱动文件（chromedriver.exe）放到环境变量中配置的路径内

    1. 如果不放入环境变量，则每次使用时需填写浏览器驱动文件所在的路径
    2. 必须为系统的环境变量，临时设置的环境变量无效
    3. 快速设置：mac 可以把浏览器驱动文件放到/usr/local/bin下
    4. 快速设置：win 可以把浏览器驱动文件放到C:\Windows下
    # 在系统环境变量中
from selenium import webdriver
# driver = webdriver.Chrome(chromedriver)
driver = webdriver.Chrome()
driver.get('https://www.baidu.com/')

# 不在系统环境变量中
from selenium import webdriver
test = r'E:/python/chromedriver'
driver = webdriver.Chrome(test)
driver.get('https://www.baidu.com/')

  5. 补充：安装三大浏览器驱动(driver)

    • chromedriver 下载地址：参考第三点
    # 启动谷歌浏览器
from selenium import webdriver
browser = webdriver.Chrome()
browser.get('http://www.baidu.com/') 


    # 启动火狐浏览器
from selenium import webdriver
browser = webdriver.Firefox()
browser.get('http://www.baidu.com/')


    # 启动IE浏览器
from selenium import webdriver
browser = webdriver.Ie()
browser.get('http://www.baidu.com/')

  6. 简单操作方法

    • 导入from selenium import webdriver
    • 打开浏览器driver = webdriver.Chrome()
    • get方法打开指定网址driver.get('https://www.baidu.com/')
    • 通过id获取元素element_keyword = find_element_by_id('kw')
    • 对输入框输入文字内容element_keyword.send_keys('松勤')
    • 对按钮进行点击element_search_button.click()
    • 获取某个元素的内容one_yuansu.text
    • 关闭浏览器driver.quit()
    • 设置浏览器固定宽、高driver.set_window_size(480,800)
    • 控制浏览器前进、后退：前进driver.forward()后退driver.back()
    • 示例如下：
    from selenium import webdriver
driver = webdriver.Chrome()
#get方法打开指定网址
driver.get('https://www.baidu.com/')

# 查找到那个搜索输入栏网页元素，返回一个表示该元素到WebElement对象
element_keyword = driver.find_element_by_id('kw')
# 输入字符
element_keyword.send_keys('测试')

# 找到搜素按钮
element_search_button = driver.find_element_by_id('su')
# 点击该按钮
element_search_button.click()
import time
time.sleep(2)# 设置等待时间
ret = driver.find_element_by_id('1') # 获取第一条信息
print(ret.text)

# if ret.text.startswith('松勤'):
#     print('测试通过')
# else:
#     print('测试不通过')

# 退出（关闭浏览器）
driver.quit()

# 控制台输出效果
测试_百度百科
测试英文名Test、Measure;中文拼音cè shì；由中文“测”与中文“试”两个字组成的词语。是动词、名词。测试行为，一般发生于为检测特定的目标是否符合标准而采用专用的工具或...
词语 综合式测试 心理测试
baike.baidu.com/

元素选择之常规方法

Selenium 选择、操作web元素01

Selenium 自动化主要就是：

选择元素

通过id选择元素
获取元素信息

Selenium 选择、操作web元素02

选择元素的方法

通过name选择元素 id是唯一的，name不一定是唯一的

<input name='cheese' type='text'/>

# 方法一：
cheese = driver.find_element_by_name('cheese')
# 方法二：
from selenium.webdriver.common.by import By
cheeses = driver.find_emement(By.NAME,'cheese')


# 示例
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:/Python/tmp/own/test.html')
button = driver.find_element_by_name('button')
print(button.text)
# 执行结果
按钮01

#找不到时
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:/Python/tmp/own/test.html')
try:
    button = driver.find_element_by_name('button4')
    print(button.text)
except:
    print('未找到')
# 执行结果
未找到


# 方法一：
cheese = driver.find_elements_by_name('cheese')
# 方法二：
from selenium.webdriver.common.by import By
cheeses = driver.find_emements(By.NAME,'cheese')


# 示例
from selenium import webdriver
driver = webdriver.Chrome()
driver.get(r'file:///E:/Python/tmp/own/test.html')
button = driver.find_elements_by_name('button')
for a in button:
    print(a.text)
# 执行结果
按钮01
按钮02
按钮03

通过class选择元素非唯一值，通常用来选择多个元素 

cheeses = driver.find_elements_by_class_name('cheese')

通过tag名选择元素

frame = driver.find_element_by_tag_name('iframe')

通过链接文本选择元素

ele = driver.find.element_by_link_text("转到百度")


ele = driver.find.element_by_partial_link_text(u"百度") # 此处可以不写u，python2中此处的“u”必写

页面操作（补充）

学习地址

查找时间

import time
time.sleep(10)

模拟回车键enter的操作

from selenium.webdriver.common.keys import Keys
driver.find_element_by_id('toStationText').send_keys('杭州东\n')


from selenium.webdriver.common.keys import Keys
driver.find_element_by_id('toStationText').send_keys('杭州东')
driver.find_element_by_id('toStationText').send_keys(Keys.ENTER)  # 模拟键盘enter

页面交互

WebDriver提供了各种方法来寻找元素。例如下面有一个表单输入框。

<input type="text" name="passwd" id="passwd-id" />

element = driver.find_element_by_id("passwd-id")
element = driver.find_element_by_name("passwd")
element = driver.find_elements_by_tag_name("input")
element = driver.find_element_by_xpath("//input[@id='passwd-id']")

获取了元素之后，下一步当然就是向文本输入内容了，可以利用下面的方法

element.send_keys("some text")

同样你还可以利用 Keys 这个类来模拟点击某个按键

element.send_keys("and some", Keys.ARROW_DOWN)

可以用下面的方法来清除输入文本的内容。

element.clear()

填充表单

元素选择之BeautifulSoup4

BeautifulSoup4

元素选择之css

语法

子元素（child）选择器

兄弟节点选择

属性选择器

编辑框的一些操作

单选框-选择单个

勾选框-可选择多个

复选框

补充01：点击查看selenium之下拉选择框Select 相关补充内容

补充02：点击CSS3 选择器进入原内容界面查看

数字跟元素类型无关，仅表示父元素下的第几个元素

选择器 例子 例子描述 CSS
.class .intro 选择 class="intro" 的所有元素。 1
#id #firstname 选择 id="firstname" 的所有元素。 1
* * 选择所有元素。 2
element p 选择所有 <p> 元素。 1
element,element div,p 选择所有 <div> 元素和所有 <p> 元素。 1
element element div p 选择 <div> 元素内部的所有 <p> 元素。 1
element>element div>p 选择父元素为 <div> 元素的所有 <p> 元素。 2
element+element div+p 选择紧接在 <div> 元素之后的所有 <p> 元素。 2
[attribute] [target] 选择带有 target 属性所有元素。 2
[attribute=value] [target=_blank] 选择 target="_blank" 的所有元素。 2
[attribute~=value] [title~=flower] 选择 title 属性包含单词 "flower" 的所有元素。 2
:link a:link 选择所有未被访问的链接。 1
:visited a:visited 选择所有已被访问的链接。 1
:active a:active 选择活动链接。 1
:hover a:hover 选择鼠标指针位于其上的链接。 1
:focus input:focus 选择获得焦点的 input 元素。 2
:first-letter p:first-letter 选择每个 <p> 元素的首字母。 1
:first-line p:first-line 选择每个 <p> 元素的首行。 1
:first-child p:first-child 选择属于父元素的第一个子元素的每个 <p> 元素。 2
:before p:before 在每个 <p> 元素的内容之前插入内容。 2
:after p:after 在每个 <p> 元素的内容之后插入内容。 2
:lang(language) p:lang(it) 选择带有以 "it" 开头的 lang 属性值的每个 <p> 元素。 2
element1~element2 p~ul 选择前面有 <p> 元素的每个 <ul> 元素。 3
[attribute^=value] a[src^="https"] 选择其 src 属性值以 "https" 开头的每个 <a> 元素。 3
[attribute$=value] a[src$=".pdf"] 选择其 src 属性以 ".pdf" 结尾的所有 <a> 元素。 3
[attribute*=value] a[src*="abc"] 选择其 src 属性中包含 "abc" 子串的每个 <a> 元素。 3
:first-of-type p:first-of-type 选择属于其父元素的首个 <p> 元素的每个 <p> 元素。 3
:last-of-type p:last-of-type 选择属于其父元素的最后 <p> 元素的每个 <p> 元素。 3
:only-of-type p:only-of-type 选择属于其父元素唯一的 <p> 元素的每个 <p> 元素。 3
:only-child p:only-child 选择属于其父元素的唯一子元素的每个 <p> 元素。 3
:nth-child(n) p:nth-child(2) 选择属于其父元素的第二个子元素的每个 <p> 元素。 3
:nth-last-child(n) p:nth-last-child(2) 同上，从最后一个子元素开始计数。 3
:nth-of-type(n) p:nth-of-type(2) 选择属于其父元素第二个 <p> 元素的每个 <p> 元素。 3
:nth-last-of-type(n) p:nth-last-of-type(2) 同上，但是从最后一个子元素开始计数。 3
:last-child p:last-child 选择属于其父元素最后一个子元素每个 <p> 元素。 3
:root :root 选择文档的根元素。 3
:empty p:empty 选择没有子元素的每个 <p> 元素（包括文本节点）。 3
:target #news:target 选择当前活动的 #news 元素。 3
:enabled input:enabled 选择每个启用的 <input> 元素。 3
:disabled input:disabled 选择每个禁用的 <input> 元素 3
:checked input:checked 选择每个被选中的 <input> 元素。 3
:not(selector) :not(p) 选择非 <p> 元素的每个元素。 3
::selection ::selection 选择被用户选取的元素部分。 3

[attribute|=value] [lang|=en] 选择 lang 属性值以 "en" 开头的所有元素.

元素选择之xpath

xpath:树型结构

1. 基本概念
2. 举例应用
3. 在浏览器中确认查找的元素是否正确
4. 浏览器端根据html查看xpath
image

查询12306列车

查询有票的列车，并输出列车车次

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
try:
    driver = webdriver.Chrome()
    driver.get('https://kyfw.12306.cn/otn/leftTicket/init')
    driver.implicitly_wait((10))

    # 出发地
    driver.find_element_by_id('fromStationText').click() # 点击操作用于清空默认置灰的文字
    driver.find_element_by_id('fromStationText').send_keys('南京南')
    driver.find_element_by_id('fromStationText').send_keys(Keys.ENTER)  # 模拟键盘enter

    # 目的地
    driver.find_element_by_id('toStationText').click()
    driver.find_element_by_id('toStationText').send_keys('杭州东')
    driver.find_element_by_id('toStationText').send_keys(Keys.ENTER)  # 模拟键盘enter

    # 选择时间段
    driver.find_element_by_id('cc_start_time').click()
    driver.find_element_by_xpath("//*[@id='cc_start_time']/option[@value='06001200']").click()

    # 选择日期-->自动查询出结果
    driver.find_element_by_xpath(("//*[@id='date_range']/ul/li[2]")).click()

    # # 收集数据--方法一（本人首次做出来时使用的方法）
    # with_ticket_trains = [] # 有票的车次
    # without_ticket_trains =[] # 无票的车次
    # all_trains_info = driver.find_elements_by_xpath("//*[@id='queryLeftTable']/tr/td[4]")
    # for one_train_info in all_trains_info:
    #     train_number = one_train_info.find_element_by_xpath("../td[1]//*[@class='number']").text.strip()  # 查找车次
    #     if one_train_info.text in ('--', '无'): # 判断是否有票
    #         without_ticket_trains.append(train_number)
    #     else:
    #         with_ticket_trains.append(train_number)
    # # 打印出有票的列车车次
    # if len(with_ticket_trains) == 0:
    #     print('您所选的区间及时间范围内所有列车均已无票')
    # else:
    #     print('以下列车还有票：')
    #     for i in with_ticket_trains:
    #         print(f'{i:>6}')

    # 收集数据--方法二（后期发现只有有票的才含有class属性，代码如下）
    all_trains_info = driver.find_elements_by_xpath("//*[@id='queryLeftTable']/tr/td[4][@class]/../td[1]//a")
    for one in all_trains_info:
        print(one.text)

finally:
    driver.quit()
image image

使用技巧

<meta charset="utf-8">

webdriver对象的一些方法

# 获取选定元素对应的链接
ele.get_attribute("href")


driver.get('https://www.baidu.com/')
print(driver.title)
driver.find_element_by_id('kw')
print(driver.title)


driver.get_screenshot_as_file('ssl.png')


ele = driver.find_element_by_id('search')
ele.screenshot_as_png('serch.png')

切换窗口

弹出对话框

driver.switch_to.alert.accept() # 点击ok
driver.switch_to.alert.text # 得到对话框内容
driver.switch_to.alert.getText() # 得到对话框的内容
driver.switch_to.alert.dismiss() # 点击Cancel
driver.switch_to.alert.send_keys() # 输入内容
# alert = driver.switch_to.alert() # 获取弹框
  1. 直接发送键盘消息給 当前应用程序。
  2. 前提是浏览器必须是当前应用（放在最上层，浏览器运行后不要操作
import win32com.client
shell = win32com.client.Dispath('WScript.Shell')
shell.Senkey(r'd:\p1.jpg' + '\n')

刷新页面，前进，后退

driver.refresh()
driver.forward()
driver.back()

使用技巧

浏览器定位元素 copy selector

异常捕获，确保chrome进程退出

特殊动作

页面元素不可见

渲染

- 后端渲染
- 前端渲染
- 前端渲染问题引起的报错：statle element reference
- 解决方法：获取内容前，sleep一下

合理使用半自动化

自动化面对的问题

selenium.png
上一篇 下一篇

猜你喜欢

热点阅读