Python3自学 爬虫实战Web自动化测试

爬虫及web自动化SoEasy -- 使用python sele

2019-11-10  本文已影响0人  打出了枫采
初学python的时候常听到python爬虫,用selenium包,较少提及和注意到seleniumIDE的。
初学爬虫,常因为现在的页面设计的很复杂,对于外行很难马上定位到页面相应代码元素(需初步掌握HTLM/CSS/XPATH/JS,还有理解网页组织加载方式),大部分时候便放弃了。用了下seleniumIDE,真的强大,可以录制和重现页面操作运行过程,很方便的定位页面元素,并且转换成代码形式导出,极大地方便了网页处理脚本编写。

最近工作中很多重复性的web工具处理,想看能否用脚本进行简化,便认真去了解了下selenium,看了些博客资料后,个人习惯还是去看书(书籍介绍比较系统)便去搜了lib gen 下,才了解到seleniumIDE的。

python包下载较慢,工具包大的容易因为网络问题而失败,建议设置国内镜像源。

预备工作:

使用熟悉

一个示例 模拟实验楼网站登录

# Generated by Selenium IDE
import pytest
import time
import json
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.keys import Keys

class Test00():
  def setup_method(self, method):
    self.driver = webdriver.Chrome()
    self.vars = {}
  
  def teardown_method(self, method):
    self.driver.quit()
  
  def test_00(self):
    # Test name: 00
    # Step # | name | target | value | comment
    # 1 | open | / |  | 
    self.driver.get("https://www.shiyanlou.com/")
    # 2 | setWindowSize | 1050x708 |  | 
    self.driver.set_window_size(1050, 708)
    # 3 | click | linkText=登录 |  | 
    self.driver.find_element(By.LINK_TEXT, "登录").click()
    # 4 | click | id=__BVID__365 |  | 
    self.driver.find_element(By.ID, "__BVID__365").click()
    # 6 | type | id=__BVID__365 | xx@126.com | 
    self.driver.find_element(By.ID, "__BVID__365").send_keys("xx@126.com")
    # 7 | click | id=__BVID__366 |  | 
    self.driver.find_element(By.ID, "__BVID__366").click()
    # 8 | type | id=__BVID__366 | xxxxxx | 
    self.driver.find_element(By.ID, "__BVID__366").send_keys("xxxxxxx")
# -*- coding: utf-8 -*-
# -*- coding: utf-8 -*-
from selenium import webdriver
from selenium.webdriver.common.by import By
import json
import time

from selenium.webdriver.support import expected_conditions
from selenium.webdriver.support.wait import WebDriverWait

def safeClickElemnt(driver, type, elem):
    WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
        (type, elem)))
    driver.find_element(type, elem).click()

def safeSendkeys(driver, type, elem, keys):
    WebDriverWait(driver, 30).until(expected_conditions.presence_of_element_located(
        (type, elem)))
    driver.find_element(type, elem).send_keys(keys)

driver = webdriver.Chrome()
driver.get("https://www.shiyanlou.com/")
safeClickElemnt(driver, By.LINK_TEXT, "登录")

# 4 | click | id=__BVID__365 |  |
safeClickElemnt(driver, By.XPATH, "//div/input")
# 6 | type | id=__BVID__365 | t0@126.com |
safeSendkeys(driver, By.XPATH, "//div/input", "t0@126.com")

# 7 | click | id=__BVID__366 |  |
safeClickElemnt(driver, By.XPATH, "//div[2]/input")

# 8 | type | id=__BVID__366 | t7 |
safeSendkeys(driver, By.XPATH, "//div[2]/input", "t7")

# 13 | click | xpath=//button[contains(.,'进入实验楼')] |  |
safeClickElemnt(driver, By.XPATH, "//button[contains(.,\'进入实验楼\')]")

WebDriverWait(driver,5)
time.sleep(50)
cookies = driver.get_cookies()
print(type(cookies))
print(cookies)

# print ("".join(cookies))
f = open('shiyanloucookie.txt', 'w')
f.write(json.dumps(cookies))
f.close()

WebDriverWait(driver, 10)

还有一种解决方法是,让程序等待在那里,手动输入用户名密码,然后继续。

可以单步调试查看find_element 返回的元素属性,一般在text字段中,私下试了几个招聘网站,多数页面都是div分块,配合table td以及列表ul/ui等元素布局的方式来呈现,摸索下都是成规律的。

这种爬虫方式更像是自动化模拟查阅网页,获取感兴趣信息做记录。信息类网站网页布局都是有规律一致的,熟路了后,可以使用多线程同时访问多个页面爬取。

seleniumIDE 还有很多强大的地方,有待探索。

上一篇下一篇

猜你喜欢

热点阅读