网络爬虫：Selenium使用
-
selenium:web自动化测试工具，selenium可以直接运行在浏览器上
-
但是并不自带浏览器，需要有浏览器驱动，selenium可以根据我们的代码指令
-
让浏览器自动加载 页面，这时我们得到的页面源码是经过浏览器加载渲染的
-
然后我们就可以在页面源码中寻找节点（动态加载的页面，模拟登陆）
-
Selenium 库里有个叫 WebDriver 的 API。WebDriver 有点儿像可以加载网站的浏览器，但是它也可以像 BeautifulSoup 或者其他 Selector 对象一样用来查找页面元素，与页面上的元素进行交互 (发送文本、点击等)，以及执行其他动作来运行网络爬虫。
-
注意： 我们使用的有界面浏览器，它虽然方便我们观察，但是在实际运用中是非常消耗性能的 我们也可以使用Chrome的无界面浏览器,除了没有浏览器界面以外，其它的相关操作都与有界面浏览器相同
-
下载驱动要对应你的浏览器版本
谷歌驱动（chromedriver）下载地址： http://chromedriver.storage.googleapis.com/index.html
火狐驱动下载路径（GeckoDriver）：https://github.com/mozilla/geckodriver/releases -
使用前需要导入
from selenium import webdriver
使用谷歌浏览器驱动
driver = webdriver.Chrome(executable_path=''浏览器驱动路径地址")
使用火狐浏览器驱动
driver = webdriver.Firefox(executable_path=''浏览器驱动路径地址")
如果要设置无头
- 火狐
opt = webdriver.FirefoxOptions()
opt.set_headless()
driver = webdriver.Firefox(options=opt, executable_path=''浏览器驱动路径地址")
- 谷歌
opt = webdriver.ChromeOptions()
opt.set_headless()
driver = webdriver.Chrome(options=opt, executable_path=''浏览器驱动路径地址")
设置超时时间
driver.set_page_load_timeout(10)
加载页面
driver.get('http://www.baidu.com/')
在加载页面的时候，我们可以导入容错模块，可避免其他因素导致程序崩溃
from selenium.common import exception
try:
driver.get('https://www.baidu.com/')
except exceptions.TimeoutException as err:
print(err,'请求超时')
获取页面源码：获得浏览器渲染后的页面源码
page_html = driver.page_source
获取到cookie信息:
- 获取所有cookie
cookies = driver.get_cookies()
- 获得某一个cookie值
get_cookie('BD_UPN')
cookies_dict ={cookie['name']:cookie['value'] for cookie in cookies}
删除cookie
driver.delete_cookie('BD_UPN')
删除所有cookie
driver.delete_all_cookies()
添加cookie
driver.add_cookie()
节点操作和定位
driver.find_element_by_xpath() :根据XPAth路径定位（单个）
driver.find_elements_by_xpath()：所有的
driver.find_element_by_css_selector()
driver.find_element_by_link_text():根据标签的文本内容（完整）定位
driver.find_element_by_partial_link_text():更具标签文本内容局部定位
driver.find_element_by_class_name():根据class属性
driver.find_element_by_id():根据id属性寻找节点
找到节点，并且输入内容
driver.find_element_by_id('kw').send_keys('隔壁老王')
清空输入框
driver.find_element_by_id('kw').clear()
要想调用键盘按键操作需要引入keys包
from selenium.webdriver.common.keys import Keys
模拟回车键
driver.find_element_by_id('su').send_keys(Keys.RETURN)
找到按钮模拟点击
driver.find_element_by_id('su').click()
保存屏幕截图
driver.save_screenshot('baidu.png')
后退
driver.back()
前进
driver.forward()
设置页面等待
- 因为selenium加载页面和浏览器一样都需要时间
特别是动态页面，如果在页面未加载出来之前，寻找节点会报异常(no such -lements)
- 所以需要设置页面等待
- time.sleep(3)
- 设置隐士等待:特定的时间，如果没有出现我们寻找的节点。隐士等待将会等待一会儿继续查找
driver.implicitly_wait(10)
- 设置显示等待
- 指定一个最长等待时间，直到某一条件成立继续执行，- 如果在指定时间内没有满足条件（没有找到节点），这时候就会抛出异常
from selenium.webdriver.common.by import By # 导入By，根据某个条件查找节点
from selenium.webdriver.support.ui import WebDriverWait # 设置等待时间
from selenium.webdriver.support import expected_conditions # 设置等待条件
a_element = WebDriverWait(driver,10).until(
expected_conditions.presence_of_element_located((By.CLASS_NAME,'n'))
) # 设置最长等待时间，知道满足某一条件
print(a_element.text)
获取节点的文本和属性：
- 通过get_attribute('href')获取标签属性
- text获取某节点下的文本内容
try:
href = driver.find_element_by_xpath('//h3[@class="t"]/a').get_attribute('href')
print(href)
# 获取标签的文本
title = driver.find_element_by_xpath('//h3[@class="t"]/a').text
print(title)
except exceptions.NoSuchElementException as err:
print('没有找到节点')
执行js语句
- 隐藏图片
imgs = driver.find_elements_by_xpath('//img')
for img in imgs:
driver.execute_script('$(arguments[0]).fadeOut()')
- 向下滚动到页面底部
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
- 弹出弹窗
driver.execute_script('alert("This is a alert")')
- 切换浏览器窗口，从0开始，0代表第一个 [第几个窗口]
driver.switch_to.window(driver.window_handles[1])
- 如果在点击某个按钮时出现被遮盖的问题，可以进行以下操作：
mulu = driver.find_element_by_xpath('//a[@id="j_catalogPage"]')
js = "arguments[0].click();"
driver.execute_script(js,mulu)
关闭当前所在的窗口
driver.close()
退出浏览器
driver.quit()
