python爬虫之selenium使用案例教程

  #　selenium:是一个web的自动化测试工具,可以直接运行在浏览器上,
# 但是并不自带浏览器,需要有浏览器驱动,selenium可以根据我们的    代码指令
# 让浏览器自动加载页面,这时得到的页面源码是经过浏览器渲染之    后的,
# 然后我们就可以在页面源码中寻找节点(动态加载的网页,模拟登录)
#pip3 install selenium
from selenium import webdriver
import time
#加载页面
# driver = webdriver.Firefox(
#     executable_path='/home/ljh/桌面/driver/geckodriver'
# )
# #使用get方法打开页面
# driver.get('https://www.baidu.com/')
#加载页面(PhantomJS,无头浏览器)
#warnings.warn('Selenium support for PhantomJS
# has been deprecated, please use headless '
#目前推荐使用谷歌的屋头浏览器
# driver = webdriver.PhantomJS(
#     executable_path='/home/ljh/桌面/driver/phantomjs'
# )
# driver.get('https://www.baidu.com/')
#
# driver.save_screenshot('baidu.png')
# 加载页面(使用谷歌的浏览器驱动)
#设置为无头浏览器
# opt = webdriver.ChromeOptions()
# opt.set_headless()
# driver = webdriver.Chrome(
#     options=opt,
#     executable_path='/home/ljh/桌面/driver/chromedriver'
# )
driver = webdriver.Chrome(
    executable_path='/home/ljh/桌面/driver/chromedriver'
)
#设置页面的加载时间
driver.set_page_load_timeout(10)
#导入容错的模块
from selenium.common import exceptions
try:
    driver.get('https://www.baidu.com/')
except exceptions.TimeoutException as err:
    print(err,'请求超时')
#可以获得信息
# 获取页面源码(经过浏览器渲染之后的)
page_html = driver.page_source
with open('baidu.html','w') as file:
    file.write(page_html)
#获取cookies信息
"""
[
{'domain': 
'.baidu.com', 
'httpOnly': False, 
'path': '/', 
'secure': False, 
'value': '1431_21080_28206_28131_27750_28139_27509', 
'name': 'H_PS_PSSID'}, 
{'domain': '.baidu.com', 'httpOnly': False, 'path': '/', 'expiry':     3693275324.184597, 'secure': False, 'value':     '8C1C72599F01E693A201BA4B33C6DFE0', 'name': 'BIDUPSID'}, {'domain': '.baidu.com', 'httpOnly': False, 'path': '/', 'secure': False, 'value': '0', 'name': 'delPer'}, {'domain': '.baidu.com', 'httpOnly': False, 'path': '/', 'expiry': 3693275324.184649, 'secure': False, 'value': '1545791676', 'name': 'PSTM'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'path': '/', 'expiry': 1546655678, 'secure': False, 'value': '123353', 'name': 'BD_UPN'}, {'domain': 'www.baidu.com', 'httpOnly': False, 'path': '/', 'secure': False, 'value': '0', 'name': 'BD_HOME'}, {'domain': '.baidu.com', 'httpOnly': False, 'path': '/', 'expiry': 3693275324.18448, 'secure': False, 'value': '8C1C72599F01E693A201BA4B33C6DFE0:FG=1', 'name': 'BAIDUID'}]
"""
  #获取所有的cookies值
cookies = driver.get_cookies()
#获取某一个cookies值
driver.get_cookie('BD_UPN')
cookies_dict = {cookie['name']:cookie['value'] for cookie in cookies}
print(cookies)
print(cookies_dict)
#删除cookie
# driver.delete_cookie('BD_UPN')
# #删除所有的cookies
# driver.delete_all_cookies()
# #添加cookies
# #cookie_dict(字典,存放的cookies信息)
# driver.add_cookie()
#获取当前加载的页面url地址
cur_url = driver.current_url
print(cur_url)
#获取当前使用的浏览器的名称
name = driver.name
print(name)
#定位和操作节点(标签)
"""
driver.find_element_by_xpath():根据xpath路径定位标签(找单个)
driver.find_elements_by_xpath()根据xpath路径定位标签(找所有)
driver.find_element_by_css_selector():根据css选择器定位标签
driver.find_element_by_link_text():根据标签文本内容(完整)定位
driver.find_element_by_partial_link_text():根据标签文本内容(局部)定位
driver.find_element_by_id():根据id属性寻找节点
driver.find_element_by_class_name():根据class属性寻找节点
"""
#找到节点,并输入内容
driver.find_element_by_id('kw').send_keys('隔壁老王')
#清空输入框
driver.find_element_by_id('kw').clear()
time.sleep(2)
driver.find_element_by_id('kw').send_keys('隔壁老赵')
#找到按钮,模拟点击
driver.find_element_by_id('su').click()
#保存屏幕的截图
driver.save_screenshot('baiduyixia.png')
# #前进后退
# time.sleep(2)
# #后退
# driver.back()
#
# time.sleep(2)
# #前进
# driver.forward()
#设置页面等待
#因为selenium加载页面和浏览器一样都需要时间,
#特别是动态页面,如果在页面加载出来之前,寻找节点会报异常
#所以这是需要设置页面等待
time.sleep(3)
#设置隐士等待
#是指定特定的时间,如果没有出现我们寻找的节点,
#隐士等待将会等待一段时间继续查找
driver.implicitly_wait(10)
#设置显示等待
#指定一个最长等待时间,直到某一条件成立继续执行,
#如果在指定时间内没有满足条件（没有找到节点）,
#这时就会抛出异常
#导入By,根据某个条件查找节点
from selenium.webdriver.common.by import By
#WebDriverWait设置等待时间
from selenium.webdriver.support.ui import WebDriverWait
#expected_conditions设置等待条件
from selenium.webdriver.support import expected_conditions
#driver, timeout
a_element = WebDriverWait(driver,10).until(
    expected_conditions.presence_of_element_located((By.CLASS_NAME,'n'))
)
print(a_element.text)
#获取节点的文本和属性
#.get_attribute('href'):获取标签的属性值
#Message: no such element: Unable to locate element 没有找到对应的节点
try:
href =   driver.find_element_by_xpath('//h3[@class="t"]/a').get_attribute('href')
#.text获取标签的文本
title = driver.find_element_by_xpath('//h3[@class="t"]/a').text
print(href,title)
except exceptions.NoSuchElementException as err:
      print('没有找到节点')
#隐藏所有图片execute_script执行js语句
imgs = driver.find_elements_by_xpath('//img')
for img in imgs:
    driver.execute_script('$(arguments[0]).fadeOut()', img)
#### 向下滚动到页面底部
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)'        )
#关闭操作
#关闭当前所在的窗口
# driver.close()
# #退出浏览器
# driver.quit()