大数据学习笔记之爬虫系列（3）----selenium库的用法
selenium的安装
win+R 输入cmd打开命令行：
pip install selenium
selenium的简介
申明浏览器的对象
from selenium import webdriver
browser = webdriver.Chrome ()
browser = webdriver.firefox()
browser = webdriver.Android()
browser = webdriver.Edge()
对应的浏览器都需要下载对应版本的驱动，并配置环境变量。
访问网页
browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
print(browser.page_source)
browser.close()
运行程序，得到如下：
访问淘宝页面.png
查找元素
查找单个元素
browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)
browser.close()
上面代码中的browser.find_element_by_id、browser.find_element_by_css_selector、browser.find_element_by_xpath实质上是找的同一个元素，只是查找的方式不同。
所以，最终答应出来的信息应该是完全一样的，如下图：
查找同一个元素.png
查找多个元素
browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements_by_css_selector(".service-bd li")
print(lis)
browser.close()
其实，查找多个元素就是由查找单个原色的find_element变成了find_elements.用法和查找单个元素基本一致 。
查找多个元素.png
另外一个用法是其“抽象方法”，具体代码示例如下：
browser = webdriver.Chrome ()
browser.get("https://www.taobao.com")
lis = browser.find_elements(By.CSS_SELECTOR,".service-bd li")
print(lis)
browser.close()
运行结果和上诉一致：
查找多个元素之抽象方法.png
元素交互操作
对获取的元素进行交互操作
from selenium import webdriver
import time
browser = webdriver.Chrome()
browser.get("http://www.taobao.com")
input = browser.find_element_by_id('q')
input.send_keys('IPhone')
time.sleep(1)
input.clear()
input.send_keys("IPad")
button = browser.find_element_by_class_name('btn-search')
button.click()
上诉代码主要是打开淘宝网，然后现在搜索框里面输入“IPhone”，然后1s之后删除，再次输入“IPad”，点击【搜索按钮】。
交互操作
可以将网页中的一些元素进行拖拽，需要引入ActionChains:
from selenium.webdriver import ActionChains
actions = ActionChains(source,target)
actions.perform()
执行JavaScript
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
browser.execute_script('Windows.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Buttom")')
打开知乎，并下滑到页面的最底端。
获取元素信息
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))
上诉代码是进入知乎的首页，并且找到知乎的logo信息，然后将其class属性打印出来。结果如下：
关于知乎的logo.png
获取属性
上诉最后一行代码即为获取文本值
获取文本值
获取知乎【提问】的文本值，代码如下：
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)
运行的结果如下：
获取文本.png
上图可知，程序成功的将制定的按钮的文本信息提取出来。
获取ID、位置、标签名、大小
对应的代码如下：
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.id)
print(input.size)
print(input.location)
print(input.tag_name)
程序运行得到以下的结果：
获取ID&SIZE&LOCATION&TAG_NAME.png
Frame
frame的本意是“架构，框架”，一个网页可以理解为由多个frame组成，且这些frame之间有父子继承关系。
frame.png
当元素所处的frame不确定时，需要用相关的switch_to进行相关的逻辑选择。
等待
隐式等待
隐式等待的默认时间是0，就是在指定的时间内找不到需要找的元素则会抛出相关的异常信息。
browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get("http://www.zhihu.com/explore")
input = browser.find_element_by_id('zu-top-add-question')
print(input.text)
一般来说，只有在网速很慢的情况下有必要加载这个等待的时间设置。
显示等待
显式等待比较常用，意思是按照编程的逻辑去查找一些元素，或者属性，在指定的时间过去之后不能查找到，则抛出异常。
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
wait = WebDriverWait(browser,10)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))
button = wait.until(EC.element_to_be_clickable(By.CSS_SELECTOR,'.btn-search'))
print(input,button)
显示等待.png
浏览器的前进和后退
browser.back()
browser.forward()
Cookies
将笔记本里知乎里面所有的cookies打印出来,然后全部删除
browser = webdriver.Chrome()
browser.get("http://www.zhihu.com/explore")
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())
程序运行的结果是：
cookies操作.png
选项卡的管理
实质上还是进行相关的script操作：
browser.execute_script('window.open()')
