三十一. Selenium + PhantomJS的配合使用

• Selenium：用于模拟真实用户在浏览器中操作。对于一些采用异步加载技术的网页，如果难以用抓包来构造爬虫，可以通过Selenium让浏览器自动加载页面，从而获取所需的数据。
• PhantomJS：无界面浏览器，相比Chrome，Firefox等浏览器，意味着开销小，速度快。
  可直接在官网上下载：http://phantomjs.org/

1. PhantomJS的安装

①下载PhantomJS文件后，解压并将phantomjs.exe复制到系统路径中，例如：C:\Python36。
②运行下述代码无误，说明PhantomJS环境已经配置好。

from selenium import webdriver
driver = webdriver.PhantomJS()

2. PhantomJS的使用

以豆瓣为例：

from selenium import webdriver                                                     
driver = webdriver.PhantomJS()                                       #指定浏览器
driver.get('https://www.douban.com')                                 #请求URL
driver.implicitly_wait(8)                                            #隐性等待8秒
driver.find_element_by_id("form_email").clear()                      #清楚输入框数据
driver.find_element_by_id("form_email").send_keys('账号')            #输入账号
driver.find_element_by_id("form_password").clear()
driver.find_element_by_id("form_password").send_keys('密码')         #输入密码
driver.find_element_by_class_name("bn-submit").click()              #单击“登陆豆瓣”的按钮
print(driver.page_source)                                           #打印登陆后的源代码

time.sleep()是强制等待指定的时间，如果时间定长了，会浪费时间。而implicitly_wait()函数完美地解决了这个entity，只要给定对应的时间参数，implicitly_wait()会进行智能等待，如果上面的代码已经执行完毕，就会自动进入下一行代码，不另外浪费时间。

运行成功后，可以用搜索功能查找一下自己的账号名是否在源代码中，如果存在，代表登陆成功。

3.使用selenium操作元素的常用方法有：

elem.send_keys("输入内容")
elem.click() #鼠标单击元素
elem.clear() #清除元素内容

4.获取异步加载数据的方式：

对于单个元素：

find_elements_by_name
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_xpath
find_elements_by_css-selector

对于多个元素：

find_elements_by_name
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_xpath
find_elements_by_css-selector

一般而言，对于简单的网页结构，可以使用class，name, id来定位元素。对于稍微复杂的网页结构，使用css或xpath均可。相对于xpath来说，css的格式调用更方便一些。

下面以简书网的某篇文章为例，进行信息的爬取。
爬取网址：https://www.jianshu.com/p/c80badcaa5bf
爬取方式：selenium + phantomJS

from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get("https://www.jianshu.com/p/c80badcaa5bf")
driver.implicitly_wait(10)
author = driver.find_element_by_css_selector("span.name").text    ##使用CSS方式
author1 = driver.find_element_by_xpath('//span[@class="name"]').text   ##使用xpath方式，与上一句等价
date = driver.find_element_by_css_selector("span.publish-time").text
word = driver.find_element_by_css_selector("span.wordage").text
view = driver.find_element_by_css_selector("span.views-count").text
comment = driver.find_element_by_css_selector("span.comments-count").text
like = driver.find_element_by_css_selector("span.likes-count").text
reward = driver.find_element_by_css_selector("span.rewards-count ").text  #其中，reward的信息没办法获取。
print(author,date,word,view,comment,like,reward)

结果为：
小瓜皮玩数据 2017.08.17 21:43* 字数 1313 阅读 704 评论 7 喜欢 9