selenium和PhantomJS模拟动态登录某网站

Selenium

• Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。

• Selenium 可以根据我们的指令，让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

• Selenium 自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。

PhantomJS

• PhantomJS是一个基于Webkit的“无界面”(headless)浏览器，它会把网站加载到内存并执行页面上的 JavaScript，因为不会展示图形界面，所以运行起来比完整的浏览器要高效。

• 如果我们把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，这个爬虫可以处理 JavaScrip、Cookie、headers，以及任何我们真实用户需要做的事情。

代码实例1

from selenium import webdriver
import time

# 创建浏览器对象
browser=webdriver.PhantomJS(executable_path="/Users/yunmei/phantomjs-2.1.1-macosx/bin/phantomjs")
# 请求加载登录链接
browser.get('https://www.zhihu.com/#signin')
time.sleep(3)
# 模拟点击使用密码登录
browser.find_element_by_css_selector(".signin-switch-password").click()
# 输入账号
browser.find_element_by_css_selector(".account input[name='account']").send_keys('手机号或邮箱')
# 输入密码
browser.find_element_by_css_selector(".verification input[name='password']").send_keys('登录密码')
# 模拟点击登录
browser.find_element_by_css_selector(".sign-button").click()
time.sleep(3)
# 截图
browser.save_screenshot("zhihu.png")
browser.quit()

代码实例2

from selenium import webdriver
import time

driver = webdriver.PhantomJS(executable_path="/Users/yunmei/phantomjs-2.1.1-macosx/bin/phantomjs")
driver.get("https://www.douban.com/")
# 输入账号密码
driver.find_element_by_name("form_email").send_keys("账号")
driver.find_element_by_name("form_password").send_keys("登录密码")
# 模拟点击登录
driver.find_element_by_xpath("//input[@class='bn-submit']").click()
# 等待3秒
time.sleep(3)
# 生成登陆后快照
driver.save_screenshot("douban.png")
with open("douban.html", "w") as file:
    file.write(driver.page_source.encode('utf-8'))
driver.quit()