Python爬虫:selenium的填坑心得

永远是别人家的猫好看

在之前的文章中说过，模拟浏览器在现在的python库中有两个选择Mechanize与Selenium：然而Mechanize不支持JavaScript，Selenium是一套完整的Web应用程序测试系统。所以对于爬虫开发来说selenium就成了爬虫开发的核武器，可以有效的帮助我们(1.无脑的执行JavaScript渲染页面;2.规避反爬)。
在此之前实现的十几万网站的频道识别是绝对不能算是定点爬虫的了，所以只好祭出核武器。
网上关于selenium的教程有很多，这里细数selenium的注（yi）意（xie）事（shen）项（keng）：

• 关于web_driver的选择

  • phantomjs：不要选！不要选这个！phantomjs相信是很多爬虫使用者在接触selenium时使用的的一个浏览器了。无头（无界面）浏览器。但是，phantomjs已经放弃维护了，使用中会出现进程无法正常关闭的情况，只能通过系统脚本kill，还有一个问题可以说非常致命了，在driver异常的时候不仅无法正常退出还可能将cpu占满，很可能导致你其他进程的执行失败。不推荐，真的不推荐。
  • firefox：没有phantomjs那两个问题，用起来相对正常（有种说法是selenium对firefox支持最好）。缺点在于没有无界面模式（也许有，但我翻了很多文档都没找到）；在程序异常是会输出大量日志文件挤占磁盘空间（win下默认输出在c:\windows\temp\）。这两个缺点相对比较好克服，第一点，反正你一般也不会在你的爬虫集群上面的机器进行操作所以影响不大；第二点，写个脚本让磁盘空间不足的时候自动删除这个目录就好了。
  • Chrome:我现在使用的是这个。有无界面模式，缺点除了占点内存也没什么（内存占用并没有很夸张，比phantomjs多1/3不到的样子）。希望谷歌爸爸的Chrome就这样坚持下去不要出问题。

• 关于selenium使用代理的问题

  假如你抓的是会封ip的网站，那你除了sleep更需要使用代理。给出常用设置方法：

  • phantomjs:

  from selenium import webdriver
  from selenium.webdriver.common.proxy import Proxy
  from selenium.webdriver.common.proxy import ProxyType
  from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
  proxy = Proxy(
  {
  'proxyType': ProxyType.MANUAL,
  'httpProxy': 'ip:port'  # 代理ip和端口
  }
  )
  # 配置对象DesiredCapabilities
  desired_capabilities = DesiredCapabilities.PHANTOMJS.copy()
  # 把代理ip加入配置对象
  proxy.add_to_capabilities(desired_capabilities)
  driver = webdriver.PhantomJS(
  executable_path="/path/of/phantomjs",
  desired_capabilities=desired_capabilities
  )
  driver.get('http://www.ip.cn/')
  

  • firefox:

  from selenium import webdriver
  profile = webdriver.FirefoxProfile()
  profile.set_preference('network.proxy.type', 1)
  profile.set_preference('network.proxy.http', '127.0.0.1')
  profile.set_preference('network.proxy.http_port', 17890)  #端口号为int
  profile.update_preferences()
  driver = webdriver.Firefox(firefox_profile=profile)
  driver.get('http://www.ip.cn/')
  

  • Chrome:

  chromeOptions = webdriver.ChromeOptions()
  chromeOptions.add_argument('--proxy-server=http://ip:port')  
  driver = webdriver.Chrome(chrome_options=chromeOptions)
  driver.get('http://www.ip.cn/')
  

  从代码量上来看，我继续安利Chrome

• selenium的两（san）种等待方式。

  • time.sleep:不是selenium的等待方式，但有时候简单粗暴出奇迹（原因看下面）。
  • implicitly_wait(xx)：隐性等待。设置了一个最长等待时间，如果在规定时间内网页加载完成，则执行下一步，否则一直等到时间截止。
  • WebDriverWait类：显式等待，配合until()和until_not()方法。程序每隔x秒看一下，如果条件成立了，则执行下一步，否则继续等待，直到超过设置的最长时间，然后抛出TimeoutException。
    最长的等待时间取决于两者之间的大者，如果隐性等待时间 > 显性等待时间，则该句代码的最长等待时间等于隐性等待时间。
    网上说implicit_wait、WebDriverWait存在风险会遇见bug,我在使用时是没遇见网上说法的运行错误的bug，但是在使用显式等待时的确会遇见失效的现象，所以time.sleep出奇迹。

• 切换handle

  #切换不同的tab页
  #driver.switch_to.window(window_name)
  #从A页跳转到B页，句柄已经切换过去，但是页面焦点没有切过去，所以需要switch_to.window，把焦点也切过去，才可以在当前页进行操作。
  #切换是思路，获取所有的句柄，因为返回是一个list，而且要切换的对象都是最新的，可以使用[-1]直接切过去
  #例如：
  driver.switch_to.window(driver.window_handles[-1])```
  
  

• 切入iframe

  与上面方法类似

  切入：driver.switch_to.frame('xxx')
  iframe_list = self.driver.find_elements_by_tag_name('iframe')
      for iframe_item in iframe_list:
          self.driver.switch_to.frame(iframe_item)
  

• 切入弹窗

  切入：driver.switch_to_alert()

• 切出/回到原始页面

  使用与上面三种方法：self.driver.switch_to.default_content() #返回原始driver

• 页面的刷新

  我只是觉得很可能很多人不知道这个：driver.refresh()

作者本人并不是特别建议在定点抓取类的爬虫中使用selenium，主要原因是因为慢,selenium为了达到跨平台跨浏览器的目的，采用了通过javascript来驱动浏览器动作的方法，而selenium为执行速度依赖于浏览器对js的解析执行速度，偏偏selenium无法很好的界定页面加载情况（是加载完成还是在继续执行某些操作），成也萧何败也萧何。
假如定点类抓取中想要执行JavaScript,我本人是用PyV8，是一个Python封装V8引擎的壳。能够利用python来构建出JavaScript的运行时环境。不如后面的文章找一篇说下PyV8好了，大家周末愉快。