2019-11-07
2019-11-07 本文已影响0人
Alxof
我们了解了 ChromeDriver的配置方法,配置完成之后便可以用 Selenium驱动 Chrome
浏览器来做相应网页的抓取。
1、确认ChromeDriver与Chrome版本对应关系
https://www.cnblogs.com/wuhl-89/p/9453885.html
2、下载对应ChromeDriver版本
http://npm.taobao.org/mirrors/chromedriver/2.32/
3、按书中校验是否安装成功
sudo mv chromedriver /usr/bin
但是会报错,mv: rename chromedriver to /usr/bin/chromedriver: Operation not permitted
但是没关系
chromedriver --version校验
或者使用python3登入
from selenium import webdriver
browser = webdriver.Chrome()
弹出chrome窗口即可用
aiohttp就是这样一个提供异步Web服务的库,从Python3.5版本开始,Python中加入了 async/await关键字,使得回调的写法更加直观和人性化。 aiohttp的异步操作借助于 async/await 关键字的写法变得更加简情,架构更加清晰。 使用异步请求库进行数据抓取时, 会大大提高效率,
在后面的实例中用到这个库,比如维护一个代理池时,利用异步方式检测大量代理的运行
状况,会极大地提升效率 。
P1.3解析库安装