Python 3 爬虫 实战（1）
Python学完基本的东西有段时间了，从今天开始，进行实战开发。
实战参考书籍 图灵原创 崔庆才 《Python3 网络爬虫开发实战》
开此记录实战过程中遇到的问题及解决方案，顺序依照上述书记的章节目录顺序
开战！！
1.1 python3安装（Mac上默认的是python2.7,自己再装了个3.7.3，安装步骤简单不赘述了）
1.2.1 Requests 的安装
遇到的问题如下：
默认mac上已经安装了 python2.7 而我又安装了 python3，并主要使用 python3;
pip安装的包安装在了 python2.7
所以我使用pip无法将requests库安装到python3上
PS:这个问题解决方案详见 https://www.jianshu.com/p/180fdd35bac4
解决方案：
1 使用virtualenv 虚拟环境来处理这个问题，可参考https://blog.csdn.net/weixin_38264564/article/details/80024025
2 使用源码安装 git clone git://github.com/kennethreitz/requests.git 执行命令 cd requests 和 python3 setup.py install
方案一，后续的操作需要再虚拟环境下操作需要activate和deactivate，我个人嫌麻烦，没有采用。使用了源码安装
验证是否安装成功，如下，如报错即可
$ python3
> > import requests
1.2.2. Selenium 的安装
有了上面的问题，selenium我就直接选择了源码安装 地址
https://pypi.org/project/selenium/#files 下载类型为source的文件（后缀名为tar.gz）
cd 到 Selenium目录下 然后执行 python3 setup.py instal
验证是否安装成功，如下，如报错即可
$ python3
> > import selenium
1.2.3 ChromeDriver的安装
根据自己安装的chrome版本来选择驱动版本，对应关系以及下载地址参考
https://blog.csdn.net/BinGISer/article/details/88559532
找到对应版本后将可执行文件移动到指定目录下
sudo mv /Users/****/Desktop/chromedriver /usr/local/bin
配置环境变量
export PATH="$PATH:/usr/local/bin/chromedriver"
source ~./profile
查看配置是否ok执行 echo $PATH
检查chromedriver是否安装成功
命令行执行如下
python3
>>> from selenium import Webdriver
>>> web = Webdriver.Chrome()
>>> web.get("www.baidu.com")
如果chrome自己打开并进入了百度首页就万事大吉，如果打开又闪退，那就是chromedriver版本不对
1.2.4 GeckoDriver 的安装（自己没装火狐，这里就先略过）、
1.2.5 PhantomJS
原书中提到了无界面爬数据使用了phantomjs，但是最新版本的selenium已经不再支持phantomjs,并且phantomjs下载列表中的已经无法打开，就放弃这个了
替代方案(chrome & firefox 新版本都支持了无头模式)
>>>fromselenium.webdriver.chrome.options
>>>importOptionsoptions = Options()
>>>options.add_argument('-headless')#无头参数
>>>browser = webdriver.Chrome(chrome_options=options)
1.2.6 aiohttp 的安装
依然采用源码安装
地址：https://pypi.org/project/aiohttp/#files，方法如Requests源码安装一样
验证是否安装成功，如下，如报错即可
$ python3
> > import aiohttp
