01_依赖库的安装

请求库的安装

• requests:阻塞式http请求库

  $ pip install requests
  

• selenium:自动化测试工具，驱动浏览器执行一些操作

  $ pip install selenium
  

• chromedriver:谷歌浏览器驱动程序
• 安装配置
  • 官网 https://sites.google.com/a/chromium.org/chromedriver/downloads

  • 注意：先查看谷歌浏览器的版本，官网上下载对应版本的驱动，将下载后的可执行文件配置到环境变量下即可

  • 测试安装

  # cmd下输入下列命令
  $ chromedriver
  

• phantomjs:无界面的、可脚本变成的浏览器引擎
• 安装
  • 下载地址http://phantomjs.org/download.html
  • 建议将可执行文件配置到当前python环境的目录下，否则引入可能会报错'phantomjs' executable needs to be in PATH.
  • 测试安装

  # cmd输入
  $ phantomjs --version
  

• aiohttp:提供异步的http请求库
• 安装

  $ pip install aiohttp
  

• 官方推荐同时安装的两个库
  • cchardet:字符编码检测库
  • aiodns:加速DNS解析库
  • 安装

  $ pip install aiodns cchardet
  

解析库的安装

• lxml:python解析库，支持HTML、XML、xpath解析
• 安装

  $ pip install lxml
  

• Beautiful Soup4::python解析库，支持HTML、XML,依赖于lxml
• 安装

  $ pip install beautifulsoup4
  

• pyquery:提供了和JQuery类似的语法解析html,支持css选择器
• 安装

  $ pip install pyquery
  

• tesserocr:识别图形验证码的库
• 安装
  • 由于tesserocr依赖于tesseract，需要先下载tesseract
  • 下载地址 https://digi.bib.uni-mannheim.de/tesseract/

  • 可以勾选language data，可以识别多种语言

  # tesseract安装成功后
  $ pip install tesserocr pillow
  

  • 安装tesserocr出现的错误和解决办法
    • 报错缺Visual C++ 14.0

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/
    

    • 下载地址 https://go.microsoft.com/fwlink/?LinkId=691126
    • 下载成功后安装继续报错

    error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio 14.0\\VC\\BIN\\x86_amd64\\cl.exe' failed with exit status 2
    

    • 查了好多办法，都不行，放弃，直接安装whl文件
    • whl文件下载 https://github.com/simonflueckiger/tesserocr-windows_build/releases
    • 注意：下载对应tesseract版本和python版本的tesserocr
    • 下载成功后进入下载文件的路径执行下面命令

    $ pip3 install tesserocr-2.2.2-cp36-cp36m-win_amd64.whl
    

    • 安装成功，执行程序，发现tesserocr的一些方法初始化失败，报错信息

    RuntimeError: Failed to init API, possibly an invalid tessdata path: D:\XXXX\
    

    • 网上查了很多资料，配置系统变量、tessdata文件移来移去都不行，后来仔细研究一下报错信息，说的很明确这个路径的tessdata无效，将安装的tesseract目录下tessdata文件移到错误提示的目录下了，完美执行。

数据库的安装

• 关系型数据库：存储形式为表结构
• 菲关系型数据库：存储形式为键值对
• MySQL：轻量级的关系型数据库，官网上下载安装包进行安装即可

安装完成后，可以在计算机-管理-服务中开启或关闭MySQL服务。

• MongoDB：c++编写的非关系型数据库，开源分布式文件存储
  • 下载地址 https://www.mongodb.com/dr/fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-ssl-4.0.6-signed.msi/download
  • 占用端口：27017
  • 可视化工具：Robo 3T
  • 命令行启动服务

  $ mongod --dbpath 'mongobd的data下db的路径'
  

• Redis：基于内存的菲关系型数据库，高效
  • 下载地址 https://github.com/MicrosoftArchive/redis/releases
  • 占用端口：6379
  • 可视化管理工具：Redis Desktop Manager

与Python交互的存储库的安装

• pymysql

  $ pip install pymysql
  

• pymongo

  $ pip install pymongo
  

  pycharm安装不上的话，setting中安装即可

• redis-py

  $ pip install redis
  

• Redisdump：用于Redis数据导入导出的工具，基于Ruby实现的
  • 安装Ruby
  • 下载地址 http://www.ruby-lang.org/zh_cn/documentation/installation
  • 下载完成后配置到系统变量
  • 执行命令

  $ gem install redis-dump
  

web库的安装

• flask：轻量级的web框架

  $ pip install flask
  

• tornado：支持异步I/O的web框架

  $ pip install tornado
  

爬虫框架的安装

1、pyspider:国内、带有webUI、脚本编辑器、任务监听、项目管理器、结果处理器、支持多种消息队列、数据库，还支持js渲染页面的爬取

注意：pyspider支持js渲染，因此依赖phantomjs,安装前确保phantomjs已经安装

• 安装

  $ pip install pyspider
  

• 可能出现的错误Deprecated option 'domaincontroller': use 'http_authenticator.domain_controller' instead.
• 原因：安装pyspider3.x的时候,会默认安装wsgidav3.x,而wsgidav3.x现在还不太稳定，卸载后改成wsgidav2.x即可
• 解决

  $ pip uninstall wsgidav
  $ pip install wsgidav==2
  

• 启动pyspider

  $ pyspider all
  

  • 默认监听端口5000，访问http://locallhost:5000,可访问webUI管理页面

2、scrapy:十分强大的爬虫框架，依赖较多

• 安装

  $ pip install scrpay
  

• 可能会出现的错误
  参考文章

3、scrapy-redis:scrapy分布式扩展模块

• 安装

  $ pip install scrapy-redis
  

4、scrapy-splash:是scrapy支持js渲染的工具，需要安装splash服务，和scrapy-splash的python库，供在scrapy中使用。

• 安装scrapy-splash

  $ pip install scrapy-splash
  

• 安装splash服务，通过docker安装

  $ docker run -p 8050:8050 scrapinghub/splash
  

  • 后台运行

  $ docker run -d -p 8050:8050 scrapinghub/splash
  

• 可能出现的错误
  • 守护进程可能出现端口占用的错误

  $ docker ps
  $ docker kill -s kill 'id'
  

  • 访问localhost:8050没有反应，打开docker terminal，查看默认连接的虚拟IP,会有这样的提示" docker is configured to use the default machine with IP x.x.x.x"

部署相关库的安装

1、docker：一种容器技术，可以将应用和环境进行打包，形成一个独立的类似于iosapp的“应用”。放到任意一个支持docker的环境中即可使用。

• 下载地址 https://hub.docker.com/editions/community/docker-ce-desktop-windows
• cmd输入docker进行测试
• 可能出现的问题，如果win10家庭版不能安装成功可以安装Docker Toolbox
• 下载完成后，安装后找不到bash.exe文件 是因为安装的时候已经安装过git了，解决办法参考 https://blog.csdn.net/A632189007/article/details/78601213