Scrapy 框架的简介和安装（十四）

一、Scrapy框架简介

• Scrapy是纯Python开发的一个高效,结构化的网页抓取框架。
• Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
• Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试 ，Scrapy还使用了Twisted 异步网络库来处理网络通讯。
• 注意：通过scrapy框架可以实现分布式爬取。

二、Scrapy框架安装

scrapy支持Python2.7和python3.4以上版本。
python包可以用全局安装（也称为系统范围），也可以安装在用户空间中。不建议安装在系统范围。相反，建议在虚拟环境(virtualenv)中安装scrapy。Virtualenv允许不与已安装的Python系统包冲突，并且仍然通常使用pip安装。

1、windows上进行安装Scrapy框架

• 虽然可以使用pip在Windows系统上安装Scrapy，但是官方建议安装Anaconda并使用conda安装，这样可以避免大多数问题。
• 首先在自己的一个磁盘中安装虚拟环境，打开cmd命令，输入virtualenv+虚拟环境名称。
• 之后进入虚拟环境，即 虚拟环境名称\Scripts\activate(按回车键即可进入虚拟环境下面)。
• 首先下载twisted(异步框架)，下载官网：https://www.lfd.uci.edu/~gohlke/pythonlibs/
• pip或者conda install 文件的绝对路径（安装异步框架）
• 最后进行pip/conda install scrapy

2、Ubuntu 14.04或以上版本上进行安装Scrapy框架

scrapy目前正在使用最新版的lxml，twisted和pyOpenSSL进行测试，并且与最近的Ubuntu发行版兼容。但它也支持旧版本的Ubuntu，比如Ubuntu14.04，尽管可能存在TLS连接问题。

（1）Ubuntu安装注意事项：

• 不要使用 python-scrapy Ubuntu提供的软件包，它们通常太旧而且速度慢，无法赶上最新的Scrapy。

（2）Ubuntu上安装

• 要在Ubuntu（或基于Ubuntu）系统上安装scrapy，您需要安装这些依赖项：sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev（建议在虚拟环境下）
  注意：如果你想在python3上安装scrapy，你还需要Python3的开发头文件：sudo apt-get install python3-dev（建议在虚拟环境下）
• 在virtualenv中，你可以使用pip安装Scrapy：pip install scrapy