网络爬虫Scrapy框架学习

网络上很多Scrapy都是基于python2.7的，本次使用的环境是python3.7的，在windows10环境下。

1.首先要安装python，https://www.python.org/downloads/windows/

web-based installer 是需要通过联网完成安装的
executable installer 是可执行文件(*.exe)方式安装
embeddable zip file 嵌入式版本，可以集成到其它应用中。

2.安装python后会自带pip，需要升级pip到版本18

python -m pip install --upgrade pip

3.安装Scrapy

pip install scrapy

当然官方建议使用 Anaconda 或者 Miniconda安装。
（可以把Miniconda看作是Anaconda的简化版）

conda install -c scrapinghub scrapy