Scrapy安装

Scrapy简介

Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。

Windows下安装Scrapy

直接通过pip安装

pip install scrapy

当然不是这么简单的了，会出现错误，例如下面两个错误：

错误1 错误2

经常看我文章的朋友对这个错误非常熟悉，没错，和我们安装wordcloud是一样的。

解决方法
直接访问下面的网址，根据你的电脑和py版本下载对应的whl文件
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

下载完成后，把whl文件放在pip路径下,输入下面的代码，记住代码的whl文件名一定是适合你的文件名，我只是举例：

pip install Twisted-18.4.0-cp36-cp36m-win32.whl

运行后会显示安装成功

然后我们查一下scrapy的版本

scrapy version -v

大家可以关注我的微信公众号：「秦子帅」一个有质量、有态度的公众号！