Window下Scrapy的安装2019-02-28

一直是在李牛下学习如何虫子饲养技术，后来为了方便，把苹果空气本上也装了。但是，这几天不知为何，李牛无线网卡网速不稳定，又不想扯网线，所以想在瘟斗上也装一个。在安装过程中，遇到了一些问题，记下来，以备参考。

第一，下载Py372安装之后，pip这个小东西一定要升级，否则会出错。命令：python -m pip install --upgrade pip

第二，安装虫子之前，一定要安装Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl这个C++14.0库支持，地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted. Twisted（绞接头）是用Python实现的基于事件驱动的网络引擎框架,Twisted支持许多常见的传输及应用层协议,包括TCP、UDP、SSL/TLS、HTTP、IMAP、SSH、IRC以及FTP。

第三，在完成了以上两步之后，再pip install scrapy，才会成功。

第四，安装pywin32，pip install pywin32。只有装了这个，虫子才会动得欢。

第五，当你使用scrapy shell时，如果response时出现了attribute错误，如scrapy AttributeError: 'NoneType' object has no attribute 'xpath'，不要急，那是你的settings中的ROBOTSTXT_OBEY没有设为False。文明的虫子是不会乱动人家的东西的，把它设为False，让虫子粗鲁些，一切都好了。