win10+python2.7环境下scrapy1.4.0安装

1.python2.7安装及下载

下载地址：https://www.python.org/

安装步骤：

1.点击.exe文件，然后按提示“下一步”，直至完成

2.python环境配置：我的电脑-->右键属性-->环境配置-->path-->添加你的python安装路径，把python目录下的Scripts也添加到path中

3.检验：在cmd中键入python，出现版本信息则安装成功

2. scrapy1.4.0及python依赖包下载安装

下载Scrapy-1.4.0包

安装pip-9.0.1.exe (为后面的pip install语句做准备)

安装lxml-3.2.4.win-amd64-py2.7.exe（版本因需而定）

安装pywin32-218.win-amd64-py2.7.exe （版本因需而定）

安装Twisted-13.2.0.win-amd64-py2.7.exe（最好下13.1.0否则会报错）

安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe （版本因需而定）

安装zope.interface-4.3.3.win-amd64-py2.7.exe(https://pypi.python.org/pypi/zope.interface#downloads)

安装VS2008ProEdition90DayTrialCHSX1435983.iso(这个下载时间有点长，如果不装可能会报错)

安装MySQL-python-1.2.3.win-amd64-py2.7.exe(非必须)

检验是否安装成功（cmd中）

●执行import lxml，如果没报错，则说明lxml安装成功。

● 执行import twisted，如果没报错，则说明twisted安装成功。

● 执行import OpenSSL，如果没报错，则说明OpenSSL安装成功。

● 执行import zope.interface，如果没报错，则说明zope.interface安装成功。

●键入pip --version,出现版本信息则安装成功

ps：依赖包会出现在python目录下的  ...\Python\Lib\site-packages中

4 scrapy安装

方法1： 控制台输入：pip install scrapy（下载较慢）

方法2： 去官网下载解压，然后在其目录下执行python setup.py install进行Scrapy的安装。

检验方法：cmd中输入scrapy version，如果出现版本信息则成功

但是，windows下想这么简单是不可能的。一般会有一堆错误。

5 安装出现错误

a.  scrapy 安装 出错 'module' object has no attribute 'OP_NO_TLSv1_1

问题是twisted版本太高，解决办法：pip install twisted==13.1.0

b.  pip install twisted==13.1.0出错：UnicodeDecodeError: 'ascii' codec can't decode byte 0xb1 in position 9: ordinal not in range(128)

解决办法如下：

**在Python目录 Python27\Lib\site-packages 建一个文件sitecustomize.py

里面的内容是：

importsys

sys.setdefaultencoding('gb2312')

在cmd中：pip install wheel

出错

修改为

importsys

sys.setdefaultencoding('UTF-8')

在cmd中pip install wheel

成功

c 若报错:#XXX put more info here ...distributionNOTFound:...

解决方法：更新一下scrapy

pip install –upgrade scrapy