Windows&&Ubuntu安装Python爬虫Scrapy框
2019-07-16 本文已影响0人
huangsv
Windows环境下的Scrapy创建
一、安装 Twisted 模块
1、Twisted模块下载地：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
2、下载 “Twisted” 模块对应的二进制文件（根据 Python 版本和系统位进行下载）
image
3、以管理员身份运行命令符窗口（cmd窗口）
4、使用 cd 命令打开 “Twisted” 模块所有的路径（注意：Twisted模块下载后与重命名）
5、通过 pip 的方式进行安装（pip install "Twisted模块名"），安装成功后大概是下面这样子：
pip install Scrapy .\Twisted-19.2.1-cp37-cp37m-win_amd64.whl
image
（如果模块安装出错可以使用"pip list"查看模块列表下是否有“lxml”的模块，如果没有需要在“https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml”
下载，安装方式与“Twisted”一致。)
二、安装Scrapy
1、继续命令提示符窗口，安装Scrapy
pip install Scrapy
2、安装完成后在命令窗口中输入“scrapy”出现版本信息并且没有错误提示异常，说明安装成功
image
三、安装pywin32
1、命令提示符窗口，安装pywin32
pip install pywin32
image
2、进入python编译环境中导入模块并运行，如果没有错误提示说明安装成功
import pywin32_system32
image
Ubuntu环境下Scrapy创建
一、安装python3-pip
1、一般Ubuntu自带python3，如果没有安装在shell终端执行下面命令进行安装
~$sudo apt-get install python3-pip
二、安装依赖(来自：官方文档)
~$sudo apt-get install python3 python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
三、安装scrapy
~$sudo pip3 install scrapy
四、测试
~$scrapy
如果出现scrapy版本等信息就说明成功了，相对来说Ubuntu的安装比windows简单一些！
