Python爬虫实践

Scrapy安装

在Ubuntu系统下创建虚拟环境 virtualenv scrapy_env

pip安装最新版本的scrapy首先需要解决系统的一些依赖库 lxml

sudo apt-get install libxml2-dev libxslt1-dev

pip insatll pyparsing

pip insatll appdirs

pip install scrapy

如上步骤完成scrapy的安装。