程序员

scrapy的安装和项目创建

2019-08-19  本文已影响0人  pillows

1、首先安装wheel

# 安装依赖包
pip install wheel

2、然后下载驱动

https://www.lfd.uci.edu/~gohlke/pythonlibs/

下载网址(在最后面)

下载好后放到桌面,Shift cmd命令符窗口

pip install Twisted-17.9.0-cp36-cp36m-win32.whl

安装

3、安装pywin32

pip install pywin32

4、安装pip install Scrapy

pip install Scrapy

5、创建项目

scrapy startproject ArticleSpider

scrapy startproject spider1

6、创建爬虫类

# tencentPostion为爬虫名,tencent.com为爬虫作用范围

scrapy genspider tencentPostion "tencent.com"

scrapy genspider test "tencent.com"

#自动爬虫的创建

scrapy genspider -t crawl Crawlspider domain.com

ubuntu安装scrapy

1、安装python-dev

# 这里的python需要跟python版本相同
sudo apt-get install python-dev

2、依次安装(我直接跳过了这个阶段 )

sudo apt-get install build-essential

sudo apt-get install libxml2-dev

sudo apt-get install libxslt1-dev

sudo apt-get install python-setuptools

3、最后正常安装

pip install scrapy

4、输入scrapy验证是否安装成功了

上一篇下一篇

猜你喜欢

热点阅读