scrapy实战
2020-07-12 本文已影响0人
李永开
一.scrapy
- scrapy是一个爬虫框架
- 使用python3安装
pip3 install scrapy
- 如果你使用的事brew安装的python3,那么直接在命令行是敲不出
scrapy的
.
解决办法,创建一个软连接/usr/local/Cellar/python/3.7.7/Frameworks/Python.framework/Versions/3.7/bin/scrapy /usr/local/bin/scrapy
将brew下面的python的scrpy在/usr/local/bin
映射一个
二.开始爬虫
1.scrapy startproject meizitu
新建一个工程
2.scrapy genspider mztSpider https://www.meizitu.com
创建爬虫
3.scrapy crawl mztSpider
运行爬虫