Python爬虫学习笔记 - Scrapy遇到的问题

• 安装Scrapy依赖库Twisted库的时候出现了需要安装 c++ 14.0 的提示

https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下载对应python版本的离线包，在资源管理器里找到放离线包的文件夹 Shift + 右键 进入 Powershell 输入 pip install + 离线包名称和后缀名，在 cmd 下输入 scrapy version 出现版本号，安装成功。用 scrapy stratprojet 项目名称 创建scrapy项目

• 保存爬取数据为json格式，中文乱码的问题

保存数据json格式命令：scrapy crawl name -o items.json
item.json被保存在spiders文件夹下
在 settings.py 文件里添加 FEED_EXPORT_ENCODING = 'utf-8'