实战：基于Scrapy+Elasticsearch+Django
2018-03-28 本文已影响44人
東飛
Just Downlink
实战：基于 scrapy + elasticsearch + django 搭建的分布式电影搜索
源码：https://github.com/GFigure/JustDownlink
网页链接：Just Downlink
- 利用 scrapy 爬取知名电影网站的下载链接
- 利用 elasticsearch 存储数据
- 利用 django 搭建电影搜索界面
数据采集
- 支持同步、异步数据存储至 Mysql 数据库
- 支持 elasticsearch 数据存储
- 支持 json 数据导出
- 保存日志至 logs 目录
搜索界面
- 搜索建议
- 简化电影下载页面
