gitbook 搜索引擎
2019-06-06 本文已影响0人
灿飞无为
- 由用户提交gitBook用户个人主页,以gitbook用户主页为入口,爬取用户名下所有Book的信息并保存;
- 提供rest服务用于book提交和搜索服务;
- 接收图书不可用反馈;
- 提供图书评级服务;
- 所有用户id作为基础数据做好冗余备份,以备搜索数据初始化恢复
架构
- Puppeteer:google headless chrome Node.js 库,提供网页解析,用户爬虫和测试
- Sonic:开源搜索索引服务器，用Rust编写。Elasticsearch替代方案,使用Node.js操作
- TiDB:Rust开发的NewSQL数据库,兼容MySQL协议
- Taro/Gatsby.js:交互式页面框架
