done

爬虫运行正常

• 跳页
• 页面标签去重
• mongoDB使用
• 容错设计

感悟

• 凌晨四点完成程序和ppt
• 久违的程序员感

todo

• 改递归（内存泄漏）
• 插入数据时检测重复（唯一索引）

参考

• mongodb去除重复的数据
• java对mongo的一些去重、分组聚合、分页查询等操作