crawler

有效地存储（json, jl, relational database数据库应该怎样安排）
有效地判重（visiting the same page multiple times）
有效地信息抽取 (regex, css slector)

及时更新（预测这个网页多久会更新一次）