集群规模及购买服务器建议
2020-02-07 本文已影响0人
etheon
1.用户行为数据
100万用户,每人一天100条,每条日志1K。
每天约100G
ODS压缩为10G
DWD压缩为10G
DWS轻度聚合约50G
ADS数据量忽略不计
保存3副本 共210G
半年不扩容共37T
预留20%30%共53T
2.DATAHUB缓存数据
每天100G,2副本,共200G
保存3天,共600G
预留30%,共1T
3.FLUME缓存,忽略不计
4.业务数据
每天下单用户10W,产生业务数据10条,每条日志1K。共1G
数仓四层存储,共3G
保存3副本,共9G
半年不扩容,共1.6T
预留30%,共2T
5.集群总规模,共56T
6.每台服务器8T,共需7台。