OpenTSDB集群间数据同步
2020-06-02 本文已影响0人
david9
背景
有2个opentsdb集群，需要将一个集群的数据同步到另外一个集群，数据量大概在600G左右
方案
hbase snapshot方式
资料很多，略
opentsdb scan+import方式
通过suggest方式获取所有metric（max尽量大些，保证获取所有metric）：
wget http://OPENTSDB_HOST:4242/api/suggest?max=99999&q=&type=metrics
使用scan命令导出某个时间段的metric数据，如下：
tsdb scan --import '2020/01/01-00:00:00' '2020/06/01-01:00:00' none cpu.nice.time > nice.time.txt
命令格式为：
tsdb scan --import 开始时间 结束时间 aggregator metric名 [tag名=tag值，...]
其中aggregator为none表示不聚合
使用gzip压缩：
gzip nice.time.txt
scp至另一个集群，import导入：
tsdb import /root/nice.time.txt.gz
