0x00 目标

把aws 账单明细 parquet文件，离线转换到 mysql数据库

0x01 过程

• 1. 下载　parquet 文件

直接从S3存储桶下载待处理月份账单数据文件。

• 2.格式工具下载

这里用到开源工具 Tad,可到网页直接下载。支持 mac/linux/windows环境。

• 3.转换至csv格式

打开Tad应用，打开相应parquet文件，再保存为csv文件即可。

• 4.合并csv文件

比如我现在当月有3个文件，需要对csv进行合并处理。
每个csv的第一行为列名。　手动删除第2，第3个文件的第一行。

然后合并：

cat 2.csv >> 1.csv
cat 3.csv >> 1.csv

• 5.导入mysql

这里使用 DataGrip 工具，先打开本地数据库实例，创建一个库。
然后导入数据文件，勾选第一行为列名选项。

经过几分钟时间等待，我们就得到了mysql版本的账单文件了。

注意：DataGrip导入过程是异步的。
我们需要不断对比表的数列行数来判断是否导入完成：

• select count(1) from bill
• wc -l 1.csv

0x02 流量相关计费总结

TODO: