如何稳定解析Hdfs fsImage文件
2021-10-09 本文已影响0人
_Kantin
背景
- 众所周知，要获取hdfs中存储的目录信息，比较简单的方式可通过访问8020来获取，但是此举会增加NN的压力，同时也采集不到我们最关心的数据访问时间这个字段。
- 通过解析Hdfs image的话，可得到数据访问时间字段，将非常有利于我们进行冷热数据分析。
过程
- FsImage文件是分布在运行NN的机器上的，因此需定时把Image上次到hdfs上
- 笔者是每天定时起docker容器拉取Image进行解析
- 实践证明解析后的Image文件大概是原文件的三倍大小
- 解析命令
# 字符按照“，”进行分割，强烈建议加上-t参数，防止OOM
hdfs oiv -p Delimited -delimiter , -t temporaryDir -i fsimage_0000000075762298193 -o fsimage.csv
- 解析后的字段含义分别是：
- Path：目录路径
- Replication：副本数
- ModificationTime：最后修改时间
- AccessTime：最后访问时间
- PreferredBlockSize：首选块大小，单位：byte
- BlocksCount：块的数量
- FileSize：文件大小，单位：byte
- NSQUOTA：名称配额 限制指定目录下允许的文件和目录的数量。
- DSQUOTA：空间配额 限制该目录下允许的字节数
- Permission：权限
- UserName：用户
- GroupName：用户组
- 最后可以把解析玩的csv文件上传到HIVE中，通过写HQL查询你感兴趣的东西
- fsImage中数据非常全，相当于全景图，只要想要的几乎都可以查到
