小文件存储
2020-08-27 本文已影响0人
听海吹牛逼的声音
小文件存储对hbase不太合适。会产生太多小块。hbase是按照rowkey来分片的。所以太多小文件了
https://zhuanlan.zhihu.com/p/136705670
fb的haystack。
思路是:把目录做成单独的service,
文件合并成大文件,这样在物理存储层上,metadata的存储压力就小。
小文件存储对hbase不太合适。会产生太多小块。hbase是按照rowkey来分片的。所以太多小文件了
https://zhuanlan.zhihu.com/p/136705670
fb的haystack。
思路是:把目录做成单独的service,
文件合并成大文件,这样在物理存储层上,metadata的存储压力就小。