大数据文件格式梳理：Parquet、Avro、ORC

一、相同点

1、基于Hadoop文件系统优化出的存储结构

2、提供高效的压缩

3、二进制存储格式

4、文件可分割，具有很强的伸缩性和并行处理能力

5、使用schema进行自我描述

6、属于线上格式，可以在Hadoop节点之间传递数据

二、不同点

行式存储or列式存储：Parquet和ORC都以列的形式存储数据，而Avro以基于行的格式存储数据。 就其本质而言，面向列的数据存储针对读取繁重的分析工作负载进行了优化，而基于行的数据库最适合于大量写入的事务性工作负载。

压缩率：基于列的存储区Parquet和ORC提供的压缩率高于基于行的Avro格式。 

可兼容的平台：

ORC常用于Hive、Presto；

Parquet常用于Impala、Drill、Spark、Arrow；

Avro常用于Kafka、Druid。

参考原文：https://blog.csdn.net/OiteBody/article/details/85055574

版权声明：本文为博主原创文章，转载请附上博文链接！