Hadoop支持存储哪些格式？Hadoop常用存储格式有哪些

Hadoop生态系统之所以能够成为大数据处理的基石,很大程度上归功于其灵活且强大的存储能力，Hadoop分布式文件系统（HDFS）本身主要关注数据的可靠性和高吞吐量，但它并不直接定义数据在磁盘上的具体组织形式，相反，Hadoop生态中的各种计算框架（如MapReduce、Spark、Hive、Presto等）通过引入不同的“存储格式”或“序列化格式”，来解决数据在存储效率、查询性能、压缩比以及Schema演进等方面的需求，理解这些格式的区别，对于构建高效的大数据仓库至关重要。

Hadoop生态中最主流且广泛支持的存储格式主要包括TextFile、SequenceFile、RCFile、ORC以及Parquet，这些格式各有优劣，适用于不同的业务场景。

TextFile是Hadoop中最基础、最通用的存储格式，它实际上就是纯文本文件，每一行代表一条记录，字段之间通常使用特定的分隔符（如逗号、制表符）隔开，TextFile的优势在于其极高的兼容性，任何文本编辑器都可以打开查看，且生成成本极低，无需额外的序列化开销，它的缺点也非常明显：由于缺乏二进制压缩和索引机制，TextFile的存储体积通常最大，且在查询时需要全表扫描并解析每一行文本，导致I/O开销巨大，查询性能较差，它通常仅用于数据导入初期的临时存储或日志文件的原始留存。

为了提升存储效率和查询速度,SequenceFile应运而生，这是一种Hadoop原生的二进制键值对存储格式，它将数据压缩后以二进制形式存储，支持三种压缩方式：无压缩、记录级压缩和块级压缩，SequenceFile的优势在于其读写速度极快，非常适合MapReduce作业中间结果的存储，因为MapReduce天然处理键值对，SequenceFile并不支持基于列的查询优化，如果只需要读取数据中的某几个字段，它依然需要读取整个记录，因此在数据仓库场景下逐渐被更先进的列式存储格式所取代。

随着数据仓库需求的增长,行式存储的局限性日益凸显，列式存储格式成为了主流。RCFile（Record Columnar File）是早期由Facebook开发的列式存储格式，它将数据按行分块，但在块内部按列存储，这种设计使得在查询特定列时，可以跳过无关列的数据，极大地减少了I/O，RCFile支持压缩和索引，性能优于TextFile和SequenceFile，但其架构相对复杂，且对Schema变更的支持不够灵活。

Hadoop生态中两大最主流的列式存储格式是ORC（Optimized Row Columnar）和Parquet。

ORC格式是由Apache Hive团队开发并优化的列式存储格式，它旨在解决RCFile的一些局限性，提供了更高效的压缩算法（如Zlib、Snappy、LZO）和更细粒度的索引，ORC文件包含元数据、行组、列数据等部分，支持复杂的类型（如嵌套结构），并且对谓词下推（Predicate Pushdown）支持良好，能够显著加速SQL查询，ORC在Hive生态中表现优异，特别是在处理大规模数据分析时，其查询速度和存储效率往往优于Parquet。

Parquet则是由Twitter和Cloudera共同开发的列式存储格式，后来成为Apache顶级项目，Parquet的最大优势在于其语言无关性和广泛的兼容性，它不仅被Hive支持，还被Spark、Presto、Impala、HBase等多种计算引擎原生支持，Parquet采用了混合存储模式，结合了行存储和列存储的优点，通过记录组（Row Groups）和页（Pages）来组织数据，它在处理嵌套数据结构方面表现良好，且支持高效的压缩，能够显著减少存储空间和I/O开销，对于跨平台、多引擎协作的大数据平台，Parquet通常是首选格式。

为了更直观地对比这些格式,我们可以参考下表：

在选择存储格式时,开发者需要根据具体的业务需求进行权衡，如果数据主要用于即席查询（Ad-hoc Query）且涉及大量列过滤，列式存储（ORC或Parquet）是必然选择，如果数据主要用于ETL过程中的中间交换，SequenceFile可能更高效，而对于需要与其他非Hadoop系统交换数据的场景，TextFile或Parquet因其通用性而更具优势。

相关问答FAQs

Q1: 在Hadoop中，应该选择ORC还是Parquet格式？

A1: 选择ORC还是Parquet主要取决于你的技术栈和具体需求，如果你的数据仓库主要基于Apache Hive，并且追求极致的查询性能，ORC通常是更好的选择，因为Hive对ORC进行了深度优化，且ORC的索引机制更为强大，如果你的环境涉及多种计算引擎（如同时使用Spark、Presto、Impala等），或者需要与其他大数据工具进行数据交换，Parquet是更通用的选择，因为它具有更好的跨语言和多引擎兼容性，Parquet在处理嵌套数据结构方面也有较好的支持。

Q2: 为什么列式存储格式（如Parquet/ORC）比行式存储格式（如TextFile）查询更快？

A2: 列式存储格式查询更快的核心原因在于I/O效率和压缩比的提升，在行式存储中，数据按行连续存储，查询时即使只需要某几个字段，也必须读取整行数据，导致大量的无用I/O，而在列式存储中，同一列的数据连续存储，查询时只需读取涉及的列，大幅减少了I/O量，同一列的数据类型相同，数值分布规律性强，因此可以使用更高效的压缩算法（如字典编码、RLE编码），使得存储体积更小，进一步减少了需要读取的数据量，列式存储通常包含更细粒度的索引（如最小值、最大值、直方图），使得查询引擎能够快速跳过不满足条件的数据块，从而实现谓词下推，显著提升查询速度。