上一篇
Parquet存储如何优化查询性能及节省存储空间？
Parquet存储是一种列式存储文件格式，最初由Cloudera和Twitter联合开发，并于2013年开源，现已成为Apache顶级项目，在大数据生态系统中，Parquet凭借其高效的压缩比、优秀的查询性能以及与多种计算框架的良好兼容性，成为事实上的数据存储标准之一，与传统的行式存储（如CSV、ORC）相比，Parquet的设计理念更侧重于提升大规模数据集的分析效率，尤其适用于OLAP（在线分析处理）场景。
Parquet存储的核心特性
Parquet的列式存储结构是其性能优势的核心，在行式存储中，数据按行连续存储，例如一条记录的所有字段会排列在一起；而列式存储则将同一列的所有值连续存储，这种差异带来了显著的优势，以包含用户ID、姓名、年龄、订单金额等字段的数据为例，若仅需分析订单金额的分布，列式存储只需读取“订单金额”这一列的数据，避免了加载无关字段（如姓名、年龄），从而大幅减少I/O操作，据统计，在分析场景中，列式存储可减少80%以上的磁盘读取量,这对处理TB级甚至PB级数据至关重要。
压缩效率是Parquet的另一大亮点，由于同一列的数据类型相同（如所有订单金额均为浮点数），数据模式高度相似，这为压缩算法提供了理想条件，Parquet支持多种压缩编码方式，包括Snappy、Gzip、LZ4等，其中Snappy以平衡的压缩率和解压速度著称，适合实时查询场景；而Gzip压缩率更高，适合存储成本敏感的场景，实际测试表明，Parquet的压缩比通常比CSV高510倍,同等数据量下可节省大量存储空间。
为了进一步提升查询效率，Parquet引入了谓词下推（Predicate Pushdown）技术，该技术允许计算引擎（如Spark、Presto）在读取数据前，根据过滤条件（如“订单金额>1000”）直接跳过不符合条件的文件或数据块，减少数据加载量，在HDFS上，Parquet文件会按行组（Row Group）分割，每个行组包含一定数量的行（默认约1万行），并存储该列的统计信息（如最小值、最大值、null值数量），当查询条件为“订单金额>1000”时，引擎只需检查每个行组的最大值，若最大值<=1000，则直接跳过整个行组,无需读取具体数据。
Parquet支持嵌套数据结构，如JSON中的数组、对象等，通过Dremel模型（由Google提出），Parquet可以高效存储复杂嵌套数据，同时保持列式存储的优势，用户订单数据中的“商品列表”字段（嵌套数组）可被拆分为多列，支持对商品属性的独立分析,而无需解析整个JSON文档。
Parquet的存储结构
Parquet文件的逻辑结构分为四层：文件（File）、行组（Row Group）、列块（Column Chunk）和页（Page），文件是存储的基本单位，包含一个或多个行组；行组是数据写入和读取的基本单元，由多个列块组成；列块是同一列在某个行组中的数据连续存储区域；页是压缩和编码的最小单元，通常包含数据页（存储实际数据）、字典页（存储字典编码的字典值）或索引页（存储索引信息）。
以一个包含100万行数据的Parquet文件为例，若按行组大小为1万行划分，则会生成100个行组，每个行组包含“用户ID”“姓名”“订单金额”等列块，每个列块又被划分为多个页（如数据页和字典页），这种分层结构使得Parquet能够灵活支持并行读取——不同计算任务可同时读取不同行组或列块,显著提升查询吞吐量。
Parquet的性能优势对比
与ORC（另一种列式存储格式）相比，Parquet在嵌套数据处理上更具优势，而ORC在Hive生态中的集成度更高，与Avro相比，Parquet的压缩效率更高，但Avro的序列化/反序列化速度更快，适合实时流处理场景，与CSV等文本格式相比，Parquet的二进制存储方式避免了数据解析开销，且支持模式演化（Schema Evolution），即在数据存储后可新增或修改字段,而无需重写整个数据集。
适用场景
Parquet广泛应用于大数据分析场景,包括：
- 数据仓库：如Hive、Presto等引擎可直接查询Parquet格式的表,提升分析效率。
- 机器学习：特征数据以Parquet格式存储，可快速加载特定列进行模型训练,减少数据加载时间。
- 日志分析：海量日志数据以Parquet格式存储后，通过谓词下推快速过滤关键日志,降低存储成本。
局限性
尽管优势显著，Parquet也存在一些不足，对小文件的写入性能较差，因每个文件需单独存储元数据；频繁更新的场景下，列式存储的随机写入效率不如行式存储；Parquet的压缩和解压需要额外计算资源,对低配置硬件可能构成压力。
相关FAQs
Q1: Parquet与ORC格式的主要区别是什么？
A1: Parquet和ORC均为列式存储格式，但设计重点不同，Parquet更擅长处理嵌套数据结构，适合复杂数据场景；ORC在Hive生态中优化更好，支持ACID事务，适合需要频繁更新的数据仓库场景，ORC的索引机制更细粒度，而Parquet的谓词下推依赖行组统计信息,两者各有优势。
Q2: 如何优化Parquet文件的写入性能？
A2: 优化Parquet写入性能可采取以下措施：① 合理设置行组大小（如增大行组数量可提升并行度）；② 使用字典编码（适合低基数列）；③ 避免小文件，通过分区合并或Coalesce操作减少文件数量；④ 选择合适的压缩算法（如Snappy适合实时写入，Gzip适合归档）；⑤ 在Spark中启用parquet.bloom.filter.enabled和parquet.enable.dictionary等参数提升写入效率。
