hive中表的数据存储在哪

在Hive中,表的数据存储位置与表的类型、存储格式以及配置参数密切相关，Hive作为基于Hadoop的数据仓库工具，其核心数据存储依托于HDFS（Hadoop Distributed File System），以下是关于Hive表数据存储的详细解析：

Hive表的分类与存储位置

Hive支持多种表类型,包括内部表（Managed Table）、外部表（External Table）、分区表（Partitioned Table）和临时表（Temporary Table），不同表类型的数据存储路径和生命周期管理方式存在差异。

1 内部表（Managed Table）

• 存储路径：默认存储在Hive的默认数据库目录下，路径格式为：
  /user/hive/warehouse/<database_name>.db/<table_name>
  数据库test_db中的表employee的存储路径为：
  /user/hive/warehouse/test_db.db/employee
• 特点：
  • 表的元数据（如分区信息、列定义）和数据均由Hive管理。
  • 删除表时,Hive会自动删除HDFS中的数据目录。
  • 适合临时数据或无需长期保留的数据。

2 外部表（External Table）

• 存储路径：由用户指定，可以是HDFS中的任意路径。
  创建外部表时指定路径为/data/external/employee，则数据存储在该路径下。
• 特点：
  • 表的元数据由Hive管理,但数据目录由用户维护。
  • 删除表时,仅删除元数据，不删除HDFS中的数据目录。
  • 适合共享数据或需要长期保留的数据。

对比表格

分区表的存储结构

分区表通过按特定字段划分数据,将不同分区的数据存储在不同的HDFS目录中，以提高查询效率。

1 分区路径规则

• 分区字段的值会作为目录名称,表sales按year和month分区，则路径可能为：
  /user/hive/warehouse/sales/year=2023/month=05/
year=2023和month=05是动态分区目录。
• 每个分区对应一个子目录,数据文件（如000000_0.parquet）存储在分区目录下。

2 示例

假设表logs按date分区，插入数据date='2023-10-01'，则HDFS路径为：
/user/hive/warehouse/logs/date=2023-10-01/000000_0.txt

数据存储格式

Hive支持多种数据存储格式,不同格式对存储路径和文件组织方式有影响。

1 常见存储格式

2 存储格式对路径的影响

• 无论采用何种格式,Hive表的数据文件均存储在表对应的HDFS目录下。
• 内部表user_data使用ORC格式时，文件路径可能为：
  /user/hive/warehouse/user_data/000000_0.orc

查看表的存储路径

可以通过以下方法查看Hive表的数据存储路径：

1 使用DESCRIBE FORMATTED命令

执行命令：

DESCRIBE FORMATTED <table_name>;

输出结果中包含Location字段，显示表的HDFS路径。

# Detailed Table Information
Database:               default
Owner:                  admin
CreateTime:             Sun Oct 01 12:00:00 CST 2023
LastAccessTime:         UNKNOWN
Retention:              0
Location:               hdfs://namenode:8020/user/hive/warehouse/employee
...

2 直接访问HDFS目录

通过HDFS命令或Hive配置文件（如hive-site.xml）获取默认仓库路径，结合表名拼接路径。

hdfs dfs -ls /user/hive/warehouse/employee

数据存储的底层机制

Hive表的数据存储本质上是HDFS文件,其管理依赖以下组件：

1. Metastore（元数据存储）：存储表结构、分区信息、存储格式等元数据，通常基于MySQL或PostgreSQL。
2. HDFS文件系统：实际存储数据文件，按表和分区组织目录结构。
3. SerDe（序列化/反序列化库）：负责数据读写时的序列化操作，如将CSV转换为ORC格式。

FAQs

问题1：删除内部表和外部表时，数据是否会被删除？

• 内部表：删除表时，Hive会同时删除元数据和HDFS中的数据目录。
• 外部表：仅删除元数据，保留HDFS中的数据目录，需手动清理数据。

问题2：如何更改Hive表的存储格式（如从TextFile改为ORC）？

1. 创建新表,指定目标格式（如ORC）：

   CREATE TABLE new_table STORED AS ORC LIKE old_table;

2. 将数据从旧表导入新表：

   INSERT INTO new_table SELECT  FROM old_table;

3. 删除旧表（如果是内部表）并重命名新表。