当前位置：首页 > 行业动态 > 正文

hive元素默认存储在

Hive元数据默认存储在内嵌的Derby数据库，生产环境多改用MySQL/PostgreSQL；表数据默认存于HDFS的/user/hive/ware

Hive元素默认存储路径详解

Hive作为基于Hadoop的数据仓库工具，其核心功能是将SQL语句转换为MapReduce任务，并在HDFS（Hadoop Distributed File System）上存储数据，理解Hive元素的默认存储路径对数据管理、性能优化和故障排查至关重要,以下是Hive中各类元素的默认存储路径及机制的详细说明。

数据库（Database）

  • 默认路径：/user/hive/warehouse
    Hive安装后，默认数据库（default）的数据存储在此目录下，每个数据库对应一个子目录，例如创建数据库test_db后，其路径为/user/hive/warehouse/test_db.db。
  • 配置项：可通过hive.metastore.warehouse.dir修改默认仓库路径。

表（Table）

  • 内部表（Managed Table）：
    • 数据存储在Hive仓库目录下，路径为/user/hive/warehouse/database.db/table。
    • 示例：default数据库中的表employee存储路径为/user/hive/warehouse/employee。
  • 外部表（External Table）：
    • 数据存储在用户指定的HDFS路径，Hive仅记录元数据。
    • 示例：若外部表数据位于/data/external_employee,则Hive不会移动或复制数据。

分区（Partition）

  • 存储机制：
    每个分区对应HDFS中的一个子目录，命名规则为partition_column=value。
    示例：表sales按date分区，分区值2023-10-01对应的路径为/user/hive/warehouse/sales/date=2023-10-01。
  • 动态分区：
    插入数据时自动创建分区目录,文件按分区层级组织。

桶（Bucket）

  • 存储机制：
    每个桶对应一个文件，目录结构为table/bucket_column=hash_value。
    示例：表user_log按user_id分4个桶，数据文件可能存储在/user/hive/warehouse/user_log/bucket_0至bucket_3中。
  • 文件格式：
    桶内文件通常为序列化文件（如.seq）,存储顺序由哈希算法决定。

临时表（Temporary Table）

  • 默认路径：/user/hive/warehouse/tmp
    临时表数据存储在tmp目录下，会话结束后自动删除（需配置hive.temporary.table.enable=true）。

视图（View）

  • 存储特性：
    视图本身不存储数据，仅保存SQL逻辑，查询视图时,Hive会解析并执行底层表的路径。

索引（Index）

  • 默认路径：table/_index
    Hive支持Compacted和Bitmap索引，索引文件存储在表目录下的_index子目录中。

事务表（ACID Table）

  • 存储路径：/user/hive/warehouse/database.db/table
    • 基础目录：存储原始数据文件。
    • Delta目录：事务更新产生的增量文件存储在.db/_txn_compactor中。
    • 示例路径：/user/hive/warehouse/orders/.db/_txn_001。

关键配置项对存储路径的影响

配置项 默认值 作用描述
hive.metastore.warehouse.dir /user/hive/warehouse 全局仓库根目录
hive.exec.scratchdir /tmp/hive 临时文件存储路径（如排序、连接中间结果）
hive.hdfs.path.prefix 空（无前缀） 为HDFS路径添加前缀（需谨慎修改）

如何查看Hive元素存储路径

  1. DESCRIBE FORMATTED table_name
    输出表的详细信息，包括存储路径、分区、文件格式等。

    hive元素默认存储在 第1张

    DESCRIBE FORMATTED employee;
  2. SHOW CREATE TABLE table_name
    显示建表语句，包含外部表的自定义路径。 

    SHOW CREATE TABLE external_employee;
  3. HDFS命令直接查看
    使用hdfs dfs -ls命令遍历Hive仓库目录。

FAQs

Q1：如何修改Hive表的默认存储路径？

A1：

  1. 通过hive.metastore.warehouse.dir修改全局仓库路径： 
    SET hive.metastore.warehouse.dir=/new/path;
  2. 创建外部表时指定LOCATION参数： 
    CREATE EXTERNAL TABLE new_table (id INT) 
LOCATION '/custom/hdfs/path';

Q2：为什么外部表的数据没有出现在Hive仓库目录下？

A2：
外部表的数据由用户完全管理，Hive仅记录元数据（如路径、格式），数据实际存储在创建表时指定的HDFS路径中，而非Hive默认仓库，需通过DESCRIBE FORMATTED或SHOW CREATE TABLE查看外部表的真实路径。

hive
0

相关文章