HDFS归档到OBS和访问OBS如何实现？，怎么操作

对于HDFS数据归档到OBS，最直接的方式是使用华为云OBSA（OBS Adapter）或DistCp工具，而HDFS访问OBS则需通过OBSA的HDFS协议兼容层，实现无缝对接。

为什么把HDFS数据归档到OBS

在传统大数据架构中，HDFS存储成本随数据量增长线性上升，且集群扩容受限于硬件资源，行业共识认为，存算分离已成为数据湖的主流选择,将冷热数据分层处理是降低总拥有成本的关键。

• 存储成本压缩：OBS按量付费，无需预留三副本；数据归档到低频访问或归档存储后,单价仅为本地HDFS的几分之一。
• 弹性扩展：计算集群可以按需启动，数据存储在OBS上不依赖计算节点，避免“数据搬家”的麻烦。
• 持久性与兼容性：OBS提供跨AZ容灾，且通过OBSA（Hadoop Compatible File System）接口，Spark、Hive、Flink等组件无需修改代码即可直接读写。

无论是为了归档历史日志、降低备份成本，还是为后续AI训练准备数据,HDFS数据归档到OBS都是大数据上云的第一步。

HDFS归档到OBS的主流方案

使用DistCp直接拷贝

DistCp是Hadoop自带的分布式拷贝工具,适合一次性全量或增量迁移。

• 适用场景：数据量在TB到PB级别，网络带宽充足,且可以接受离线迁移窗口。
• 操作要点：需指定源HDFS路径和目标OBS路径（通过OBSA的 obs:// 协议），并配置并行度（-m 参数）以充分利用带宽。
• 注意事项：DistCp会校验每个文件的校验和，确保数据一致性；但若文件数过多（如千万级小文件），NameNode压力会很大,建议先合并或使用后面方案。

通过OBSA实现存算分离

OBSA（OBS Adapter）是华为云提供的HDFS兼容文件系统实现，部署后HDFS应用可以直接将数据写入OBS，实现“计算集群+OBS存储”的架构。

• 原理：OBSA基于Hadoop FileSystem接口，将OBS对象存储模拟为HDFS；数据不再写入本地磁盘,而是直接PUT到OBS。
• 优势：无需迁移过程，新建集群直接配置 fs.obs.impl 即可；后续数据自动在OBS上,归档成本自然降低。
• 适合场景：新业务上云或集群重建时,从根本上避免数据迁移。

华为云MRS服务的自动归档策略

如果使用华为云MRS（MapReduce Service），其内置了数据生命周期管理,可自动将HDFS上超过指定天数的冷数据迁移到OBS归档存储。

• 操作路径：在MRS管理控制台配置“数据归档策略”，指定源目录、目标OBS桶、归档存储类型（标准/低频/归档）。
• 优点：全托管，无需手动执行DistCp；支持增量归档,减少人工干预。
• 局限：仅限MRS集群,且需要提前规划好目录结构。

HDFS访问OBS的性能对比与优化

本地HDFS与OBS访问延迟对比

不少用户关心“HDFS访问OBS性能对比”，担心OBS的延迟会影响作业效率，实际测试表明，对于顺序读写的批量任务（如ETL、数据导入），OBS的吞吐量与本地HDFS接近,因为OBSA内部使用了多线程并发和数据本地化缓存。

• 随机读场景：OBS延迟略高于本地HDFS（百毫秒级 vs 毫秒级），但通过增加OBSA的读缓存（fs.obs.read.buffer.size）和预读策略,多数情况下差异可以控制在可接受范围。
• 写场景：OBS的写操作是追加类型，不支持truncate，但Hive或Spark的写模式通常不会频繁改动,所以影响不大。

影响OBS访问性能的关键因素

• 网络带宽：OBS访问依赖公网或内网（VPC内），建议使用同一Region的ECS或MRS节点,内网延迟低且不产生流量费。
• 文件大小：大文件（>64MB）在OBS上表现更好，小文件过多会导致大量GET/PUT请求，不仅增加延迟，还产生额外请求费用，因此归档前对大文件更友好,小文件建议先合并。
• OBSA参数调优：调整 fs.obs.connection.maximum（连接数）、fs.obs.readahead.range（预读范围）等参数,可显著提升吞吐。

实操步骤：HDFS归档到OBS完整流程

以下以Linux环境为例，演示从HDFS向OBS迁移数据,并配置HDFS访问OBS。

环境准备

• 创建OBS桶（建议与集群同Region）。
• 在集群所有节点安装OBSA客户端（华为云提供 obs-bucket-adaptor 包，或使用MRS默认集成）。
• 配置core-site.xml,添加OBSA相关参数：

<property> <name>fs.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBSFileSystem</value> </property> <property> <name>fs.obs.access.key</name> <value>你的AK</value> </property> <property> <name>fs.obs.secret.key</name> <value>你的SK</value> </property> <property> <name>fs.obs.endpoint</name> <value>obs.xxx.myhuaweicloud.com</value> </property>

使用DistCp归档

hadoop distcp -Dfs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem -Dfs.obs.access.key=AK -Dfs.obs.secret.key=SK -Dfs.obs.endpoint=obs.xxx.myhuaweicloud.com -m 20 -update -skipcrccheck hdfs://namenode:8020/user/hive/warehouse obs://my-bucket/archive/hive/

• -update 只拷贝变更过的文件,方便增量。
• -skipcrccheck 跳过校验和检查（可提升速度，但慎用）。
• -m 控制并行度,按网络和CPU资源调整。

配置HDFS应用直接访问OBS

如果后续作业需要读写OBS上的数据，只需在Spark/Hive中将路径改为 obs://桶名/路径,并确保OBSA配置全局生效。

CREATE TABLE my_table (id INT, name STRING) STORED AS PARQUET LOCATION 'obs://my-bucket/warehouse/my_table';

这样Hive表中的数据直接存储在OBS,无需再定时迁移。

常见问题与Q&A

Q：HDFS归档到OBS后，历史数据如何访问？

A：归档后的数据存储在OBS，通过OBSA的HDFS接口，Spark、Hive、MapReduce等应用可以直接读取，路径格式为 obs://桶名/前缀，无需额外数据回迁,查询延迟略有增加但可通过缓存参数优化。

Q：HDFS访问OBS的延迟比本地HDFS高多少？

A：取决于网络和文件大小，内网环境下，大文件顺序读延迟可控制在10%以内，随机小文件读延迟可能增加50%以上，建议对小文件做合并（如使用Hive的 concatenate 或Spark的 coalesce），并调大 fs.obs.readahead.range 到4MB或更大。

Q：使用DistCp迁移时，如何确保数据一致性？

A：DistCp默认会校验源和目标文件的校验和（CRC32），如果文件量巨大，可以使用 -skipcrccheck 跳过校验以提升速度，但建议先在小批量测试，迁移完成后，可以通过 hadoop fs -checksum 对比部分文件来验证，对于归档场景，通常不需要100%实时一致,增量同步即可。

归档到OBS不仅是成本优化，更是架构升级，把HDFS冷数据迁移到OBS后，计算集群可以按需缩容，OBS自身的数据冗余和跨AZ能力也提升了整体可靠性，如果正在规划HDFS的存算分离，没有比OBSA更顺滑的路径——它让HDFS访问OBS变得像访问本地一样自然,且无需修改业务代码。