上一篇
hadoop大数据结构
Hadoop采用分布式架构，核心由HDFS（分布式文件系统）和MapReduce计算框架组成，HDFS将数据分块存储于DataNode，由NameNode管理元数据；MapReduce通过Split分片实现并行计算，结合YARN资源调度，形成高可靠、可扩展的大数据存储与处理
Hadoop大数据结构详解
Hadoop核心架构
Hadoop是一个开源的分布式计算框架,其核心设计目标是通过横向扩展（Scale-Out）实现海量数据的存储与计算，其架构主要由三大核心组件构成：HDFS（分布式文件系统）、MapReduce（分布式计算模型）和YARN（资源调度系统），以下是各组件的详细结构与工作原理。
HDFS（Hadoop Distributed File System）
HDFS是Hadoop的分布式存储层,专为大规模数据存储设计，具备高容错性和可扩展性。
| 组件 | 功能描述 |
|---|---|
| NameNode | 元数据管理节点，负责存储文件系统的目录结构、文件块位置信息及权限控制。 |
| DataNode | 数据存储节点，实际存储文件块（Block），并定期向NameNode发送心跳和块报告。 |
| Secondary NameNode | 辅助节点，用于合并NameNode的编辑日志（Edit Log）和元数据镜像（FsImage），非实时备份。 |
| BlockSize | 默认128MB，将大文件分割为多个块分布存储，提高并行处理能力。 |
| Replication | 默认3份副本，通过机架感知策略将副本分布在不同物理节点或机架上，保证数据可靠性。 |
数据存储流程：
- 客户端上传文件时,HDFS将文件切分为多个Block。
- NameNode根据策略（如机架局部性）分配Block存储位置。
- DataNode接收Block并返回存储确认,NameNode记录元数据。
- 读取数据时,客户端从NameNode获取Block位置列表，直接从DataNode读取数据。
容错机制：
- 数据块副本机制：任意副本损坏时，HDFS自动从其他副本恢复。
- NameNode高可用（HA）：通过Active/Standby双节点配置避免单点故障。
MapReduce（分布式计算模型）
MapReduce是Hadoop的离线计算框架,基于“分而治之”思想，将任务分解为Map和Reduce两个阶段。
| 阶段 | 核心逻辑 |
|---|---|
| Map阶段 | 输入数据被切片（Split）后，每个切片由一个Mapper任务处理，输出键值对（Key-Value）。 |
| Shuffle阶段 | 将Mapper的输出按Key分组并排序，分发到Reducer节点，包含分区（Partition）、排序（Sort）和合并（Merge）。 |
| Reduce阶段 | 对每个Key组进行聚合计算，输出最终结果。 |
执行流程：
- 作业提交：客户端将Job提交到YARN，生成应用ID。
- 任务调度：YARN分配Container资源给Map/Reduce任务。
- 数据处理：Mapper读取HDFS中的Block，处理后将中间结果写入本地磁盘。
- Shuffle与排序：系统将中间结果按Key分发到Reducer，并进行全局排序。
- 结果输出：Reducer合并结果并写入HDFS。
优化策略：
- Combiner：在Map端提前合并中间结果，减少网络传输。
- 数据本地性：优先将任务分配到数据所在的节点，减少数据传输。
- 倾斜处理：通过自定义分区或采样调整Key分布，避免单个Reducer过载。
YARN（Yet Another Resource Negotiator）
YARN是Hadoop的资源管理层,负责集群资源的分配与调度，支持多种计算框架（如MapReduce、Spark）。
| 组件 | 功能描述 |
|---|---|
| ResourceManager | 全局资源管理器，负责协调应用程序的资源分配，不参与具体任务执行。 |
| NodeManager | 节点资源管理器，监控容器（Container）的资源使用（CPU、内存），并向RM汇报。 |
| ApplicationMaster | 每个应用独立的管理进程，负责任务调度与容错，例如MapReduce作业的AM会分配Map/Reduce任务。 |
| Container | 资源隔离单位，封装单个任务所需的CPU、内存等资源。 |
调度流程：
- 客户端提交应用,RM启动ApplicationMaster。
- AM向RM申请资源（Container），RM根据调度策略（如容量调度、公平调度）分配资源。
- AM将任务分配到Container中,由NodeManager启动并监控执行。
- 任务失败时,AM可重新申请资源重启任务。
Hadoop生态系统扩展
Hadoop可通过集成其他工具构建完整大数据平台：
- Hive：基于HDFS的SQL-on-Hadoop引擎，用于数据仓库场景。
- HBase：分布式NoSQL数据库，支持实时读写和随机访问。
- Spark：内存计算框架，兼容YARN，提升迭代式计算效率。
- ZooKeeper：协调分布式组件（如HDFS HA、YARN）的状态管理。
FAQs
Q1：HDFS与传统文件系统（如FTP）的核心区别是什么？
A1：HDFS专为大规模分布式存储设计，具有以下特性：
- 高容错：通过数据块副本机制保证数据可靠。
- 流式数据访问：适合批量处理而非低延迟随机读写。
- 横向扩展：轻松添加节点扩大存储容量，传统文件系统扩展成本高。
- 移动计算而非数据：计算任务靠近数据存储节点，减少网络传输。
Q2：MapReduce如何处理数据倾斜问题？
A2：数据倾斜指部分Key对应的数据量过大，导致某些Reducer负载过高，解决方法包括：
- 自定义分区器：根据Key哈希或业务逻辑分散数据到多个Reducer。
- Combiner优化：在Map端合并部分结果，减少中间数据传输量。
- 采样预处理：预先分析数据分布，调整分区策略或拆分倾斜Key。
- 异步调优：为特定Reducer分配
