CDH Hadoop安装配置过程中，有哪些常见疑问和难点需要解决？

CDH Hadoop 安装配置指南

环境准备

在进行 CDH Hadoop 安装配置之前,我们需要准备以下环境：

• 操作系统：推荐使用 CentOS 7 或 Ubuntu 18.04
• 硬件要求：根据需求配置 CPU、内存、硬盘等
• 软件要求：Java 运行环境（推荐版本为 1.8）
• 网络要求：确保各节点之间网络互通

安装步骤

以下以 CentOS 7 系统为例，介绍 CDH Hadoop 的安装配置步骤。

1 安装 JDK

1. 下载 JDK 安装包：访问 Oracle 官网下载 JDK 安装包，选择与操作系统和 CPU 架构匹配的版本。
2. 创建 JDK 安装目录：mkdir /usr/local/java
3. 解压 JDK 安装包：tar -zxvf jdk-8uXXX-linux-x64.tar.gz -C /usr/local/java
4. 配置环境变量：编辑 /etc/profile 文件,添加以下内容：

export JAVA_HOME=/usr/local/java/jdk1.8.0_XXX export PATH=$PATH:$JAVA_HOME/bin

5. 使环境变量生效：source /etc/profile

2 安装 CDH

1. 下载 CDH 安装包：访问 Cloudera 官网下载 CDH 安装包，选择与操作系统和 CPU 架构匹配的版本。
2. 创建 CDH 安装目录：mkdir /usr/local/cdh
3. 解压 CDH 安装包：tar -zxvf cdh-5.15.2.tar.gz -C /usr/local/cdh
4. 配置环境变量：编辑 /etc/profile 文件,添加以下内容：

export CDH_HOME=/usr/local/cdh/cdh-5.15.2 export PATH=$PATH:$CDH_HOME/bin

5. 使环境变量生效：source /etc/profile

3 安装 Hadoop

1. 进入 CDH 安装目录：cd /usr/local/cdh/cdh-5.15.2
2. 安装 Hadoop：./bin/hadoop --config /usr/local/cdh/cdh-5.15.2 etc/hadoop/hadoop-env.sh

4 配置 Hadoop

1. 配置集群节点：编辑 /usr/local/cdh/cdh-5.15.2/etc/hadoop/core-site.xml 文件,添加以下内容：

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/usr/local/cdh/cdh-5.15.2/data/tmp/hadoop</value> </property> </configuration>

2. 配置 HDFS：编辑 /usr/local/cdh/cdh-5.15.2/etc/hadoop/hdfs-site.xml 文件,添加以下内容：

<configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/cdh/cdh-5.15.2/data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/cdh/cdh-5.15.2/data/hdfs/datanode</value> </property> </configuration>

3. 配置 YARN：编辑 /usr/local/cdh/cdh-5.15.2/etc/hadoop/yarn-site.xml 文件,添加以下内容：

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

4. 配置 MapReduce：编辑 /usr/local/cdh/cdh-5.15.2/etc/hadoop/mapred-site.xml 文件,添加以下内容：

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

启动 Hadoop 集群

1. 格式化 NameNode：hadoop namenode -format
2. 启动 HDFS：start-dfs.sh
3. 启动 YARN：start-yarn.sh
4. 访问 Web 界面：在浏览器中输入 http://master:8088 访问 YARN Web 界面，http://master:50070 访问 HDFS Web 界面。

FAQs

Q1：如何查看 Hadoop 集群状态？

A1：在终端中输入以下命令查看：

hadoop dfsadmin -report

Q2：如何查看 YARN 任务列表？

A2：在终端中输入以下命令查看：

yarn application -list