上一篇
Hadoop如何开启历史服务器？hadoop jobhistoryserver配置
Hadoop作为大数据生态系统的基石,其核心组件HDFS和YARN负责存储和计算资源的管理，在实际的生产环境或日常开发调试中，仅仅启动NameNode、DataNode和ResourceManager往往是不够的，为了能够回溯历史任务、分析性能瓶颈以及排查故障，开启Hadoop的历史服务器（JobHistory Server）显得至关重要，这一服务专门用于存储和展示MapReduce任务的执行历史，包括作业状态、任务进度、计数器统计以及日志链接等关键信息，如果没有开启此服务，用户将无法通过Web UI直观地查看已完成或正在运行的作业详情，这极大地限制了运维效率和数据分析的深度。
要成功开启Hadoop的历史服务器,首先需要确保Hadoop的环境变量配置正确，并且HDFS和YARN服务已经正常运行，历史服务器依赖于HDFS来存储其日志文件和作业历史记录文件，因此HDFS的可用性是前提条件，我们需要关注配置文件，在Hadoop的配置文件目录（通常为$HADOOP_HOME/etc/hadoop）中，主要涉及两个核心配置文件：mapred-site.xml和yarn-site.xml，在mapred-site.xml中，我们需要确认mapreduce.framework.name属性是否设置为yarn，这是YARN模式运行的必要条件，可以配置mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address，分别指定历史服务器监听的主机地址和端口，默认端口通常为10020和19888。
配置完成后,启动历史服务器的命令非常简单，只需在命令行执行start-jobhistoryserver.sh，执行该命令后，系统会在后台启动一个Java进程，该进程会读取配置文件中的参数，绑定相应的端口，并开始监听来自ResourceManager和客户端的作业历史数据，为了验证服务是否成功启动，用户可以通过浏览器访问配置的Web UI地址（例如http://
值得注意的是,历史服务器的数据存储位置默认位于HDFS上的/tmp/hadoop-yarn/staging/history/done_intermediate和done目录，在生产环境中，建议将这些路径修改为更持久化的HDFS路径，以防止因临时目录清理导致的历史数据丢失，为了保障数据的安全性和完整性，还需要配置相应的权限策略，确保只有授权用户才能查看敏感的作业日志。
除了基本的开启操作,定期维护历史服务器也是运维工作的一部分，随着作业数量的增加，历史文件会迅速膨胀，占用大量的HDFS空间，需要配置mapreduce.jobhistory.done-dir和mapreduce.jobhistory.intermediate-done-dir的清理策略，或者使用Hadoop自带的日志聚合功能，将日志集中存储并设置保留期限，如果集群规模较大，可以考虑部署多个历史服务器实例以实现负载均衡和高可用性，但这需要更复杂的配置和监控体系支持。
开启Hadoop历史服务器是构建可观测性大数据平台的关键一步,它不仅提供了作业执行的可视化视图，还为性能优化和故障排查提供了坚实的数据基础，通过合理的配置和维护，历史服务器将成为Hadoop集群管理中不可或缺的工具。
相关问答FAQs
Q1: 开启Hadoop历史服务器后，为什么在Web UI上看不到任何作业记录？
A: 这种情况通常有以下几个原因：确认是否有作业真正执行过，历史服务器只记录已完成的作业，如果集群中从未运行过MapReduce任务，列表自然是空的，检查作业是否成功提交到YARN并正常结束，如果作业失败或被强制杀死，可能不会生成完整的历史记录，检查配置文件中的路径权限，确保运行历史服务器的用户有权限读取HDFS中存储历史文件的目录（默认为/tmp/hadoop-yarn/staging/history/done），如果权限不足，Web UI将无法加载数据，建议检查HDFS目录权限，并使用hdfs dfs -ls命令查看文件是否存在。
Q2: 历史服务器启动失败，提示端口被占用或无法绑定，该如何解决？
A: 端口占用是常见的问题，使用netstat -tlnp | grep 10020（或19888）命令检查哪个进程占用了该端口，如果发现有其他进程占用，可以终止该进程或修改mapred-site.xml中的端口配置，将其更改为未被占用的端口（如10021和19889），修改配置后，需要重启历史服务器服务（先stop-jobhistoryserver.sh，再start-jobhistoryserver.sh），如果端口未被占用但依然报错，可能是防火墙阻止了端口访问，此时需要检查服务器防火墙设置，确保10020和19888端口对客户端开放，确保主机名解析正确，避免因为hostname无法解析导致绑定失败。
