一、[Hadoop历史日志服务器配置完全分布式集群建设]
### --- 在Yarn无法查看中间运行任务产生的日志数据， ~~~ 为了查看程序的历史运行，需要配置历史日志服务器。具体配置步骤如下：### --- 配置mapred-site.xml [root@linux121 hadoop]# pwd /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop [root@linux121 hadoop]$ vi mapred-site.xml <!-- 历史服务器端地址 --> <property> <name>mapreduce.jobhistory.address</name> <value>linux121:10020</value> </property> <!-- 历史服务器web端地址 --> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>linux121:19888</value> </property>### --- 分发mapred-site.xml到其它节点 [root@linux121 hadoop]# rsync-script mapred-site.xml### --- 启动历史服务器 [root@linux121 hadoop-2.9.2]# pwd /opt/yanqi/servers/hadoop-2.9.2 [root@linux122 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver### --- 检查历史服务器是否启动 [root@linux121 hadoop-2.9.2]# jps 20786 JobHistoryServer 19029 NameNode 19157 DataNode 19662 NodeManager
二、查看JobHistory：http://linux121:19888/jobhistory
三、配置日志的聚集
### --- 日志聚集 ~~~ 日志聚集:应用(Job)运行完成后，将应用程序运行日志信息从各个方面进行task汇总上传到HDFS系统上。 ~~~ 日志聚集功能的好处:方便查看程序操作细节，方便开发调试。 ~~~ 注：需要重新启动日志聚集功能NodeManager 、ResourceManager和HistoryManager。
开启日志聚集功能的具体步骤如下：
### --- 配置yarn-site.xml [root@linux121 hadoop]# pwd /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop [root@linux121 hadoop]# vim yarn-site.xml <!--指定yarn.log.server.url所在节点--> <property> <name>yarn.log.server.url</name> <value>http://linux121:19888/jobhistory/logs</value> </property> <!-- 日志聚集功能使能 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>### --- 分发yarn-site.xml集群其他节点 [root@linux121 hadoop]# rsync-script yarn-site.xml### --- 关闭NodeManager 、ResourceManager和HistoryManager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop resourcemanager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop nodemanager [root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh stop historyserver### --- 启动NodeManager 、ResourceManager和HistoryManager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start resourcemanager [root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start nodemanager [root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver### --- 删除HDFS已存在的输出文件 [root@linux121 hadoop-2.9.2]# bin/hdfs dfs -rm -R /wcoutput Deleted /wcoutput### --- 执行WordCount程序 [root@linux121 hadoop-2.9.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput
如图所示，查看日志：http://linux121:19888/jobhistory
六、cluster.history：http://linux121:8088/cluster