hadoop日志服务相关配置 - 道行尚浅的道场

概述

在执行mapredecue任务是，可以通过Web UI界面查看任务运行状态，界面如下

在任务报错时，可查看相关的日志

如没有进行配置，报错如下：

配置

yarn-site.xml

<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description>启用日志聚合，默认值为False，即禁用</description>
    </property>
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>86400</value>
        <description>日志保留时间设置为一天</description>
    </property>
    <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>${yarn.log.dir}/userlogs</value>
        <description>应用程序的本地化的日志目录</description>
    </property>
    <property>
      <name>yarn.log.server.url</name>
      <value>http://node1:19888/jobhistory/logs</value>
    </property>
    

mapred-site.xml

 <!-- 指定jobhistory server的rpc地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>

  <!-- 指定jobhistory server的http地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
    

验证

点击失败任务的日志