[SPARK] Spark 的 History 关联对应的 executor 的日志

场景在于，因为很多用户想在Spark的history上看到对应的executor日志，其实这个并不是Spark的什么新功能，他们不需要用yarn application -logs下载所有的日志，因为我们之前一直忽略这个，没配置，后来配置上就可以了。

除了要开启yarn的日志收集功能之外

1
2
3
4

<property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
</property>

还要在yarn-site.xml增加参数，并且重启NodeManager即可，当我们访问时，就会帮我们重定向到日志服务器上，找到对应的日志

1
2
3
4

<property>
      <name>yarn.log.server.url</name>
      <value>http://HistoryServerAddress:19888/jobhistory/logs</value>
</property>

然后点击对应的日志链接就可以链接过去了

记录一下以免忘记。