[HADOOP] 慢任务排查问题集合

1.某些任务因为一个task变慢导致整个job变慢

场景：

之前遇到有些任务的map执行很慢，然后发现在执行任务时读取某些文件变慢，但就是不知道慢在哪，这时我们可以在那台机器，打开debug日志

1

export HADOOP_ROOT_LOGGER=DEBUG,console

然后用hdfs dfs -get /path/to/yourFIle就可以详细的看到他是链接到哪台DN导致响应缓慢，然后就可以登陆机器排查改DN的网络是否流量过高，机器负载等相关信息

解决方案

把该DN临时停止，读取数据时连接到其他副本的DN