大师网-带你快速走向大师之路 解决你在学习过程中的疑惑,带你快速进入大师之门。节省时间,提升效率

集群常见错误解决方案

1、java.net.NoRouteToHostException: No route to host

解决方法:zookeeper的IP要配对

2、Failed to locate the winutils binary in the hadoop binary path

解决方法:先安装好hadoop

3、CALL TO LOCALHOST/127.0.0.1:9000

解决方法:host配置正确,/etc/sysconfig/network /etc/hosts /etc/sysconfig/network-scripts/ifcfg-eth0

4、打开namenode:50070页面,Datanode Infomation只显示一个节点

解决方法:SSH配置错误导致,主机名一定要严格匹配,重新配置ssh免密码登录

5、建议:不要随意格式化HDFS,这会带来数据版本不一致等诸多问题,格式化前要清空数据文件夹

6、namenode1: ssh: connect to host namenode1 port 22: Connection refused

解决方法:sshd被关闭或没安装导致,which sshd检查是否安装,若已经安装,则sshd restart,并ssh 本机hostname,检查是否连接成功

7、Log aggregation has not completed or is not enabled.

解决方法:在yarn-site.xml中增加相应配置,以支持日志聚合

8、Exception in thread "main" org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.

解决方法:yarn-lient模式出现的异常,暂时无解

9、hadoop的文件不能下载以及YARN中Tracking UI不能访问历史日志

解决方法:windows系统不能解析域名所致,把hosts文件hostname复制到windows的hosts中

10、建议:HDFS文件路径写法为:hdfs://master:9000/文件路径,这里的master是namenode的hostname,9000是hdfs端口号。

11、Yarn JobHistory Error: Failed redirect for container

解决方法:将 http://:19888/jobhistory/logs 配置到yarn-site.xml中,重启yarn和JobHistoryServer

12、通过hadoop UI访问hdfs文件夹时,出现提示 Permission denied: user=dr.who

解决方法:namonode节点终端执行:hdfs dfs -chmod -R 755 /

13、建议:提交到yarn cluster的作业不能直接print到控制台,要用log4j输出到日志文件中

14、log4j:WARN Unsupported encoding

解决方法:1.把UTF改成小写utf-8 2.设置编码那行有空格

15、 ERROR ApplicationMaster: SparkContext did not initialize after waiting for 100000 ms. Please check earlier log output for errors. Failing the application

解决方法:资源不能分配过大,或者没有把.setMaster("local")去掉

16、Yarn的RM单点故障

解决方法:通过三节点zookeeper集群和yarn-site.xml配置文件完成Yarn HA

17、Yarn HA环境下,通过web访问history日志被跳转到8088而无法显示

解决方法:恢复Yarn Http默认端口8088

18、Using config: /work/poa/zookeeper-3.4.6/bin/../conf/zoo.cfg Error contacting service. It is probably not running.

解决方法:配置文件不正确,例如hostname不匹配等

19、linux服务器磁盘爆满,检查超过指定大小的文件

解决方法:find / -type f -size +10G

20、HADOOP 磁盘满的各节点平衡

解决方法:运行指令hdfs balancer -Threshold 3 或者 运行 start-balancer.sh 脚本格式:$Hadoop_home/bin/start-balancer.sh -threshold,参数3是比例参数,表示3%,也就是平各个DataNode直接磁盘使用率偏差在3%以内

21、建议:数据倾斜只发生在shuffle过程,可能触发shuffle操作的算子有:distinct groupByKey reduceByKey aggregateByKey join cogroup repartition等

22、启动hadoop yarn,发现只启动了ResourceManager,没有启动NodeManager

解决方法:yarn-site.xml配置有问题,检查并规范各项配置

23、如何查看hadoop系统日志

解决方法:Hadoop 2.x中YARN系统的服务日志包括ResourceManager日志和各个NodeManager日志,它们的日志位置如下:ResourceManager日志存放位置是Hadoop安装目录下的logs目录下的yarn-*-resourcemanager-*.log,NodeManager日志存放位置是各个NodeManager节点上hadoop安装目录下的logs目录下的yarn-*-nodemanager-*.log

24、建议:小于128M的小文件都会占据一个128M的BLOCK,合并或者删除小文件节省磁盘空间

25、how to remove Non DFS Used

解决方法:1)清除hadoop数据目录中用户缓存文件:cd /data/hadoop/storage/tmp/nm-local-dir/usercache;du -h;rm -rf `find -type f -size +10M`; 2)清理Linux文件系统中的垃圾数据

26、linux profile配置文件隔离

解决方法:cd /etc/profile.d;在这里新建相应配置脚本

27、启动yarn,发现只启动了部分Nodemanager

解决方法:未启动的节点缺少yarn相关包,要保持所有节点jar包一致

28、HDFS误删文件如何恢复解决方法:core-site文件中加入

fs.trash.interval

2880

HDFS垃圾箱设置,可以恢复误删除,配置的值为分钟数,0为禁用

恢复文件执行 hdfs dfs -mv /user/root/.Trash/Current/误删文件 /原路径

29、改了linux定时脚本里边部分任务顺序,导致有些任务未执行,而有些重复执行

解决方法:Linux脚本修改后实时生效,务必在脚本全部执行完再修改,以免产生副作用