大师网-带你快速走向大师之路 解决你在学习过程中的疑惑,带你快速进入大师之门。节省时间,提升效率

hadoop常见错误集锦

1、启动hadoop时没有NameNode的可能原因:

(1) NameNode没有格式化
(2) 环境变量配置错误
(3) Ip和hostname绑定失败

2、搭建hadoop集群使用ssh不成功

①查看防火墙
②检查用户权限
③可能是缺少插件
使用命令: yum install -y openssh-clients*

3、启动时报错java.net. UnknownHostException

原因分析:通过localhost.localdomain根本无法映射到一个IP地址。
解决方法:查看/etc/hosts,将主机名hostname添加到hosts文件中。

4、hadoop在第一次启动时报错

①检查是不是对namenode进行了格式化
②namenode格式化前是否将data 和logs文件删除

5、运行shell脚本不成功

查看脚本的文件格式修改为unix格式
修改脚本格式:进入脚本文件按“shift :”输入set fileformat = unix回车

6、window下运行我wordcount报下面错误

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

解决方案:拷贝 hadoop.dll 文件到 windows 目录 C:\Windows\System32。

7、日志问题

报错log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.

解决方案:需要在项目的src下面新建file名为log4j.properties的文件;

8、远程连接问题

当远程连接不到linux时 查看电脑中的网卡的子网掩码与主机的子网掩码是否一致,若不一致则格式化网卡再将网段改回来。

9、start-dfs.sh不能生效故障

使用时应注意ssh应可以免密登录本机才可以使用。

10、上传文件,报错:NameNode is safe mode.

①等一会在上传
②使用hdfs dfsadmin -safemode leave命令退出安全模式就可以继续使用了