大师网-带你快速走向大师之路 解决你在学习过程中的疑惑,带你快速进入大师之门。节省时间,提升效率

Hadoop学习常见错误

一、关于安装

1. 在Hadoop全分布环境搭建中,记得每台服务器上都需要安装 JDK

2. 安装Hadoop完毕后,除了需要配置环境变量外,还需要修改多个配置文件,缺一不可。文件位置在你指定路径安装的Hadoop下 的 /etc/hadoop/ 目录下。

需要修改的配置文件: hadoop-env.sh hdfs-site.xml core-site.xml mapred-site.xml (这个配置文件是原来 mapred-site-template 修改过的名字) yarn-site.xml slaves 由于疏忽,忘记配置slaves,导致在主机上启动服务后,其它服务器完全没反应。

3. 由于多次format namenode节点导致 namdenode 的 namespaceID 与 datanode的namespaceID 不一致,从而导致namenode和 datanode的断连。

解决方案:1、先将Hadoop所有服务停止,stop-all.sh 2、在自己设置的临时文件夹(tmp/dfs/)中将data文件夹删除 3、重新启动Hadoop服务就可以了,start-dfs.sh,用jps查看。

4. 启动服务后发现其它正常,DataNode 没起来,有可能是因为 NameNode 数据里的 CID 和DataNode 上的 CID 不一致。 解决方案: 关闭服务,将DataNode里的CID改为NameNode的 CID即可。

5. 执行 yarn 启动命令时,要在指定的 ResourceManager 上启动。否则会发现 ResourceManager 未启动。

6.在确认各配置文件正确后,如果不能正常连接到 HDFS 或 Yarn 平台,尝试更换浏览器,推荐 电脑自带的 ie 浏览器。

二、MapReduce 错误



以上便是一些简单的常见错误,希望对大家能有所帮助。