聂永的博客

记录工作/学习的点点滴滴。

Hadoop学习笔记之伪分布式、单节点环境搭建

有关Hadoop在Linux下面部署的文章,很多,一搜一大把,这里简单略过,把注意事项以及实际中所遇到问题,简单提一下。hadoop 为1.0.2,Centos为6.2,虚拟机为Oracle VM VirtualBox 4.1.12。

前置条件

  1. 本机名称为  namenode
  2. 在 /etc/hosts 增加 namenode/datanode的映射
    eg:
    192.168.2.31 namenode
    192.168.2.31 datanode
  3. ssh namenode
    ssh datanode
    可以无密码登陆,登陆成功后,退出即可。
  4. 切换到hadoop目录下
    #cd /usr/java/hadoop
    下面的一切操作都是以此为基础

部署步骤

  1. 下载 hadoop 1.0.2解压到 /usr/java/ 目录下,解压目录为hadoop 1.0.2,重命名为hadoop
        #tar xvf hadoop*.tra.gz;mv hadoop* hadoop
  2. 设置conf/hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.6.0_31
  3. #cp -rf src/core/core-default.xml conf/core-site.xml;vi conf/core-site.xml
    修改fs.default.name为hdfs://namenode:9000/
  4. #cp -rf src/hdfs/hdfs-default.xml conf/hdfs-site.xml;vi conf/hdfs-site.xml
    修改dfs.replication设置其数值为1
  5. #cp -rf src/mapred/mapred-default.xml conf/mapred-site.xml;vi conf/mapred-site.xml
    设置mapred.job.tracker为 namenode:9001
  6. 编辑主节点
    #vi conf/masters
    填写其值为 namenode 即可
  7. 编辑从节点
    #vi conf/slaves
    192.168.2.31 datanode
    192.168.2.31 namenode

    上面IP为CentOS中自动获取的IP,namenode 和 datanode ,虽对应IP一致,特意区别之。
  8. 格式化文件系统
    #bin/hadoop namenode –format
  9. 启动Hadoop
    #bin/start-all.sh
  10. #jps
    输入java版本的PS命令jps,查看hadoop启动的JVM进程,回车后,会看到类似于:
    [root@namenode ~]# jps
    2764 DataNode
    2866 SecondaryNameNode
    2952 JobTracker
    2666 NameNode
    3061 TaskTracker
    3790 Jps
    只要5个JVM进程(Namenode,Datanode,Jobtracker,TaskTracker,SecondaryNameNode)都启动,说明hadoop正常启动了。
  11. Datanode无法启动一个错误
    hadoop/logs目录下存放相关日志输出
    #cat hadoop-root-datanode-namenode.log
    大致可以看到
    ERROR org.apache.hadoop.dfs.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/test/dfs/data: namenode namespaceID = 343825810; datanode namespaceID = 233853810
    修改:
    #vi /home/test/dfs/name/current/VERSION
    namespaceID=343825810
    保存退出,关闭hadoop,然后重启
    #bin/stop-all.sh;bin/start-all.sh
  12. 在Windows的 c:\WINDOWS\system32\drivers\etc\hosts 文件中,添加映射192.168.2.31 datanode
    192.168.2.31 namenode
    保存退出即可

本文单节点hadoop配置打包地址:下载地址,可以作为参考。

后面将说一下在Windows Eclipse中远程调试Hadoop MapReduce任务。

posted on 2012-04-23 22:18 nieyong 阅读(1726) 评论(0)  编辑  收藏


只有注册用户登录后才能发表评论。


网站导航:
 

公告

所有文章皆为原创,若转载请标明出处,谢谢~

新浪微博,欢迎关注:

导航

<2012年4月>
25262728293031
1234567
891011121314
15161718192021
22232425262728
293012345

统计

常用链接

留言簿(58)

随笔分类(130)

随笔档案(151)

个人收藏

最新随笔

搜索

最新评论

阅读排行榜

评论排行榜