paulwong

Hadoop集群配置

step1:安装JDK
      1.1 sudo sh jdk-6u10-linux-i586.bin
      1.2 sudo gedit /etc/environment
          export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
          export JRE_Home=/home/linkin/Java/jdk1.6.0_23/jre
          export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
      1.3 sudo gedit /etc/profile
          在umask 022之前添加以下语句:
          export JAVA_HOME=/home/linkin/Java/jdk1.6.0_23
          export JRE_HOME=/home/linkin/Java/jdk1.6.0_23/jre
          export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
          export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOME/bin

更改时区:
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
安装NTP:
        yum install ntp
        安装后执行
        ntpdate cn.pool.ntp.org
        即可同步国际时间..
        开机后自动同步时间:
        vi /etc/rc.d/rc.local中,最下面添加
        ntpdate cn.pool.ntp.org

关闭IPV6
在/etc/sysctl.conf结尾添加
net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
重启服务器

删除IPV6的DNS服务器

step2:SSH免密码登陆
      2.1 首先在master主机上,linkin@master :~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
      2.2 linkin@master :~$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将id_dsa.pub写入authorized_keys
      2.3 linkin@master :~/.ssh$ scp id_dsa.pub linkin@192.168.149.2:/home/linkin
      2.4 登陆到linkin主机 $cat id_dsa.pub >> .ssh/authorized_keys
            authorized_keys的权限要是600chmod 600 .ssh/authorized_keys
      2.5 在Datenode上执行同样的操作就能实现彼此无密码登陆

step3:安装hadoop
      3.1 设置hadoop-env.sh
          export JAVA_HOME=/home/linkin/jdk1.6.0_10
      3.2 配置core-site.xml
   
<property>
      
<name>hadoop.tmp.dir</name>
      
<value>/home/linkin/hadoop-0.20.2/tmp</value>
      
<description>A base for other temporary directories.</description>
</property>

 
<property>
    
<name>fs.default.name</name>
    
<value>hdfs://master:9000</value>//要写主机名
 
</property>
   
 
    
      3.3 配置hdfs-site.xml
<property>
  
<name>dfs.replication</name>
  
<value>1</value>
</property>
     

      3.4 配置mapred-site.xml
     
<property>
  
<name>mapred.job.tracker</name>
  
<value>master:9001</value>//要写主机名
</property>
     
      3.5 配置master和slaves
          master:master(主机名)slaves:linkin(主机名)这2个配置文件可以不拷贝到其它机器上,只在master上保存即可。
      3.6 配置hosts文件
     127.0.0.1 localhost (注意这里不能放其他的如机器名,否则会使hbase的master名称变成localhost)
     192.168.149.7 master
     192.168.149.2 linkin
      3.7 配置profile,在末尾追加以下内容,并输入source/etc/profile使之生效
    export JAVA_HOME=/home/linkin/jdk1.6.0_10
    export JRE_HOME=/home/linkin/jdk1.6.0_10/jre
    export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH
    HADOOP设置
    export HADOOP_HOME=/home/linkin/hadoop-0.20.2
    export PATH=$HADOOP_HOME/bin:$PATH
    //export PATH=$PATH:$HIVE_HOME/bin
     3.8 将hadoop-0.20.2拷贝到其它主机对应的目录下。将/ect/profile和/etc/hosts也拷贝到其它机器上。profile需要做生效操作。
step4 格式化HDFS
      bin/hadoop namenode -format
      bin/hadoop dfs -ls
step5 启动hadoop
      bin/start-all.sh
      查看HDFS http://192.168.149.7:50070
      查看JOB状态 http://192.168.149.7:50030/jobtracker.jsp

参考资源:
http://wiki.ubuntu.org.cn/%E5%88%A9%E7%94%A8Cloudera%E5%AE%9E%E7%8E%B0Hadoop

posted on 2012-09-21 22:45 paulwong 阅读(370) 评论(0)  编辑  收藏 所属分类: HADOOPHBASE


只有注册用户登录后才能发表评论。


网站导航: