Ø        安装软件

   安装JDK到/usr/local下命名为java

将下载好的hadoop-0.20.3.tar.gz文件上传到master的/usr/local/hadoop
tar zxvf hadoop-0.20.3.tar.gz #解压文件

设置hadoop目录的访问权限

chown –R hadoop:hadoop /usr/local/hadoop

Ø        改机器名

     把每台机器的 机器名改成localhost。

     Vi /etc/sysconfig/network

     修改HOSTNAME  = localhost

     此处是没搞清楚为什么的地方，实验结果表明 必须改成localhost hadoop才能正常启动。具体原理 目前还没有搞清楚，只知其然，其所以然有待于以后研究。 

7.2  每个节点不同的配置

7.2.1               配置hadoop

   Hadoop的配置文件 在早期版本中都放在同一个文件里 hadoop-site.xml,在新版本中hadoop把配置文件做了区分，分成了：

Core-site.xml        配置Common组件的属性

Hadoop-site.xml      配置HDFS组件的属性

Mapred-site.xml      配置map-reduce组件的属性

除了这3个配置文件以外 还有 hadoop-env.xml 用来设置 hadoop用到的环境变量；masters文件用来配置 SNN 节点地址 注意必须配置域名；slaves文件 配置所有DN节点的地址，必须是域名

7.2.2            Core-site.xml 配置实例

 DN节点 以及 NN节点，snn节点配置一至：

   <property>

       <name>fs.default.name</name>           // 配置NN节点地址和端口号

       <value>hdfs://hadoop.master:9000</value>  //注意格式必须是 host:port的形式

</property>

<property>

       <name>hadoop.tmp.dir</name>           //hadoop临时目录用来存放nn临时文件

       <value>/usr/local/hadoop/tmp</value>      //该目录必须预先手工创建不能删除

</property>

<property>

       <name>fs.checkpoint.period</name>      //snn检查nn日志的时间周期

        <value>60</value>                   //单位是秒，正式环境上建议配置成12小时

</property>

<property>

        <name>fs.checkpoint.size</name>      //snn每次从nn上读取的数据大小

        <value>67108864</value>            //通常情况下默认值就可以

</property>

7.2.3                Hdfs-site.xml

Ø         NN 节点

    <property>

        <name>dfs.name.dir</name>        // 指定name 镜像文件存放目录，如不指定则

        <value>/usr/local/hadoop/hdfs/name</value> //默认为core-site中配置的tmp目录

    </property>

<property>

        <name>dfs.replication</name>     //数据节点冗余备份的数量，由于实验只有2个

        <value>1</value>                // NN 顾设置唯一，实际配置是可由实际情况

    </property>                         //配置，建议尽量大于3

    <property>

        <name>dfs.permissions</name>    //是否需要角色权限验证，上传文件时会用到，

        <value>false</value>             //如果为true ，需要绑定hadoop用户角色

    </property>

    <property>

        <name>dfs.secondary.http.address</name>  //SNN 的web访问地址。

        <value>hadoop.second:50090</value>

    </property>

Ø         DN节点配置

    <property>

       <name>dfs.data.dir</name>             // 数据存放的目录，如果不写 默认为

       <value>/usr/local/hadoop/hdfs/data</value>  // core-site中配置的tmp目录

    </property>

    <property>

       <name>dfs.replication</name>      //数据节点冗余备份的数量，由于实验只有2个

       <value>1</value>                 // NN 顾设置唯一，实际配置是可由实际情况

    </property>                         //配置，建议尽量大于3

    <property>

       <name>dfs.permissions</name>     //是否需要角色权限验证，上传文件时会用到

       <value>false</value>              //如果为true ，需要绑定hadoop用户角色

    </property>

    <property>

       <name>dfs.secondary.http.address</name>   //SNN 的web访问地址

       <value>hadoop.second:50090</value>

</property>

Ø           SN节点的配置

    <property>

       <name>dfs.name.dir</name> // 指定name 镜像文件存放目录，如不指定则

       <value>/usr/local/hadoop/hdfs/name</value> //默认为core-site中配置的tmp目录

    </property>

    <property>

       <name>dfs.replication</name>    //数据节点冗余备份的数量，由于实验只有2个

       <value>1</value>                // NN 顾设置唯一，实际配置是可由实际情况

    </property>                       //配置，建议尽量大于3

    <property>

       <name>dfs.permissions</name>

       <value>false</value>

    </property>

    <property>

        <name>dfs.http.address</name>    NN 的web访问地址，注意此处和其他节点不同

        <value>hadoop.master:50070</value>

    </property>

Ø         Mapred-site.xml配置

所有节点都一致

  <property>

    <name>mapred.job.tracker</name>

    <value>hadoop.master:9001</value> //必须为host：port的形式，不能直接写ip

  </property>

Jobtracker的分布式的配置方法目前没设置成功，有待于继续研究

Ø         Masters文件配置和slaves文件配置 所有节点全部一致

所有节点的masters 里面均配置 SNN的域名

所有节点的slaves 里面均配置所有DN的域名，一行一个DN

Ø         Hadoop-env.sh 文件配置

里面是hadoop运行时定义的环境变量

其他的都可以用默认值，但是有一项必须修改 就是javahome环境变量，指定到实际的javahome目录。实例：

 export JAVA_HOME=/usr/local/java  

1.     hadoop无用户登录配置

用 hadoop用户进入每台机器：

进入 /home/hadoop 目录

ssh-keygen -t rsa  #建立ssh目录,敲回车到底

1)        登录NN服务器

2)        进入/home/hadoop/.ssh目录

3)        scp -r id_rsa.pub hadoop@hadoop.slave1:/home/hadoop/.ssh/authorized_keys

#将master上的密钥传到slave1的hadoop用户下,重命名为authorized_keys

4)        scp -r id_rsa.pub hadoop@hdoop.slave2:/home/hadoop/.ssh/authorized_keys

#将master上的密钥传到slave2的hadoop用户下,重命名为authorized_keys

5)        scp -r id_rsa.pub hadoop@hadoop.second:/home/hadoop/.ssh/authorized_keys

#将master上的密钥传到snn的hadoop用户下,重命名为authorized_keys

6)        用hadoop用户进入hadoop.slave1 /home/hadoop/.ssh目录

7)        cat id_rsa.pub >> authorized_keys

#把自己的id_rsa.pub内容也放到authorized_keys中

8)        scp -r id_rsa.pub hadoop@hadoop.master:/home/hadoop/.ssh/authorized_keys_s1
#将slave1上的密钥传到master的hadoop用户下

9)        用hadoop用户进入hadoop.slave2  /home/hadoop/.ssh目录

10)     cat id_rsa.pub >> authorized_keys

#把自己的id_rsa.pub内容也放到authorized_keys中

11)     scp -r id_rsa.pub hadoop@hadoop.master:/home/hadoop/.ssh/authorized_keys_s2
#将slave2上的密钥传到master的hadoop用户下

12)     用hadoop用户进入hadoop.second  /home/hadoop/.ssh目录

13)     cat id_rsa.pub >> authorized_keys

#把自己的id_rsa.pub内容也放到authorized_keys中

14)     scp -r id_rsa.pub hadoop@hadoop.master:/home/hadoop/.ssh/authorized_keys_second
#将snn上的密钥传到master的hadoop用户下

15)     在master，上执行以下操作

16)     cat id_rsa.pub >> authorized_keys

#将本地密钥添加authorized_keys

17)     cat authorized_keys_s1 >> authorized_keys

18)     cat authorized_keys_s2 >> authorized_keys

19)     cat authorized_keys_second >> authorized_keys

20)     rm authorized_keys_second

21)     rm authorized_keys_s1

22)     rm authorized_keys_s2

这样主节点和从节点之间就可以不用密码直接ssh访问

特别注意 authorized_keys 文件的访问权限 必须设置成600

登录每台机器 执行 chmod 600 authorized_keys

2.     启动hadoop

用hadoop用户进入nn服务器的 /usr/local/hadoop/hadoop-0.20.203.0/bin目录

Ø         格式化hadoop

Hadoop namenode –format

Ø         启动hadoop

./start-all.ssh  ，不建议这样启动 建议单独启动守护进程。

Ø         Hadoop日志目录

/usr/local/hadoop/hadoop-0.20.203.0/logs

启动完检查下启动日志，启动后 到nn上查看

hadoop-hadoop-namenode-master.log

hadoop-hadoop-jobtracker-master.log

因为 我们的 nn和 jobtracker 部署在同一台机器上，所有master上会有2个日志

登录snn节点服务器 查看

hadoop-hadoop-secondarynamenode-master.log

这几个没错误就OK了

这时候就可以进入管理页面看看了