tangtb

Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
posts - 25, comments - 88, trackbacks - 0, articles - 0
  BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

Hadoop安装配置(更新)

Posted on 2014-05-31 14:30 tangtb 阅读(2526) 评论(0)  编辑  收藏 所属分类: Hadoop

之前漏掉了一些小细节,已经补上,不再修改内容,请直接下载附件

1.    安装环境

1)     操作系统

2)     SSH连接工具:XShellXManager

新建连接:点击窗口左上方新建按钮,在弹出窗口填写名称(自定义)及主机IP,如下图所示:

设置中文显示(中文乱码):选择弹出窗口左侧终端”菜单,右侧终端类型选择“linux”,“编码选择“UTF-8”,如下图所示:

设置使用XManager:选择弹出窗口左侧隧道菜单,右侧”X11转移选中“Xmanager”,如下图所示:

点击确定,输入用户名和密码,进入终端命令行,如下图所示:

3)     配置SecureCRTSecureFX

点击左上角快速连接快捷按钮,填写主机名和用户名,点击连接按钮,输入用户名对应密码,如下图所示:

选择视图菜单下的本地窗口,左侧显示本地目录,右侧为服务器目录,如下图所示:

2.    安装配置JDK    

1)     安装JDK

2)     设置环境变量:vim .bashrc

3.    安装配置Hadoop  单一节点

1)     配置ssh免密码及环境准备

生成公钥:ssh-keygen -t rsa

添加公钥到authorized_keys文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

解压Hadoop安装包:tar –zxvf  hadoop-0.20.2.tar.gz

2)     配置Hadoop环境变量:vim .bashrc

3)     修改Hadoop配置文件

编辑:vim core-site.xml

编辑:vim mapred-site.xml

编辑:vim hdfs-site.xml

4.    启动/停止Hadoop 

5.    安装配置Hadoop  多节点,非生成环境,不使用DNSNFS

1)     配置ssh免密码

生成公钥:ssh-keygen -t rsa

添加公钥到authorized_keys文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

注意:以上操作需要在每个节点执行,并将各自的公钥添加到authorized_keys文件

2)     配置Hadoop环境变量:vim .bashrc

3.2

3)     修改Hadoop配置文件

3.3

HADOOP_HOME/conf目录下的masters文件中添加SecondaryNameNode节点地址,slaves文件中添加TaskTrackerDataNode节点地址

4)   向各节点复制Hadoop

生成批量拷贝脚本

给脚本添加可执行权限

[tangtaibin@tangtb-PC conf]$ chmod 755 cphadoop.sh

拷贝完毕,格式化文件系统并启动集群

[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/hadoop namenode -format

[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/start-all.sh

 

Web页面监控Hadoop集群及Map/Reduce任务

http://10.120.10.11:50070/dfshealth.jsp

http://10.120.10.11:50030/jobtracker.jsp




只有注册用户登录后才能发表评论。


网站导航: