Posted on 2014-05-31 14:30
tangtb 阅读(2526)
评论(0) 编辑 收藏 所属分类:
Hadoop
之前漏掉了一些小细节,已经补上,不再修改内容,请直接下载附件
1. 安装环境
1) 操作系统
2) SSH连接工具:XShell及XManager
新建连接:点击窗口左上方“新建”按钮,在弹出窗口填写名称(自定义)及主机IP,如下图所示:
设置中文显示(中文乱码):选择弹出窗口左侧“终端”菜单,右侧“终端类型”选择“linux”,“编码”选择“UTF-8”,如下图所示:
设置使用XManager:选择弹出窗口左侧“隧道”菜单,右侧”X11转移”选中“Xmanager”,如下图所示:‘
点击“确定”,输入用户名和密码,进入终端命令行,如下图所示:
3) 配置SecureCRTSecureFX
点击左上角”快速连接”快捷按钮,填写“主机名”和用户名,点击“连接”按钮,输入用户名对应密码,如下图所示:
选择“视图”菜单下的“本地窗口”,左侧显示本地目录,右侧为服务器目录,如下图所示:
2. 安装配置JDK
1) 安装JDK
2) 设置环境变量:vim .bashrc
3. 安装配置Hadoop (单一节点)
1) 配置ssh免密码及环境准备
生成公钥:ssh-keygen -t rsa
添加公钥到authorized_keys文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
解压Hadoop安装包:tar –zxvf hadoop-0.20.2.tar.gz
2) 配置Hadoop环境变量:vim .bashrc
3) 修改Hadoop配置文件
编辑:vim core-site.xml
编辑:vim mapred-site.xml
编辑:vim hdfs-site.xml
4. 启动/停止Hadoop
5. 安装配置Hadoop (多节点,非生成环境,不使用DNS和NFS)
1) 配置ssh免密码
生成公钥:ssh-keygen -t rsa
添加公钥到authorized_keys文件:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
注意:以上操作需要在每个节点执行,并将各自的公钥添加到authorized_keys文件
2) 配置Hadoop环境变量:vim .bashrc
同3.2
3) 修改Hadoop配置文件
同3.3
在HADOOP_HOME/conf目录下的masters文件中添加SecondaryNameNode节点地址,slaves文件中添加TaskTracker和DataNode节点地址
4) 向各节点复制Hadoop
生成批量拷贝脚本
给脚本添加可执行权限
[tangtaibin@tangtb-PC conf]$ chmod 755 cphadoop.sh
拷贝完毕,格式化文件系统并启动集群
[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/hadoop namenode -format
[tangtaibin@tangtb-PC hadoop-1.2.1]$ bin/start-all.sh
从Web页面监控Hadoop集群及Map/Reduce任务
http://10.120.10.11:50070/dfshealth.jsp
http://10.120.10.11:50030/jobtracker.jsp