Posted on 2011-11-10 21:26
俞灵 阅读(3423)
评论(6) 编辑 收藏
编译(环境linux, 需要联网)
1. 首先下载hadoop 0.23版本
svn checkout http://svn.apache.org/repos/asf/hadoop/common/tags/release-0.23.0-rc0/
2. 进入release-0.23.0-rc0目录下能看到INSTALL.TXT文件, 这里有编译hadoop 0.23的教程.
编译前的准备:.
a) * Unix System
b) * JDK 1.6
c) * Maven 3.0
d) * Forrest 0.8 (if generating docs)
e) * Findbugs 1.3.9 (if running findbugs)
f) * ProtocolBuffer 2.4.1+ (for MapReduce)
g) * Autotools (if compiling native code)
h) * Internet connection for first build (to fetch all Maven and Hadoop dependencies)
可以根据需要安装全部或部分的工具,然后把它们加入到$PATH中. 这里介绍一下ProtocolBuffer的安装方法:下载2.4.1版本后解压,进入目录,运行如下命令即可.
$ ./configure --prefile=/usr/local
$ make
$ sudo make install
3. 经过第二步准备之后,由于从hadoop0.23开始使用Maven编译,因此必需联网,命令如下:
mvn package [-Pdist][-Pdocs][-Psrc][-Pnative][-Dtar]
建议先运行命令: mvn package -Pdist -DskipTests –Dtar (前提Maven 3.0和ProtocolBuffer2.4.1以上), 此命令成功之后会在release-0.23.0-rc0/下生成 hadoop-dist/target/hadoop-0.23.0-SNAPSHOT.tar.gz. 可以使用这个包搭建集群.
使用-Pdocs选项可以生成文档,当然前提是安装了Forrest 0.8和Findbugs 1.3.9. 可以参考如下命令手动指定:FORREST_HOME和FINDBUGS_HOME.
mvn package -Pdocs -DskipTests -Dtar -Dmaven.test.skip -Denv.FORREST_HOME=/usr/local/apache-forrest-0.9 -Denv.FINDBUGS_HOME=/usr/local/findbugs-1.3.9
生成的文档在各自的target/site目录下.
经过以上步骤,我们已经编译好了hadoop-0.23,现在可以使用hadoop-0.23.0-SNAPSHOT.tar.gz来搭建集群了.
下一篇博客将讲述如何使用hadoop-0.23 搭建hdfs集群