Skynet

---------- ---------- 我的新 blog : liukaiyi.cublog.cn ---------- ----------

  BlogJava :: 首页 :: 联系 :: 聚合  :: 管理
  112 Posts :: 1 Stories :: 49 Comments :: 0 Trackbacks

hadoop 原理参考:用 Hadoop 进行分布式并行编程
官方中文文档:http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html

1. 首先安装 cygwin ssh  参考 windows ssh 搭建
2. 搭建hadoop  参考 Cygwin下的Hadoop快速入门-伪分布式模式的查缺补漏
   
这里还有 cygwin putty 控制台方法设置
3. 开发环境和 demo 参考

通过参考应该环境的搭建没问题,我这搭建成功了,说下我这一些注意到地方吧
1. 我这使用的最新版本的 hadoop-0.20.0 在参考文档中,修改 hadoop-site.xml 。
   在这个版本已经在conf下找不到了,我这尝试修改的 hdfs-site.xml 。测试的时候竟然通过了。
 

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
  
<property>
    
<name>fs.default.name</name>
    
<value>hdfs://localhost:9000</value>
  
</property>

  
<property>
    
<name>mapred.job.tracker</name>
    
<value>localhost:9001</value>
  
</property>

  
<property>
    
<name>dfs.data.dir</name>
    
<!--linux -->
    
<!--<value>/home/lky/tools/java/hadoop-0.18.3/dfs</value>-->
    
<value>C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\</value>
  
</property>


  
<property>
    
<name>hadoop.tmp.dir</name>
    
<value>/tmp</value>
  
</property>



  
<property>
    
<name>dfs.replication</name>
    
<value>1</value>
  
</property>


<property>
  
<name>fs.trash.interval</name>
  
<value>60</value>
  
<description>Number of minutes between trash checkpoints.
  If zero, the trash feature is disabled.
  
</description>
</property>
  
</configuration>



整理 www.blogjava.net/Good-Game
posted on 2009-07-08 11:07 刘凯毅 阅读(1226) 评论(0)  编辑  收藏 所属分类: 集群开发

只有注册用户登录后才能发表评论。


网站导航: