随笔-15  评论-8  文章-0  trackbacks-0
Hadoop是IT行业一个新的热点,是云计算的一个具体实现、Hadoop本身具有很高的技术含量,是IT工程师学习的首选!下面我们来详细讲讲什么是Hadoop。

完整hadoop讲解视频教程下载地址:
                                              1、http://kuai.xunlei.com/d/CLCBYHQKJQNT
                                              2、http://kuai.xunlei.com/d/CSMFERCHAGEE
Hadoop是什么:

Hadoop  = The Hadoop projects

Common, Avro, MapReduce, HDFS, Pig, Hive, Hbase, ZooKeeper, Sqoop, Oozie


Hadoop要解决的两个问题:
1、海量数据的存储 -- HDFS
2、海量数据的分析 -- MapReduce

Hadoop发展的历史:
始于2002年的apache项目Nutch
2003年Google发表了关于GFS的论文
2004年Nutch的开发者开发了NDFS
2004年Google发表了关于MapReduce的论文
2005年MapR被引入了NDFS
2006年改名为Hadoop,NDFS的创始人加入Yahoo,Yahoo成立了一个专门的小组发展Hadoop

HDFS设计目标:
1、Very large files

2、Streaming data access
write-once, read-many-times

3、Commodity hardware

HDFS架构:
在Hadoop中,一个文件被划分成大小固定的多个文件块,分布的存储在集群中的节点中


Block:一个文件分块,默认64M

NameNode:保存整个文件系统的目录信息,文件信息以及文件相应的分块信息。

DataNode:用于存储Blocks

HDFS的HA策略:NameNode一旦宕机,整个文件系统将无法工作。
                       如果NameNode中的数据丢失,整个文件系统也就丢失了。
                       2.x开始,HDFS支持NameNode的active-standy模式



 

posted on 2012-08-22 22:09 小笨熊_bear 阅读(4288) 评论(3)  编辑  收藏

评论:
# re: Hadoop是什么、它要解决的问题及HDFS的架构(提供完整视频教程讲解) 2012-08-30 01:02 | muxueqz
话说最近blogjava的RSS输出好乱啊  回复  更多评论
  
# re: Hadoop是什么、它要解决的问题及HDFS的架构(提供完整视频教程讲解) 2012-09-17 11:01 | 俞灵
好老呀, 和最新技术差别巨大  回复  更多评论
  
# re: Hadoop是什么、它要解决的问题及HDFS的架构(提供完整视频教程讲解) 2012-09-24 16:56 | java狂人
楼主还有其他的hadoop视频教程吗,求赐教
在下的邮箱地址为weblogic@139.com
谢谢。  回复  更多评论
  

只有注册用户登录后才能发表评论。


网站导航: