tangtb

Hadoop,SpringMVC,ExtJs,Struts2,Spring,SpringSecurity,Hibernate,Struts
posts - 25, comments - 88, trackbacks - 0, articles - 0
  BlogJava :: 首页 :: 新随笔 :: 联系 :: 聚合  :: 管理

06 2014 档案

     摘要: Pig是一个基于Hadoop的大规模数据分析平台对高级过程语言,适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算,Pig 可以简化 Hadoop 的使用。  阅读全文

posted @ 2014-06-04 22:14 tangtb 阅读(5889) | 评论 (0)  编辑 |

     摘要: HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。  阅读全文

posted @ 2014-06-04 22:00 tangtb 阅读(12265) | 评论 (0)  编辑 |

     摘要: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。从2010年3月15日起,Redis的开发工作由VMware主持。
Redis 是一个高性能的key-value数据库和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。  阅读全文

posted @ 2014-06-03 22:48 tangtb 阅读(1457) | 评论 (1)  编辑 |

     摘要: 前置条件
成功安装配置Hadoop集群
成功编译安装Hadoop Eclipse插件
本地有和服务器相同版本的Hadoop安装包,并已解压(本例使用hadoop-1.1.2)
  阅读全文

posted @ 2014-06-03 21:09 tangtb 阅读(1901) | 评论 (0)  编辑 |