2014年1月9日随笔档案 - tangtb

IBM WebSphere MQ Choosing a primary installation(选择主安装)

摘要: IBM WebSphere MQ Choosing a primary installation(选择主安装) 阅读全文

posted @ 2018-01-29 14:53 tangtb 阅读(511) | 评论 (0) | 编辑收藏

Java 多线程访问WebSphere MQ（摘自官网）

摘要: 如果要从程序内的多个线程同时访问同一个队列管理器，应为需要同时访问的每个线程都创建一个新的 MQQueueManager 对象。阅读全文

posted @ 2017-03-22 15:29 tangtb 阅读(514) | 评论 (0) | 编辑收藏

Ganglia整合Nagios监控Hadoop集群

摘要: Ganglia是UC Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用阅读全文

posted @ 2015-02-25 14:48 tangtb 阅读(6799) | 评论 (0) | 编辑收藏

Pig安装配置及基本使用

摘要: Pig是一个基于Hadoop的大规模数据分析平台对高级过程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。通过允许对分布式数据集进行类似 SQL 的查询，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算，Pig 可以简化 Hadoop 的使用。阅读全文

posted @ 2014-06-04 22:14 tangtb 阅读(5889) | 评论 (0) | 编辑收藏

摘要: HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。阅读全文

posted @ 2014-06-04 22:00 tangtb 阅读(12265) | 评论 (0) | 编辑收藏

Redis安装

摘要: Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工作由VMware主持。
Redis 是一个高性能的key-value数据库和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。阅读全文

posted @ 2014-06-03 22:48 tangtb 阅读(1457) | 评论 (1) | 编辑收藏

Windows远程调试Hadoop

摘要: 前置条件
成功安装配置Hadoop集群
成功编译安装Hadoop Eclipse插件
本地有和服务器相同版本的Hadoop安装包，并已解压（本例使用hadoop-1.1.2）
阅读全文

posted @ 2014-06-03 21:09 tangtb 阅读(1901) | 评论 (0) | 编辑收藏

Sqoop安装配置及数据导入导出

摘要: Sqoop项目开始于2009年，最早是作为Hadoop的一个第三方模块存在，后来为了让使用者能够快速部署，也为了让开发人员能够更快速的迭代开发，Sqoop独立成为一个Apache项目。
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。阅读全文

posted @ 2014-05-31 14:41 tangtb 阅读(20264) | 评论 (3) | 编辑收藏

Hadoop安装配置(更新)

摘要: Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序,用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。阅读全文

posted @ 2014-05-31 14:30 tangtb 阅读(2527) | 评论 (0) | 编辑收藏