首页技术区最新随笔(rss) RSS

深入HBase架构解析(二)

     摘要: 前言这是《深入HBase架构解析(一)》的续,不多废话,继续。。。。HBase读的实现通过前文的描述,我们知道在HBase写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同...  阅读全文

2015-08-22 19:40 作者: DLevin【评论:0】【阅读:258】 

深入HBase架构解析(一)

     摘要: 前记 公司内部使用的是MapR版本的Hadoop生态系统,因而从MapR的官网看到了这篇文文章:An In-Depth Look at the HBase Architecture,原本想翻译全文,然而如果翻译就需要各种咬文嚼字,太麻烦,因而本文大部分使用了自己的语言,并且加入了其他资源的参考理解以及本人自己读源码时对其的理解,属于半翻译、半原创吧。 HBase架构组成 HBase采用Mas...  阅读全文

2015-08-22 17:44 作者: DLevin【评论:0】【阅读:2577】 

Java方法进行解压/生成有密码保护的压缩文件(zip格式)

     摘要: 解压/生成有密码保护的压缩文件, 研发过程中,作者研究了压缩文件格式文档: http://www.pkware.com/documents/casestudies/APPNOTE.TXT,并且参考了7-zip的实现。  阅读全文

2015-08-19 10:16 作者: 云自无心水自闲【评论:0】【阅读:2182】 

GPS软件平台设计开发文章精华索引

     摘要: GPS软件平台和车辆管理系统的开发是一个相对垂直的行业应用软件开发,和一般的管理信息软件开发有很大的不同,是一个软硬件一体化的平台,数据来源于GPS设备发送。依赖的技术要包括socket通信、gps定位、通信协议解析、GIS地图开发、以及常规的前后端web技术等。同时还需要了解交通部的行业标准,如jt/t 796、808和部标809等标准。  阅读全文

2015-08-19 09:46 作者: Speed【评论:0】【阅读:1031】 

读取memcached和redis中的数据,分析缓存数据大小

     摘要:     最近项目快要见人了,所以很多性能分析的需求又提出来了。之前已经做过几次类似的事情,这次记录下来把    Memcached不能一次性读取所有的key,不能一次性读取缓存数据。以前项目里面踩过这个坑,stats cachedump $slabId $limit只会dump出2M的key,如果所有的key超多2M那么dump出哪些key就要看命了。以前想...  阅读全文

2015-08-18 11:58 作者: 波比【评论:0】【阅读:1735】 

使用MAT对java内存分析

     摘要: 这是一篇阅读MAT helper的笔记。Heap dump是java进程在特定时间的一个内存快照。通常在触发heap dump之前会进行一次full gc,这样dump出来的内容就包含的是被gc后的对象。 dump文件包含的内容: 1,全部的对象:类,域,原生值和引用; 2,全部的类:classloader,类名,超类,静态域; 3,GC root:被JVM定义的可触达的对象; 4,线程...  阅读全文

2015-08-17 19:08 作者: changedi【评论:0】【阅读:1516】 

Log4J引起的程序“装死”

     摘要: 问题起因 依然是在使用GemFire的集群中,我们发现偶尔会出现一些GemFire的Function执行特别慢,并且超过了两分钟(为了保证数据的一致性,我们在写之前需要先拿一个Lock,因为不能每个Key都对应一个Lock,因而我们使用了Guava的Stripe Lock(关于Stripe Lock可以参考这里),而且这个Lock本身我们指定了2分钟的超时时间,因而如果写超过两分钟,我们就会收到...  阅读全文

2015-08-13 16:28 作者: DLevin【评论:4】【阅读:2982】 

实现自己的Lock对象

     摘要: 一直想好好学习concurrent包中的各个类的实现,然而经常看了一点就因为其他事情干扰而放下了。发现这样太不利于自己的成长了,因而最近打算潜心一件一件的完成自己想学习的东西。对concurrent包的学习打算先从Lock的实现开始,因而自然而然的就端起了AbstractQueuedSynchronizer,然而要读懂这个类的源码并不是那么容易,因而我就开始问自己一个问题:如果自己要去实现这个一个...  阅读全文

2015-08-11 06:08 作者: DLevin【评论:0】【阅读:2177】 

Centos7安装Memcached三步曲

     摘要: 本文介绍了在Centos7下如何安装Memcached软件,希望对大家有所帮助  阅读全文

2015-08-08 18:41 作者: 草原上的骆驼【评论:0】【阅读:497】 

Java HotSwap Ⅲ-Script/Groovy

     摘要: 本篇随笔主要讲述了在线程序通过脚本或者代码进行更新的一个例子.  阅读全文

2015-08-07 21:59 作者: landon【评论:0】【阅读:512】 

mysql触发器:每天增加一个随机数。

     摘要: mysql触发器,5.6版。  阅读全文

2015-08-06 09:26 作者: 智者无疆【评论:0】【阅读:3938】 

windows10使用体会

     摘要: 花了两天时间终于把windows10安装好了,以下是我的一些个人的体会  阅读全文

2015-08-03 18:56 作者: 云自无心水自闲【评论:0】【阅读:3592】 

CentOS7 添加Percona5.6启动项

     摘要: 最近服务器的CentOS版本升级到了CentOS7.0,新的版本怎么好用还没有体验到,但是使用yum安装Percona mysql5.6后发现跟之前不一样了。CentOS6,使用yum安装完Percona mysql5.6后,在/etc/init.d会自动添加mysqld的启动项,所以启动项的东西我们自己不用管,但是CentOS没有了。在网上冲了会浪,原来是CentOS7.0的新东西,system...  阅读全文

2015-08-03 17:05 作者: bob【评论:0】【阅读:1498】 

Centos7配置文件共享服务器SAMBA三步曲

     摘要: 本文详细介绍了在Centos7下如何安装配置SAMBA文件共享服务器,是公司内部最长用的工具了,希望给大家能带来帮助。本文分三部分,第一部分介绍了如何安装,第二部分介绍了如何配置,第二部分介绍了如何使用。  阅读全文

2015-08-01 19:45 作者: 草原上的骆驼【评论:2】【阅读:2456】 

Java CMS GC 361s引发的血案

     摘要: 文章从Java CMS GC花费361s后引起GemFire节点掉出集群过程中各个节点交互的详细流程以及日志情况,重点介绍了ParNew+CMS GC promotion failed和concurrent mode failure产生的原因以及解决方案。解决方案从两方面入手:JVM参数调优和减少类的创建,其中JVM参数调优过程中详细介绍了ParNew和CMS的工作原理、调优参数、各种不同情况下产生的GC日志解释;着重于避免Full GC引起长时间停顿的问题。  阅读全文

2015-08-01 03:02 作者: DLevin【评论:0】【阅读:2830】 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]

友情链接