2012年5月22日随笔档案 - 庄周梦蝶

博客搬迁

很久没有更新博客，没想到更新是搬迁公告。这个博客累计的访问量突破百万，是我建立的时候完全没有想过的事情。博客对我来说更多是记录、记忆的地方，我时常因为想不起某个东西，来翻自己的博客，查找旧知，发现新知。阅读很多人的博客，也是我跟踪、学习新知的主要方式。虽然微博兴起，不过博客作为更系统性的记录的地方，不会过时。

非常感谢blogjava提供这么优秀的平台。只是我今年给自己的一个目标是建立自己的博客，因此现在要搬迁，加上其实现在也写的少，其实搬迁不搬迁，意义也不大了。算是一个通告，有兴趣的可以订阅我的新博客，没兴趣的请自行略过，谢谢大家。

新博客地址：http://blog.fnil.net/
RSS地址：http://blog.fnil.net/index.php/feed

新博客的第一篇记忆是《Leiningen教程中文版》，从现在开始，这个博客将不再发布任何新的文章，已有的也不会删除，部分可能会导到我的知识库上去。

最后，祝福blogjava越办越好。

posted @ 2012-12-10 01:24 dennis 阅读(11876) | 评论 (6) | 编辑收藏

Another URL Shortener using NodeJS

It's my weekend project——node-shorten: URL Shortener just like t.cn,goo.gl etc.

Is is written in NodeJS,using express.js for MVC framework,and using MySQL for storage and Redis for caching.

A demo online: http://fnil.me/

The project is at https://github.com/killme2008/node-shorten

Feel free to modify and use it.Have fun.

posted @ 2012-11-25 20:31 dennis| 编辑收藏

Clojure中文专业技术社区

很久没写博客，一是工作忙，二是没有太多的事情可说。

最近在公司大佬的支持下，建立了一个Clojure语言中文方面的博客和问答网站，欢迎任何对Clojure这门基于JVM之上的函数式语言感兴趣的童鞋贡献原创文章或者资料，申请帐号请看这里。

博客地址： http://blog.clojure.cn/
问答网站： http://ask.clojure.cn/

欢迎转发和注册使用，谢谢。

邮件列表仍然使用google group：https://groups.google.com/group/cn-clojure/

posted @ 2012-09-25 12:51 dennis 阅读(12115) | 评论 (4) | 编辑收藏

Ring.velocity:render velocity templates for ring in clojure

Home: https://github.com/killme2008/ring.velocity

A Clojure library designed to render velocity template for ring in clojure.

Usage

Adds dependency in leiningen project.clj:

  [ring.velocity "0.1.0-SNAPSHOT"]

Create a directory named templates in your project directory to keep all velocity templates.

Create a template templates/test.vm:

  hello,$name,your age is $age.

Use ring.velocity in your namespace:

  (use '[ring.velocity.core :only [render]])

Use render function to render template with vars:

  (render "test.vm" :name "dennis" :age 29)

The test.vm will be interpreted equals to:

  hello,dennis,your age is 29.

Use ring.velocity in compojure:

  (defroutes app-routes      
    (GET "/" [] (render "test.vm" :name "dennis" :age 29))   
    (route/not-found "Not Found"))

Use ring.velocity in ring:

  (use '[ring.util.response])   
  (response (render "test.vm" :name "dennis" :age 29))

Custom velocity properties,just put a file named ring-velocity.properties to your classpath or resource paths.The default velocity properties is in src/default/velocity.properties.

License

Distributed under the Eclipse Public License, the same as Clojure.

Home: https://github.com/killme2008/ring.velocity

posted @ 2012-07-18 00:07 dennis 阅读(9485) | 评论 (0) | 编辑收藏

Clojure笔记：用好type hint

Clojure的一大优点就是跟Java语言的完美配合，Clojure和Java之间可以相互调用，Clojure可以天然地使用Java平台上的丰富资源。在Clojure里调用一个类的方法很简单，利用dot操作符：

user=> (.substring "hello" 3)
"lo"
user=> (.substring "hello" 0 3)
"hel"

上面的例子是在clojure里调用String的substring方法做字符串截取。Clojure虽然是一门弱类型的语言，但是它的Lisp Reader还是能识别大多数常见的类型，比如这里hello是一个字符串就可以识别出来,3是一个整数也可以，通过这些类型信息可以找到最匹配的substring方法，在生成字节码的时候避免使用反射，而是直接调用substring方法（INVOKEVIRTUAL指令）。

但是当你在函数里调用类方法的时候，情况就变了，例如，定义substr函数：

(defn substr [s begin end] (.substring s begin end))

我们打开*warn-on-reflection*选项，当有反射的时候告警：

user=> (set! *warn-on-reflection* true)
true
user=> (defn substr [s begin end] (.substring s begin end))
Reflection warning, NO_SOURCE_PATH:22 - call to substring can't be resolved.
#'user/substr

问题出现了，由于函数substr里没有任何关于参数s的类型信息，为了调用s的substring方法，必须使用反射来调用，clojure编译器也警告我们调用substring没办法解析，只能通过反射调用。众所周知，反射调用是个相对昂贵的操作（对比于普通的方法调用有）。这一切都是因为clojure本身是弱类型的语言，对参数或者返回值你不需要声明类型而直接使用,Clojure会自动处理类型的转换和调用。ps.在leiningen里启用反射警告很简单，在project.clj里设置：

;; Emit warnings on all reflection calls.
:warn-on-reflection true

过多的反射调用会影响效率，有没有办法避免这种情况呢？有的，Clojure提供了type hint机制，允许我们帮助编译器来生成更高效的字节码。所谓type hint就是给参数或者返回值添加一个提示：hi,clojure编译器，这是xxx类型，我想调用它的yyy方法，请生成最高效的调用代码，谢谢合作：

user=> (defn substr [^String s begin end] (.substring s begin end))
#'user/substr

这次没有警告，^String就是参数s的type hint，提示clojure编译器说s的类型是字符串，那么clojure编译器会从java.lang.String类里查找名称为substring并且接收两个参数的方法，并利用invokevirtual指令直接调用此方法，避免了反射调用。除了target对象（这里的s)可以添加type hint，方法参数和返回值也可以添加type hint：

user=> (defn ^{:tag String} substr [^String s ^Integer begin ^Integer end] (.substring s begin end))
#'user/substr

返回值添加type hint是利用tag元数据，提示substr的返回类型是String，其他函数在使用substr的时候可以利用这个类型信息来避免反射；而参数的type hint跟target object的type hint一样以^开头加上类型，例如这里begin和end都提示说是Integer类型。

问题1，什么时候应该为参数添加type hint呢？我的观点是，在任何为target object添加type hint的地方，都应该相应地为参数添加type hint，除非你事先不知道参数的类型。为什么呢？因为clojure查找类方法的顺序是这样：

1.从String类里查找出所有参数个数为2并且名称为substring方法
2.遍历第一步里查找出来的Method，如果你有设置参数的type hint,则

查找最匹配参数类型的Method；否则，如果第一步查找出来的Method就一个，直接使用这个Method，相反就认为没有找到对应的Method。
3.如果第二步没有找到Method，使用反射调用；否则根据该Method元信息生成调用字节码。

因此，如果substring方法的两个参数版本刚好就一个，方法参数有没有type hint都没有关系（有了错误的type hint反而促使反射的发生），我们都会找到这个唯一的方法；但是如果目标方法的有多个重载方法并且参数相同，而只是参数类型不同（Java里是允许方法的参数类型重载的，Clojure只允许函数的参数个数重载），那么如果没有方法参数的type hint，Clojure编译器仍然无法找到合适的调用方法，而只能通过反射。

看一个例子,定义get-bytes方法调用String.getBytes：

user=> (defn get-bytes [s charset] (.getBytes s charset))
Reflection warning, NO_SOURCE_PATH:26 - call to getBytes can't be resolved.
#'user/get-bytes
user=> (defn get-bytes [^String s charset] (.getBytes s charset))
Reflection warning, NO_SOURCE_PATH:27 - call to getBytes can't be resolved.
#'user/get-bytes

第一次定义，s和charset都没有设置type hint，有反射警告；第二次，s设置了type hint，但是还是有反射警告。原因就在于String.getBytes有两个重载方法，参数个数都是一个，但是接收不同的参数类型，一个是String的charset名称，一个Charset对象。如果我们明确地知道这里charset是字符串，那么还可以为charset添加type hint:

user=> (defn get-bytes [^String s ^String charset] (.getBytes s charset))
#'user/get-bytes

这次才真正的没有警告了。总结：在设置type hint的时候，不要只考虑被调用的target object，也要考虑调用的方法参数。

问题2：什么时候应该添加tag元数据呢？理论上，在任何你明确知道返回类型的地方都应该添加tag，但是这不是教条，如果一个偶尔被调用的方法是无需这样做的。这一点只对写库的童鞋要特别注意。

Type hint的原理在上文已经大概描述了下，具体到clojure源码级别，请参考clojure.lang.Compiler.InstanceMethodExpr类的构造函数和emit方法。最后，附送是否使用type hint生成substr函数的字节码之间的差异对比：

未使用type hint

使用type hint

// access flags 1

public invoke(Ljava/lang/Object;Ljava/lang/Object;Ljava/lang/Object;)Ljava/lang/Object;

L0

LINENUMBER 14 L0

L1

LINENUMBER 14 L1

ALOAD 1

ACONST_NULL

ASTORE 1

LDC "substring"

ICONST_2

ANEWARRAY java/lang/Object

DUP

ICONST_0

ALOAD 2

ACONST_NULL

ASTORE 2

AASTORE

DUP

ICONST_1

ALOAD 3

ACONST_NULL

ASTORE 3

AASTORE

INVOKESTATIC clojure/lang/Reflector.invokeInstanceMethod (Ljava/lang/Object;Ljava/lang/String;[Ljava/lang/Object;)Ljava/lang/Object;

L2

LOCALVARIABLE this Ljava/lang/Object; L0 L2 0

LOCALVARIABLE s Ljava/lang/Object; L0 L2 1

LOCALVARIABLE begin Ljava/lang/Object; L0 L2 2

LOCALVARIABLE end Ljava/lang/Object; L0 L2 3

ARETURN

MAXSTACK = 0

MAXLOCALS = 0

public invoke(Ljava/lang/Object;Ljava/lang/Object;Ljava/lang/Object;)Ljava/lang/Object;

L0

LINENUMBER 15 L0

L1

LINENUMBER 15 L1

ALOAD 1

ACONST_NULL

ASTORE 1

CHECKCAST java/lang/String

ALOAD 2

ACONST_NULL

ASTORE 2

CHECKCAST java/lang/Number

INVOKESTATIC clojure/lang/RT.intCast (Ljava/lang/Object;)I

ALOAD 3

ACONST_NULL

ASTORE 3

CHECKCAST java/lang/Number

INVOKESTATIC clojure/lang/RT.intCast (Ljava/lang/Object;)I

INVOKEVIRTUAL java/lang/String.substring (II)Ljava/lang/String;

L2

LOCALVARIABLE this Ljava/lang/Object; L0 L2 0

LOCALVARIABLE s Ljava/lang/Object; L0 L2 1

LOCALVARIABLE begin Ljava/lang/Object; L0 L2 2

LOCALVARIABLE end Ljava/lang/Object; L0 L2 3

ARETURN

MAXSTACK = 0

MAXLOCALS = 0

对比很明显，没有使用type hint，调用clojure.lang.Reflector的invokeInstanceMethod方法，使用反射调用（具体见clojure.lang.Reflector.java)，而使用了type hint之后，则直接使用invokevirtual指令（其他方法可能是invokestatic或者invokeinterface等指令）调用该方法，避免了反射。

参考：

posted @ 2012-07-10 20:37 dennis 阅读(11936) | 评论 (1) | 编辑收藏

Clojure世界：利用HouseMD诊断clojure

HouseMD是淘宝的聚石写的一个非常优秀的Java进程运行时诊断和调试工具，如果你接触过btrace，那么HouseMD也许你应该尝试下，它比btrace更易用，不需要写脚本，类似strace的方式attach到jvm进程做跟踪调试。

基本的安装和使用请看这篇文档《UserGuide》，恕不重复。以下内容都假设你正确安装了housemd。

本文主要介绍下怎么用housemd诊断跟踪clojure进程。Clojure的java实现也是跑在JVM里，当然也可以用housemd。

我们以一个简单的例子开始，假设我们有如下clojure代码：

(loop [x 1]
  (Thread/sleep 1000)
  (prn x)
  (recur (inc x)))

这段很简单，只是间隔一秒不断地打印递增的数字x。我们准备用housemd跟踪这个程序的运行，首先运行这个程序，你可以用lein，也可以直接java命令运行：

java -cp clojure.jar clojure.main test.clj

运行时不断地在控制台打印数字，通过jps或者ps查询到该进程的id，假设为pid，使用housemd连接到该进程：

housemd <pid>

顺利进入housemd的交互控制台，通过help命令可以查询支持的命令：

housemd> help

quit      terminate the process.
help      display this infomation.
trace     display or output infomation of method invocaton.
loaded    display loaded classes information.

要用housemd调试clojure，你需要对clojure的实现有一点点了解，有兴趣可以看过去的一篇blog《clojure hacking guide》，简单来说，clojure的编译器会将clojure代码编译成java类并运行。对于JVM来说，clojure生成的类，跟java编译器生成类没有什么不同。
具体到上面的clojure代码，会生成一个名为user$eval1的类，user是默认的namespace，而eval1是clojure编译器自动生成的一个标示类名，通过loaded命令查询类的加载情况：

housemd> loaded user$eval1 -h
user$eval1 -> null
    - clojure.lang.DynamicClassLoader@1d25d06e
        - clojure.lang.DynamicClassLoader@1d96f4b5
            - sun.misc.Launcher$AppClassLoader@a6eb38a
                - sun.misc.Launcher$ExtClassLoader@69cd2e5f

通过-h选项打印了加载user$eval1的类加载器的层次关系，因为user$eval1是动态生成的（clojure启动过程中），因此它不在任何一个class或者jar文件中。除了查询user namespace的类之外，你还可以查询clojure.core,clojure.lang,clojure.java等任何被加载进来的类，例如查询clojure.core.prn的类,在clojure里这是一个函数，在jvm看来这只是一个类：

housemd> loaded -h core$prn
clojure.core$prn -> /Volumes/HDD/Users/apple/clojure/clojure.jar
- sun.misc.Launcher$AppClassLoader@a6eb38a
- sun.misc.Launcher$ExtClassLoader@69cd2e5f

注意，不需要完整的namespace——clojure.core，直接core$prn即可。其他也是类似。小技巧：如果你实在不知道clojure编译器生成的类名，你可以利用jvm自带的jmap命令来查询。

接下来，我们尝试用trace命令跟踪方法的运行，例如例子中的clojure代码用到了loop和recur两个sepcial form，我们跟踪下loop:

housemd> trace -t 5 core$loop
INFO : probe class clojure.core$loop
core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

core$loop.doInvoke(Object, Object, Object, Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null
core$loop.getRequiredArity()                          sun.misc.Launcher$AppClassLoader@a6eb38a            0            -ms    null

INFO : Ended by timeout
INFO : reset class clojure.core$loop

在5秒内，clojure.core$loop类有两个方法各被调用了5次，doInvoke是实际的调用，而getRequiredArity用来查询loop所需要的参数个数。trace还可以跟踪到具体的方法，例如我们跟踪prn函数的调用情况：

housemd> trace -t 5 core$prn.doInvoke
INFO : probe class clojure.core$prn
core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            1            1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            2           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            3           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            4           <1ms    clojure.core$prn@3e4ac866

core$prn.doInvoke(Object)    sun.misc.Launcher$AppClassLoader@a6eb38a            5           <1ms    clojure.core$prn@3e4ac866

INFO : Ended by timeout
INFO : reset class clojure.core$prn

trace打印了方法的调用次数（5秒内）和每次调用的时间（毫秒级别），以及调用的target object。小技巧：没有可变参数的函数生成类最终调用的是invoke方法（参数个数可能重载），有可变参数的函数调用的是doInvoke方法。

trace命令还支持打印调用堆栈到文件，例如：

trace -t 5 -d -s core$prn.doInvoke

利用-s和-d命令会将详细的调用信息输出到临时目录，临时目录的路径可以通过trace help命令查询到，在我的机器上是/tmp/trace/<pid>@host目录下。调用堆栈的输出类似：

example$square.invoke(Long) call by thread [main]
    example$eval9.invoke(test.clj:11)
    clojure.lang.Compiler.eval(Compiler.java:6465)
    clojure.lang.Compiler.load(Compiler.java:6902)
    clojure.lang.Compiler.loadFile(Compiler.java:6863)
    clojure.main$load_script.invoke(main.clj:282)
    clojure.main$script_opt.invoke(main.clj:342)
    clojure.main$main.doInvoke(main.clj:426)
    clojure.lang.RestFn.invoke(RestFn.java:421)
    clojure.lang.Var.invoke(Var.java:405)
    clojure.lang.AFn.applyToHelper(AFn.java:163)
    clojure.lang.Var.applyTo(Var.java:518)
    clojure.main.main(main.java:37)

上面这个简单的例子展示了使用housemd跟踪诊断clojure进程的方法。

自定义ns和函数的调试与此类似，假设我们有下面的clojure代码：

(ns example)
(defn square [x]
  (* x x))

(loop [x 1]
  (Thread/sleep 1000)
  (square x)
  (recur (inc x)))

ns为example，自定义函数square并定期循环调用。使用housemd诊断这段代码：

loaded -h example$square #查询square的加载情况
trace -t 10 -d -s example$square.invoke #跟踪10秒内square的调用情况

posted @ 2012-06-15 02:52 dennis 阅读(12146) | 评论 (2) | 编辑收藏

分布式消息中间件Metaq发布1.4.3

我们在维护的淘宝开源消息中间件的metaq的github分支，今天发布了1.4.2版本，主要做了如下改进：

1.支持发送和订阅分离，可以细粒度地控制Broker或者某个Topic是否接收消息和接受订阅。服务端添加新选项acceptPublish和acceptSubscribe。

2.更友好地关闭Broker，梳理关闭流程并通过JMX调用方法关闭替代原来简单的kill。

3.更新python客户端到0.2版本，可以通过pip安装: pip install metaq

4.发布ruby语言客户端meta-ruby 0.1版本。

5.其他小改进：升级gecko到1.1.1版本，升级quartz到2.1.4版本，添加集成测试工程和内部重构等。

6.新文档《使用log4j扩展发送消息》

简介：https://github.com/killme2008/Metamorphosis/wiki/介绍
下载：https://github.com/killme2008/Metamorphosis/downloads

文档：https://github.com/killme2008/Metamorphosis/wiki

posted @ 2012-06-04 10:03 dennis 阅读(11238) | 评论 (1) | 编辑收藏

如何熟悉一个开源项目？

你有个任务，需要用到某个开源项目;或者老大交代你一个事情，让你去了解某个东西。怎么下手呢？如何开始呢？我的习惯是这样：

1.首先，查找和阅读该项目的博客和资料，通过google你能找到某个项目大体介绍的博客，快速阅读一下就能对项目的目的、功能、基本使用有个大概的了解。

2.阅读项目的文档，重点关注类似Getting started、Example之类的文档，从中学习如何下载、安装、甚至基本使用该项目所需要的知识。

3.如果该项目有提供现成的example工程，首先尝试按照开始文档的介绍运行example，如果运行顺利，那么恭喜你顺利开了个好头;如果遇到问题，首先尝试在项目的FAQ等文档里查找答案，再次，可以将问题（例如异常信息）当成关键词去搜索，查找相关的解决办法，你遇到了，别人一般也会遇到，热心的朋友会记录下解决的过程;最后，可以将问题提交到项目的邮件列表，请大家帮你看看。在没有成功运行example之前，不要尝试修改example。

4.运行了第一个example之后，尝试根据你的理解和需要修改example，测试高级功能等。

5.在了解基本使用后，需要开始深入的了解该项目。例如项目的配置管理、高级功能以及最佳实践。通常一个运作良好的项目会提供一份从浅到深的用户指南，你并不需要从头到尾阅读这份指南，根据时间和兴趣，特别是你自己任务的需要，重点阅读部分章节并做笔记（推荐evernote）。

6.如果时间允许，尝试从源码构建该项目。通常开源项目都会提供一份构建指南，指导你如何搭建一个用于开发、调试和构建的环境。尝试构建一个版本。

7.如果时间允许并且有兴趣，可以尝试阅读源码：
（1）阅读源码之前，查看该项目是否提供架构和设计文档，阅读这些文档可以了解该项目的大体设计和结构，读源码的时候不会无从下手。
（2）阅读源码之前，一定要能构建并运行该项目，有个直观感受。
（3）阅读源码的第一步是抓主干，尝试理清一次正常运行的代码调用路径，这可以通过debug来观察运行时的变量和行为。修改源码加入日志和打印可以帮助你更好的理解源码。
（4）适当画图来帮助你理解源码，在理清主干后，可以将整个流程画成一张流程图或者标准的UML图，帮助记忆和下一步的阅读。
（5）挑选感兴趣的“枝干”代码来阅读，比如你对网络通讯感兴趣，就阅读网络层的代码，深入到实现细节，如它用了什么库，采用了什么设计模式，为什么这样做等。如果可以，debug细节代码。
（6）阅读源码的时候，重视单元测试，尝试去运行单元测试，基本上一个好的单元测试会将该代码的功能和边界描述清楚。
（7）在熟悉源码后，发现有可以改进的地方，有精力、有意愿可以向该项目的开发者提出改进的意见或者issue，甚至帮他修复和实现，参与该项目的发展。

8.通常在阅读文档和源码之后，你能对该项目有比较深入的了解了，但是该项目所在领域，你可能还想搜索相关的项目和资料，看看有没有其他的更好的项目或者解决方案。在广度和深度之间权衡。

以上是我个人的一些习惯，我自己也并没有完全按照这个来，但是按照这个顺序，基本上能让你比较高效地学习和使用某个开源项目。

posted @ 2012-05-22 23:12 dennis 阅读(25531) | 评论 (9) | 编辑收藏