现在项目的分页是使用jdbc的 absolute的方法,设置Resultset为TYPE_SCROLL_INSENSITIVE。用了几年,问题也不大,在几个数据库上都测试过,100万条记录一点问题没有。
当初曾经查看过jdbc的文档,确定数据只是在真正要取的时候才会从数据库读取, jdbc会根据fetch size的大小一次的预读一部分记录。
这几天看的wicket的开发文档和pojo in action都提到这种jdbc的读取方式会有性能问题, 由不得我不测试一下。
先写了一个最简单的jdbc测试,在100万记录的情况下对数据库进行absolute定位操作, 从20万开始取1页记录大约是5秒, 但是再往上面加,比如40万开始就内存溢出了。这就说明oracle的jdbc在用absolute的时候确实是要逐行读取数据的。另外发现,设置fetchsize ,速度会有10%左右的提高。
然后改用oracle 自身的 rownum的方式进行分页测试.
SELECT * FROM (SELECT A.*, ROWNUM RN FROM (SELECT * FROM demo_table) A WHERE ROWNUM <= 200010) WHERE RN >= 200000
执行速度确实快了一些, 大约在2-3秒之间。但是这种方式应该是越到后面越慢,果然从90万位置开始取, 大约是在13秒左右。这样一来,修改实现方式好像就是必须的了, 但是奇怪的是,使用ibatis的分页并没有什么内存溢出的问题,100万记录到最后一页,感觉上大概也是10多秒。
看了一下ibatis的queryForList这个方法, debug了一下, 发现他有个判断, 对于forward_only的类型的resultset 是用循环next来定位的(记得以前自己的分页实现里面为了兼容性也做了这样的处理),而不是我误以为的absolute方式。
看来oracle的jdbc 对于forward_only的resultset做 next方法是不会产生真正的读取操作。 用jdbc 测试了一下,果真如此。 从90万记录开始取,没有出现内存溢出的问题,执行时间大约22秒左右。
不知道这种差别在mysql和db2上是否也是如此,下次有时间再做一个测试看看。
至于next和rownum执行效率的差距, 我估计是前者必须用游标顺序定位。
现在的问题就是, 两者比较, 执行时间只相差一倍而已,还是一个数量级别的,就为了这个做修改,还导致sql不可以跨数据库,好像一点都不值得。甚至如果用户不直接翻到最后几页,根本感觉不到速度差别。
后来想想,老外有时候也是脑子坏了, 什么样的项目会需要你没事去翻上百万记录。还是保持原状,丢在哪再说吧
测试环境:oracle9i 2版, 西文字符集。没对其他参数进行测试。