如果一个查询的结果数据量巨大,就需要数据查询的时候就分页,每次只返回其中一页
第一种方法:
思路是根据页号取出两部分数据,比如取出前90条,然后取出前100条,然后比较取出两次结果的差集。
在30万条记录的情况下,如果只分100页(结果有10000条记录),大约需要1分半钟。索引建得好的话,1分钟左右。
//select * from //这一句是不能修改的了,因为它是从结果中读取,所以必须要用*
//(select top @h_count (@filedlist) from @tableName .....) as big //取出符合条件的上限的记录
//where
//big.guid //这里是关键,根据主键从下限结果中过滤掉重复的记录(只留下不同的数据,也就是求交集)
//not in
//(select top @l_count guid from @table .....)//下限
//order @orderby //原来的格式,这里只保留了orderby之后的,应该保留条件之后所有的,包括gruopby什么的
函数类似如此:
public string MakeSqlPager(string sourceSql,int pageIndex)
{
//使用默认页面大小
string orderbyStr=sourceSql.Substring(sourceSql.ToLower().IndexOf("order by"));
int index=sourceSql.ToLower().IndexOf("select");
string bigRes="("+ sourceSql.Insert(index+6," top "+((pageIndex+1)*_pageSize).ToString()+" ")+") as big";
string smallRes="("+ sourceSql.Insert(index+6," top "+(pageIndex*_pageSize).ToString()+" ")+")";
return "select * from "+bigRes+" where big.guid not in "+smallRes+" "+orderbyStr;
}
这种方法还可以改进,就是第二次取过滤时从第一个的结果里面过滤。
第二种方法:
掐头去尾,程序还没写
SELECT * FROM
(
SELECT TOP 100 * FROM
(
SELECT TOP 100000 * FROM pagetest ORDER BY regt ASC
) as a
ORDER BY regt desc
) as b
ORDER BY regt ASC
测试了一下,大约用时间29秒。
比较:
第一种方法的效率很低,猜测是因为多次需要循环比较,时间复杂度要高一个等级。比如,这种方法的响应时间和所取得的页号有很大关系。
第二种方法还是可以接受的,和页号无关,但是也需要两次比较
网上还有使用比较ID的方法的,但是不是所有的表都有ID,即使有,也不一定是int类型的。
还有用存储过程创建临时表的,我还没有测试效率如何
sqlserver里面没有rownum 这个功能(最新的2005beta2版本据说有了,Oracle里面有),所以一次比较就能分页的算法还真不好写