gdufo

 

Optimizing Sort Operations

 

1、排序进程:
1
)如果排序请求使用的memory不大于参数SORT_AREA_SIZE的设置值,则sort操作在内存中进程。反之,如果超过该值:
数据将被分隔成更小的pieces,被称作sort runs;每个sorted先被分别的sort
②server
进程会将pieces写入临时表空间segment中;这些segments用于存储中间的sort data
③sorted pieces
被合并从而产生最终结果。如果SORT_AREA_SIZE大小不足以一次merge所有sorted runssorted runs的子集会经历几次merge过程。

2sort area的大小是由SORT_AREA_SIZE设置的,它可动态设置(alter sessionalter system deferred),其默认值根据OS的不同而不同。其默认值可以满足一般的OLTP需求,对于DSS应用、批量jobs或是较大操作需要适当的条件。
3
)另一个相关的参数是SORT_AREA_RETAINED_SIZE。当sorting操作结束,sort area仍保存了部分等待取出的sorted rowssort area可以shrink到最小为SORT_AREA_RETAINED_SIZE的大小。该部分memory仍然是被释放到UGA中。其默认值等于 SORT_AREA_SIZE
4
)关于位图索引的初始化参数:
CREATE_BITMAP_AREA_SIZE
:此参数是静态的,指明了用于创建位图索引可以分配的memory,默认值是8MB(较大的memory设置会加快bitmap的创建速度,如果位图索引的基数比较小,所需的memory也相对小)
BITMAP_MERGE_AREA_SIZE
:该参数也是静态的。默认值是1MBoracle为索引位图段建立一张位图。在进行位图索引扫描时,需要将扫描到的位图索引排序后与位图合并(Merge
),Oracle会在PGA中开辟一片区域用于排序和合并。它就指定了这片区域的大小。
5
sort Area的新参数:
PGA_AGGREGATE_TARGET
:指明了连接instance的所有进程的PGA的总区域大小,大小可从10MB4000GB。设置时,应该先考虑system总的memory,以及分配给SGAmemory大小,将剩余的部分分配给该参数。它指明了自动sort area管理。
WORKAREA_SIZE_POLICY
:该参数可设置为(iAUTO:只有定义了PGA_AGGREGATE_TARGET参数后才可被设置为 AUTO;(iiMANUAL:对work areasSizing是手动的,是基于*_AREA_SIZE参数设置的值来分配的。如果设置为MANUAL,可能会降低PGA内存的利用率。
6
)一般SORT_AREA_SIZESORT_AREA_RETAINED_SIZE应该设为相同的大小,除非system memory不足或使用的是Oracle shared server模式。
7
)内存的需求:
single server process中:一个执行计划可能会包含多个排序。例如,一个用sort-merge方式join两个tables并使用order 不用子句的sql,包含了三个sort。对此,在运行order by时,一个SORT_AREA_SIZE大小的memory用于当前的sort;两个SORT_AREA_RETAINED_SIZE大小的 memory用于join sorts
parallel query 进程中:假设有2server,则会使用(SORT_AREA_SIZE*2*并发度)大小的memory,此外如果需要,还要使用 (SORT_AREA_RETAINED_SIZE*并发度*事先做的排序次数)的memory。实验表明分配更大的memory不会对性能有更好的提 高。

2Tuning sorts
需要注意的问题有:
如果数据已经使用索引进行了排序,尽量避免再次排序
如果sort操作本身并不大,但是设定的sort area过小使得其不得不进行页面的交换。
此外使用大的内存chunkssort也会造成pagingswapping,从而降低系统性能。
避免在频繁分配和收回磁盘上的临时表空间操作
所以应该:尽可能的避免排序操作;尽量使sort操作在内存中完成,减少swappingpaging的操作;尽可能的减少对临时空间的请求。
1
)临时表空间的优化:
明确指明sort操作使用的临时表空间,可以有效的避免在分配与收回sort空间时的序列化操作。在临时表空间中,不能包含任何永久的object,在 Oracle Parallel Server中,对于每个instance,会有一个单独的临时表空间。临时表空间的datafile在备份时时不需要备份的。
对于临时sort segment
在第一次需要申请临时表空间的sort操作申请时,sort segment才被创建;
DB被关闭时才被drop,可以用命令行对其进行扩容
它也是由extents组成的,可以用于不同的sort 操作
SGA中存在一个叫sort extents poolSEP)的数据结构,用于管理临时表空间。当进程需要申请sort space时,会先在SEP中查找临时表空间中空闲的extents
2
)需要进行排序的命令请求有:
索引的创建:在建立b-tree之前,必须先将索引列进行排序操作;
*  order by
group by子句:必须先对该子句使用的字段进行排序;
*  distinct
关键字:必须为消除重复行先进行排序;
*  UNION
INTERSECTMINUS操作符:server需要为了消除重复rows先对表进行sort
两表之间的sort-merge连接:如果没有相应的索引用于两表的连接,对于等值连接,如果使用此方法join,则先需要对两表进行全表扫描,并分别进行排序,再合并两表。
对于server的排序操作的监控,可以从v$sysstat中查看:
select name, value from v$sysstat where name = ’sorts (rows)’;
可以使用analyze或是dbms_utility.analyze_*等方法对tablesindexes或是cluster进程统计,从而更好的指导CBO,从而产生更好的执行计划。
3
)避免使用sort:在任何可能的地方尽量避免使用sort
使用nosort关键字创建索引:
  默认情况下,在表中创建索引的时候,会对表中的记录进行排序,排序成功后再创建索引。但是当记录比较多的是,这个排序作业会占用比较多的时间,这也就增加了索引建立的时间(排序作业是在索引创建作业中完成)。有时候,我们导入数据的时候,如采用insert into 语句插入数据过程中同时采用Order by子句对索引字段进行了排序。此时如果在索引创建过程中再进行排序的话,就有点脱裤子放屁,多此一举了。为此在重新创建索引时,如果表中的数据已经排好序了(按索引字段排序),那么在创建索引时就不需要为此重新排序。此时在创建索引时,数据库管理员就可以使用NOSORT可选项,告诉数据库系统不需要对 表中当记录进行重新排序了。
  采用了这个选项之后,如果表中的记录已经按顺序排列,那么在重新创建索引的时候,就不会重新排序,可以提高索引创建的时间,节省内存中的排序缓存空 间。相反,如果表中的记录是不按索引关键字排序的话,那么此时采用NOSORT关键字的话,系统就会提示错误信息,并拒绝创建索引。所以在使用 NOSORT可选项的时候,数据库管理员尽管放心大胆的使用。因为其实在不能够使用这个选项的时候,数据库也会明确的告知。为此其副作用就比较少,数据库管理员只需要把这个可选项去掉然后重新执行一次即可。不过这里需要注意的是,如果表中的记录比较少的话,那么使用NOSORT选项的效果并不是很明显。
使用UNION ALL代替UNION:因为UNION ALL不会消除重复的rows,所以也无需进行sort操作。
使用Nested loop join代替sort-merge join
在经常使用order by子句的列上创建索引。
使用analyze时,只统计所需字段的数据:
ANALYZE … FOR COLUMNS
ANALYZE … FOR ALL INDEXED COLUMNS
对于ANALYZE COMPUTE,其统计结果更精确,但是需要进行一定的sort,对此,可以使用ESTIMATE子句来替代大表或cluster中的ANALYZE
4
)诊断工具:
在视图v$sysstat中显示的信息中有:
    sorts (memory)
:完全在内存中进行的排序的次数
    sorts (disk)
:请求临时segmentsI/O进行sorts的次数
    sorts (rows)
:当前已经进行过的sortrows的数量
statspack输出的report中也存在上述信息,并计算了部分平均值
视图v$sort_segmentv$sort_usage显示了当前临时segment中的使用情况,以及那些user占用了这些临时segment
@@ 
在具体诊断时,可计算磁盘sortmemory sort的比率,它应该小于5%。否则,如果此比率显示了较大的磁盘排序,则需要考虑是否可以增大SORT_AREA_SIZE的设置。
@@ 
注意的是:如果增大了sort area,则每个需要sort的进程所占用的memory可能都会增加,在一定程度上影响了OSmemory分配及pagingswapping。所 以当增加了sort_area_size后,考虑是否可以适当减小SORT_RESERVED_AREA_SIZE的值,不过此值的减小,在一定程度上减 少了内存的使用,但也可能附加着造成了I/O的可能性。
6
 监控临时表空间:主要是查看V$SORT_SEGMENT视图:
select tablespace_name, current_users, total_extents, used_extents, extent_hits, max_used_blocks, max_sort_blocks from v$sort_segment;
具体字段的意义如下:
CURRENT_USERS
Number of active users
TOTAL_EXTENTS
Total number of extents
USED_EXTENTS
Extents currently allocated to sorts
EXTENT_HITS
Number of times an unused extent was found in the pool
MAX_USED_BLOCKS
Maximum number of used blocks
MAX_SORT_BLOCKS
Maximum number of blocks used by an individual sort
7
)临时表空间的设置:
默认临时表空间的存储参数对于sort segment都是适用的,只是它们有无限的extents
设置临时表空间的参数时,先要考虑sort_area_size的值。temporary tablespaceinitialnext参数应该是sort_area_size的整数倍,并要考虑额外的segment header的空间。将PCTINCREASE设置为0
可以为users指定不同的temporary tablespace,并且可以将temp tablespace放在不同的磁盘上,对于查看使用情况,可以看v$sort_usage
select username, tablespace, contents, extents, blocks from v$sort_usage;
此外,还可查看V$TEMPFILEDBA_TEMP_FILES可以获得temporary tablespace的相关信息。

 

posted on 2010-01-12 12:30 gdufo 阅读(509) 评论(0)  编辑  收藏 所属分类: Database (oracle, sqlser,MYSQL)

导航

统计

常用链接

留言簿(6)

随笔分类

随笔档案

文章分类

文章档案

收藏夹

Hibernate

友情链接

搜索

最新评论

阅读排行榜

评论排行榜