LogMiner学习
实践证明,在没有什么工具的情况下,使用LogMiner来分析archivelog是一种非常方便、有效的方法。特别是可以直接指定时间,而且查看方式只需要在Oracle中使用query即可(比dump出来地信息好一些),另外加上Dictionary的话,基本可以还原所有的DML操作,非常有用。
一、重做日志文件的价值
重做日志文件记录了数据库数据字典,以及用户数据的所有改变,是恢复数据所必须的信息的唯一源头。
一般在以下情况中都需要用到重做日志文件:
1、查明何时发生数据库逻辑损坏。
逻辑损坏是指例如:本来要改成5,被错误改成了6,则需要知道数据更新的确切时间,才可以恢复到信息损坏之前状态。
2、决定事务级执行细粒度恢复所必须的动作。
可以执行基于表的撤销操作来回滚一组更改。
3、性能协调和容量规划。
4、实行事后审计。
二、准备内容
1、重做日志文件
运行LogMiner需要指定待分析的重做日志文件名称。LogMiner会从重做日志文件获取信息并通过视图V$LOGMNR_CONTENTS返回信息。
需要注意的是:
① 需要9i或9i以上版本
② 重做日志文件必须与运行LogMiner数据库有相同的字符集
③ 重做日志文件的分析需要生成重做日志文件的数据库所生成的数据字典
④ 如果使用联机目录作为LogMiner字典,则只能分析来自LogMiner运行数据库的重做日志文件
⑤ LogMiner必须运行在生成正在分析的重做日志文件的硬件平台上,但不一定在相同系统上
注1:必须要指定重做日志文件,否则V$LOGMNR_CONTENTS无法查询。
注2:查看V$LOGMNR_LOG查看正在分析的重做日志文件。
2、字典选项
有数据字典时,LogMiner可以将对象译成外部标识符,否则只能返回对象ID号及十六进制数据
例如:INSERT INTO emp(name,salary) VALUES ('John Doe', 50000);
译为:insert into object#2581(col#1,col#2) values (hextoraw('4a6f686e20446f65'),hextoraw('c306'));
有3中方式从源字典中取出数据,构建LogMiner内部字典:
① 将字典中数据提取到平面文件
使用DBMS_LOGMNR_D.BUILD(),提取时可以执行DDL,所以提取文件不包含与数据字典一致的快照。
建议经常备份字典提取以确保正确得进行分析
② 将字典中数据提取到重做日志文件
使用DBMS_LOGMNR_D.BUILD(),提取时不能执行DDL,所以字典快照可以保持一致。
③ 使用联机目录(数据库当前使用的字典)
在启动LogMiner时指定联机目录作为字典源,是最新信息,但有可能不正确。
3、DDL语句跟踪
当字典源是平面文件或者重做日志文件中的字典时,可以使用DDL_DICT_TRACKING选项设置LogMiner跟踪DDL。
设置后LogMiner会在将所有在重做日志中可见的DDL应用到自己的内部字典,放到V$LOGMNR_CONTENTS视图的SQL_REDO列中
注:当使用V$LOGMNR_CONTENTS查看时,若只有一次则使用DDL_DICT_TRACKING比较合适,若要多次传送,则NO_DICT_RESET_ONSELECT参数不可以设置,否则每次操作之后不刷新字典,会造成重做日志文件中已修改对象的不正确信息。
4、存储管理
如果指定了DDL_DICT_TRACKING参数,则LogMiner会使用数据库来存储备份数据。
LogMiner会从重做日志文件中将数据读取到SYSTEM模式下的表中,建议为SYSTEM表空间添加新的数据文件。
5、从重做日志文件中取出数据值
LogMiner可以从重做日志文件中查询出真实的数据值操作。
可以使用mine函数来提取数据,包括 DBMS_LOGMNR.MINE_VALUE 和 COLUMN_PRESENT
6、LogMiner的局限
① LogMiner不支持以下内容:
* LONG和LOB数据类型
* 简单的和嵌套的数据提取类型(ADTs)
* 集合(嵌套表和VARRAYs)
* 对象Refs
* 索引结构的表(IOTs)
< 将不生成V$LOGMNR_CONTENTS视图的SQL_REDO列,但其他列数据任然有效 >
② 必须允许追加记录、打开ARCHIVE模式,因为LogMiner支持直接路径插入操作
③ 不能在RAC中执行LogMiner,但是可以分析其生成的重做日志文件
7、LogMiner视图
V$LOGMNR_CONTENTS:显示对用户所做的修改以及表信息
V$LOGMNR_DICTIONARY:显示有关LogMiner字典文件的信息
V$LOGMNR_LOGS:显示有关指定的日志文件信息,每个日志文件占一行
V$LOGMNR_PARAMS:显示有关可选的LogMiner参数信息,包括启动和结束系统更改号(SCNs)
=======附:N年前的一个LogMiner教程=======================================================================
LOGMNR終結版!
Oracle LogMiner 是Oracle公司从产品8i以后提供的一个实际非常有用的分析工具,使用该工具可以轻松获得Oracle 重作日志文件(归档日志文件)中的具体内容,特别是,该工具可以分析出所有对于数据库操作的DML(insert、update、delete等)语句,另外还可分析得到一些必要的回滚SQL语句。该工具特别适用于调试、审计或者回退某个特定的事务。
LogMiner分析工具实际上是由一组PL/SQL包和一些动态视图(Oracle8i内置包的一部分)组成,它作为Oracle数据库的一部分来发布,是8i产品提供的一个完全免费的工具。但该工具和其他Oracle内建工具相比使用起来显得有些复杂,主要原因是该工具没有提供任何的图形用户界面(GUI)。本文将详细介绍如何安装以及使用该工具。
一、LogMiner的用途
日志文件中存放着所有进行数据库恢复的数据,记录了针对数据库结构的每一个变化,也就是对数据库操作的所有DML语句。
在Oracle 8i之前,Oracle没有提供任何协助数据库管理员来读取和解释重作日志文件内容的工具。系统出现问题,对于一个普通的数据管理员来讲,唯一可以作的工作就是将所有的log文件打包,然后发给Oracle公司的技术支持,然后静静地等待Oracle 公司技术支持给我们最后的答案。然而从8i以后,Oracle提供了这样一个强有力的工具-LogMiner。
LogMiner 工具即可以用来分析在线,也可以用来分析离线日志文件,即可以分析本身自己数据库的重作日志文件,也可以用来分析其他数据库的重作日志文件。
总的说来,LogMiner工具的主要用途有:
1. 跟踪数据库的变化:可以离线的跟踪数据库的变化,而不会影响在线系统的性能。
2. 回退数据库的变化:回退特定的变化数据,减少point-in-time recovery的执行。
3. 优化和扩容计划:可通过分析日志文件中的数据以分析数据增长模式。
二、安装LogMiner
要安装LogMiner工具,必须首先要运行下面这样两个脚本,
l $ORACLE_HOME/rdbms/admin/dbmslsm.sql
2 $ORACLE_HOME/rdbms/admin/dbmslsmd.sql.
这两个脚本必须均以SYS用户身份运行。其中第一个脚本用来创建DBMS_LOGMNR包,该包用来分析日志文件。第二个脚本用来创建DBMS_LOGMNR_D包,该包用来创建数据字典文件。
三、使用LogMiner工具
下面将详细介绍如何使用LogMiner工具。
1、创建数据字典文件(data-dictionary)
前面已经谈到,LogMiner工具实际上是由两个新的PL/SQL内建包((DBMS_LOGMNR 和 DBMS_ LOGMNR_D)和四个V$动态性能视图(视图是在利用过程DBMS_LOGMNR.START_LOGMNR启动LogMiner时创建)组成。在使用LogMiner工具分析redo log文件之前,可以使用DBMS_LOGMNR_D 包将数据字典导出为一个文本文件。该字典文件是可选的,但是如果没有它,LogMiner解释出来的语句中关于数据字典中的部分(如表名、列名等)和数值都将是16进制的形式,我们是无法直接理解的。例如,下面的sql语句:
INSERT INTO dm_dj_swry (rydm, rymc) VALUES (00005, '张三');
LogMiner解释出来的结果将是下面这个样子,
insert into Object#308(col#1, col#2) values (hextoraw('c30rte567e436'), hextoraw('4a6f686e20446f65'));
创建数据字典的目的就是让LogMiner引用涉及到内部数据字典中的部分时为他们实际的名字,而不是系统内部的16进制。数据字典文件是一个文本文件,使用包DBMS_LOGMNR_D来创建。如果我们要分析的数据库中的表有变化,影响到库的数据字典也发生变化,这时就需要重新创建该字典文件。另外一种情况是在分析另外一个数据库文件的重作日志时,也必须要重新生成一遍被分析数据库的数据字典文件。
首先在init.ora初始化参数文件中,指定数据字典文件的位置,也就是添加一个参数UTL_FILE_DIR,该参数值为服务器中放置数据字典文件的目录。如:
UTL_FILE_DIR = (e:\Oracle\logs)
重新启动数据库,使新加的参数生效,然后创建数据字典文件:
SQL> CONNECT SYS
SQL> EXECUTE dbms_logmnr_d.build(
dictionary_filename => ' v816dict.ora',
dictionary_location => 'e:\oracle\logs');
2、创建要分析的日志文件列表
Oracle的重作日志分为两种,在线(online)和离线(offline)归档日志文件,下面就分别来讨论这两种不同日志文件的列表创建。
(1)分析在线重作日志文件
A. 创建列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo01.log',
Options=>dbms_logmnr.new);
B. 添加其他日志文件到列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
Options=>dbms_logmnr.addfile);(2)分析离线日志文件
A.创建列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09108.001',
Options=>dbms_logmnr.new);
B.添加另外的日志文件到列表
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' E:\Oracle\oradata\sxf\archive\ARCARC09109.001',
Options=>dbms_logmnr.addfile);关于这个日志文件列表中需要分析日志文件的个数完全由你自己决定,但这里建议最好是每次只添加一个需要分析的日志文件,在对该文件分析完毕后,再添加另外的文件。
和添加日志分析列表相对应,使用过程 'dbms_logmnr.removefile' 也可以从列表中移去一个日志文件。下面的例子移去上面添加的日志文件e:\Oracle\oradata\sxf\redo02.log。
SQL> EXECUTE dbms_logmnr.add_logfile(
LogFileName=>' e:\Oracle\oradata\sxf\redo02.log',
Options=>dbms_logmnr. REMOVEFILE);
创建了要分析的日志文件列表,下面就可以对其进行分析了。
3、使用LogMiner进行日志分析
(1)无限制条件
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName=>' e:\oracle\logs\ v816dict.ora ');
(2)有限制条件
通过对过程DBMS_ LOGMNR.START_LOGMNR中几个不同参数的设置(参数含义见表1),可以缩小要分析日志文件的范围。通过设置起始时间和终止时间参数我们可以限制只分析某一时间范围的日志。如下面的例子,我们仅仅分析2001年9月18日的日志,:
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName => ' e:\oracle\logs\ v816dict.ora ',
StartTime => to_date('2001-9-18 00:00:00','YYYY-MM-DD HH24:MI:SS')
EndTime => to_date(''2001-9-18 23:59:59','YYYY-MM-DD HH24:MI:SS '));
也可以通过设置起始SCN和截至SCN来限制要分析日志的范围:
SQL> EXECUTE dbms_logmnr.start_logmnr(
DictFileName => ' e:\oracle\logs\ v816dict.ora ',
StartScn => 20,
EndScn => 50);
表1 DBMS_LOGMNR.START__LOGMNR过程参数含义
4、观察分析结果(v$logmnr_contents)
到现在为止,我们已经分析得到了重作日志文件中的内容。动态性能视图v$logmnr_contents包含LogMiner分析得到的所有的信息。
SELECT sql_redo FROM v$logmnr_contents;
如果我们仅仅想知道某个用户对于某张表的操作,可以通过下面的SQL查询得到,该查询可以得到用户DB_ZGXT对表SB_DJJL所作的一切工作。
SQL> SELECT sql_redo FROM v$logmnr_contents WHERE username='DB_ZGXT' AND tablename='SB_DJJL';
需要强调一点的是,视图v$logmnr_contents中的分析结果仅在我们运行过程'dbms_logmrn.start_logmnr'这个会话的生命期中存在。这是因为所有的LogMiner存储都在PGA内存中,所有其他的进程是看不到它的,同时随着进程的结束,分析结果也随之消失。
最后,使用过程DBMS_LOGMNR.END_LOGMNR终止日志分析事务,此时PGA内存区域被清除,分析结果也随之不再存在。
四、其他注意事项
我们可以利用LogMiner日志分析工具来分析其他数据库实例产生的重作日志文件,而不仅仅用来分析本身安装LogMiner的数据库实例的redo logs文件。使用LogMiner分析其他数据库实例时,有几点需要注意:
1. LogMiner必须使用被分析数据库实例产生的字典文件,而不是安装LogMiner的数据库产生的字典文件,另外必须保证安装LogMiner数据库的字符集和被分析数据库的字符集相同。
2. 被分析数据库平台必须和当前LogMiner所在数据库平台一样,也就是说如果我们要分析的文件是由运行在UNIX平台上的Oracle 8i产生的,那么也必须在一个运行在UNIX平台上的Oracle实例上运行LogMiner,而不能在其他如Microsoft NT上运行LogMiner。当然两者的硬件条件不一定要求完全一样。
3. LogMiner日志分析工具仅能够分析Oracle 8以后的产品,对于8以前的产品,该工具也无能为力。
五、结语
LogMiner对于数据库管理员(DBA)来讲是个功能非常强大的工具,也是在日常工作中经常要用到的一个工具,借助于该工具,可以得到大量的关于数据库活动的信息。其中一个最重要的用途就是不用全部恢复数据库就可以恢复数据库的某个变化。另外,该工具还可用来监视或者审计用户的活动,如你可以利用LogMiner工具察看谁曾经修改了那些数据以及这些数据在修改前的状态。我们也可以借助于该工具分析任何Oracle 8及其以后版本产生的重作日志文件。另外该工具还有一个非常重要的特点就是可以分析其他数据库的日志文件。总之,该工具对于数据库管理员来讲,是一个非常有效的工具,深刻理解及熟练掌握该工具,对于每一个数据库管理员的实际工作是非常有帮助的。