使用Oracle9i的新特性Flashback Query恢复误删除数据

作者：eygle | English Version
链接：http://www.eygle.com/archives/2005/06/eoaoracle9iaeai.html

下午接到研发工程师的电话，说误删除了部分重要数据，并且已经提交，需要恢复。

登陆到数据库上查看，由于是Oracle9iR2，首先尝试使用flashback query闪回数据。

首先确认数据库的SCN变化:

SQL> col fscn for 9999999999999999999
            SQL> col nscn for 9999999999999999999
            SQL> select name,FIRST_CHANGE# fscn,NEXT_CHANGE# nscn,FIRST_TIME from v$archived_log;
            ...................
            NAME                                           FSCN                 NSCN FIRST_TIME
            ------------------------------ -------------------- -------------------- -------------------
            /mwarch/oracle/1_52413.dbf              12929941968          12929942881 2005-06-22 14:38:28
            /mwarch/oracle/1_52414.dbf              12929942881          12929943706 2005-06-22 14:38:32
            /mwarch/oracle/1_52415.dbf              12929943706          12929944623 2005-06-22 14:38:35
            /mwarch/oracle/1_52416.dbf              12929944623          12929945392 2005-06-22 14:38:38
            /mwarch/oracle/1_52417.dbf              12929945392          12929945888 2005-06-22 14:38:41
            /mwarch/oracle/1_52418.dbf              12929945888          12929945965 2005-06-22 14:38:44
            /mwarch/oracle/1_52419.dbf              12929945965          12929948945 2005-06-22 14:38:45
            /mwarch/oracle/1_52420.dbf              12929948945          12929949904 2005-06-22 14:46:05
            /mwarch/oracle/1_52421.dbf              12929949904          12929950854 2005-06-22 14:46:08
            /mwarch/oracle/1_52422.dbf              12929950854          12929951751 2005-06-22 14:46:11
            /mwarch/oracle/1_52423.dbf              12929951751          12929952587 2005-06-22 14:46:14
            ...................
            /mwarch/oracle/1_52498.dbf              12930138975          12930139212 2005-06-22 15:55:57
            /mwarch/oracle/1_52499.dbf              12930139212          12930139446 2005-06-22 15:55:59
            /mwarch/oracle/1_52500.dbf              12930139446          12930139682 2005-06-22 15:56:00
            NAME                                           FSCN                 NSCN FIRST_TIME
            ------------------------------ -------------------- -------------------- -------------------
            /mwarch/oracle/1_52501.dbf              12930139682          12930139915 2005-06-22 15:56:02
            /mwarch/oracle/1_52502.dbf              12930139915          12930140149 2005-06-22 15:56:03
            /mwarch/oracle/1_52503.dbf              12930140149          12930140379 2005-06-22 15:56:05
            /mwarch/oracle/1_52504.dbf              12930140379          12930140610 2005-06-22 15:56:05
            /mwarch/oracle/1_52505.dbf              12930140610          12930140845 2005-06-22 15:56:07
            14811 rows selected.

当前的SCN为:

SQL> select dbms_flashback.get_system_change_number fscn from dual;
            FSCN
            --------------------
            12930142214

使用应用用户尝试闪回

SQL> connect username/password
            Connected.

现有数据:

SQL> select count(*) from hs_passport;
            COUNT(*)
            ----------
            851998

创建恢复表

SQL> create table hs_passport_recov as select * from hs_passport where 1=0;
            Table created.

选择SCN向前恢复

SQL> select count(*) from hs_passport as of scn 12929970422;
            COUNT(*)
            ----------
            861686

尝试多个SCN，获取最佳值（如果能得知具体时间，那么可以获得准确的数据闪回）

SQL> select count(*) from hs_passport as of scn &scn;
            Enter value for scn: 12929941968
            old   1: select count(*) from hs_passport as of scn &scn
            new   1: select count(*) from hs_passport as of scn 12929941968
            COUNT(*)
            ----------
            861684
            SQL> /
            Enter value for scn: 12927633776
            old   1: select count(*) from hs_passport as of scn &scn
            new   1: select count(*) from hs_passport as of scn 12927633776
            select count(*) from hs_passport as of scn 12927633776
            *
            ERROR at line 1:
            ORA-01466: unable to read data - table definition has changed
            SQL> /
            Enter value for scn: 12929928784
            old   1: select count(*) from hs_passport as of scn &scn
            new   1: select count(*) from hs_passport as of scn 12929928784
            COUNT(*)
            ----------
            825110
            SQL> /
            Enter value for scn: 12928000000
            old   1: select count(*) from hs_passport as of scn &scn
            new   1: select count(*) from hs_passport as of scn 12928000000
            select count(*) from hs_passport as of scn 12928000000
            *
            ERROR at line 1:
            ORA-01466: unable to read data - table definition has changed

最后选择恢复到SCN为12929941968的时间点

SQL> insert into hs_passport_recov select * from hs_passport as of scn 12929941968;
            861684 rows created.
            SQL> commit;
            Commit complete.

研发人员确认，已经可以满足需要，找回误删除部分数据，至此闪回恢复成功完成。

posted @ 2007-09-11 13:21 风阅读(283) | 评论 (0) | 编辑收藏

自定义file类型input框样式的方法

自定义file类型input框样式的方法

在WEB上传文件时，要用到上传框：

这东东在IE(其他偶没经过测试)中是一个非常特殊的对象。

如果是您手动写入的或其他对象经过某些事件触发填入的值

由于安全问题，在进行提交表单时，往往会被清空，所以上传失败。

简单点说，除非你的鼠标亲自点到了上传框f上，IE才会给你上传文件！

哪怕你将 f 的onclick句柄赋给某个对象，如：
<input type="file" id="f" name="f">
<input onclick="f.click()" value="点击">

你 “点击” 后，同样会弹出文件选择对话框，可惜失望地：你照样不能上传文件！

怎么办呢？

看下这段：
<BODY onmousemove="f.style.pixelLeft=event.x-200;f.style.pixelTop=event.y-10;">
<input type="text"><input type="button" onmousemove="">
<input type="file" id="f" name="f" style="position:absolute;">
</BODY>

随便点击鼠标，看到效果了吧？

基于上面的思路，偶们就可以把它弄到一个button下面就OK了！！

为了达到真正模拟的效果，还得要把f给隐藏，加个不透明的alpha 滤镜即可，再加上 hidefocus 属性，隐藏f的虚线：

可以看下opacity=0改为稍大些的效果。

OK了，现在你就可以控制它们的样式、位置了。。。

posted @ 2007-09-10 18:31 风阅读(856) | 评论 (1) | 编辑收藏

myeclipse 6.0GA and 破解

eclipse3.3

myeclipse 6.0 GA

keygen

posted @ 2007-09-07 10:13 风阅读(4947) | 评论 (9) | 编辑收藏

商业智能平台研究 (十) ETL 选型

ETL (Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程)作为BI/DW（Business Intelligence）的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图，数据是砖瓦的话，那么ETL就是建设大厦的过程。在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%～80%，这是国内外从众多实践中得到的普遍共识。

ETL工具从厂商来分为两种,一种是数据库厂商自带的ETL工具,Oracle warehouse builder 就是这种,另外一种是第三方工具提供商.开源世界也有一大票的ETL工具,功能各异,强弱不一,你可以从一下地址找到开源ETL工具的列表 http://www.manageability.org/blog/stuff/open-source-etl/view , 提醒一句,选用工具的时候要慎重,真的,千万要慎重,不管你是选用商业的ETL工具(一般比较贵),还是开源的工具,都要在你充分了解产品的特性才去选择,千万不要听某某人说什么这个工具好,就购买了那个工具,一定要自己了解产品.

开源的ETL工具的列表 (排名是乱排的)
kettle http://kettle.pentaho.org/ ,pentaho官方的ETL工具,是一个metadata-driven 的ETL工具,不需要自己写code .
talend http://www.talend.com/    talend是talend自己公司的产品,宣传的是全功能的Data Integration 解决方案,基于eclipse 平台,包括很多的模块来实现商业流程建模,数据流程建模,最后输出的是perl 和 Java code
jasperETL http://www.jaspersoft.com/   JasperETL是基于talend的平台,不太清楚有什么区别,jaspersoft开发的ETL产品.
Octopus   http://www.enhydra.org/tech/octopus/index.html    octopuc是enhydra 的一个ETL工具,enhydra是一个产品跨度非常大的开源站点,它有个开源的Workflow ,Shark ,pentaho就是使用的这个Workflow ,这个组织从workflow 到application server , 从ETL工具到application framework ,还有一些其他的中间件,octopus非常的原始,支持任何的JDBC数据源,用XML语言来定义的.也支持JDBC-DOBC ,和excel 和 access ,csv-files, XML files ,用Ant 和 JUnit 来创建表和测试.
CloverETL http://cloveretl.berlios.de/   CloverETL是提供给你一组API,用XML来定义ETL过程,同样支持JDBC数据源, CloverETL是开源的,但是它是没有图形界面的,它提供一个有图形界面的CloverGUI 来进行ETL的图形化开发过程,但是不是开源的,需要购买商业许可证.
KETL   http://www.ketl.org/    听说是几个前IBM员工做出来的ETL产品,
另外还有很多.不一一写介绍了,只列个表吧,
Joost        http://joost.sourceforge.net/    最近有个web2.0 网站也叫Joost,名字相同而已.
Xineo        http://software.xineo.net/xil.jspx
BabelDoc        http://sourceforge.net/projects/babeldoc
CB2XML        http://sourceforge.net/projects/cb2xml
mec-eagle        http://sourceforge.net/projects/mec-eagle/
Transmorpher        http://transmorpher.inrialpes.fr/
XPipe        http://xpipe.sourceforge.net/Articles/Miscellaneous/fog0000000018.html
DataSift        http://www.datasift.org/
Xephyrus Flume        http://www.xephyrus.com/flume/flume-intro.Prlx
Smallx        https://smallx.dev.java.net/
Nux        http://dsd.lbl.gov/nux/index.html
Netflux        http://www.netflux.org/
OpenDigger       https://opendigger.dev.java.net/
ServingXML        http://servingxml.sourceforge.net/
Scriptella        http://scriptella.javaforge.com/
ETL Integrator        http://www.glassfishwiki.org/jbiwiki/Wiki.jsp?page=ETLSE
Jitterbit        http://www.jitterbit.com/
Apatar        http://www.apatar.com/
Spring Batch       http://static.springframework.org/spring-batch/

大多数站点都是在sf.net上的.其中最后一个是Spring的,大名鼎鼎的Spring 也往ETL插一脚.实在是..........
根据talend官方介绍的数据,ETL工具的市场份额在2006好像是有160多亿美元.由于BI项目的成功,ETL的这一市场份额还会扩大,这也不难理解,为什么这么多的公司都在做ETL工具了.开源世界也免不了想要分一杯羹.再次废话一句,开源的东西你可以免费得到和使用,但是当你想应用到企业级开发的时候,省钱可不是唯一应该考虑的因素.还是那句话,慎重呀慎重.

下一篇介绍BI的基本概念.

posted @ 2007-08-30 13:52 风阅读(987) | 评论 (0) | 编辑收藏

开源BI系统简述

1. 概述

开源的BI项目在在2005年之前并没有太大的发展，到了2005年才开始呈现繁荣之势，并在2006年蓬勃发展。这些众多的BI项目从规模和对BI系统支撑的完善程度上来说，大体可以分为Framework、Stand-alone Tools和BI Suit三种类型。

l Framework

开源框架，这是在商业BI系统中所没有的。我们可以使用它们来构建自己的BI工具，或者增强和扩展我们的BI解决方案。

l Stand-alone Tools

独立的BI工具，这是开源项目中数量最多的一类。很多工具只侧重BI系统中的某个环节和方面，如ETL、Report、OLAP和Database等等。

l BI Suit

在统一的架构下提供了多种BI系统的特性的工具集合。就目前的情况看，不管是商业软件还是开源软件，还没有任何一个套件提供了完整的端到端的BI解决方案。这些开源的BI Suit是通过连接多个其他的组件和工具的方式形成套件的，由于BI系统涉及到的工具是非常多的，所以整合一套完整的BI解决方案是很困难的。

2. BI解决方案中的工具

一个完整的BI解决方案中有多种工具来完成BI系统中各个阶段的工作。

2.1. ETL工具

数据抽取、转换和加载工具。优秀的ETL工具应该具有以下特性：

1、 Workflow Management, Job Execution and Scheduling Manager。能方便地定义流程并自动化执行ETL任务。

2、 Centralized Metadata Repository and Management。集中存储和管理符合业界标准的元数据。

3、 Data Profile and Validation。可以检验数据的质量。

4、 High Performance。在大负荷的任务执行中仍然有良好的性能。

5、 Scalable, Platform Independent。具有良好的弹性，支持多种操作系统和数据库系统，能操作多种异构的数据源。

6、 Open Architecture and API。具有开放的架构和易于使用的二次开发接口。

目前较为知名的开源ETL工具有：

1、 KETL，由具有IBM和KPMG背景的Kinetic Networks公司开发，现在已经有三年多的产品应用历史，成功应用于一些产品中，在点击流（ClickStream）分析应用中表现出色。KETL采用Plug-in的架构，使用Java开发。

2、 KETTLE，为一个元数据驱动的ETL工具。已经加入Pentaho。

3、 Clover ETL，为一个基于Java的ETL Framework，可以用来开发自己的ETL应用。

4、 Enhydra Octopus，为一个基于Java的ETL工具，使用JDBC来连接各种数据源，易于使用和部署。曾有人应用于电信网络资源分析系统中。

2.2. 报表工具

优秀的报表工具通常具有以下特性：

1、支持多种数据源。

2、直观的可视化设计器，简单易用的报表定制功能。

3、方便的数据访问和格式化，丰富的数据呈现方式。

4、符合数据呈现的通用标准，能和应用程序很好地进行结合。

5、易于扩展和部署。

目前较为知名的开源报表工具有：

1、 JasperReports，一个优秀的Java报表工具，始于2001，现在JasperSoft公司持续开发和支持该工具。该工具类似于商业软件Crystal Report，支持PDF、HTML、XLS、CSV和XML文件输出格式，现在是Java开发者最常用的报表工具。

2、 OpenReports，提供基于web的灵活报表解决方案，通过浏览器自动生成动态PDF,XLS,HTMLCSV 和Chart报表，它是用Java开发的，使用JasperReports 作为报表引擎，利用到的开源技术有Hibernate,Veloctiy,Webwork。

3、 JFreeReport，现在是Pentaho的一部分，它是一个优秀的用来生成报表的Java类库。它为Java应用程序提供一个灵活的打印功能并支持输出到打印机和PDF, Excel, HTML和XHTML, PlainText, XML和CSV文件中。

4、 Eclipse BIRT，是Eclipse下面的一个企业智能和报表工具，能为J2EE的WEB应用程序创建漂亮醒目的PDF或者HTML格式的报表，它提供了核心的报表功能。

2.3. OLAP工具

联机分析处理工具。目前开源的OLAP工具也分为MOLAP、ROLAP和HOLAP，优秀的OLAP工具通常有以下特性：

1、良好的执行性能，能快速地进行分析处理工作。

2、良好的适用性和可伸缩性。

3、开放式接口和丰富的API。

目前较为知名的开源OLAP工具有：

1、 Mondrian，是Pentaho的一部分，为一个用Java开发的OLAP服务器，实现了MDX语言、XML解析和JOLAP规范，可以不写SQL就能分析存储于SQL 数据库的庞大数据集，可以封装JDBC数据源并把数据以多维的方式展现出来。

2、 JPivot，是一个JSP 自定制的标签库，可以绘制一个OLAP表格和图表。用户可以执行典型的OLAP导航，如下钻，切片和方块。它使用Mondrian 作为其OLAP服务器。它使用WCF (Web Component Framework) ，基于XML/XSLT来渲染Web UI组件。JPivot在元数据缓存方面的过于简化的整体性初始化装载的做法将限制它只能处理很小的立方体（Cube）。

2.4. 数据库

开源的数据库也有很多，大多数为关系型数据库，少数为应用于数据仓库环境做了专门的优化工作。Bizgres以PostgreSQL为基础进行了数据仓库环境下的优化，提高了分析查询性能。

3. 开源BI套件

下面列出相对成熟和完整，并且有借鉴意义的开源BI套件。

3.1. Bizgres

为GreenPlum公司主导的开源项目，和Sun公司达成合作关系。Bizgres为BI应用而对PostgreSQL做了优化，提高了大负荷的并行计算能力，在BI环境中，相对于普通的关系型数据库具有卓越的数据处理性能。Bizgres的数据库平台可以和KETL和JasperReports进行整合，从而形成一个BI套件：

1、数据库：BI专业数据库Bizgres，或者大型应用中的高性能服务器Bizgres MPP，能比普通关系数据库快20倍

2、 ETL工具：KETL

3、报表工具：JasperReports

3.2. Openi

是一个Java开发的Web应用，能对OLAP服务器、关系数据库和数据挖掘服务器进行分析和报表展示，非常易于使用和部署，界面美观友好，后续还将支持数据挖掘和ETL等。Openi主要包括：

1、 OLAP展示：JPivot

2、报表工具：JFreeChart

3、分析数据源连接器

3.3. Pentaho

是一个以工作流为核心的、强调面向解决方案而非工具组件的BI套件，整合了多个开源项目，目标是和商业BI相抗衡。它包括：

1、工作流引擎：Shark and JaWE

2、数据库：Firebird RDBMS

3、集成管理和开发环境：Eclipse

4、报表工具：Eclipse BIRT

5、 ETL工具：Enhydra/Kettle

6、 OLAP Server：Mondrian

7、 OLAP展示：JPivot

8、数据挖掘组件：Weka

9、应用服务器和Portal服务器：JBoss

10、单点登陆服务及LDap认证：JOSSO

11、自定义脚本支持：Mozilla Rhino Javascript脚本处理器

由上可见Pentaho是一个很完善的BI解决方案。Pentaho偏向于与业务流程相结合的BI解决方案，侧重于大中型企业应用。

3.4. SpagoBI

SpagoBI 集成了Mondrain和JProvit，能够通过OpenLaszlo产生实时报表。SpagoBI使用java开发，不依赖于具体的操作系统，有很强的扩展能力。它主要包括：

1、报表工具：JasperReports /Eclipse BIRT/ iReport

2、 OLAP Server：Mondrian

3、 OLAP展示：JPivot

4、数据挖掘组件：Weka

5、 Map引擎：Geo

6、 ETL：BIE

7、搜索引擎：Lucene

8、 Dashboard：OpenLaszlo

9、 Portal Server：JBoss/ Tomcat/ JOnAS

根据其Roadmap可以看出，SpagoBI将融入更多的BI功能，甚至BI之外的功能。

posted @ 2007-08-28 18:09 风阅读(1533) | 评论 (0) | 编辑收藏

如何收缩数据文件的大小？

下面这个实验用于描述如何通过move tablespace来完成resize datafile。

HWM的概念就不在此阐述了。

测试环境为Oracle10g for Linux，其它版本的一样。

我们先创建两个表空间，分别为t_tbs和t_tbs1，分别有一个数据文件，大小都是5M
再创建一个test_user用户，给这个用户上述两个表空间的无限限额，并且设置默认表空间是t_tbs。
[zhangleyi@as zhangleyi]$ sqlplus / as sysdba

SQL*Plus: Release 10.1.0.2.0 - Production on Tue Apr 13 21:01:25 2004

Copyright (c) 1982, 2004, Oracle.  All rights reserved.

Connected to:
Oracle Database 10g Enterprise Edition Release 10.1.0.2.0 - Production
With the Partitioning, OLAP and Data Mining options

SYS at orcl10>alter user test_user default tablespace t_tbs;

User altered.

SYS at orcl10>alter user test_user quota unlimited on t_tbs;

User altered.

SYS at orcl10>alter user test_user quota unlimited on t_tbs1;

User altered

用test_user登录，创建表
TEST_USER at orcl10>create table t_obj as select * from dba_objects where rownum<10000;

Table created.

TEST_USER at orcl10>insert into t_obj select * from t_obj;

9999 rows created.

TEST_USER at orcl10>/

19998 rows created.

TEST_USER at orcl10>/
insert into t_obj select * from t_obj
*
ERROR at line 1:
ORA-01653: unable to extend table TEST_USER.T_OBJ by 128 in tablespace T_TBS

TEST_USER at orcl10>commit;

Commit complete.

TEST_USER at orcl10>select sum(blocks) "Total Blocks",sum(bytes) "Total Size" from dba_extents where owner='TEST_USER' and segment_name='T_OBJ';

Total Blocks Total Size
------------ ----------
      512 4194304

好，上面我们创建了一个表，并且插入了很多数据，通过dba_extents视图我们可以看到总共用的block熟和总共的大小。

下面我们用delete删除全部数据，并且插入新的9999条数据
TEST_USER at orcl10>delete from t_obj;

39996 rows deleted.

TEST_USER at orcl10>insert into t_obj select * from dba_objects where rownum<10000;

9999 rows created.

TEST_USER at orcl10>commit;

Commit complete.

TEST_USER at orcl10>select sum(blocks) "Total Blocks",sum(bytes) "Total Size" from dba_extents
2  where owner='TEST_USER' and segment_name='T_OBJ';

Total Blocks Total Size
------------ ----------
      512 4194304

再次查看dba_extents视图，发现占用的空间并没有减少。

我们尝试resize这个数据文件，file#为6的是t_tbs表空间下面的数据文件
SYS at orcl10>alter database datafile 6 resize 4M;
alter database datafile 6 resize 4M
*
ERROR at line 1:
ORA-03297: file contains used data beyond requested RESIZE value

SYS at orcl10>alter database datafile 6 resize 4500000;

Database altered.

我们发现想resize到4M不可以，但是resize到4500000就可以了，因为上面查看出来的Total Size是4194304，这个值大于4M而小于4500000。

然后我们move这张表到t_tbs1表空间，这个表空间下面的数据文件file#是8

EST_USER at orcl10>alter table t_obj move tablespace t_tbs1;

Table altered.

TEST_USER at orcl10>select sum(blocks) "Total Blocks",sum(bytes) "Total Size" from dba_extents
2  where owner='TEST_USER' and segment_name='T_OBJ';

Total Blocks Total Size
------------ ----------
      128 1048576

我们检查dba_extents视图，发现Total Size已经变化了，此时已经可以说明move表是会重新进行block的整理的，同时也重置了HWM。

下面我们resize这个数据文件。
SYS at orcl10>alter database datafile 8 resize 2M;

Database altered.

SYS at orcl10>host
[zhangleyi@as ORCL10]$ cd /oracle/oradata/ORCL10/datafile/
[zhangleyi@as datafile]$ ls -l
总用量 1419076
-rw-r----- 1 zhangleyi dba    20979712  4月 13 21:17 cattbs01.dbf
-rw-r----- 1 zhangleyi dba    157294592  4月 13 21:17 o1_mf_example_02p0gpoj_.dbf
-rw-r----- 1 zhangleyi dba    419438592  4月 13 21:20 o1_mf_sysaux_02p09kny_.dbf
-rw-r----- 1 zhangleyi dba    555753472  4月 13 21:17 o1_mf_system_02p09kno_.dbf
-rw-r----- 1 zhangleyi dba    20979712  4月 13 21:02 o1_mf_temp_02p0fzsd_.tmp
-rw-r----- 1 zhangleyi dba    62922752  4月 13 21:20 o1_mf_undotbs1_02p09kog_.dbf
-rw-r----- 1 zhangleyi dba    209723392  4月 13 21:17 o1_mf_users_02p09kqv_.dbf
-rw-r----- 1 zhangleyi dba    2105344  4月 13 21:21 TEST01.DBF（这是file#8）
-rw-r----- 1 zhangleyi dba    4513792  4月 13 21:20 test.dbf（这是file#6）

可以看到我们的目的已经达到了。

在真实应用中，我们可以将一个表空间中的所有object，全部move到一个新的表空间中，然后drop掉原来的表空间，再从磁盘上删除原来表空间中的数据文件。

至于如何得知HWM，我们可以通过analyze之后的数据字典得到，那么如果不进行analyze的话，我们也可以运行下面这个脚本。
这个脚本可以用于检查一个object占有的总共block数和处于HWM之上的block数，这当然也就知道了HWM是在什么位置。

DECLARE
v_total_blocks NUMBER;
v_total_bytes NUMBER;
v_unused_blocks NUMBER;
v_unused_bytes NUMBER;
v_last_used_extent_file_id NUMBER;
v_last_used_extent_block_id NUMBER;
v_last_used_block NUMBER;
BEGIN
dbms_space.unused_space('SCOTT','BIGEMP','TABLE',v_total_blocks,v_total_bytes,v_unused_blocks,v_unused_bytes,v_last_used_extent_file_id,v_last_used_extent_block_id,v_last_used_block);
dbms_output.put_line('Total Blocks: '||TO_CHAR(v_total_blocks));
dbms_output.put_line('Blocks above HWM: '||TO_CHAR(v_unused_blocks));
END;
/

Total Blocks: 256
Blocks above HWM: 0

PL/SQL procedure successfully completed

Executed in 0.01 seconds

posted @ 2007-08-10 13:56 风阅读(1054) | 评论 (0) | 编辑收藏

几款BI相关的开源工具-ETL-OLAP相关

我们都知道“瞎子摸象”的故事。不同的瞎子对大象的认识不同，因为他们只认识了自己摸到的地方。而企业如果要避免重犯这样的错误，那就离不开商务智能（BI）。专家认为，BI对于企业的重要性就像聪明才智对于个人的重要性。欧美企业的经验也证明，企业避免无知和一知半解危险的有效手段就是商务智能。商务智能旨在充分利用企业在日常经营过程中收集的大量数据和资料，并将它们转化为信息和知识来免除各种无知状态和瞎猜行为。

支持BI的开源工具数量众多，但是大多数的工具都是偏重某方面的。例如，CloverETL偏重ETL，JPivot偏重多维分析展现，Mondrian是OLAP服务器。而Bee、Pentaho和SpagoBI等项目则针对商务智能问题提供了完整的解决方案。

ETL 工具

ETL开源工具主要包括CloverETL和Octupus等。

（1）CloverETL是一个Java的ETL框架，用来转换结构化的数据，支持多种字符集之间的转换（如ASCII、UTF-8和ISO-8859-1等）；支持JDBC，同时支持dBase和FoxPro数据文件；支持基于XML的转换描述。

(2)Octupus是一个基于Java的ETL工具，它也支持JDBC数据源和基于XML的转换定义。Octupus提供通用的方法进行数据转换，用户可以通过实现转换接口或者使用Jscript代码来定义转换流程。

OLAP服务器

(1)Lemur主要面向HOLAP，虽然采用C++编写，但是可以被其他语言的程序所调用。Lemur支持基本的操作，如切片、切块和旋转等基本操作。

(2)Mondrian面向ROLAP包含4层：表示层、计算层、聚集层、存储层。

● 表示层：指最终呈现在用户显示器上的以及与用户之间的交互，有许多方法来展现多维数据，包括数据透视表、饼、柱、线状图。

● 计算层：分析、验证、执行MDX查询。

● 聚集层：一个聚集指内存中一组计算值(cell)，这些值通过维列来限制。计算层发送单元请求，如果请求不在缓存中，或者不能通过旋转聚集导出的话，那么聚集层向存储层发送请求。聚合层是一个数据缓冲层，从数据库来的单元数据，聚合后提供给计算层。聚合层的主要作用是提高系统的性能。

● 存储层：提供聚集单元数据和维表的成员。包括三种需要存储的数据，分别是事实数据、聚集和维。

OLAP客户端

JPivot是JSP风格的标签库，用来支持OLAP表，使用户可以执行典型的OLAP操作，如切片、切块、上钻、下钻等。JPivot使用Mondrian服务器，分析结果可以导出为Excel或PDF文件格式。

数据库管理系统

主要的开源工具包括MonetDB、MySQL、MaxDB和PostgreSQL等。这些数据库都被设计用来支持BI环境。MySQL、MaxDB和PostgreSQL均支持单向的数据复制。BizGres项目的目的在于使PostgreSQL成为数据仓库和 BI的开源标准。BizGres为BI环境构建专用的完整数据库平台。

完整的BI开源解决方案

1.Pentaho 公司的Pentaho BI 平台

它是一个以流程为中心的、面向解决方案的框架，具有商务智能组件。BI 平台是以流程为中心的，其中枢控制器是一个工作流引擎。工作流引擎使用流程定义来定义在 BI 平台上执行的商务智能流程。流程可以很容易被定制，也可以添加新的流程。BI 平台包含组件和报表，用以分析这些流程的性能。BI 平台是面向解决方案的，平台的操作是定义在流程定义和指定每个活动的 action 文档里。这些流程和操作共同定义了一个商务智能问题的解决方案。这个 BI 解决方案可以很容易地集成到平台外部的商业流程。一个解决方案的定义可以包含任意数量的流程和操作。

BI平台包括一个 BI 框架、BI 组件、一个 BI 工作台和桌面收件箱。BI 工作台是一套设计和管理工具，集成到Eclipse环境。这些工具允许商业分析人员或开发人员创建报表、仪表盘、分析模型、商业规则和 BI 流程。Pentaho BI 平台构建于服务器、引擎和组件的基础之上，包括J2EE 服务器、安全与权限控制、portal、工作流、规则引擎、图表、协作、内容管理、数据集成、多维分析和系统建模等功能。这些组件的大部分是基于标准的，可使用其他产品替换之。

2.ObjectWeb

该项目近日发布了SpagoBi 1.8版本。SpagoBi 是一款基于Mondrain+JProvit的BI方案，能够通过OpenLaszlo产生实时报表，为商务智能项目提供了一个完整开源的解决方案，它涵盖了一个BI系统所有方面的功能，包括：数据挖掘、查询、分析、报告、Dashboard仪表板等等。SpagoBI使用核心系统与功能模块集成的架构，这样在确保平台稳定性与协调性的基础上又保证了系统具有很强的扩展能力。用户无需使用SpagoBI的所有模块，而是可以只利用其中的一些模块。

SpagoBI使用了许多已有的开源软件，如Spago和Spagosi等。因此，SpagoBI集成了 Spago的特征和技术特点，使用它们管理商务智能对象，如报表、OLAP分析、仪表盘、记分卡以及数据挖掘模型等。SpagoBI支持BI系统的监控管理，包括商务智能对象的控制、校验、认证和分配流程。SpagoBI采用Portalet技术将所有的BI对象发布到终端用户，因此BI对象就可以集成到为特定的企业需求而已经选择好的Portal系统中去。

3.Bee项目

该项目是一套支持商务智能项目实施的工具套件，包括ETL工具和OLAP 服务器。Bee的ETL工具使用基于Perl的BEI，通过界面描述流程，以XML形式进行存储。用户必须对转换过程进行编码。Bee的ROLAP 服务器保证多通SQL 生成和强有力的高速缓存管理(使用MySQL数据库管理系统)。ROLAP服务器通过SOAP应用接口提供丰富的客户应用。Web Portal作为主要的用户接口，通过Web浏览器进行报表设计、展示和管理控制，分析结果可以以Excel、PDF、PNG、PowerPoint、 text和XML等多种形式导出。

Bee项目的特点在于：

● 简单快捷的数据访问；

● 支持预先定义报表和实时查询；

● 通过拖拽方式轻松实现报表定制；

● 完整报表的轻松控制；

● 以表和图进行高质量的数据展示。

posted @ 2007-04-12 21:06 风阅读(2183) | 评论 (0) | 编辑收藏

Sybase IQ for Data Warehouse 培训总结(二)

/*
*标题: Sybase IQ for Data Warehouse 培训总结(二)
*作者: xuwedo
*文章属性: 原创
*时间: 2007-03-11
*来源: http://blog.csdn.net/xuwedo2003/
*链接: http://blog.csdn.net/xuwedo2003/
* Copyright (c) 2007
* All rights reserved.
* 如有转载,请注明作者及本信息
* 文件名称:
* 文件标识:
* 摘要: Sybase IQ, Data Warehouse
* 开始时间: 2007-03-11
*
* 当前版本: 1.0
* 作者: xuwedo2001@sohu.com
* 相关信息:
* 完成日期: 2007年3月11日
*/
正文:

(一) 怎样创建数据库

1 、DBspace是分配到IQ数据库的驱动空间的逻辑名

2 、一个新IQ数据库最多可以有2047个DBspace。

3 、Sybase的各种类型DBspace的限制：
（1）、Catalog Store最大为1TB。
（2）、IQ Store 和IQ temp Store 在裸设备上没有大小限制，在文件系统中为4TB。

4 、IQ Store 和IQ temp Store可以扩大或从数据库删除。

5 、创建数据库：
CREATE DATABASE full_path db_name[[TRANSACTION] {LOG ON [log_file_name][MIRROR mirror_file_name]}]
IQ PATH iq_file_anem

[IQ SIZE iq_file_size]

[IQ RESERVE sizeMb]

TEMPORARY PATH temp_file_name

[TEMPORARY SIZE temp_db_szie]

[TEMPORARY RESERVE sizeMB]

[MESSAGE PATH message_file_name]

例子1：

CREATE DATABASE ‘ d:\\mydb\\mydb.db ’

IQ PATH ‘ d:\\iqmain\\mydb01.iq ’

IQ SIZE 200

TEMPORARY PATH ‘ e:\\iqtem\\mydb01.iqtmp ’

TEMPORARY SIZE 200

IP PAGE SIZE 65536

6 、可以用Sybase Central创建数据库（在图形环境下）。

7 、可以用sp_iqstatus来查看当前数据库的详细信息。

8 、删除一个DBspace

（1）、一个IQ store如果存有数据的话，则不能被删除。（可以使用Utility数据库将一个DBspace的数据移动到另一个DBspace中去，再删除）。

（2）、一个IQ temporary Store仅在为空时才可以被删除。

9 、删除一个数据库的语法：

DROP DATABASE db_filename

例子：DROP DATABASE ‘d:\\mydb\\mydb.db ’

10 、怎样才能看到所有的DBspace的物理文件名？
用以下命令：Select * from sysqifile

(二) 设置服务器和数据选项

1、数据库的启动参数均可以写在“.cfg”文件中。

2、启动服务器的语法：
start_asiq server-switchs database_file

其中：“server-switchs”可以为：

-c ：缓存大小，默认windows为32M,Unix为48M。

-gp:Catalog store 页大小。

-gm ：服务器允许的连接数。

-n ：IQ server的名字。如果有两个“-n”选项，则第一个是IQ server的名字，第二个“-n”为IQ 数据库的名字。

-gc ：checkpoint时间间隔。默认为20，推荐为6000。

-gr ：最大的恢复时间。默认为2。

-ti ：客户端超时时间。默认为4400分钟。

-tl ：默认网络超时时间。默认120秒。

-iqmc ：主缓存大小，单位：M。

-iqtc ：临时缓存大小，单位：M。

注：主缓存：临时缓存=2：3

在默认情况下，Sybase IQ server使用2338端口。

3、使用SET OPTION命令更变数据库的配置：
（1）、语法：
SET [TEMPORARY] OPTION
[user_id. | PUBLIC.]option_name = [option_value]
其中的“option_name”可以是：
Force_No_Scroll_Cursors=‘on’(默认为“off”)禁止缓存用户的查询结果。
Query_Temp_Space_Limit=0(默认为2000M)，设置临时缓存的最大值。0表示不限制。
Public.Query_Plan=‘off’(默认为“on”)禁止将用户的查询计划打印到IQ Message File中，因为查询计划可以会使之大小迅速增加。
例子：
SET OPTION public.Force_NO_Scroll_Cursors= ’ no ’

4、查看数据库的所有被改动过的（即非默认值）选项，用存储过程：sp_iqcheckoptions。

(三) Sybase IQ 索引和数据类型

1 、Sybase IQ的9种索引类型：

（1）、FP（Fast Projection）此索引为默认的索引形式，在创建表时系统自动设置此索引。

特点：用于SELECT、LIKE ‘%sys%’、SUM（A+B）、JOIN操作等语句。

此类型索引也是唯一可用于BIT数据类型的索引。

FP 索引可以优化索引，将小于255的唯一值的索引压缩到1字节中，将小于65537的唯一值索引压缩到2字节中。

（2）、LF(Low Fast)基于平衡树的结构，存储唯一值小于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：用于=、！=、IN、NOT IN查询参数。

MIN （）、MAX（）、COUNT（）、Group By、JOIN等。

（3）、HNG(High Nongroup)基于位的优化索引，适合于数字索引。用于范围查找和求合计算。

特点：Rangs、Between、MIN（）、MAX（）、SUM（）、AVG（）等。

（4）、HG(High Group) 基于平衡树的结构，存储唯一值大于1500个的索引，是最快的索引类型。可以用作唯一索引。

特点：同LF索引的特点。

（5）、CMP(compare)仅用于比较一个表中的两个列的比较。

特点：<、 =、 >、 <= 、>=

（6）、WD(Word)，仅用于索引数据类型为WORD的列。
特点：‘CONTAINS’、LIKE操作（但没有‘%’）。

例子：

Select count(*) from Customer where address contains( ‘Main’)

（7）、DATE(date)仅用于日期类型的列。

（8）、DTTM(Datetime)仅用于日期时间类型的列。

（9）、TIME(Time)仅用于时间类型的列。

例子：
Select * from sales where DATAPART(YEAR,dales_dt) = 2007
Select * from sales where sales_dt>=‘2003-01-01 08：00：00’

(四) 创建表和索引

1 、创建表：

例子1：

CREATE TABLE employee(

Emp_id int NOT NULL

,lname varchar(30) NULL

,fname varchar(30) NULL

,salary money NULL)

例子2：

CREATE TABLE stores(

Store_id char(4) NOT NULL

,store_name varchar(20) NOT NULL

,store_address varchar(40) NOT NULL

,UNIQUE(store_id))

例子3：

CREATE TABLE products(

Product_code char(5) NOT NULL

,product varchar(40) NOT NULL

,price money NULL

PRIMARY KEY (products_code))

例子4：

CREATE TABLE sales(

Sales_code char(10) PRIMARY KEY

,sales_date DATE NOT NULL

,product_code char(5) NOT NULL

,FOREIGN KEY fk1(product_code) REFERENCES product (product_code))

例子5：

SELECT * INTO co_residential_customer from customer where 1=2

2 、用Sybase Central 可以在图形界面下创建表。

3 、删除表：DROP TABLE tablename

4 、删除表中的所有内容：TRUNCATE TABLE [owner.]table_name

5 、创建视图，语法：

CREATE VIEW [owner.]view_name[(column-name[, … ])]

AS select-without-order-by

[WITH CHECK OPTION]

例子1：

CREATE VIEW sd_customer AS SELECT * FROM customer

WHERE sheng = ‘ SD ’

例子2：

CREATE VIEW emp_dept

AS SELECT emp_home,emp_fname,dept_name

From Employee,Department

WHERE Employee.dept_id = Department.dept_id

5 、用Sybase Central 可以在图形界面下创建视图。

6 、创建索引：
CREATE [UNIQUE] [index-type] INDEX

Index_name ON

[owner.]table_name (column_name[, … ])

[{IN | ON} DBSpace_name]

[NOTIFY integer]

[DELIMITED BY ‘ separators-string ’ ]

[LIMIT maxwordsize-integer]

例子1：

CREATE HG INDEX

Cust_customer_id ON

Cutomer(customer_id)

例子2：

CREATE CMP INDEX price_compare

ON orders(purchase_price,list_cost)

7 、删除索引：

DROP INDEX [[owner.]tablename.]index_name
例子：
DROP INDEX cust_customer_id

(五) Sybase IQ 内存配置

1、 IQ 从单一的一个内存池中分配内存。

2、从操作系统层面来看，IQ Server的内存是由堆组成。

3、 Buffer ：内存中的一块区域，它存储了写入数据库或从数据库中读取的未解压的数据。

4、 IQ Page Size ：IQ Server中每一个内存页的大小。

5、 IQ Page Size/16=BLOCK SIZE

6、在启动服务器时，可以用参数-c来指定服务器缓存的初始大小。在所有平台中，这个值最大为256M。

7、 IQ Buffer 有两种类型：
（1）、主Buffer缓存：IQ Store的Buffer。（占总大小的40%）
（2）、临时Buffer：IQ temporary Buffer。（占总大小的60%）

8、在Sybase IQ server中一个活动的用户大约占用10M内存，一个非活动用户大约占5M内存。

posted @ 2007-03-30 10:10 风阅读(1621) | 评论 (1) | 编辑收藏

修改oracle 150 的最大连接数

使用sys，以sysdba权限登录：

c:\sqlplus /nolog
SQL>conn / as sysdba

SQL> show parameter processes;

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
aq_tm_processes integer 1
db_writer_processes integer 1
job_queue_processes integer 10
log_archive_max_processes integer 1
processes integer 150

SQL> alter system set processes=300 scope = spfile;

系统已更改。

SQL> show parameter processes;

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
aq_tm_processes integer 1
db_writer_processes integer 1
job_queue_processes integer 10
log_archive_max_processes integer 1
processes integer 150

SQL> create pfile from spfile;

文件已创建。

重启数据库，OK！

posted @ 2007-03-13 15:50 风阅读(9294) | 评论 (2) | 编辑收藏

iText经验总结

因为前些日子在一个项目中用到了iText，稍有收获，便总结于此，以供他人所需。

iText是一个比较底层的pdf库，很多项目的pdf操作都是以它为基础的。像spring，以及另一个比较有名的报表工具jasperreports。简单的pdf报表输出用它比较合适，比较复杂的话使用起来就比较困难了，你要手工编写太多的代码。

比较好的是iText网站上提供相当多的示例代码，比较容易入门。我这里只说一些在它的文档里并没有直接讲到的东西。

1 关于Document

Document的几种构造函数：
public Document();
public Document(Rectangle pageSize);
public Document(Rectangle pageSize,
int marginLeft,
int marginRight,
int marginTop,
int marginBottom);
下面两种比较有用，如果是你想定义纸张大小和边缘的时候。对于Margin，iText上提到“You can also change the margins while you are adding content. Note that the changes will only be noticed on the NEXT page. If you want the margins mirrored (odd and even pages), you can do this with this method: setMarginMirroring(true). ”不过，对于table似乎并不好使。table并不会了理会你设定的margin，如果想改变它的magin还是需要去改变它的宽度（setWidth）。

2 pdf表单

使用PdfStamper是可以填充pdf表单的，这样就给出了一种很好的报表生成思路。
word制作报表样式-->acrobat转pdf-->itext填充数据-->输出pdf
这做非常简单，因为可以比较容易的控制pdf的样式。我对于Java的报表工具了解的并不多，不过在jasperreports，即使用GUI工具做一个样式比较复杂的报表也不是怎么容易。比如有那种斜线的表头，比较花哨的嵌套表格。这样的情况还是比较多见的，客户不会关系你实现起来是否困难。不过想要使用这种方式也有不足的地方。首先是acrobat把word转化成pdf的时候，格式总是保持不好，特别的是字体。然后是文件的体积这样生成的pdf会比直接用iText生成的pdf文件大很多，acrobat在pdf里加入了太多无用的信息。初次使用iText填充Adobe Designer生成的pdf表单时会有点小麻烦。在Designer中设计了一个name的text文本框的绑定名为name。照着iText中例子使用使用PdfStamper的setField方法去这样写form.setField("name", "XXXX");并不会成功。原因是Adobe Designer生成的表单名都是具有层次的，它可能是这个样子form1[0].#subform[0].name[0]。不过我们可以用一个方法把它们列出来，只要做一次就知道结构了，可以使用类似下面的代码：
PdfReader reader = new PdfReader("form.pdf");
PdfStamper stamp = new PdfStamper(reader, new FileOutputStream("registered_flat.pdf"));
AcroFields form = stamp.getAcroFields();
for (Iterator it = form.getFields().keySet().iterator(); it
.hasNext();) {
System.out.println(it.next());
}
如果直接用iText编程生成的表单就不会有这样的问题，设定的什么名字就是什么名字。

3 表单元素

pdf并不像html那样具有良好清晰的结构，而是一个有层次的文档类型。在它的maillist里，作者说明了iText虽然可以操作现存的pdf文件但是没办法去还原它的结构的。没办法像html一样，能从一个pdf文件获得一个清晰的“源文件”的。关于层次，可以从iText上得到详细的讲述，获取去看看pdf规范。表单和普通文本是不在一个层上的。没办法适用对待文本表各一样把它们简单的add进Document对象。获取一个cb直接去用绝对定位的方法可以加入表单元素，不过很多的时候因为排版并不能那么简单的去做。就是在html中布局一样可以使用表格定位。想把一个表单元素加入cell，要借助cell的setCellEvent方法。以一个checkbox为例。新建一个类CheckBoxForm，实现PdfPCellEvent接口。需要实现一个cellLayout的方法。
public void cellLayout(PdfPCell cell, Rectangle position, PdfContentByte[] canvases)
position可以好好利用，它包含当前cell的位置信息，你可以用它来确定自己checkbox的位置。
position.top()-position.bottom()就能得到高position.right()-position.left()可以得到长，如果需要这两个值得花可以如此计算。下面的代码就是定义一个宽度为a的checkbox的rectangle 。它在cell中水平居中，垂直也居中。
float bo = (position.top()-position.bottom()-a)/2;
float ao = (position.right()-position.left()-a)/2;
Rectangle rectangle = new Rectangle(position.left() + ao, position
.bottom() + bo, position.left() +ao+ a, position.bottom()+ bo + a);
然后把它加入Document
RadioCheckField tf = new RadioCheckField(writer, rectangle, fieldname,
"f");
tf.setCheckType(RadioCheckField.TYPE_SQUARE);
tf.setBorderWidth(1);
tf.setBorderColor(Color.black);
tf.setBackgroundColor(Color.white);
try {
PdfFormField field = tf.getCheckField();
writer.addAnnotation(field);
} catch (IOException e) {
e.printStackTrace();
} catch (DocumentException e) {
e.printStackTrace();
}
其它的元素与此类似。

4 PdfPTable和Table

说不上哪种更好用，有时候不能不使用PdfPTable。可惜它只有setColspan方法，没有setRowspan。嵌套的时候也有区别，PdfPTable是用addcell（）加入嵌套表的，table则有一个更明了的方法insertTable（）。PdfPTable想进行设置border之类的操作要先获得一个默认cell，
pdfPTableName.getDefaultCell().setBorder(Rectangle.NO_BORDER);//设置无框的表
另外在PdfPTable中，一些修饰属性会因为设置的时机不正确而没有效果。如，适用cell的构造函数加入了文本，在cell的setVerticalAlignment（）fangfa去设定垂直对齐方式就不会有效。还有一个有意思的不同是table默认外边框是加粗的，而PdfPTable则一样粗细。

5 字体

iText的例子有很多足够用，给出一些pdf的字体名称和编码，如果想使用内嵌字体的话。
语言 PDF 字体名
简体中文 STSong-Light
繁体中文 MHei-Medium
MSung-Light
日语 HeiseiKakuGo-W5
HeiseiMin-W3
韩语 HYGoThic-Medium
HYSMyeongJo-Medium

字符集编码
简体中文 UniGB-UCS2-H
UniGB-UCS2-V
繁体中文 UniCNS-UCS2-H
UniCNS-UCS2-V
日语 UniJIS-UCS2-H
UniJIS-UCS2-V
UniJIS-UCS2-HW-H
UniJIS-UCS2-HW-V
韩语 UniKS-UCS2-H
UniKS-UCS2-H
必须要有Asian的包才可以用，也可以使用TrueType字体。

ps：因为隔了一段时间了，所以有些现在一时也想不起来了，也可能会有理解的错误。另外，适用iText的时候自己最好抽象一下，可能会省不少力气。

posted @ 2007-02-28 15:12 风阅读(7956) | 评论 (9) | 编辑收藏

风之语

常用链接

留言簿

随笔分类

随笔档案

相册

收藏夹

link

My wife

最新随笔

搜索

积分与排名

最新评论

阅读排行榜

评论排行榜

使用Oracle9i的新特性Flashback Query恢复误删除数据

使用Oracle9i的新特性Flashback Query恢复误删除数据

自定义file类型input框样式的方法

myeclipse 6.0GA and 破解

商业智能平台研究 (十) ETL 选型

开源BI系统简述

1. 概述

2. BI解决方案中的工具

2.1. ETL工具

2.2. 报表工具

2.3. OLAP工具

2.4. 数据库

3. 开源BI套件

3.1. Bizgres

3.2. Openi

3.3. Pentaho

3.4. SpagoBI

如何收缩数据文件的大小？

几款BI相关的开源工具-ETL-OLAP相关

Sybase IQ for Data Warehouse 培训总结(二)

修改oracle 150 的最大连接数

iText经验总结