1、 KETL是什么？

         KETL是一个开源的ETL平台，由具有KPMG和IBM两家公司的背景的公司开发，使用 java而构建的，其基于元数据驱动，使用XML语言作为ETL过程的描述工具。

         其支持的元数据库有oracle、mysql、postgresql、h2等，并在安装文件中，有oracle、postgresql及h2的元数据脚本（主要是建用户、模式、数据表、索引等sql脚本）。

2、 KETL的特性：

基于java开发，具有平台无关的特性

使用XML作为ETL表达语言，但不仅限于此

多线程特性

元数据驱动，支持多种关系型数据库，并提供相应的建表脚本

3、 KETL安装

以下展示 整个KETL的安装过程，其在fedora虚拟机上运行，基于 postgresql元数据库运行。大家可在参考KETL 安装手册的基础上，对其进行安装，本文重点是对其中存在的问题进行了一些补充，欢迎大家交流。具体安装步骤如下：

1、 准备所需的软件安装包，及所安装部署的平台

1）    KETL安装包（linux）

2）    Postgressql安装包（linux）

KETL提供在window平台的管理页面，可在其中进行流程的查看及监控，需要安装以下几个应用程序

3）    Tomcat安装包（linux）

4）    Ketl web service war包（tomcat中）

5）    Kinetic Network 安装包（window）

以下具体步骤可以参见KETL的安装指导，以下只给出大致过程及安装过程中出现的问题。

2、 安装KETL核心包

配置KETL的安装路径及环境变量

3、 安装postgresql

4、 从ketl安装文件的xml文件夹中，选取运行postgresql的元数据脚本

在此过程中，可能存在nvl函数不存在的问题，此函数为oracle的函数，需自己手动添加该函数。

5、 配置修改ketl的配置文件，指定运行的元数据服务器

6、 启动 kelt_ctrl命令，启动ketl服务器

此时，安装过程结束，可以通过运行shell命令，进行elt的开发，但可视化程度不高，监控、调度较困难，为此，KETL提供了相应的监测平台，需要继续安装tomcat等程序。

7、 安装tomcat

8、 在tomcat中部署web service 程序

9、 在window平台，安装 Kinetic Network安装包

10、              运行 KETL administror 程序，输入用户名和密码（ketl配置文件中指定的），通过加载XML文件，实现运行单元的展示，可在此基础上，运行该etl或通过调度方式进行运行（需注意的是，xml脚本需手工构建，Kinetic Network 程序仅仅是个展示、调度和简单监控的平台）。

其运行界面如下所示：

至此，整个KETL的安装过程结束。
讲的不清楚的地方，欢迎大家批评指正。

       有点犯困，思维不是很活跃，但是今天看到的一些文章，还是让自己有些感触。
        最深的恐怕还是在秋叶的博客上 看到的那份ppt，很有感触，作者使用黑白照片的方式描述了一个即将毕业学子的一个心态，那种恋恋不舍，那种眷恋，通过黑白的单色 描述的淋漓尽致。我承认是它促动了我怀旧的情结，但作者使用这种方式的描述，更让人一种向导的力量。原来表达的方式还可以这样。因为我正好在写ppt、也因为我也有单反相机，有这ps的教程，很早很早就有了，但是，但是，就是还没有去学~~。
      第二个事情是 看见马云的视频讲座，呵呵，不得不佩服人家的眼光和勇气，如果马云如果能够成功，百分之八十的中国人就可以成功；从小事做起，做一个不抱怨的人，做一个积极的人。
       第三个，海贼王最新的一集终于又一次在周日更新了，看见路飞使出的霸气，看见白胡子船长对于未来的憧憬与保护，我也看到了感动，那种坚持不懈的力量，那种对于未来的渴望，那种永不放弃的精神 值得每一个人去学习。

        
       困了，睡觉了，明早交ppt，开始技术交流，明早开始新的路程，新的一周，继续上路。 编写一个下载 Excel的程序，老是报 outofMemory的错误，想起曾经 Eclipse的错误，所以一起解决问题，上网搜了很多的资料，都是基本是同一个版本，但是就是给的不是很全，尝试了很多，居然还是不能解决问题，很有挫折感啊，不过还是google好，问题解决了，把搜集的资料贴出来，省得白费劲。

网上的解决方法：

    1、设置环境变量
    2、设置 tomcat中的 catalina.bat （window环境下），catalina.sh（linux环境下）

实际解决方法：
    以上方法，对于在Myeclipse中均为无用，需
    Myeclipse->preferences->myeclipse->servers->tomcat->tomcat×.×->JDK面板中的

    Optional Java VM arguments中添加：-Xmx1024M -Xms512M -XX:MaxPermSize=256m

参数理解：
    -vmargs   虚拟机设置开始标志
    -Xms128M  堆栈内存起始大小 128M
    -Xmx512M 堆栈内存最大大小 512M
    -XX:PermSize=64M 非堆栈内存 起始大小 64M
    -XX:MaxPermSize=128M 非堆栈内存 最大大小 64M
在Eclipse.ini中配置，添加时 注意其格式

文章参考：http://blog.csdn.net/bjd14/archive/2009/02/16/3896153.aspx

Eclipse非堆栈内容不足的问题解决：http://www.blogjava.net/JetMah/archive/2007/12/07/166025.html

 

1、  使用 别的维护的数据表时，需检验其输入的数据字典，查询其维护的数据特征是不是严格按照 约定的数据字典说明来进行的。用select distinct进行查询。

2、  多积累Exception的经验，仔细阅读Exception的内容，即使已经明白该异常的原因，也应该在解决问题后，将问题积累下来，以备事后的总结，如项目中的ibatis错误问题，区别一些微小的细节。

3、  严格对待字符处理与判断、转换等问题，防止出现NULLException的错误，对于自己写的程序，最好能够对NullException具有相应的容错能力。

4、  对于全局变量的维护 一定要注意，最好能够应用一定的方法，便于维护，如在 科目通用查询中的查询重置功能，可能就会对全局变量进行 重置，那样会造成 部分功能无法使用。

5、  对于全局变量，在引用的方法中，一定要对其进行初始化，相当于在使用前进行重置。

6、  对于链表之类的数据结构，一定要注意 其初始化的位置放置将变量重复装入，如java中的ArrayList、js中的[]等。

7、  要定期对java中的类及方法进行清理，保持代码的可读性，善用Eclipse中的查询工具，对方法进行搜索，在确认的情况下，对方法类进行删除与修改。