1、 KETL是什么?
KETL是一个开源的ETL平台,由具有KPMG和IBM两家公司的背景的公司开发,使用 java而构建的,其基于元数据驱动,使用XML语言作为ETL过程的描述工具。
其支持的元数据库有oracle、mysql、postgresql、h2等,并在安装文件中,有oracle、postgresql及h2的元数据脚本(主要是建用户、模式、数据表、索引等sql脚本)。
2、 KETL的特性:
基于java开发,具有平台无关的特性
使用XML作为ETL表达语言,但不仅限于此
多线程特性
元数据驱动,支持多种关系型数据库,并提供相应的建表脚本
3、 KETL安装
以下展示 整个KETL的安装过程,其在fedora虚拟机上运行,基于 postgresql元数据库运行。大家可在参考KETL 安装手册的基础上,对其进行安装,本文重点是对其中存在的问题进行了一些补充,欢迎大家交流。具体安装步骤如下:
1、 准备所需的软件安装包,及所安装部署的平台
1) KETL安装包(linux)
2) Postgressql安装包(linux)
KETL提供在window平台的管理页面,可在其中进行流程的查看及监控,需要安装以下几个应用程序
3) Tomcat安装包(linux)
4) Ketl web service war包(tomcat中)
5) Kinetic Network 安装包(window)
以下具体步骤可以参见KETL的安装指导,以下只给出大致过程及安装过程中出现的问题。
2、 安装KETL核心包
配置KETL的安装路径及环境变量
3、 安装postgresql
4、 从ketl安装文件的xml文件夹中,选取运行postgresql的元数据脚本
在此过程中,可能存在nvl函数不存在的问题,此函数为oracle的函数,需自己手动添加该函数。
5、 配置修改ketl的配置文件,指定运行的元数据服务器
6、 启动 kelt_ctrl命令,启动ketl服务器
此时,安装过程结束,可以通过运行shell命令,进行elt的开发,但可视化程度不高,监控、调度较困难,为此,KETL提供了相应的监测平台,需要继续安装tomcat等程序。
7、 安装tomcat
8、 在tomcat中部署web service 程序
9、 在window平台,安装 Kinetic Network安装包
10、 运行 KETL administror 程序,输入用户名和密码(ketl配置文件中指定的),通过加载XML文件,实现运行单元的展示,可在此基础上,运行该etl或通过调度方式进行运行(需注意的是,xml脚本需手工构建,Kinetic Network 程序仅仅是个展示、调度和简单监控的平台)。
其运行界面如下所示:
至此,整个KETL的安装过程结束。
讲的不清楚的地方,欢迎大家批评指正。
posted on 2011-04-12 17:14
mingsen 阅读(8050)
评论(0) 编辑 收藏