随笔-75  评论-193  文章-5  trackbacks-0

        今天早上在网上看到了kettle发布了最新的版本,忽然想起最近其实做了不少工作应该是ETL工具的拿手好戏,赶紧下载下来看看,看是否能够在实际的工作中应用起来。

        顺便讲一下,为啥看到kettle会两眼发光。

        最近写了好几个小程序,用于从一个ftp去获取数据,然后转发至另一个ftp去,或者是从一个数据库获取数据然后保存至本地的数据库中,使用的是jdk中的Timer实现的定时调度,本来也没什么问题,连续运行几个月都不会出错。

        可是最近网络不是太好,周期性抽风,ping包时,每5分钟大概会丢7-8个包,从而导致程序也会假死,过一段时间后就不正常干活了,估计是因为用了数据库连接池的问题,要是每次发起数据库连接可能就不会有问题了,偷懒也不想改了,因为网络最终肯定是会修好的 :-) 但是想试试ETL工具,因为后面还有一些类似的东西要处理,不想写代码了,用别人的轮子感觉比较好,呵呵

        首先下载了kettle的最新版,kettle3.1,解压后即可运行,一般的开发人员稍微摸索一下,看看例子简单的转换还是会做的,今天小试了一把,有几个注意点记下来。

  1. 使用资源库(repository)登录时,默认的用户名和密码是admin/admin
  2. 当job是存放在资源库(一般资源库都使用数据库)中时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /rep kettle /user admin /pass admin /job job名
  3. 当job没有存放在资源库而存放在文件系统时,使用Kitchen.bat执行job时,需使用如下的命令行:
    Kitchen.bat /norep /file user-transfer-job.kjb
  4. 可以使用命令行执行job后,就可以使用windows或linux的任务调度来定时执行任务了

        在一开始使用命令行方式执行job时,总是报如下的错误,琢磨了好长时间总算整明白正确的方式了。

Unexpected error during transformation metadata load
No repository defined!

        下一步准备按照实际情况定制Job,做好了再写小结。

posted on 2008-12-04 22:48 The Matrix 阅读(10341) 评论(13)  编辑  收藏 所属分类: Kettle

评论:
# re: Kettle初探 2008-12-18 17:11 | 吴悔
不错,想问一下

Unexpected error during transformation metadata load
No repository defined!

这个问题你最后怎么解决的?  回复  更多评论
  
# re: Kettle初探 2008-12-19 00:21 | The Matrix
@吴悔
一开始我是将Job和Transfomation都是存放在资源库中的,然后使用Kitchen.bar执行时会报上述错误,后来登录kettle时,选择“不使用资源库”,直接将Job和Transfomation保存在本地文件中,再使用Kitchen.bat执行就没有问题了。  回复  更多评论
  
# re: Kettle初探 2009-02-03 16:24 | chenzz
您好:
我近期要将数据库由Db2移植到Oracle上。想用Kettle来做。遇到个问题:
数据库是的表很多,我怎么将DB2的表结构批量转化为Oracle类型的。
  回复  更多评论
  
# re: Kettle初探 2009-02-03 16:28 | The Matrix
@chenzz
DB2我没有弄过,DB2应该可以导出标准的建表语句吧.........如果可以的话,就好办了  回复  更多评论
  
# re: Kettle初探 2009-05-13 20:41 | 初学者
您好,能不能把源码给我一份,我一直下不下来  回复  更多评论
  
# re: Kettle初探 2009-05-13 20:41 | 初学者
我的邮箱是lanseyouyu1998@163.com  回复  更多评论
  
# re: Kettle初探 2009-08-14 18:42 | hpf1908
我的job里面设置了最小日志,但是在用命令行调用kettle运行时还是基本日志,kitchen.bat有没有日志参数,求解?  回复  更多评论
  
# re: Kettle初探[未登录] 2011-06-01 22:33 | 初学者
不错,非常感谢你的分享,我最近也开始弄这个  回复  更多评论
  
# re: Kettle初探[未登录] 2011-08-04 14:22 | lily
谢谢啦,就是看了你这个blog,在kitchen.bat里面保存了命令,然后再任务调度,就OK啦。比自己摸索省了多少时间啊,再次表示感谢!  回复  更多评论
  
# re: Kettle初探 2012-11-15 10:53 | jully_ir
@chenzz
用PowerDesigner来做很方便,就是数据要重新抽取。不知道我理解的是否对哦~  回复  更多评论
  
# re: Kettle初探 2013-02-17 15:04 | beginner
楼主试过用kettle创建和调用存储过程吗?我总是出错,也不知道是什么问题。不确定kettle是否支持。  回复  更多评论
  
# re: Kettle初探 2013-07-10 09:12 | wings
@hpf1908
/level Minimal 即可  回复  更多评论
  
# re: Kettle初探[未登录] 2014-01-15 09:04 | kevin
@The Matrix

难道用数据库资源库就不能解决这个问题吗?
  回复  更多评论
  

只有注册用户登录后才能发表评论。


网站导航: