动若狡兔,静如处子

by doctor

统计

留言簿

阅读排行榜

评论排行榜

天网、hivesql开发小总结

      天网dataX节点可“灵活配置点”:应用库《——》hdfs上的时候是可以进行较灵活的配置(字段顺序调整、字段数目不一致)即此处是一个非常灵活的连接点,具体使用方式咨询(数据平台)或者查看预发节点209050
     天网节点父子依赖关系显示不全:是由于在子节点上线前父节点不存在造成的,这个可以由数据平台那边的童鞋的发布信息截图中获得,parentNode为空的话即说明缺少依赖关系,如果已经上线的话就通过重新编辑下子节点,保存然后发布最新的依赖关系即可
     预发运行ok,但是天网始终跑不通且无明确错误信息时需要查当前job_id的详细错误即可(这时候比较大的可能是dataX程序的location位置不正确)
     Hivesql问题
     在开发机运行时容易出现error in load data to ‘hdfs地址’,通用的解决办法是到预发上删除掉这个表,同时也删除本机上的表,再重建一下
     剩下的就是hivesql对标准Sql的支持问题了,这个主要是经验,没有通用教程;hivesql排序、查询、插入都和标准sql略有不同的
 

posted on 2011-11-03 13:52 doctor 阅读(595) 评论(0)  编辑  收藏 所属分类: 工作笔记


只有注册用户登录后才能发表评论。


网站导航: