Change Dir

先知cd——热爱生活是一切艺术的开始

统计

留言簿(18)

积分与排名

“牛”们的博客

各个公司技术

我的链接

淘宝技术

阅读排行榜

评论排行榜

Hive配置项的含义详解(4)

hive.exec.drop.ignorenoneexistent:在drop表或者视图时如果发现表或视图不存在,是否报错,默认是true;

hive.exec.show.job.failure.debug.info:在作业失败时是否提供一个任务debug信息,默认true;

hive.auto.progress.timeout:运行自动progressor的时间间隔,默认是0等价于forever;

hive.table.parameters.default:新建表的属性字段默认值,默认是empty空;

hive.variable.substitute:是否支持变量替换,如果开启的话,支持语法如${var} ${system:var}和${env.var},默认是true;

hive.error.on.empty.partition:在遇到结果为空的动态分区时是否报错,默认是false;

hive.exim.uri.scheme.whitelist:在导入导出数据时提供的一个白名单列表,列表项之间由逗号分隔,默认hdfs,pfile;

hive.limit.row.max.size:字面意思理解就是在使用limit做数据的子集查询时保证的最小行数据量,默认是100000;

hive.limit.optimize.limit.file:使用简单limit查询数据子集时,可抽样的最大文件数,默认是10;

hive.limit.optimize.enable:使用简单limit抽样数据时是否开启优化选项,默认是false,关于limit的优化问题,在hive programming书中解释的是这个feature有drawback,对于抽样的不确定性给出了风险提示;

hive.limit.optimize.fetch.max:使用简单limit抽样数据允许的最大行数,默认50000,查询query受限,insert不受影响;

hive.rework.mapredwork:是否重做mapreduce,默认是false;

hive.sample.seednumber:用来区分抽样的数字,默认是0;

hive.io.exception.handlers:io异常处理handler类列表,默认是空,当record reader发生io异常时,由这些handler来处理异常;

hive.autogen.columnalias.prefix.label:当在执行中自动产生列别名的前缀,当类似count这样的聚合函数起作用时,如果不明确指出count(a) as xxx的话,那么默认会从列的位置的数字开始算起添加,比如第一个count的结果会冠以列名_c0,接下来依次类推,默认值是_c,数据开发过程中应该很多人都看到过这个别名;

hive.autogen.columnalias.prefix.includefuncname:在自动生成列别名时是否带函数的名字,默认是false;

hive.exec.perf.logger:负责记录客户端性能指标的日志类名,必须是org.apache.hadoop.hive.ql.log.PerfLogger的子类,默认是org.apache.hadoop.hive.ql.log.PerfLogger;

hive.start.cleanup.scratchdir:当启动hive服务时是否清空hive的scratch目录,默认是false;

hive.output.file.extension:输出文件扩展名,默认是空;

hive.insert.into.multilevel.dirs:是否插入到多级目录,默认是false;

hive.files.umask.value:hive创建文件夹时的dfs.umask值,默认是0002;

posted on 2013-09-23 18:12 changedi 阅读(4013) 评论(2)  编辑  收藏 所属分类: 数据

评论

# re: Hive配置项的含义详解(4) 2013-09-24 10:46 零柒锁业

接下来依次类推,默认值是_c,数据开发过程中应该很多人都看到过这个别名;
  回复  更多评论   

# re: Hive配置项的含义详解(4) 2013-09-26 09:20 零柒锁业

创建1台用于跑DNS服务的虚拟机,假设名叫dnsserver  回复  更多评论   


只有注册用户登录后才能发表评论。


网站导航: