Change Dir

先知cd——热爱生活是一切艺术的开始

统计

留言簿(18)

积分与排名

“牛”们的博客

各个公司技术

我的链接

淘宝技术

阅读排行榜

评论排行榜

Hive配置项的含义详解(6)

hive的index索引相关、统计相关和认证授权相关的配置。

hive.index.compact.file.ignore.hdfs:在索引文件中存储的hdfs地址将在运行时被忽略,如果开启的话;如果数据被迁移,那么索引文件依然可用,默认是false;

hive.optimize.index.filter.compact.minsize:压缩索引自动应用的最小输入大小,默认是5368709120;

hive.optimize.index.filter.compact.maxsize:同上,相反含义,如果是负值代表正无穷,默认是-1;

hive.index.compact.query.max.size:一个使用压缩索引做的查询能取到的最大数据量,默认是10737418240 个byte;负值代表无穷大;

hive.index.compact.query.max.entries:使用压缩索引查询时能读到的最大索引项数,默认是10000000;负值代表无穷大;

hive.index.compact.binary.search:在索引表中是否开启二分搜索进行索引项查询,默认是true;

hive.exec.concatenate.check.index:如果设置为true,那么在做ALTER TABLE tbl_name CONCATENATE on a table/partition(有索引) 操作时,抛出错误;可以帮助用户避免index的删除和重建;

hive.stats.dbclass:存储hive临时统计信息的数据库,默认是jdbc:derby;

hive.stats.autogather:在insert overwrite命令时自动收集统计信息,默认开启true;

hive.stats.jdbcdriver:数据库临时存储hive统计信息的jdbc驱动;

hive.stats.dbconnectionstring:临时统计信息数据库连接串,默认jdbc:derby:databaseName=TempStatsStore;create=true;

hive.stats.defaults.publisher:如果dbclass不是jdbc或者hbase,那么使用这个作为默认发布,必须实现StatsPublisher接口,默认是空;

hive.stats.defaults.aggregator:如果dbclass不是jdbc或者hbase,那么使用该类做聚集,要求实现StatsAggregator接口,默认是空;

hive.stats.jdbc.timeout:jdbc连接超时配置,默认30秒;

hive.stats.retries.max:当统计发布合聚集在更新数据库时出现异常时最大的重试次数,默认是0,不重试;

hive.stats.retries.wait:重试次数之间的等待窗口,默认是3000毫秒;

hive.client.stats.publishers:做count的job的统计发布类列表,由逗号隔开,默认是空;必须实现org.apache.hadoop.hive.ql.stats.ClientStatsPublisher接口;

hive.client.stats.counters:没什么用~~~

hive.security.authorization.enabled:hive客户端是否认证,默认是false;

hive.security.authorization.manager:hive客户端认证的管理类,默认是org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider;用户定义的要实现org.apache.hadoop.hive.ql.security.authorization.HiveAuthorizationProvider;

hive.security.authenticator.manager:hive客户端授权的管理类,默认是org.apache.hadoop.hive.ql.security.HadoopDefaultAuthenticator;用户定义的需要实现org.apache.hadoop.hive.ql.security.HiveAuthenticatorProvider;

hive.security.authorization.createtable.user.grants:当表创建时自动授权给用户,默认是空;

hive.security.authorization.createtable.group.grants:同上,自动授权给组,默认是空;

hive.security.authorization.createtable.role.grants:同上,自动授权给角色,默认是空;

hive.security.authorization.createtable.owner.grants:同上,自动授权给owner,默认是空;

hive.security.metastore.authorization.manager:metastore的认证管理类,默认是org.apache.hadoop.hive.ql.security.authorization.DefaultHiveMetastoreAuthorizationProvider;用户定义的必须实现org.apache.hadoop.hive.ql.security.authorization.HiveMetastoreAuthorizationProvider接口;接口参数要包含org.apache.hadoop.hive.ql.security.authorization.StorageBasedAuthorizationProvider接口;使用HDFS的权限控制认证而不是hive的基于grant的方式;

hive.security.metastore.authenticator.manager:metastore端的授权管理类,默认是org.apache.hadoop.hive.ql.security.HadoopDefaultMetastoreAuthenticator,自定义的必须实现org.apache.hadoop.hive.ql.security.HiveAuthenticatorProvider接口;

hive.metastore.pre.event.listeners:在metastore做数据库任何操作前执行的事件监听类列表;

posted on 2013-10-26 19:35 changedi 阅读(6093) 评论(1)  编辑  收藏 所属分类: 数据

评论

# re: Hive配置项的含义详解(6) 2013-10-27 13:22 鹏达锁业

不是很明白  回复  更多评论   


只有注册用户登录后才能发表评论。


网站导航: