hive创建表怎样加上对字段的描述信息?

hive创建表怎样加上对字段的描述信息?,第1张

create table table_name (colume_1 type comment '第一列',....)

其中comment就是添加字段描述

例如

create table test (id bigint comment '序号', name string comment '姓名')

         我们在写HQL有没有遇到过数据量特别大的时候比如,使用HQL 处理起来非常复杂,非常慢,这时候我们可以使用Hive给加个索引来提高我们的速度。多了就不说了,我们直接开始。

         Hive 中的视图和 RDBMS 中视图的概念一致,都是一组数据的逻辑表示,本质上就是一条 SELECT 语句的结果集。视图是纯粹的逻辑对象,没有关联的存储 (Hive 3.0.0 引入的物化视图除外),当查询引用 视图 时,Hive 可以将视图的定义与查询结合起来,例如将查询中的 过滤器推送到视图 中。

创建视图注意事项

准备数据

创建一个测试视图

语法:

示例

通过 desc formatted default.user_view详情信息

         Hive 在 0.7.0 引入了索引的功能,索引的 设计目标是提高表某些列的查询速度 。如果没有索引,带有谓词的查询(如'WHERE table1.column = 10')会加载 整个表或分区并处理所有行 。但是如果 column 存在索引,则只 需要加载和处理文件的一部分 。

我们在使用之前上面创建好的 user 表对 id 字段创建名字为 user_index ,索引存储在 user_index_table 索引表中

此时索引表中是没有数据的,需要重建索引才会有索引的数据。

         Hive 会启动 MapReduce 作业去建立索引,建立好后查看索引表数据如下。三个表字段分别代表: 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。

         默认情况下,虽然建立了索引,但是 Hive 在查询时候是不会 自动去使用索引 的,需要 开启相关配置 。开启配置后,涉及到索引列的查询就会使用索引功能去 优化查询 。

删除索引会删除对应的索引表。

如果存在索引的表被删除了,其对应的索引和索引表都会被删除。如果被索引表的某个分区被删除了,那么分区对应的分区索引也会被删除。

          在 指定列 上建立索引,会产生一张索引表( Hive的一张物理表 ),里面字段包括: 索引列的值 、 该值对应的 HDFS 文件路径 、 该值在文件中的偏移量 。         

       在执行索引字段查询时候,首先额外生成一个 MapReduce job ,根据对索引列的过滤条件,从索引表中过滤出索引列的值对应的 hdfs文件路径及偏移量 , 输出到hdfs上的一个文件中,然后根据这些文件中的hdfs路径和偏移量 ,筛选原始 input文件 ,生成 新的split ,作为整个job的split,这样就达到不用全表扫描的目的。

         今天给大家分享了Hive中常用的视图和说索引,索引虽然能帮助我们提高查询效率和分组效率但它也有缺点的,创建好索引是无法自动 rebuild 也就意味着修改数据和添加数据都需要手动执行 rebuild 。如果频繁修改的数据就不建议使用 索引 了。信自己,努力和汗水总会能得到回报的。我是大数据老哥,我们下期见~~~


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/bake/11786639.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-18
下一篇 2023-05-18

发表评论

登录后才能评论

评论列表(0条)

保存