大数据心得：impala中的刷新元数据和刷新表

大数据心得：impala中的刷新元数据和刷新表

今天总结下impala中的刷新元数据和刷新表

要是你没有大数据开发经验，可能不知道impala是什么，不急，我们先来普及下。

impala是Cloudera公司主导开发的新型查询系统，它提供SQL语义，能查询存储在Hadoop的HDFS和Hbase中的PB级大数据。

虽然Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，impala的最大特点也是最大卖点就是它的快速。

换句话说，impala是性能最高的SQL引擎，它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。

场景案例

假如我们在hive中有一些数据希望通过impala查询，这时我们就需要把hive的数据同步到impala，每当hive表的数据或表结构发生变更，就需要对impala中的刷新元数据和刷新表。

使用方式

invalidate metadata

该命令是用于刷新全库或者某张表的元数据，包括表的元数据和表内的文件数据，执行这条命令时它会首先清除表的缓存，然后从metastore中重新加载全部数据并缓存，该 *** 作代价比较繁重，主要用于在hive中修改了表的元数据，

需要同步到impala，例如create table(创建表)、drop table(删除表)、alter table add columns(修改表结构)等。

如果只是涉及到表的数据改变，则不需要使用invalidate metadata 。而是使用refresh命令就可以了。

invalidate metadata   语法：

invalidate metadata                    //重新加载所有库中的所有表
invalidate metadata [table_name]            //重新加载指定的某个库中某张表

例如：

impala-shell -i node_name -q 'invalidate table_name'

refresh 命令是用于刷新某个表或者某个分区的数据信息，它会重用之前的表元数据，仅仅执行文件刷新 *** 作，它能够检测到表中分区的增加和减少，

主要用于表中元数据未修改，数据的修改，例如insert into(插入数据)、load data(加载数据)、alter table add partition(新增分区)、alter table drop partition(删除分区)等，如果直接修改表的hdfs文件（增加、删除或者重命名）也需要指定refresh刷新数据信息。

refresh 语法：

refresh [table_name]                             //刷新某个库中某张表
refresh [table_name] partition [partition]       //刷新某个库中某张表的某个分区

例如：

impala-shell -i node_name -q 'refresh table_name'

总结:

如果在使用过程中涉及到了元数据或者数据的更新，则需要使用这两者其中一个 *** 作来完成，

从上面分析，我们知道invalidate metadata *** 作比refresh要重量级。

如果涉及到表的schema改变，使用invalidate metadata [table_name]

如果只是涉及到表的数据改变，使用refresh [table_name]

如果只是涉及到表的某一个分区数据改变，使用refresh [table_name] partition [partition]

。

需要注意的是，避免只是使用invalidate metadata，后面没有条件限制。

如果没有条件限制，还不如重启catalog。

好了，今天关于在impala中的刷新元数据就先简单写到这里。

由于笔者知识及水平有限,文中错漏之处在所难免,如有不足之处，欢迎交流。

-END-

微信公众号：爱开发