怎么把impala表导入kudu

可以通过映射表方式实现。下面说得略细，需要耐心看并做参考：

首先要知道目前（2017.05.04）kudu没有timestamp与decimal类型，需要用其它类型代替，比如timestamp可以用长bigint代替，decimal可以用double型代替。

如果想在kudu中创建一个新表，并将数据导入到这个新表中，那么比较简单的方式是通过impala建立kudo的内部映射表，因为建立内部映射表过程会同时建立一个kudu新表并在impala中建立一个内部映射表，建立方法如下:

首先保证kudu正确安装并且master与tserver服务都正常运行，然后在impala shell中输入

create table table_name (

column1 type primary key ...,

column2 type,

...

)

partition by hash(column1) partitions n stored as kudu

这样就在kudu中建立好表了，下一步就可以通过impala的映射表向这个kudu表中导入数据了（table_name要用自己取的表名代替，columnN也要用自己取的列名代替。）（如果建立列集主键，方式为primary key(column1, column2, column3)，具体如何建立这里就不细说了）（顺便说一下：这样建立的kudu中的表名为：impala::database_name.table_name）。

如果kudu中已经存在一个现有表，您想将impala表中数据导入到这个现有kudu表中，那么需要在impala中建立外部映射表，方法是：

create external table table_name

stored as kudu

tblproperties('kudu.table_name' = 'kudu中的table_name')

这样就建立完成了。

在impala shell 中执行：

insert into table_name select * from 你的impala表

就可以将你的表数据导入到新表了。

最后提及：kudu表必须有主键或者列集主键，可能你的表没有主键或列集主键，而你的表第一列或对应列集的前几列又有重复数据，这种情况下你的表导入后会有数据丢失，比较简单的解决方法是：

在建立kudu表时增加一个专门的主键，放在第一列。然后：

insert into table_name select row_number() over(order by 你的impala表中任意一列名), * from 你的impala表

Kudu是一个列式存储的用于快速分析的NoSQL数据库，提供了类似SQL的查询语句，与RDBMS十分类似，有**PRIMARY KEY **，基于主键查询而不是HBase的RowKey。kudu拥有毫秒级延迟与其他大数据数据库不同，Kudu不仅仅是一个文件格式。行访问达到毫秒级延迟，支持C++ JAVA, API PyThon API 拥有简单好用的API。kudu能与Hadoop生态系统无缝对接你可以使用Java Client实时导入数据，同时也支持Spark(运算) impala(分析工具，比Hive快) MapReduce HDFS HBase 很容易从HDFS中获取数据，占用内存小于1G。分布式和容错机制Kudu通过把tables切分成tablets,每个表都可以配置切分的哈希，分区和组合。Kudu使用了Raft来复制给定的 *** 作，保证了数据同时存储在两个节点上，因此不村子单点故障。Kudu是为我们下一代设计的好软件，大家可以了解一下！

● Master：负责集群table、tablet元数据管理，对table的crud，tablet分布，ts宕机后tablet转移。提供元数据信息的api接口；

● TabletServer：提供用户IO请求相应，负责本地磁盘系统的读写

● table ： 表

● tablet ： 分区表，分布在各个tabletserver上

● CatalogTable ： kudu的元数据表，tables、tablets的信息存储于catalog table中，可以通过api的方式访问

● 近实时可用的流式数据输入

● 时序应用，以提供更广泛的访问

● 预测建模（更新 *** 作，以改变文件中一个或多个数据集）

● impala可以多个数据源，很方便处理历史遗留问题（数据层面）

比较合理的设计是什么样？

● 数据分布合理，提升读写的性能

● tablet间数据均匀，负载可以保持稳定

● 数据读取，尽可能涉及到较少的设计 *** 作

以上取决于partition、primarykey的设计，最重要的就是对数据特征的了解。所以，在使用kudu的时候，对我们来说，schema设计是最重要的。

● kudu提供了组件索引

● 不支持范围update、delete

● 没有mysql那样的自动增长feature，需要用户自己指定

Hash and Range Partitioning Example

Hash and Hash Partitioning Example

---