Kudu基本介绍

● Master：负责集群table、tablet元数据管理，对table的crud，tablet分布，ts宕机后tablet转移。提供元数据信息的api接口；

● TabletServer：提供用户IO请求相应，负责本地磁盘系统的读写

● table ： 表

● tablet ： 分区表，分布在各个tabletserver上

● CatalogTable ： kudu的元数据表，tables、tablets的信息存储于catalog table中，可以通过api的方式访问

● 近实时可用的流式数据输入

● 时序应用，以提供更广泛的访问

● 预测建模（更新 *** 作，以改变文件中一个或多个数据集）

● impala可以多个数据源，很方便处理历史遗留问题（数据层面）

比较合理的设计是什么样？

● 数据分布合理，提升读写的性能

● tablet间数据均匀，负载可以保持稳定

● 数据读取，尽可能涉及到较少的设计 *** 作

以上取决于partition、primarykey的设计，最重要的就是对数据特征的了解。所以，在使用kudu的时候，对我们来说，schema设计是最重要的。

● kudu提供了组件索引

● 不支持范围update、delete

● 没有mysql那样的自动增长feature，需要用户自己指定

Hash and Range Partitioning Example

Hash and Hash Partitioning Example

你好，python有一个kudu的包，你需要安装相关的东西如下

yum install kudu-client-devel kudu-client0

yum install gcc

yum install gcc-c++

pip2.7 install Cython

pip2.7 install kudu-python

然后下面是例子代码：

import kudu

from kudu.client import Partitioning

from datetime import datetime

# Connect to Kudu master server

client = kudu.connect(host='kudu.master', port=7051)

# Define a schema for a new table

builder = kudu.schema_builder()

builder.add_column('key').type(kudu.int64).nullable(False).primary_key()

builder.add_column('ts_val', type_=kudu.unixtime_micros, nullable=False, compression='lz4')

schema = builder.build()

# Define partitioning schema

partitioning = Partitioning().add_hash_partitions(column_names=['key'], num_buckets=3)

# Create new table

client.create_table('python-example', schema, partitioning)

# Open a table

table = client.table('python-example')

# Create a new session so that we can apply write operations

session = client.new_session()

# Insert a row

op = table.new_insert({'key': 1, 'ts_val': datetime.utcnow()})

session.apply(op)

---