Kudu基础学习文档

Kudu基础学习文档

文章目录

• • Kudu基础学习文档
  • 一、基础架构
  • • Kudu Master作用：
    • Kudu Table的分区策略：
  • 二、API *** 作
  • • 2、创建表
    • 3、删除表
    • 4、插入数据
    • 5、查询数据
    • 6、删除指定行

Kudu列式存储管理器

一、基础架构

管理节点被称作Kudu Master，数据节点被称作Tablet Server（可对比理解HBase中的RegionServer角色）。

一个表的数据，被分割成1个或多个Tablet，Tablet被部署在Tablet Server来提供数据读写服务

Kudu Master作用：

1、用来存放一些表的Schema信息，且负责处理建表等请求。

2、跟踪管理集群中的所有的Tablet Server，并且在Tablet Server异常之后协调数据的重部署。

3、存放Tablet到Tablet Server的部署信息

Kudu Table的分区策略：

一种是基于Hash Partition方式，在这种分区方式下用户数据可较均匀的分布在各个Tablet中，但原来的数据排序特点已被打乱。

另外一种是基于Range Partition方式，数据将按照用户数据指定的有序的Primary Key
Columns的组合String的顺序进行分区。
注意：kudu表的update *** 作不能更改主键的值，其他与标准SQL语法相同。

二、API *** 作

1、添加依赖

<dependency>
  <groupId>org.apache.kudu</groupId>
  <artifactId>kudu-client</artifactId>
  <version>1.4.0</version>  
</dependency>

2、创建表

import org.apache.kudu.ColumnSchema;
import org.apache.kudu.Schema;
import org.apache.kudu.Type;
import org.apache.kudu.client.CreateTableOptions;
import org.apache.kudu.client.KuduClient;
import org.apache.kudu.client.KuduException;

import java.util.LinkedList;
import java.util.List;

public class CreateTable {

    private static ColumnSchema newColumn(String name, Type type, boolean iskey) {
        ColumnSchema.ColumnSchemaBuilder column = new ColumnSchema.ColumnSchemaBuilder(name, type);
        column.key(iskey);
        return column.build();
    }

    public static void main(String[] args) throws KuduException {
        // master地址
        String masteraddr = "11111111,22222222,33333333";
        // 创建kudu的数据库链接
        KuduClient client = new KuduClient.KuduClientBuilder(masteraddr).defaultSocketReadTimeoutMs(6000).build();

        // 设置表的schema
        List<ColumnSchema> columns = new LinkedList<ColumnSchema>();
        /**
         与 RDBMS 不同，Kudu 不提供自动递增列功能，因此应用程序必须始终在插入期间提供完整的主键
         */
        columns.add(newColumn("id", Type.INT32, true));
        columns.add(newColumn("name", Type.STRING, false));
        Schema schema = new Schema(columns);
        //创建表时提供的所有选项
        CreateTableOptions options = new CreateTableOptions();
        // 设置表的replica备份和分区规则
        List<String> parcols = new LinkedList<String>();
        parcols.add("id");

        //设置表的备份数
        options.setNumReplicas(1);
        
        //设置hash分区和数量
        options.addHashPartitions(parcols, 3);
        try {
            client.createTable("test", schema, options);
        } catch (KuduException e) {
            e.printStackTrace();
        } finally {

            client.close();
        }
    }
}

3、删除表

import org.apache.kudu.client.KuduClient;
import org.apache.kudu.client.KuduException;

public class DropTable {
    public static void main(String[] args) throws KuduException {
        String masterAddress = "11111111,22222222,33333333";
        KuduClient client = new KuduClient.KuduClientBuilder(masterAddress).defaultSocketReadTimeoutMs(6000).build();
        try {
            client.deleteTable("test");
        } catch (KuduException e) {
            e.printStackTrace();
        } finally {
            client.close();
        }
    }
}

4、插入数据

import org.apache.kudu.client.*;

public class InsertRow {
    public static void main(String[] args) throws KuduException {
        String masterAddr = "11111111,22222222,33333333";
        KuduClient client = new KuduClient.KuduClientBuilder(masterAddr).defaultSocketReadTimeoutMs(6000).build();
        try {
            KuduTable table = client.openTable("test");
            KuduSession kuduSession = client.newSession();
            kuduSession.setFlushMode(SessionConfiguration.FlushMode.MANUAL_FLUSH);
            kuduSession.setMutationBufferSpace(3000);
            for (int i = 1; i < 10; i++) {
                Insert insert = table.newInsert();
                insert.getRow().addInt("id", i);
                insert.getRow().addString("name", i + "号");
                kuduSession.flush();
                kuduSession.apply(insert);
            }
            kuduSession.close();
        } catch (KuduException e) {
            e.printStackTrace();
        } finally {

            client.close();
        }
    }
}

5、查询数据

import org.apache.kudu.client.*;

public class ScanTable {
    public static void main(String[] args) throws KuduException {
        // master地址
        final String masteraddr = "11111111,22222222,33333333";
        // 创建kudu的数据库链接
        KuduClient client = new KuduClient.KuduClientBuilder(masteraddr).defaultSocketReadTimeoutMs(6000).build();
        //打开kudu表
        KuduTable student = client.openTable("test");
        //创建scanner扫描
        KuduScanner scanner = client.newScannerBuilder(student).build();
        //遍历数据
        while (scanner.hasMoreRows()){
            for (RowResult rowResult : scanner.nextRows()) {
                System.out.println(rowResult.getInt("id") + "\t" + rowResult.getString("name")) ;
            }
        }
    }
}

6、删除指定行

public class DeleteRow {
    public static void main(String[] args) throws KuduException {
        // master地址
        String masteraddr = "11111111,22222222,33333333";
        // 创建kudu的数据库链接
        KuduClient client = new KuduClient.KuduClientBuilder(masteraddr).build();
        // 打开表
        KuduTable table = client.openTable("test");
        // 创建写session,kudu必须通过session写入
        KuduSession session = client.newSession();
        final Delete delete = table.newDelete();
        //TODO 注意：行删除和更新 *** 作必须指定要更改的行的完整主键;
        delete.getRow().addInt("id" , 5);
        session.flush();
        session.apply(delete);
        session.close();
        client.close();
    }
}