开源高性能KV数据库

功能支持

使用说明

快速上手

重打开或创建一个数据库

注册当TTL超时删除事件通知

插入一条记录，(当重复Put同key时 *** 作等同于更新内容 *** 作)

设置一条已存在记录并8秒后超时自动删除

删除一条记录

性能

插入队列压力测试

300,0005865ns/op516B/op9allocs/op

取出队列压力测试

200,00014379ns/op1119B/op20allocs/op

KET VALUE 集合 *** 作

import

重打开或创建一个数据库

注册当TTL超时删除事件通知

插入一条记录，(当重复Put同key时 *** 作等同于更新内容 *** 作)

插入一条记录并设置3秒后超时自动删除

设置一条已存在记录并8秒后超时自动删除

删除一条记录

*** 量 *** 作（事务） Op为put时 *** 作插入或更新，Op为del时 *** 作删除

指定key取一条记录

返回全库的Key数据

返回所有K,V数据

按key开始位返回后续所有数据

以时间范围查询数据示例

匹配正则表达式为开头的数据

struct对象的相关 *** 作

指定key取一条记录

返回所有记录

按key开始过滤返回

按key范围取数据

插入一条记录struct对象以json保存

指定key取一条记录

返回所有记录

MIX 设计是基于原KV库只有单维度存储方式，从而缺失了二维度的存储方式，所以MIX式库被设计出来

写入 raw

取出一个

查询指定表的字段是否存在

以raw读出表数据

写入及取出object

删除指定表的指定字段

删除整个表所有数据

##创建支持分组的kvdb

写入数据到分组

删除分组

消息队列 (FIFO)[先进先出]原则

import

重打开或创建一个队列数据库

推一个字符串到队列中

推一个对象到队列中

推一个bytes切片到队列中

推一批bytes切片到队列中

取出一条记录，取出成功后记录会被删除

提取一条记录，但不删除原记录

根据偏移量提取记录

更新一个队列原记录bytes类型

更新一个队列原记录字符串类型

更新一个队列原记录对象类型

import

重打开或创建一个分组队列数据库

以对象存储到队列中

以切片存储到队列中

删除指定分组

性能指标

开源地址：https://github.com/jacoblai/yiyidb

wiki地址：https://github.com/jacoblai/yiyidb/wiki

下文例子中演示了如何插入、获取、删除一条记录

LevelDB 简介

一、LevelDB入门

LevelDB是Google开源的持久化KV单机数据库，具有很高的随机写，顺序读/写性能，但是随机读的性能很一般，也就是说，LevelDB很适合应用在查询较少，而写很多的场景。LevelDB应用了LSM (Log Structured Merge) 策略，lsm_tree对索引变更进行延迟及批量处理，并通过一种类似于归并排序的方式高效地将更新迁移到磁盘，降低索引插入开销，关于LSM，本文在后面也会简单提及。

根据LevelDB官方网站的描述，LevelDB的特点和限制如下：

特点：

1、key和value都是任意长度的字节数组；

2、entry（即一条K-V记录）默认是按照key的字典顺序存储的，当然开发者也可以重载这个排序函数；

3、提供的基本 *** 作接口：Put()、Delete()、Get()、Batch()；

4、支持批量 *** 作以原子 *** 作进行；

5、可以创建数据全景的snapshot(快照)，并允许在快照中查找数据；

6、可以通过前向（或后向）迭代器遍历数据（迭代器会隐含的创建一个snapshot）；

7、自动使用Snappy压缩数据；

8、可移植性；

限制：

1、非关系型数据模型（NoSQL），不支持sql语句，也不支持索引；

2、一次只允许一个进程访问一个特定的数据库；

3、没有内置的C/S架构，但开发者可以使用LevelDB库自己封装一个server

LevelDB本身只是一个lib库，在源码目录make编译即可，然后在我们的应用程序里面可以直接include leveldb/include/db.h头文件，该头文件有几个基本的数据库 *** 作接口，下面是一个测试例子：

#include <iostream>

#include <string>

#include <assert.h>

#include "leveldb/db.h"

using namespace std

int main(void)

{

leveldb::DB *db

leveldb::Options options

options.create_if_missing = true

// open

leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", &db)

assert(status.ok())

string key = "name"

string value = "chenqi"

// write

status = db->Put(leveldb::WriteOptions(), key, value)

assert(status.ok())

// read

status = db->Get(leveldb::ReadOptions(), key, &value)

assert(status.ok())

cout<<value<<endl

// delete

status = db->Delete(leveldb::WriteOptions(), key)

assert(status.ok())

status = db->Get(leveldb::ReadOptions(),key, &value)

if(!status.ok()) {

cerr<<key<<""<<status.ToString()<<endl

} else {

cout<<key<<"==="<<value<<endl

}

// close

delete db

return 0

}

上面的例子演示了如何插入、获取、删除一条记录，编译代码：

g++ -o test test.cpp libleveldb.a -lpthread -Iinclude

执行./test后，会在/tmp下面生成一个目录testdb，里面包含若干文件：

------------------------------------------------------------

LevelDB是google开源的一个key-value存储引擎库，类似于开源的Lucene索引库一样。其他的软件开发者可以利用该库做二次开发，来满足定制需求。LevelDB采用日志式的写方式来提高写性能，但是牺牲了部分读性能。为了弥补牺牲了的读性能，一些人提议使用SSD作为存储介质。

对于本地化的Key-value存储引擎来说，简单的使用一般都分成三个基本的步骤：（1）打开一个数据库实例；（2）对这个数据库实例进行插入，修改和查询 *** 作；（3)最后在使用完成之后，关闭该数据库。下面将详细讨论该三个步骤：

一、打开一个数据库实例

一个leveldb数据库有一个对应一个文件系统目录的名字。该数据库的所有内容都存储在这个目录下。下面的代码描述了怎样打开一个数据库或者建立一个新的数据库。

#include <assert.h>

#include "leveldb/db.h"

leveldb::DB* db

leveldb::Options options

options.create_if_missing = true

leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", &db)

assert(status.ok())

如果打开已存在数据库的时候，需要抛出错误。将以下代码插在leveldb::DB::Open方法前面：

options.error_if_exists = true

二、对数据库的简单读、写 *** 作

LevelDB提供了Put，Delete和Get三个方法对数据库进行修改和查询。例如，下面的代码片段描述了怎样将key1对应的value值，移到key2对应的值。

std::string value

leveldb::Status s = db->Get(leveldb::ReadOptions(), key1, &value)

if(s.ok()) s = db->Put(leveldb::WriteOptions(), key2, value)

if(s.ok()) s = db->Delete(leveldb::WriteOptions(), key1)

三、关闭数据库

在对数据库进行了一系列的 *** 作之后，需要对数据库进行关闭。该 *** 作比较简单：

... open the db as described above...

... do something with db ...

delete db

上面对levelDB的简单使用做了基本的介绍，接下来就是如何自己写一个完成并且能运行的例子。

1、下载源码 git clone https://code.google.com/p/leveldb/

2、编译源码 cd leveldb &&make all

3、编写test.cpp

#include <assert.h>

#include <string.h>

#include <leveldb/db.h>

#include <iostream>

int main(){

leveldb::DB* db

leveldb::Options options

options.create_if_missing = true

leveldb::Status status = leveldb::DB::Open(options,"/tmp/testdb", &db)

assert(status.ok())

//write key1,value1

std::string key="key"

std::string value = "value"

status = db->Put(leveldb::WriteOptions(), key,value)

assert(status.ok())

status = db->Get(leveldb::ReadOptions(), key, &value)

assert(status.ok())

std::cout<<value<<std::endl

std::string key2 = "key2"

//move the value under key to key2

status = db->Put(leveldb::WriteOptions(),key2,value)

assert(status.ok())

status = db->Delete(leveldb::WriteOptions(), key)

assert(status.ok())

status = db->Get(leveldb::ReadOptions(),key2, &value)

assert(status.ok())

std::cout<<key2<<"==="<<value<<std::endl

status = db->Get(leveldb::ReadOptions(),key, &value)

if(!status.ok()) std::cerr<<key<<""<<status.ToString()<<std::endl

else std::cout<<key<<"==="<<value<<std::endl

delete db

return 0

}

4、编译链接 g++ -o test test.cpp ../leveldb/libleveldb.a -lpthread -I../leveldb/include

注意libleveldb.a 和leveldb include的路径。

5、运行结果./test：

value

key2===value

keyNotFound:

oss作为kv数据库可以实现无限扩展。

OSS对象存储采用KV的技术架构，可以实现无限扩展，是公认的数据湖存储底座。用户可以通过离线ETL和在线增量ETL将在线数据和实时增量数据，同步到OSS中，然后对数据做深度的计算和分析。

kv数据库：LevelDB是google公司开发出来的一款超高性能kv存储引擎，只是一个C/C++编程语言的库，不包含网络服务封装。LevelDB提供了Put，Delete和Get三个方法对数据库进行修改和查询，比关系型数据库简单。

---