一般什么产品或者系统或网站会使用KV数据库型数据库呢

一般什么产品或者系统或网站会使用KV数据库型数据库呢,第1张

KV型存储系统是最常用的NoSQL存储系统之一。Memcached和Redis是其最具代表的两个产品。本文将详细介绍Memcached和Redis的常用场景及如何构建一个高可用和自动d性伸缩的KV存储系统。

Cache加DB是最常见的存储层架构。时间局部性原理指出正在被访问的数据很可能会在近期再次被访问。根据这一原理应用程序将最近访问过的数据保存在Cache中,每次读取请求首先访问Cache,若Cache中保存有该数据则直接获取数据返回给前端。若Cache中该数据不存在则从DB获取数据并将该数据保存到Cache;若数据被更新或删除则将Cache中对应数据置为失效。使用Cache能够很好地缓解DB的读请求压力。KV存储系统既可以应用在Cache层也可以应用在DB层。

Memcached使用内存作为存储介质,因为内存数据的易失性Memcached主要应用在Cache层。Memcached常见的应用场景是存储一些读取频繁但更新较少的数据,如静态网页、系统配置及规则数据、活跃用户的基本数据和个性化定制数据、准实时统计信息等。并不是所有场景都适合Memcached加DB的架构,在某些场景下这一架构存在一些局限。例如这一架构不能提升写的性能,写数据时还是数据直接存储到DB,同时需要将Cache中数据置为失效,所以对以写请求为主的应用使用Cache提升性能的效果并不是很明显。如果应用的热点数据或者活跃用户分布较为分散也会降低Cache的命中率。如果遇到机器宕机,内存数据会丢失,那么机器重启后需要一段时间重新建立热点数据,建立热点数据的过程中会对DB会造成较大的压力,严重时会导致系统雪崩。

相比Memcached,Redis做了一些优化。首先,Redis对数据做了持久化,支持AOF和RDB两种持久化方式,机器重启后能通过持久化数据自动重建内存。其次,Redis支持主从复制,主机会自动将数据同步到从机,可以进行读写分离,主机负责写 *** 作,从机负责读 *** 作。那样既增加了系统的读写性能又提升了数据的可靠性。再次,Redis除了支持string类型的value外还支持string、hash、set、sorted set、list等类型的数据结构。因此,Redis既可以应用在Cache层,也可以替换或者部分替换DB存储持久化数据。使用Redis作为Cache时机器宕机后热点数据不会丢失,无须像Memcached一样重建热点数据。相比Cache加DB的架构方式,使用Redis存储持久化数据不仅能够提升读性能,还能提升写性能,而且不存在热点数据分布是否集中而影响命中率的问题。Redis丰富的数据结构也使其拥有更加丰富的应用场景。Redis的命令都是原子性的,可以简单地利用INCR和DECR实现计数功能。使用list可以实现获取最近N个数的 *** 作。sort set支持对数据排序,可以应用在排行榜中。set集合可以应用到数据排重。Redis还支持过期时间设置,可以应用到需要设定精确过期时间的应用。只要可以使用Redis支持的数据结构表示的场景,就可以使用Redis进行存储。但Redis不是万能的,它不支持关系型数据库复杂的SQL *** 作。某些场景下,可结合Redis和关系型DB,将简单查询相关的数据保存在Redis中,复杂SQL *** 作由关系型DB完成。

虽然Redis集很多优点于一身,但在实际运营中也存在一些问题。首先,Redis不具备自动容错和恢复功能,主机从机的宕机都会导致前端部分读写请求失败,需要等待机器重启或者手动切换前端的IP才能恢复。如果主机宕机,宕机前有部分数据未能及时同步到从机,切换IP后还会引入数据不一致的问题,降低了系统的可用性。其次,Redis的主从复制采用全量复制,复制过程中主机会fork出一个子进程对内存做一份快照,并将子进程的内存快照保持为文件发送给从机,这一过程需要确保主机有足够多的空余内存。若快照文件较大,对集群的服务能力会产生较大的影响,而且复制过程是在从机新加入集群或者从机和主机网络断开重连时都会进行,也就是网络波动都会造成主机和从机间的一次全量的数据复制,这对实际的系统运营造成了不小的麻烦。最后,Redis较难支持在线扩容,在集群容量达到上限时在线扩容会变得很复杂。为避免这一问题,运维人员在系统上线时必须确保有足够的空间,这对资源造成了很大的浪费。

首先NoSQL包括了很多类型,不过就你在问题中提到的KVDB似乎并不完全适合你的应用场景,如果你硬要用也没什么不可以,只不过把简单的事情搞复杂了。

单一的key-value型数据库,比较适用于索引输出加速(比如搜索结果的输出),随机数据多处复用(比如SNS消息发送,内容就存在缓存里,只需要发送id就行了),或者简单的数据共享(比如session信息,或者配置信息)等等。

像你这种单点对单点的用KV型数据库并不能完全解决问题,因为它只能存储随机数据,数据之间没有顺序关系,所以你还得配合关系型数据库做索引,不过我建议你先完全用mysql实现一个版本,把流程走通,然后在按情况将存储换为更加强大的redis或者mongodb都可以。

oss作为kv数据库可以实现无限扩展。

OSS对象存储采用KV的技术架构,可以实现无限扩展,是公认的数据湖存储底座。用户可以通过离线ETL和在线增量ETL将在线数据和实时增量数据,同步到OSS中,然后对数据做深度的计算和分析。

kv数据库:LevelDB是google公司开发出来的一款超高性能kv存储引擎,只是一个C/C++编程语言的库,不包含网络服务封装。LevelDB提供了Put,Delete和Get三个方法对数据库进行修改和查询,比关系型数据库简单。


欢迎分享,转载请注明来源:内存溢出

原文地址: https://outofmemory.cn/sjk/6753403.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-03-27
下一篇 2023-03-27

发表评论

登录后才能评论

评论列表(0条)

保存