就Redis和MongoDB来说,大家一般称之为Redis缓存、MongoDB数据库。这也是有道有理有根据的,
Redis主要把数据存储在内存中,其“缓存”的性质远大于其“数据存储“的性质,其中数据的增删改查也只是像变量 *** 作一样简单;
MongoDB却是一个“存储数据”的系统,增删改查可以添加很多条件,就像SQL数据库一样灵活,这一点在面试的时候很受用。《linux 就该这么学》
Mongodb与Redis应用指标对比
MongoDB和Redis都是NoSQL,采用结构型数据存储。二者在使用场景中,存在一定的区别,这也主要由于
二者在内存映射的处理过程,持久化的处理方法不同。MongoDB建议集群部署,更多的考虑到集群方案,Redis
更偏重于进程顺序写入,虽然支持集群,也仅限于主-从模式。
Copyright © 1999-2020, CSDNNET, All Rights Reserved
Redis
登录
骑行天下_徐鑫
关注
redis和MongoDB比较 转载
2019-07-02 22:00:52
1点赞
骑行天下_徐鑫
码龄3年
关注
Redis技术陷阱
Redis 基于内存,也可以基于磁盘持久化NoSql数据库,使用 c语言编写,常用端口6379
Redis对内存依赖性很强的NoSql数据库,在内存足够的情况下性能出色,但是一般情况下,服务器内存并没有那么多。
一般情况下,Redis会索取大量服务器内存进行存储数据,以达到快速读取查询的效果。当对Redis插入数据后,redis会异步将数据dump到硬盘中,
比如服务器内存是20G,Redi会fork一个进程,并且会占用同样的大小内存,他需要的内存空间瞬间变为20+20=40G,这是内存超过了物理内存的限制,马上会启动虚拟内存,虽然服务器会有虚拟内存,但是那是服务器的虚拟内存,并不是redis自己的虚拟内存。
Linux虚拟内存page很大,IO剧增,dump速度非常慢,整个服务器的性能降到冰点,服务请求会堵塞,严重到服务器崩溃。
对于单台机子,最好是降低redis虚拟内存设置,page可以根据配置进行修改,这个虚拟内存比Linux虚拟内存好多,因为page小很多。
如果Redis既要读又要写,那么最好不要用redis占用大半的内存。
可以设置它的虚拟内存到8G,但是要根据key值大小去衡量,因为key必须在内存中,这样一来就算是启用了虚拟内存,redis占用的实际内存也会超出设想。
官方建议对key小,value很大的数据设置虚拟内存。
另外master/slave不是很成熟,目前只支持主从,Redis在master是非阻塞模式,也就是说在slave执行数据同步的时候,master是可以接受客户端的请求的,并不影响同步数据的一致性,然而在slave端是阻塞模式的,slave在同步master数据时,并不能响应客户端的查询。
可以根据master/slave 的特点,master不dump,只负责写数据,让slaver去dump
Redis如何持久化:持久化就是将内存中的数据写入到硬盘中。
(1):RDB:是将数据写入到临时文件(dumprdb),持久化之后用这个临时文件替换上次持久化文件,达到数据恢复的目的。RDB是间隔异地短时间进行持久化,如果持久化之间redis发生故障,会发生数据丢失,所以这种方式更适合数据要求不严谨的时候,默认开启。
(2):Redis内存淘汰策略:指的是用户存储的一些键可以被redis主动从实例中删除,从而产生miss的情况,内存淘汰是为了更好地使用内存,用一定的缓存miss来换取内存的使用率。① noeviction:默认策略,不删除任意数据,但是内存不够时,会直接返回错误
② Allkeys-lru:从数据集中(包括设置过期时间和未设置过期时间的数据集),优先移除最近未使用的key
③ Volatile-lru:在设置了过期时间的数据集中,优先移除最近未使用的key
④ Allkeys-random:从数据集中(包括设置过期时间和未设置过期时间的数据集),随机移除某个key
⑤ Volatile-random:在设置了过期时间的数据集中,随机移除某个key
Volatile-ttl:在设置了过期时间的数据集中,具有更早过期时间的key优先移除。
Redis有些数据类型:String Hash List Sets ZSets(存放多个值,不可有重复,有顺序,不同的是每个元素都会关联Double类型的分数,redis正是通过分数来为集合中的成员进行从小到大排序),
Redis使用场景:
缓存热数据使用,热数据就是在项目中经常会被查询,但不经常会被修改和删除的数据。
计数器,诸如统计点击数等应用。
队列
位 *** 作(大数据处理),比如统计QQ用户在线。
最新列表
排行榜,使用zadd添加有序集合
Linux虚拟内存:
为了运行比实际物理内存容量还要大的程序,包括Linux在内的所有现代 *** 作系统几乎毫无里外都采用了虚拟内存技术。虚拟内存技术,可让系统看上去具有比实际意义内存大得多的内存空间,并为实现多道程序的执行创造条件。
虚拟内存概念:总所周知,为了对内存中的存储单元进行识别,内存中的每一个存储单元都必须有一个确切的地址。而一台计算机的处理器能访问多大的内存空间就取决于处理器的程序计数器,该计数器字长越长,能访问的空间越大。
例如对于程序计数器位数为32位的处理器来说,他的地址发生器所能发出的地址数目2^32=4G个,于是这个处理器所能访问的最大内存空间就是4G。载计算机技术中,这个值就是处理器的寻址空间或寻址能力。
MongoDB
文档结构的存储方式。能够快捷获取数据
支持GridFS 支持大容量存储,海量数据存储
海量数据下,性能优越
动态查询
全索引支持,拓展到内部对象和内嵌数组
查询记录分析
快速,就地更新
高效存储二进制大对象
复制和支持自动恢复故障
内置Auto-Sharding 自动分片支持云级别拓展性。分片简单
MapReduce 支持复杂聚合
缺点:不支持事务 *** 作,占用硬盘空间大,没有Mysql成熟的维护工具,无法进行关联表查询,不适用于关系多的数据,复杂句和 *** 作通过mapreduce创建,速度慢,模式自由,自由灵活的文件存储格式带来的数据错误,MongoDB在你删除记录后不会在文件系统回收空间,除非删掉数据库,但是空间没有浪费。
分布式文件存储数据库,介于NoSql和关系型数据库之间的一款产品,基于C++编写,具有查询语言、索引、key-value存储结构,MongoDB存储数据是以BSON类型(二进制json)。
Redis(读写快) ---àMongoDB (数据量大、查询统计、缺乏事务支持)àOracle(数据量大、查询统计方便、事务强)
MongoDB适用于表单数据 *** 作、完整性要求不高的系统使用,高性能、易部署、易使用,存储数据非常方便。MongoDB :库->集合 JSON对象记录
区别联系:
(1):性能方面:Redis大于MongoDB、MongoDB支持丰富的数据表达,索引,最类似于关系型数据库,支持查询的语言非常丰富,redis数据结构方面更加丰富,可以存储List/set/Hash/sort Set等集合。
(2):内存空间和数据量大小: MongoDB适合大量数据存储
(3):数据一致性 Redis事务支持比较弱,MongoDB不支持事务
(4):Redis用在数据量较小的 *** 作和运算上,Mongodb主要解决海量数据访问效率问题。
(5)MemCachd 不支持数据持久化,断电或者重启后数据消失,但其稳定性是有保证的,redis支持数据持久化和数据恢复,允许单点故障
1Memcached单个key-value大小有限,一个value最大只支持1MB,而Redis最大支持512MB
2Memcached只是个内存缓存,对可靠性无要求;而Redis更倾向于内存数据库,因此对对可靠性方面要求比较高
3从本质上讲,Memcached只是一个单一key-value内存Cache;而Redis则是一个数据结构内存数据库,支持五种数据类型,因此Redis除单纯缓存作用外,还可以处理一些简单的逻辑运算,Redis不仅可以缓存,而且还可以作为数据库用
4新版本(30)的Redis是指集群分布式,也就是说集群本身均衡客户端请求,各个节点可以交流,可拓展行、可维护性更强大。
关于其原因,在官方的FAQ中,提到有如下几个方面:
1、空间的预分配:为避免形成过多的硬盘碎片,mongodb每次空间不足时都会申请生成一大块的硬盘空间,而且申请的量从64M、128M、256M那 样的指数递增,直到2G为单个文件的最大体积。随着数据量的增加,你可以在其数据目录里看到这些整块生成容量不断递增的文件。
2、字段名所占用的空间:为了保持每个记录内的结构信息用于查询,mongodb需要把每个字段的key-value都以BSON的形式存储,如果 value域相对于key域并不大,比如存放数值型的数据,则数据的overhead是最大的。一种减少空间占用的方法是把字段名尽量取短一些,这样占用 空间就小了,但这就要求在易读性与空间占用上作为权衡了。
3、删除记录不释放空间:这很容易理解,为避免记录删除后的数据的大规模挪动,原记录空间不删除,只标记“已删除”即可,以后还可以重复利用。
4、可以定期运行dbrepairDatabase()来整理记录,但这个过程会比较缓慢
MongoDB没有如MySQL那样成熟的维护工具,这对于开发和IT运营都是个值得注意的地方。
这种用法对于以下应用场合来讲,超实用:
置于慢速RDBMS系统之前的写 *** 作密集型高速缓存
嵌入式系统
无需持久化数据的PCI兼容系统
需要轻量级数据库而且库中数据可以很容易清除掉的单元测试(unit testing)
如果这一切可以实现就真是太优雅了:我们就能够巧妙地在不涉及磁盘 *** 作的情况下利用MongoDB的查询/检索功能。可能你也知道,在99%的情况下,磁盘IO(特别是随机IO)是系统的瓶颈,而且,如果你要写入数据的话,磁盘 *** 作是无法避免的。
MongoDB有一个非常酷的设计决策,就是她可以使用内存影射文件(memory-mapped file)来处理对磁盘文件中数据的读写请求。这也就是说,MongoDB并不对RAM和磁盘这两者进行区别对待,只是将文件看作一个巨大的数组,然后按照字节为单位访问其中的数据,剩下的都交由 *** 作系统(OS)去处理!就是这个设计决策,才使得MongoDB可以无需任何修改就能够运行于RAM之中。
实现方法
这一切都是通过使用一种叫做tmpfs的特殊类型文件系统实现的。在Linux中它看上去同常规的文件系统(FS)一样,只是它完全位于RAM中(除非其大小超过了RAM的大小,此时它还可以进行swap,这个非常有用!)。我的服务器中有32GB的RAM,下面让我们创建一个16GB的 tmpfs:
# mkdir /ramdata # mount -t tmpfs -o size=16000M tmpfs /ramdata/ # df Filesystem 1K-blocks Used Available Use% Mounted on /dev/xvde1 5905712 4973924 871792 86% / none 15344936 0 15344936 0% /dev/shm tmpfs 16384000 0 16384000 0% /ramdata
接下来要用适当的设置启动MongoDB。为了减小浪费的RAM数量,应该把smallfiles和noprealloc设置为true。既然现在是基于RAM的,这么做完全不会降低性能。此时再使用journal就毫无意义了,所以应该把nojournal设置为true。
dbpath=/ramdata nojournal = true smallFiles = true noprealloc = true
MongoDB启动之后,你会发现她运行得非常好,文件系统中的文件也正如期待的那样出现了:
# mongo MongoDB shell version: 232 connecting to: test > dbtestinsert({a:1}) > dbtestfind() { "_id" : ObjectId("51802115eafa5d80b5d2c145"), "a" : 1 } # ls -l /ramdata/ total 65684 -rw------- 1 root root 16777216 Apr 30 15:52 local0 -rw------- 1 root root 16777216 Apr 30 15:52 localns -rwxr-xr-x 1 root root 5 Apr 30 15:52 mongodlock -rw------- 1 root root 16777216 Apr 30 15:52 test0 -rw------- 1 root root 16777216 Apr 30 15:52 testns drwxr-xr-x 2 root root 40 Apr 30 15:52 _tmp
现在让我们添加一些数据,证实一下其运行完全正常。我们先创建一个1KB的document,然后将它添加到MongoDB中4百万次:
> str = "" > aaa = "aaaaaaaaaa" aaaaaaaaaa > for (var i = 0; i < 100; ++i) { str += aaa; } > for (var i = 0; i < 4000000; ++i) { dbfooinsert({a: Mathrandom(), s: str});} > dbfoostats() { "ns" : "testfoo", "count" : 4000000, "size" : 4544000160, "avgObjSize" : 113600004, "storageSize" : 5030768544, "numExtents" : 26, "nindexes" : 1, "lastExtentSize" : 536600560, "paddingFactor" : 1, "systemFlags" : 1, "userFlags" : 0, "totalIndexSize" : 129794000, "indexSizes" : { "_id_" : 129794000 }, "ok" : 1 }
可以看出,其中的document平均大小为1136字节,数据总共占用了5GB的空间。_id之上的索引大小为130MB。现在我们需要验证一件 非常重要的事情:RAM中的数据有没有重复,是不是在MongoDB和文件系统中各保存了一份?还记得MongoDB并不会在她自己的进程内缓存任何数据,她的数据只会缓存到文件系统的缓存之中。那我们来清除一下文件系统的缓存,然后看看RAM中还有有什么数据:
# echo 3 > /proc/sys/vm/drop_caches # free total used free shared buffers cached Mem: 30689876 6292780 24397096 0 1044 5817368 -/+ buffers/cache: 474368 30215508 Swap: 0 0 0
可以看到,在已使用的63GB的RAM中,有58GB用于了文件系统的缓存(缓冲区,buffer)。为什么即使在清除所有缓存之后,系统中仍然还有58GB的文件系统缓存??其原因是,Linux非常聪明,她不会在tmpfs和缓存中保存重复的数据。太棒了!这就意味着,你在RAM只有一份数据。下面我们访问一下所有的document,并验证一下,RAM的使用情况不会发生变化:
果不其然! :)
复制(replication)呢?
既然服务器在重启时RAM中的数据都会丢失,所以你可能会想使用复制。采用标准的副本集(replica set)就能够获得自动故障转移(failover),还能够提高数据读取能力(read capacity)。如果有服务器重启了,它就可以从同一个副本集中另外一个服务器中读取数据从而重建自己的数据(重新同步,resync)。即使在大量数据和索引的情况下,这个过程也会足够快,因为索引 *** 作都是在RAM中进行的 :)
有一点很重要,就是写 *** 作会写入一个特殊的叫做oplog的collection,它位于local数据库之中。缺省情况下,它的大小是总数据量的5%。在我这种情况下,oplog会占有16GB的5%,也就是800MB的空间。在拿不准的情况下,比较安全的做法是,可以使用oplogSize这个选项为oplog选择一个固定的大小。如果备选服务器宕机时间超过了oplog的容量,它就必须要进行重新同步了。要把它的大小设置为1GB,可以这样:
oplogSize = 1000
分片(sharding)呢?
既然拥有了MongoDB所有的查询功能,那么用它来实现一个大型的服务要怎么弄?你可以随心所欲地使用分片来实现一个大型可扩展的内存数据库。配置服务器(保存着数据块分配情况)还还是用过采用基于磁盘的方案,因为这些服务器的活动数量不大,老从头重建集群可不好玩。
注意事项
RAM属稀缺资源,而且在这种情况下你一定想让整个数据集都能放到RAM中。尽管tmpfs具有借助于磁盘交换(swapping)的能力,但其性能下降将非常显著。为了充分利用RAM,你应该考虑:
使用usePowerOf2Sizes选项对存储bucket进行规范化
定期运行compact命令或者对节点进行重新同步(resync)
schema的设计要相当规范化(以避免出现大量比较大的document)
MySQL是关系型数据库。
优势:
在不同的引擎上有不同 的存储方式。
查询语句是使用传统的sql语句,拥有较为成熟的体系,成熟度很高。
开源数据库的份额在不断增加,mysql的份额页在持续增长。
缺点:
在海量数据处理的时候效率会显著变慢。
Mongodb是非关系型数据库(nosql ),属于文档型数据库。文档是mongoDB中数据的基本单元,类似关系数据库的行,多个键值对有序地放置在一起便是文档,语法有点类似javascript面向对象的查询语言,它是一个面向集合的,模式自由的文档型数据库。
存储方式:虚拟内存+持久化。
查询语句:是独特的Mongodb的查询方式。
适合场景:事件的记录,内容管理或者博客平台等等。
架构特点:可以通过副本集,以及分片来实现高可用。
数据处理:数据是存储在硬盘上的,只不过需要经常读取的数据会被加载到内存中,将数据存储在物理内存中,从而达到高速读写。
成熟度与广泛度:新兴数据库,成熟度较低,Nosql数据库中最为接近关系型数据库,比较完善的DB之一,适用人群不断在增长。
优点:
快速!在适量级的内存的Mongodb的性能是非常迅速的,它将热数据存储在物理内存中,使得热数据的读写变得十分快。高扩展性,存储的数据格式是json格式!
缺点:
不支持事务,而且开发文档不是很完全,完善。
Mysql和Mongodb主要应用场景
1如果需要将mongodb作为后端db来代替mysql使用,即这里mysql与mongodb 属于平行级别,那么,这样的使用可能有以下几种情况的考量: (1)mongodb所负责部分以文档形式存储,能够有较好的代码亲和性,json格式的直接写入方便。(如日志之类) (2)从datamodels设计阶段就将原子性考虑于其中,无需事务之类的辅助。开发用如nodejs之类的语言来进行开发,对开发比较方便。 (3)mongodb本身的failover机制,无需使用如MHA之类的方式实现。
2将mongodb作为类似redis ,memcache来做缓存db,为mysql提供服务,或是后端日志收集分析。 考虑到mongodb属于nosql型数据库,sql语句与数据结构不如mysql那么亲和 ,也会有很多时候将mongodb做为辅助mysql而使用的类redis memcache 之类的缓存db来使用。 亦或是仅作日志收集分析。
---------------------
原文:>
方式一:使用tmpfs作为文件系统
方式二:使用ramfs作为文件系统
这两种方式的思路都差不多,使用一个内存模拟文件系统,由于替换了磁盘文件系统,数据就保留在内存中。
方式三:修改源码设置in_memory参数
其实wiredtiger本身就支持将数据保留在内存中不刷盘,MongoDB的内存引擎估计也是利用wt的这一特性。wiredtigerin文件中,wiredtiger_open()函数会传入配置信息config,函数前面的注释详细解释了有哪些配置项,其中就列出了in_memory配置,如下图说明。
如果修改源码传入in_memory=true编译还是会报错,提示incompatible argument in-memor。
报上述错误是因为开源版本对这个参数进行了检查,如果设置了就会传回错误码,修改方式很简单,令它不返回错误码就行了。
就这样我们将MongoDB改成了内存数据库。
由上至下的文件位置分别在:
src/third_party/wiredtiger/src/include/wiredtigerin
src/mongo/db/storage/wiredtiger/wiredtiger_kv_enginecpp
src/third_party/wiredtiger/src/conn/conn_ckptc
最近重新使用这个内存数据库,发现报出新的错误,提示in_memory与log不能同时设置,这个log的设置默认为true,如果指定nojournal,那么会置为false。不过先检查后重置,所以报错。
解决方法是在检查之前就加入log=(enabled=false)
以上就是关于mongodb和redis区别是什么全部的内容,包括:mongodb和redis区别是什么、Redis数据库跟MongoDB数据库有什么区别呢、如何把mongodb中的数据读到内存中等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)