HBase和MongoDB那个更适合海量实时小数据

HBase和MongoDB那个更适合海量实时小数据,第1张

了解了一下MongoDB,感觉还挺牛的,适合海量数据实时插入,更新,查询,而且支持多条件查询,以及建立多维度的索引。

相比HBase,Hbase对于海量数据的实时插入,更新,查询是没有压力的,而且 *** 作的效率跟数据的量没有关系,即数据量的大小不会影响 *** 作的效率,但是Hbase的实时查询是建立在针对rowkey的查询基础上的,因为Hbase只能对rowkey进行建立索引,查询也只能根据rowkey进行查询,无法实现同MongoDB一样的多条件查询。

小数据的要求对于MongoDB和Hbase都没有影响,因为MongoDB和Hbase都是一种数据库,主要就是用于存储零碎的小数据。

所以感觉如果只是用于海量实时的小数据那么MongoDB可能会好点,但是如果还需要对数据进行统计分析,那么最好还是考虑统计分析的因素。如你使用mapreduce进行数据统计分析,那么hbase可能会更好些,虽然MongoDB也支持mr。

以上纯属个人观点

1)列出当前的数据库 MongoDB shell version: 181 connecting to: test > show dbs ->

mongodb众所周知不支持事务,所以需要强事务的业务根本不能考虑mongodb。

mongodb的优势就是文档存储:

1 业务经常变动,需要不时的添加字段,那么mongodb比较适合,关系型数据库添加字段的复杂度也还好

2 嵌套文档,业务数据比较复杂,适合嵌套文档式存储,那么mongodb非常合适,这个关系型数据库比较难搞,虽然MySQL和pg也有文档存储,但MySQL的不成熟,pg毕竟现在生产中使用还是偏少,个人也不了解,这里不谈。但这不仅仅这一点优势,具体下面会细说。

3 upsert支持,查询速度也不慢

4 高可用的副本集支持

5 查询语法非常丰富,嵌套文档查询功能非常强大,不是重度用户可能不能理解

下面说说一个具体的使用事例:

项目的一条数据在10kb左右,如果使用关系型数据库那么需要将这条数据拆分成大概几百条左右,建造多个表,设计较复杂,这种数据大概在一百万条左右,想想拆分后在十几亿的数据量就可怕。打平后的数据什么DB也都可以拿下,只是一百万变十几亿比较恐怖而已。

如果采用MySQL存储,每次查询需要使用外键查询多个表,从这些表中拉取数据,性能肯定要下降很多,比不上只在一个表查询,而且只拉取少两个数量级的数据。查询也还好,业务允许可以对结果做缓存,放到redis里去。

但是重点来了,需求要增量更新部分数据,这时候需要更新多个表,根本没法做到原子性(注意事务不是原子 *** 作),当然也可以使用cas等技术补偿,达到最终一致性。但使用mongodb存储只需要update一条数据,对相应的嵌套文档中内容更新,可以做到原子性,是不是很方便?

推荐学习《python教程》

具体说说该项目的难点,查询无法使用缓存,可能会很吃惊,但是业务决定了确实做不了,而且增量更新的量达到上万的QPS,如果不能保证原子性想想多么可怕!

所以mongodb在这里帮了大忙,关系型数据库解决不了这个难题。

有人可能要问,mongodb没有事务,上游数据写入也会有问题,你不可能所有数据都存一个表吧?

当然不是的,我们mongodb里的数据是从MySQL中清洗出来存到mongodb中的,mongodb只做单点的业务需求,综合的数据还是在MySQL中。

此项目我们用了上百个副本集,保证系统的高可用,这些副本集配置只要一条shell就搞定,如果用MySQL的主从不知道怎么配(我自己不懂),估计DBA得忙死,而该项目完全不需要也没用到DBA。

说了这么多mongo的优点,也说说他的缺点:

1 查询优化器和MySQL没法比

2 不支持reload,只能冷重启,初始化配置的时候比较麻烦

3 没有事务,不敢存储第一手数据,多用来做备份数据的存储

mongodb可以做很多事情,取决于你脑洞,性能不差,存一些相对不重要的数据,mongodb嵌套文档功能强大,多看看官方文档挖掘挖掘有用信息,每次都能发现惊喜。

以上就是关于HBase和MongoDB那个更适合海量实时小数据全部的内容,包括:HBase和MongoDB那个更适合海量实时小数据、如何在MongoDB中建立新数据库和集合、mongodb数据库适合做什么等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/10165505.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-05
下一篇 2023-05-05

发表评论

登录后才能评论

评论列表(0条)

保存