业务数据,包括用户,订单等数据,要求数据严格准确和一致
规模如果是在千万级,或者不超过10亿级,80%选用MySQL来存储
规模如果再10亿-万亿,目前HBASE为主
以上两种是免费数据库,但对于Oracle,DB2,SQL Server付费数据库(巨贵),主要使用在银行和电信,因为对数据一致性,准确性,容灾备份要求更严格。
因为商业数据库的昂贵,互联网公司一般用不起,感兴趣可以了解下10年前阿里发起的去IOE的故事,即去掉IBM,Oracle,EMC,代替以开源软件再次开放的系统,开创新数据新时代。
日志数据,包括用户所有线上行为数据,浏览,搜索,点击等,存储在HDFS上
这类数据,相比订单和支付数据,规模要成10倍-1000倍增长。比如,我浏览10个店铺宝贝才转化一个订单数据。但该类数据,不会要求太多性能和苛刻的准确性,甚至可以容忍丢小部分日志数据。这部分数据,会放到HDFS上来存储。即一种分部式文件存储系统,存储成本很低,如果查询的话,就可以直接使用hive等工具,写SQL查询。
当然,数据库现在发展很迅猛,比如TiDB,非关系数据库MongoDB,缓存Redis等。
去IOE化就是用成本更加低廉的软件——MYSQL替代Oracle,使用PCServer替代EMC2、IBM小型机等设备。IBM是服务器提供商,Oracle是数据库软件提供商,EMC则是存储设备提供商。三者构成了一个从软件到硬件的企业数据库系统。由这三驾马车构成的数据库系统几乎占领了全球大部分商用数据库系统市场份额。除阿里巴巴这样需要大量数据运算的电商企业,其他如石油、金融行业也广泛地使用这套系统。
技术面临的挑战。
传统的数据库都是单个服务器提供的,一台服务器就能提满足存储和处理的需求。可靠的方案用的机器都是企业级的服务器,如IBM的服务器。对可靠性敏感的都是用企业级的存储方案,如EMC的产品。通过主从复制的方式提供热备。
以上就是关于数据库一般用什么存储全部的内容,包括:数据库一般用什么存储、去ioe化是什么意思、传统数据库部署不能处理大数据这个是数据库的什么挑战等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)