=
Not
Only
SQL
),意即“不仅仅是SQL”,是一项全新的数据库革命性运动,早期就有人提出,发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储,相对于铺天盖渣手地的关系型数据库运用,这一概念无疑是一种全新的思维的注入。
随着大数据的不断发展,非关系型的数据库现在成了一个极其热门的新领域,非关系数据库产品的发展非常迅速。现今的计算机体系结构在数据存储方面要有庞大的水平扩展性,而NoSQL也正是致力于改变这一现状。目前Google的
BigTable和Amazon
的Dynamo使用的就是NoSQL型数据库,本文介绍了10种出色的NoSQL数据库。
虽然NoSQL流行语火起来才短短一年的时间,但是不可否认,现在已经开始了第二代运动。尽管早期的局梁带桐芦堆栈代码只能算是一种实验,然而现在的系统已经更加的成熟、稳定。不过现在也面临着一个严酷的事实:技术越来越成熟——以至于原来很好的NoSQL数据存储不得不进行重写,也有少数人认为这就是所谓的2.0版本。这里列出一些比较知名的NoSQL工具,可以为大数据建立快速、可扩展的存储库。
给一个地址吧
http://www.caecp.cn/News/News-850.html
测试数源腊据:key=timeline+【0,20亿】
value=128字节
测试环境:
CPU:16核,Mem:32G 磁盘:SSD
写入客户端:
leveldbjni+1Java thread ,write_buffer_size=512MB
插入20亿条数据的统计数据如下:
插入数据过程中,CPU消耗比较小,多的时候在160%,少的时候在80%左右,插入过程中对内存消耗比较小,与设定的512MB比较接近,没有大的变化,load小于1;
插入完成之后,磁盘文件总个数为14913个,占用磁盘存储空间31G。
全局的avgTps=149594,以插入500W条扰裂凳数据的时候,阶段性的minTps=84631,maxTps=234796。
插入50亿条数据的统计数据如下:
插入数据过程中,CPU消耗比较小,多的时候在160%,少的时候在80%左右,插入过程中对内存消耗比较小,与设定的512MB比较接近,没有大的变化,load小于1;
插入完成之后,磁盘文件总个数为32318个,占用磁盘存储空间77G。
全局的avgTps=158272,以插入1000W条数据缓旅的为基准阶段性的minTps=100000,maxTps=232558。
我的C盘下根本就没有配卜桥GoogleEarth\unified_cache_leveldb_leveldb2这个文件夹,如果在使用过程中大量产生冗余文件要么就是软件本身存在bug要么就是系统问题,就这个情况来看你多半得重装系统,我用arcmap处理DEM没培猛有任何压力,处理速度和能力主要是看文件大小,我的电脑生成一个弊碰10G大小左右的DEM差不多用10分钟欢迎分享,转载请注明来源:内存溢出
评论列表(0条)