简单易用
无需任何编程,即可进行数据采集、存储和回放;
所有配置可保存,方便重复使用;
界面可在多种模式间切换,可配置触摸屏 *** 作。
专业信号处理
目前支持各种文本标签、数字标签;
支持趋势图、波动图、缺陷图及统计图表;
目前支持圆形、高度、宽度、厚度、螺纹钢等截面图动态显示,且支持扩展。
具备丰富的接口
内嵌网络(TCP、UDP)、串口(RS422、RS232,RS485)通信模块;
支持Modbus通信协议;
目前支持各种报警灯、步进电机、伺服电机、CCD传感器、微视相机等设备接入。
界面友好灵活
向导式配置,带你从零开始构建自己的解决方案;
可根据不同应用的需求和使用配置界面;
可保存,方便随时查看;
支持拖拽式交互设计;
支持自定义界面布局;
支持自定义样式。
可进行二次开发
提供SDK开发包,支持二次开发;
无锁队列、内存数据库,多线程、及各种设计模式,对SDK屏蔽复杂性,上手速度快;
对外提供开发接入服务,快速为您的设备提供理想的上位机软件。
Copyright © 1999-2020, CSDNNET, All Rights Reserved
Redis
登录
骑行天下_徐鑫
关注
redis和MongoDB比较 转载
2019-07-02 22:00:52
1点赞
骑行天下_徐鑫
码龄3年
关注
Redis技术陷阱
Redis 基于内存,也可以基于磁盘持久化NoSql数据库,使用 c语言编写,常用端口6379
Redis对内存依赖性很强的NoSql数据库,在内存足够的情况下性能出色,但是一般情况下,服务器内存并没有那么多。
一般情况下,Redis会索取大量服务器内存进行存储数据,以达到快速读取查询的效果。当对Redis插入数据后,redis会异步将数据dump到硬盘中,
比如服务器内存是20G,Redi会fork一个进程,并且会占用同样的大小内存,他需要的内存空间瞬间变为20+20=40G,这是内存超过了物理内存的限制,马上会启动虚拟内存,虽然服务器会有虚拟内存,但是那是服务器的虚拟内存,并不是redis自己的虚拟内存。
Linux虚拟内存page很大,IO剧增,dump速度非常慢,整个服务器的性能降到冰点,服务请求会堵塞,严重到服务器崩溃。
对于单台机子,最好是降低redis虚拟内存设置,page可以根据配置进行修改,这个虚拟内存比Linux虚拟内存好多,因为page小很多。
如果Redis既要读又要写,那么最好不要用redis占用大半的内存。
可以设置它的虚拟内存到8G,但是要根据key值大小去衡量,因为key必须在内存中,这样一来就算是启用了虚拟内存,redis占用的实际内存也会超出设想。
官方建议对key小,value很大的数据设置虚拟内存。
另外master/slave不是很成熟,目前只支持主从,Redis在master是非阻塞模式,也就是说在slave执行数据同步的时候,master是可以接受客户端的请求的,并不影响同步数据的一致性,然而在slave端是阻塞模式的,slave在同步master数据时,并不能响应客户端的查询。
可以根据master/slave 的特点,master不dump,只负责写数据,让slaver去dump
Redis如何持久化:持久化就是将内存中的数据写入到硬盘中。
(1):RDB:是将数据写入到临时文件(dumprdb),持久化之后用这个临时文件替换上次持久化文件,达到数据恢复的目的。RDB是间隔异地短时间进行持久化,如果持久化之间redis发生故障,会发生数据丢失,所以这种方式更适合数据要求不严谨的时候,默认开启。
(2):Redis内存淘汰策略:指的是用户存储的一些键可以被redis主动从实例中删除,从而产生miss的情况,内存淘汰是为了更好地使用内存,用一定的缓存miss来换取内存的使用率。① noeviction:默认策略,不删除任意数据,但是内存不够时,会直接返回错误
② Allkeys-lru:从数据集中(包括设置过期时间和未设置过期时间的数据集),优先移除最近未使用的key
③ Volatile-lru:在设置了过期时间的数据集中,优先移除最近未使用的key
④ Allkeys-random:从数据集中(包括设置过期时间和未设置过期时间的数据集),随机移除某个key
⑤ Volatile-random:在设置了过期时间的数据集中,随机移除某个key
Volatile-ttl:在设置了过期时间的数据集中,具有更早过期时间的key优先移除。
Redis有些数据类型:String Hash List Sets ZSets(存放多个值,不可有重复,有顺序,不同的是每个元素都会关联Double类型的分数,redis正是通过分数来为集合中的成员进行从小到大排序),
Redis使用场景:
缓存热数据使用,热数据就是在项目中经常会被查询,但不经常会被修改和删除的数据。
计数器,诸如统计点击数等应用。
队列
位 *** 作(大数据处理),比如统计QQ用户在线。
最新列表
排行榜,使用zadd添加有序集合
Linux虚拟内存:
为了运行比实际物理内存容量还要大的程序,包括Linux在内的所有现代 *** 作系统几乎毫无里外都采用了虚拟内存技术。虚拟内存技术,可让系统看上去具有比实际意义内存大得多的内存空间,并为实现多道程序的执行创造条件。
虚拟内存概念:总所周知,为了对内存中的存储单元进行识别,内存中的每一个存储单元都必须有一个确切的地址。而一台计算机的处理器能访问多大的内存空间就取决于处理器的程序计数器,该计数器字长越长,能访问的空间越大。
例如对于程序计数器位数为32位的处理器来说,他的地址发生器所能发出的地址数目2^32=4G个,于是这个处理器所能访问的最大内存空间就是4G。载计算机技术中,这个值就是处理器的寻址空间或寻址能力。
MongoDB
文档结构的存储方式。能够快捷获取数据
支持GridFS 支持大容量存储,海量数据存储
海量数据下,性能优越
动态查询
全索引支持,拓展到内部对象和内嵌数组
查询记录分析
快速,就地更新
高效存储二进制大对象
复制和支持自动恢复故障
内置Auto-Sharding 自动分片支持云级别拓展性。分片简单
MapReduce 支持复杂聚合
缺点:不支持事务 *** 作,占用硬盘空间大,没有Mysql成熟的维护工具,无法进行关联表查询,不适用于关系多的数据,复杂句和 *** 作通过mapreduce创建,速度慢,模式自由,自由灵活的文件存储格式带来的数据错误,MongoDB在你删除记录后不会在文件系统回收空间,除非删掉数据库,但是空间没有浪费。
分布式文件存储数据库,介于NoSql和关系型数据库之间的一款产品,基于C++编写,具有查询语言、索引、key-value存储结构,MongoDB存储数据是以BSON类型(二进制json)。
Redis(读写快) ---àMongoDB (数据量大、查询统计、缺乏事务支持)àOracle(数据量大、查询统计方便、事务强)
MongoDB适用于表单数据 *** 作、完整性要求不高的系统使用,高性能、易部署、易使用,存储数据非常方便。MongoDB :库->集合 JSON对象记录
区别联系:
(1):性能方面:Redis大于MongoDB、MongoDB支持丰富的数据表达,索引,最类似于关系型数据库,支持查询的语言非常丰富,redis数据结构方面更加丰富,可以存储List/set/Hash/sort Set等集合。
(2):内存空间和数据量大小: MongoDB适合大量数据存储
(3):数据一致性 Redis事务支持比较弱,MongoDB不支持事务
(4):Redis用在数据量较小的 *** 作和运算上,Mongodb主要解决海量数据访问效率问题。
(5)MemCachd 不支持数据持久化,断电或者重启后数据消失,但其稳定性是有保证的,redis支持数据持久化和数据恢复,允许单点故障
1Memcached单个key-value大小有限,一个value最大只支持1MB,而Redis最大支持512MB
2Memcached只是个内存缓存,对可靠性无要求;而Redis更倾向于内存数据库,因此对对可靠性方面要求比较高
3从本质上讲,Memcached只是一个单一key-value内存Cache;而Redis则是一个数据结构内存数据库,支持五种数据类型,因此Redis除单纯缓存作用外,还可以处理一些简单的逻辑运算,Redis不仅可以缓存,而且还可以作为数据库用
4新版本(30)的Redis是指集群分布式,也就是说集群本身均衡客户端请求,各个节点可以交流,可拓展行、可维护性更强大。
关于其原因,在官方的FAQ中,提到有如下几个方面:
1、空间的预分配:为避免形成过多的硬盘碎片,mongodb每次空间不足时都会申请生成一大块的硬盘空间,而且申请的量从64M、128M、256M那 样的指数递增,直到2G为单个文件的最大体积。随着数据量的增加,你可以在其数据目录里看到这些整块生成容量不断递增的文件。
2、字段名所占用的空间:为了保持每个记录内的结构信息用于查询,mongodb需要把每个字段的key-value都以BSON的形式存储,如果 value域相对于key域并不大,比如存放数值型的数据,则数据的overhead是最大的。一种减少空间占用的方法是把字段名尽量取短一些,这样占用 空间就小了,但这就要求在易读性与空间占用上作为权衡了。
3、删除记录不释放空间:这很容易理解,为避免记录删除后的数据的大规模挪动,原记录空间不删除,只标记“已删除”即可,以后还可以重复利用。
4、可以定期运行dbrepairDatabase()来整理记录,但这个过程会比较缓慢
MongoDB没有如MySQL那样成熟的维护工具,这对于开发和IT运营都是个值得注意的地方。
在线与离线的测量仪器均可定制测控软件系统,并且在线测量仪也能实测实显,实时掌握产线信息,通过数据传输线,可远程显示并分析测量数据。可在工位上处理多个不同的软件系统,提升效率。
测控软件能做到测量、分析、汇总、显示、绘制各种图表(折线图、扇形图、统计图等)、数据存储、数据传输等。
具备多项接口,满足多种设备的需求。内嵌网络(TCP、UDP)、串口(RS422、RS232,RS485)通信模块。支持Modbus通信协议。还支持各种报警灯、步进电机、伺服电机、CCD传感器、微视相机等设备接入。
提供SDK开发包,支持二次开发。无锁队列、内存数据库,多线程、及各种设计模式,对SDK屏蔽复杂性,上手速度快。对外提供开发接入服务,快速为您的设备提供理想的上位机软件。
除此之外,还具备多种自定义功能,由于不同的设备、不同的用户对界面显示的数据、布局要求可能不同,为此测控软件系统设计了支持鼠标拖拽自定义界面的功能,方便工程人员、用户自定义界面布局,并支持自定义的显示特性美化,支持自定义样式。
SQLite创建的数据库有一种模式IN-MEMORY,但是它并不表示SQLite就成了一个内存数据库。IN-MEMORY模式可以简单地理解为,(2020 表述勘误:本来创建的数据库文件是基于磁盘的,现在整个文件使用内存空间来代替磁盘空间,没有了文件作为backingstore,不必在修改数据库后将缓存页提交到文件系统),其它 *** 作保持一致。也就是数据库的设计没有根本改变。
inmemory与tempdb是两种节约模式,节约的对象为(rollback)日志文件以及数据库文件,减少IO。inmemory将日志写在内存,并且去除数据库文件作为backingStore,缓存页不用提交到文件系统。tempdb只会在只会在脏的缓存页超过当前总量的25%才会同步刷写到文件,换句话说在临时数据库模式下,事务提交时并不总同步脏页,因此减少了IO数量,事务日志也受这种机制影响,所以在临时数据库模式下,事务日志是不是MEMORY并不重要。回过头来看,内存模式则是临时模式的一种极致,杜绝所有的IO。这两种模式都只能存在一个sqlite3连接,关闭时销毁。
提到内存,许多人就会简单地理解为,内存比磁盘速度快很多,所以内存模式比磁盘模式的数据库速度也快很多,甚至有人望文生意就把它变成等同于内存数据库。
它并不是为内存数据库应用而设计的,本质还是文件数据库。它的数据库存储文件有将近一半的空间是空置的,这是它的B树存储决定的,(2020 勘误:对于固定长度记录,页面使用率最大化,对于非自增计数键的索引,页面一般会保留20~60%的空间,方便插入)请参看上一篇SQLite存储格式。内存模式只是将数据库存储文件放入内存空间,但并不考虑最有效管理你的内存空间,其它临时文件也要使用内存,事务回滚日志一样要生成,只是使用了内存空间。它的作用应该偏向于临时性的用途。
(2020 补充:下面的测试有局限性,)
我们先来看一下下面的测试结果,分别往memory和disk模式的sqlite数据库进行1w, 10w以及100w条数据的插入,采用一次性提交事务。另外使用commit_hook捕捉事务提交次数。
(注:测试场景为在新建的数据库做插入 *** 作,所以回滚日志是很小的,并且无需要在插入过程中查找而从数据库加载页面,因此测试也并不全面)
内存模式

磁盘模式

在事务提交前的耗时 (事务提交后的总耗时):
1w 10w 100w
内存模式 004s 035s 360s
磁盘模式 006s (027s) 047s (072s) 395s (462s)
可以看到当 *** 作的数据越少时,内存模式的性能提高得越明显,事务IO的同步时间消耗越显注。
上图还有一组数据比较,就是在单次事务提交中,如果要为每条插入语句准备的话
1w 10w 100w
内存模式 019s 192s 1946s
磁盘模式 021s (035s) 206s (226s) 1988s (2041s)
我们从SQLite的设计来分析,一次插入 *** 作,SQLite到底做了些什么。首先SQLite的数据库 *** 作是以页面大小为单位的。在单条记录插入的事务中,回滚日志文件被创建。在B树中查找目标页面,要读入一些页面,然后将目标页面以及要修改的父级页面写出到回滚日志。 *** 作目标页面的内存映像,插入一条记录,并在页面内重排序(索引排序,无索引做自增计数排序,参看上一篇《SQLite数据库存储格式》)。最后事务提交将修改的页面写出到数据库文件,成功后再删除日志文件。在这过程中显式进行了2次写磁盘(1次写日志文件,1次同步写数据库),还有2次隐式写磁盘(日志文件的创建和删除),这是在 *** 作目录节点。以及为查找加载的页面读 *** 作。更加详细可以参看官方文档的讨论章节《Atomic Commit In SQLite》。
如果假设插入100条记录,每条记录都要提交一次事务就很不划算,所以需要批量 *** 作来减少事务提交次数。假设页面大小为4KB,记录长度在20字节内,每页可放多于200条记录,一次事务提交插入100条记录,假设这100条记录正好能放入到同一页面又没有产生页面分裂,这样就可以在单条记录插入事务的IO开销耗损代价中完成100条记录插入。
当我们的事务中,插入的数据越多,事务的IO代价就会摊得越薄,所以在插入100w条记录的测试结果中,内存模式和磁盘模式的耗时都十分接近。实际应用场合中也很少会需要一次插入100w的数据。有这样的需要就不要考虑SQLite。
(补充说明一下,事务IO指代同步数据库的IO,以及回滚日志的IO,只在本文使用)
除了IO外,还有没有其它地方也影响着性能。那就是语句执行。其实反观一切,都是在对循环进行优化。

for (i = 0; i < repeat; ++i)
{
exec("BEGIN TRANS");
exec("INSERT INTO ");
exec("END TRANS");
}

批量插入:

exec("BEGIN TRANS");
for (i = 0; i < repeat; ++i)
{
exec("INSERT INTO ");
}
exec("END TRANS");

当我们展开插入语句的执行

exec("BEGIN TRANS");
for (i = 0; i < repeat; ++i)
{
// unwind exec("INSERT INTO ");
prepare("INSERT INTO ");
bind();
step();
finalize();
}
exec("END TRANS");

又发现循环内可以移出部分语句

exec("BEGIN TRANS");
// unwind exec("INSERT INTO ");
prepare("INSERT INTO ");
for (i = 0; i < repeat; ++i)
{
bind();
step();
}
finalize();
exec("END TRANS");

这样就得到了批量插入的最终优化模式。
所以对sql语句的分析,编译和释放是直接在损耗CPU,而同步IO则是在饥饿CPU。
请看下图

分别为内存模式1w和10w两组测试,每组测试包括4项测试
1只编译一条语句,只提交一次事务
2每次插入编译语句,只提交一次事务
3只编译一条语句,但使用自动事务。
4每次插入编译语句,并使用自动事务。
可以看到测试项目4基本上就是测试项目2和测试项目3的结果的和。
测试项目1就是批量插入优化的最终结果。
下面是探讨内存模式的使用:
经过上面的分析,内存模式在批量插入对比磁盘模式提升不是太显注的,请现在开始关注未批量插入的结果。
下面给出的是磁盘模式01w和02w两组测试,每组测试包括4项测试

可以看到在非批量插入情况,sqlite表现很差要100秒来完成1000次单条插入事务,但绝非sqlite很吃力,因为cpu在空载,IO阻塞了程序。
再来看内存模式20w测试

可以看到sqlite在内存模式,即使在20w次的单条插入事务,其耗时也不太逊于磁盘模式100w插入一次事务。
01w 02w 20w
内存模式(非批量插入) 1587s
磁盘模式(非批量插入) 974s 19828s
编译1次插入语句 每次插入编译1次语句
内存模式(20w,20w次事务) 1110s 1587s
磁盘模式(100w,1次事务) 462s 2041s
以上就是关于测控软件可完成哪些功能全部的内容,包括:测控软件可完成哪些功能、Redis数据库跟MongoDB数据库有什么区别呢、定制测控软件有什么用等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)