mongodb和memcached不是一个范畴内的东西。mongodb是文档型的非关系型数据库,其优势在于查询功能比较强大,能存储海量数据。mongodb和memcached不存在谁替换谁的问题。 和memcached更为接近的是redis。它们都是内存型数据库,数据保存在内存中,通过tcp直接存取,优势是速度快,并发高,缺点是数据类型有限,查询功能不强,一般用作缓存。在我们团队的项目中,一开始用的是memcached,后来用redis替代。 相比memcached: 1、redis具有持久化机制,可以定期将内存中的数据持久化到硬盘上。 2、redis具备binlog功能,可以将所有 *** 作写入日志,当redis出现故障,可依照binlog进行数据恢复。 3、redis支持virtual memory,可以限定内存使用大小,当数据超过阈值,则通过类似LRU的算法把内存中的最不常用数据保存到硬盘的页面文件中。 4、redis原生支持的数据类型更多,使用的想象空间更大。 5、前面有位朋友所提及的一致性哈希,用在redis的sharding中,一般是在负载非常高需要水平扩展时使用。我们还没有用到这方面的功能,一般的项目,单机足够支撑并发了。redis 30将推出cluster,功能更加强大。 6、redis更多优点,请移步官方网站查询。
提高MES系统数据实时性的实现办法和保障措施:
1MES系统中数据流通的技术环节分析11位于系统最顶部的数据应用层,负责对系统中的数据进行分析、加工,并以可视化的方式,通过B/S或C/S的网络架构,将处理后的结果信息发布给企业的各级生产管理人员。12位于系统中间的数据处理层,负责将采集到的数据进行分类、存储等处理。13位于系统最底部的数据采集层,主要负责从生产现场的DCS等各种设备装置中采集系统所需的各种数据信息。
2、提高MES系统中数据采集、传输和处理速度要提高MES系统数据的实时性,就必须提高MES系统中数据采集、传输和处理速度。
而与此有主要关联的是以下几个环节:
1数据采集2数据传输网络3实时数据库4应用层的网络架构
5用户端处理技术。必须针对上述这5个环节,分别采取相应的措施进行处理。
3、具体实现办法和保障措施
31数据采集部分数据采集部分是整个MES系统的基础,对于不同的采集对象,只有采用有针对性的、合理适当且安全高效的数据采集方法和策略,才能以最快的速度从现场设备装置(主要是各种DCS)中获取数据。针对DCS系统的数据采集的方法:方法1:实时数据库使用 OPC协议直接从DCS采集OPC的英文全称是:OLE for Process Control,即:“面向处理控制的对象链接与嵌入”的标准接口技术,它是基于Microsoft公司的
Distributed interNet Application(DNA)构架和Component Object Medel(COM)技术的,根据易于扩展性而设计的。同时,OPC以OLE(即:对象链接与嵌入)/COM(即:部件对象模型)机制作为应用程序的通讯标准,而OLE/COM是一种客户/BE务器模式,具有语言无关性、代码重用性、易于集成性等优点。OPC规范了接口函数,不管现场设备以何种形式存在,客户都以统一的方式去访问。是一种基于OLE技术、COM和DCOM(即:分布式COM)技术的开放性的接口技术,已成为目前的工业标准接口。
多数新型的DCS设备都支持OPC数据接口通信协议,从理论上讲,可以让实时数据库直接从DCS中采集数据,但我们在实际调研中发现,有的企业采用这种方式的效果并不好,有的甚至出现导致DCS“死机”,而这也正是实施数据采集的最大风险。通过调查分析和请教有关专家才了解到,造成这一“灾难”的原因在于:实时数据库自身的数据吞吐量相当大,当实时数据库直接从DCS系统中同时采集大量的数据时,DCS本身也必须花费大量的机时来响应实时数据库的这些数据请求,一旦数据请求量大到DCS处理不过来时,就会导致DCS处理其它事件的响应速度,从现象上看就像“死机”一样。
实时数据库是数据库系统发展的一个分支,它适用于处理不断更新的快速变化的数据及具有时间限制的事务。目前常见的、国际使用广泛的实时数据库有AspenTech公司的InfoPlus.21,OSI公司的PI,HoneyWell公司的PHD等
oracle属于关系型数据库,非实时吧
具体 *** 作:
1、在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和MySQL中的建议均相同;
2、在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的ID;
3、配置dts-ads-writer/appconf文件,配置方式如下:所有配置均保存在appconf中,运行前请保证配置正确;修改配置后,请重启writer,基本配置:
注意事项:
1、RDSforMySQL表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键,建议先停止writer进程;
2、一个插件进程中分析型数据库db只能是一个,由adsJdbcUrl指定;
3、一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程。
目前几乎所有组态软件都支持ODBC指令,用这些指令可以对各类数据库进行读、写、增加、删除等 *** 作。
不同软件的做法不同,但道理都差不多,每一种组态软件都有专门章节指导。
一般情况下,步骤是:
1建立一个数据库
2定义数据源:进入“控制面板”中的“管理工具”,用鼠标双击“数据源 (ODBC)”选项,d出“ODBC数据源管理器”。
3在组态软件中引用数据库 *** 作指令, *** 作已经定义好的数据库。
pSpace在企业信息化的作用
对于现代工业企业,如何能使决策者随时查看生产过程数据,以便快速地做出更为灵活的商业决策,是企业信息化建设的关键,在企业MES所关注的各项资源中,生产过程信息依然是重要的资源,如果不能解决生产过程信息实时有效上传的问题,将仍然无法充分利用和保障MES及ERP管理系统的投资。
企业MES核心是实时历史数据库,实时数据库可用于工厂过程的自动采集、存储和监视,可在线存储每个工艺过程点的多年数据,可以提供清晰、精确的 *** 作情况画面,用户既可浏览工厂当前的生产情况,也可回顾过去的生产情况,可以说,实时数据库对于流程工厂来说就如同飞机上的“黑匣子”。
工厂的历史数据对公司来说是很有价值的,实时数据库的核心就是数据档案管理,它采集并存储与流程相关的上千点的数据,多年应用历史数据库管理的经验告诉我们,现在很难知道将来进行分析时哪些数据是必须的。
因此,保存所有的数据是防止丢失所需信息的最好方法。
此外,要改进产品,必须具备与之相关物料的信息,并了解当前和过去的 *** 作状态。
实时数据库采集、存储流程信息,用来指导工艺改进、降低物料、增加产量。
实时数据库为最终用户提供了快捷、高效的工厂信息,由于工厂实时数据存放在统一的数据库中,工厂中的所有人,无论在什么地方都可看到和分析相同的信息,客户端的应用程序可使用户很容易对工厂级实施管理,诸如工艺改进、质量控制、故障预防维护等。
通过实时数据库可集成产品计划、维护管理、专家系统、化验室信息系统、模拟与优化等应用程序,在业务管理和实时生产之间起到桥梁作用。
北京三维力控推出的pSpaceTM就是这样一个极具竞争力的软件产品,pSpaceTM作为企业级实时历史数据库,通过极高速度的数据采集、大量历史数据存储和大量实时过程数据的发布,实现企业信息集成的基础平台,它为企业实现底层监控、信息集成提供了全方位的软件解决方案。
pSpace可以构成一个复杂的企业信息化系统,企业信息化系统是采用了实时历史数据库技术的计算机系统,该系统不仅仅是一组对数据进行处理的软件,也不只是一个数据库。
一个实时历史数据库系统是一个实际可运行的,按照数据方式存储、维护和向应用程序提供数据或信息支持的系统,它是存储介质、处理对象和管理系统的 体,由数据库、硬件、软件几部分组成,pSpace是企业信息化的核心处理软件平台。
pSpace 企业级实时历史数据库为完全的分布式结构,可任意组建应用模式,支持C/S和B/S应用;它可以提供丰富的企业级信息系统客户端应用和工具;大容量支持企业级应用,内部实现高数据压缩率,可实现历史数据的大量存储,灵活的扩展结构可满足各种需求,具备广泛的安全性和可跟踪性。
pSpace实时历史数据库能完成来自DCS、FCS和其它控制系统的实时数据的采集、存储、压缩,实时数据和历史数据的检索、统计、分析、建模,并进行曲线、图表显示,实现了流程工业中典型的应用功能,如工艺流程图展现、历史曲线分析、历史报警分析、EXCEL报表插件等,能为其他管理软件提供高效的数据接口,将连续存储的历史数据与这些管理软件进行双向通讯,pSpace是一个具有标准接口的、可二次开发的平台。
实时数据库结构:
一个实时数据库系统的优劣,主要体现在它提供的功能是否齐备,系统性能是否优越,能否完成有效的数据存取,各种数据 *** 作、查询处理、存取方法、完整性检查,保证相关的事务管理,事务的概念、调度与并发控制、执行管理及存取控制,安全性检验。
以下是力控的系统结构图系统组成:由采集站DA、数据服务器、 WEB服务器、客户端组成,同时和关系数据库进行有效的数据交换,DCS的数据经过DA进行采集,由DA SERVER送到数据服务器,数据服务器再有效的送给其它客户端。
pSpace实时数据库服务器主要由以下几部分构成:
pSpace Server:
负责整个pSpaceTM应用系统的实时数据处理、历史数据存储、统计数据处理、数据服务请求、事件触发器管理、调度管理、资源管理、系统配置等。
pSpace Data Service:
为第三方厂家的软件访问pSpaceTM Server时提供数据服务功能,包括:OPC Server、DDE Server、ODBC Router、Base API接口等
pSpace COM SDK:
COM SDK为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口。
pSpace Visual ActiveX:
是一组开放的控件,如:数据控件、文本控件、棒图控件、趋势控件等,控件可以直接访问实时数据库和关系数据库的数据。
pSpace DA Server数据采集器:
pSpaceTM DA server是数据采集站的设备通讯管理服务程序,用于系统和DCS、PLC等数据源之间的数据交换,具有自动网络通信负荷平衡功能和断线数据缓冲功能。
pSpace的Web服务器
使用IIS作为Web管理服务器,用图形客户端生成Web网页;
使用pSpace Visual ActiveX自行创建Web服务器和Web网页;
使用pSpace Webserver,用图形客户端生成Web网页;
pSpace 客户端
监控组态软件:力控Forcecontrol系列;
Microsoft Excel:采用标准EXCEL加载宏方式通过网络访问数据库;
“瘦”客户端:Microsoft Inter Explorer 50或以上版本的浏览器;
Visual ActiveX:pSpace可视化控件工具包是为建立客户端连接而提供的客户端产品;它包括一组ActiveX控件,如:数据控件、文本控件、棒图控件、趋势控件等;
二次开发工具及访问接口
标准访问接口供客户端程序调用或第三方软件访问使用,因此接口的完整性、开放性决定实时数据库二次开发的性能的优劣,pSpace访问接口及开发工具主要包括以下几种:
1)DBI API
DBI是一套实时数据库访问接口,给用户提供底层编程接口,通过它可以与客户端连接,对数据库进行数据读写,满足继线重连功能,可以获取数据库结构信息,动态控制变化数据集,DBI接口采用了快速数据访问机制,数据访问吞吐量可达到11万次/秒,可以适合过程仿真、优化控制、专家诊断等多种行业应用。
2)COM SDK
SDK是为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口,用COM SDK编写的一个实例可以同时连接多个Server,也可以用COM SDK同时建立多个实例,提供面向对象的类库供用户开发应用程序,用户使用该工具编程可以提高开发效率,该工具可以在VC++,VB,VBScript,等开发环境下使用。
3)OLE DB Provider
应用程序提供pSpace Server数据库的ADO访问接口。
4)DAI SDK
pSpace的数据源采集接口的开放工具,DAI采集接口软件都可以单独运行在一台网络结点机,并可在远程对其进行配置与监控,具备以下功能:
DAI 可以直接利用原有的力控组态软件的驱动程序;
DAI 具备断线缓存功能;另外DAInterface还要增加几个接口;
DAI 支持XML、CSV文件接口,可采集离线数据源。
实时数据库性能指标:
从实时数据库运行环境来看,实时数据库系统的除了自身的软件性能外,还取决于所使用的 *** 作系统、硬件环境等。
单台服务器容量可达12,0000点以上;
历史数据库支持unix linux windows等64位 *** 作系统;
完整的事件记录系统,所有 *** 作员的动作均被检查并记录,可作为跟踪依据;
功能强大的压缩算法:按高压缩格式保存数据,采用死区和变化率压缩,压缩比为1:30;
支持优化旋转门算法对历史数据进行压缩;
专用的磁盘存贮算法来保证对长年形成的海量历史数据的快速查询;
支持的浮点型、布尔型、字符串型、等常见数据类型及“任意”类型;
数据库吞吐量支持每秒写入/查询20,000个数据点;
支持历史数据库在线备份,多服务器并发处理;
支持数据库冗余;
IO数据采集断线重连:通讯故障能够自动恢复,I/O时间同步;自动补偿 PC 时钟偏差。
构建企业信息门户
力控pSpace可以为企业在创建基于Inter/Intra的网络信息门户时提供完整的软件解决方案,同时支持PDA掌上终端访问力控的WEB服务器。
对pSpaceTM Server的数据进行Web管理有以下几种方式:
使用IIS作为Web管理服务器,将通用流程画面转换为Web网页,整个系统与WIN系统无缝集成,基于WEB组态的工具控件包通过相应的检索便可以进行查询,能够直接生成WEB页面;
使用组态软件创建Web服务器和Web网页然后发布;
用户使用pSpaceTM Visual ActiveX自行创建Web服务器和Web网页;
用户可以使用自己熟悉的网站开发工具如:FrontPage、Dreamweaver、ASP等创建主页,设立网站,并在网页中嵌入pSpace Visual ActiveX中的控件建立pSpaceTM Server的数据显示。
特点如下:
Web页面与过程画面的高度同步
pSpace Web Server实现了服务器端与客户端画面的高度同步, 在浏览器上可以同时浏览多个过程画面, 看到的图形界面与通用组态软件生成的过程画面效果完全相同,数据采用变化传输的方式,具有更快的运行与数据更新速度。
企业级Web服务器
pSpace Web Server专为构建企业级Web服务器而设计,具备高容量的数据吞吐能力和良好的健壮性,力控Web Server支持多达500的客户端的同时访问。
完善的安全机制
pSpace Web Server提供完善的安全管理机制。
只有授权的用户才能修改过程参数。
使用pSpace Web Server时,管理员尽可安心,不必担心非法或未授权的修改。
客户端
力控实时历史数据库管理系统提供了基本的客户端组态工具,开放的接口可以高级应用中的资产管理、设备诊断等管理客户端的开发,每个客户端应用软件都可以与pSpace Server运行在同一台计算机上,也可以分布式地运行在其它网络结点机上。
1)管理工具Admin
pSpace系统配置工具。
包括:在线配置数据库点、采集接口、监控服务器和采集器状态,启、停远程服务等。
2)Forcecontrol组态软件
完成生产调度系统的实时监控,曲线分析、生产报表、报警、事件等。
3)Excel Add-In:Excel加载宏,完成功能包括:
查询原始数据;
查询当前数据;
利用索引点查询过滤数据;
查询数据的采样值;
查询统计值(最小值、最大值、平均值、标准方差、累计值、计数值);
显示、导入、导出标签;
导入、导出数据;
显示、导入、导出消息;
显示采集接口;
4)pBatch
批量生产工艺数据的检索和表示,可跟踪与批量生产相关的各种信息。
5)Alarm Server
报警服务器。
6)SNMP Agent:
网络管理工具,可以在线诊断网络设备。
上层应用工具
报表工具:
可以在力控®的万能报表工具中获取实时数据库的各种过程数据,完成数据的查询与计算;建立易用、灵活、强大的报表系统。
设备运行诊断工具:
生产设备运行诊断工具可以方便地了解运行设备故障事件发生的时间、地点、状态和原因,从而降低设备维护成本。
趋势组记录工具:
提供了非常丰富的趋势记录功能,实时趋势和历史趋势记录允许趋势曲线多层重叠,可以通过颜 分好数据和坏数据,可以显示数据的采样周期、数值精度和曲线变化情况。
图形分析工具:
包括直方图、饼图、面积图等十种图形分析工具,非常方便数据的显示与比较。
图形具有透明性,从而更加容易地观察到数据之间的差别。
趋势曲线放大镜:
利用趋势曲线的放大镜工具,可以放大任何时间的实时和历史曲线,非常方便地分析时间序列的数据。
通过趋势曲线的滚动按钮,可以前后滚动查看趋势曲线的变化情况。
成本核算工具:
内嵌成本核算模板工具,包括核算体系(生产基本单位核算、财务核算及其报表)、预算和考核体系、信息实时查询(收率、消耗、能耗等)、成本统计报表。
质量分析工具:
提供质量分析模板工具,将生产过程的实时数据和质量点的采样数据进行比较,在线进行评估,以便生产管理人员及时掌握各个产品的质量数据。
长期保存质检数据,便于质量分析。
安全性及用户管理
网络安全
在进行项目设计时,在数据采集站可进行双网卡配置以保证生产网和管理网的物理隔离,DA SERVER采集站软件设计中可以保证数据单项传输,防止管理网的干扰生产网。
用户管理
实时数据库提供了完备的安全保护机制,以保证生产过程的安全可靠,用户管理具备多个级别,并可根据级别限制对重要工艺参数的修改,以有效避免生产过程中的误 *** 作。
实时数据库提供了安全区的概念,同级别,不同安全区的数据不可以互相 *** 作,保证了数据的分布式的管理。
提供基于远程的用户管理,增加更多的用户级别及安全区,管理所有用户的远程登陆信息。
加密管理:
支持工程加密,用户可以通过加密锁自己定义工程密码,没有此加密锁任何非法用户无法侵入,保护了自己的工程结构;
*** 作事件:
可以详细的记录 *** 作事件和系统事件,方便事故追忆;
开机自动运行设置、有效的屏蔽系统键盘,可以防止非法用户入侵;
数据采集器DA SERVER
DA SERVER 是Server 与各种数据源之间的接口,DA SERVER具有自动网络通信负荷平衡功能和断线数据缓冲功能,DA SERVER可以和Server运行在同一服务器内,也可以运行在不同的前端机上,通过TCP/IP与Server通信。
DA SERVER主要有以下几种:
DA SERVER:专用的数据采集服务器,通过它中心服务器可以采集各种DCS、PLC、FCS等I/O设备的数据,DA SERVER可以集成HMI/SCADA组态软件的数据采集接口,对于已经安装运行了组态软件的SCADA工作站,通过该数据采集器可以很方便地将SCADA数据采集到Server中。
MOPC:通过该数据采集器,Server可以采集其他各种第三方的OPC Server的数据。
性能
支持通过RS232、RS422、RS485、电台、电话轮巡拨号、以太网、移动GPRS、CDMA、GSM网络等方式和设备进行通讯;
开发环境下具备在线诊断设备通讯功能,可以动态的打开、关闭设备,通讯故障后具备自动恢复功能;
支持控制设备和控制网络冗余,控制设备进行切换时,通讯会自动切换;
支持多种协议的设备挂在一条通讯链路上与DA SERVER进行通讯,方便电台等远程通讯;
支持与设备采取主从、主主、从主等多种交互机制来进行通讯,比如对MODBUS标准协议设备,支持主与从2种方式与设备通讯;
可以采集带时间戳的数据,毫秒级数据采集速率,实现历史数据向实时数据库的回插功能,可以采集记录仪、录波器数据,支持SOE,完成事件监视。
支持的设备种类
支持主流的DCS、PLC、DDC、现场总线、智能仪表等1000多种厂家设备的通讯;也可以按照用户提出的通信协议和硬件接口,在较短时间内开发新的驱动程序。
无所不在的移动通讯
所有设备的驱动程序支持通过移动GPRS、CDMA网络与控制设备进行通讯,DA SERVER节点与其远程DA SERVER节点也可以进行移动通讯;
DA SERVER移动数据服务器与远程设备的通讯为并发处理、完全透明的解决方案,消除了一般软件采用虚拟串口方式造成数据传输不稳定的隐患,有效的流量控制机制保证了远程应用中节省通讯费用;
支持设备主动通过GPRS上传数据的方式进行数据传输。
典型企业信息化应用
胜利油田油气集输公司是胜利油田从事油气集输的专业化生产企业,主要担负胜利油田原油外输、天然气生产集输及轻烃生产任务。
管理着9个气田,187口气井,24座集配气站,总长240公里的天然气输气管道和220公里的输油管道,8座大中型输油站库,2座压气站和3套轻烃回收装置。
所辖13个三级单位,具有点多、线长、面广、易燃易爆、高温高压的特点。
该系统对油田的原油库和压气站等身产装置进行网络信息处理。
该信息系统集成了多种设备,信息集成使用了OPC、DDE、ODBC、PROFIBUS、MODBUS、RS485等多种网络采集方式进行数据处理,是一个典型的分布式采集,集中管理的大型网络信息化系统。
胜利油田原油库控制系统主要选用了SIEMENS 控制系统,在压气站中, 50万岗位使用Honeywell的S9000型号的DCS控制系统;SW64岗位是美国库伯公司的RR控制器;二次增压岗位使用日本Omron的控制器;离心机岗位是横河CS1000型号的DCS控制系统;配气岗位是美国SIXNET公司的ST-GT-1210控制器;热煤炉岗位控制系统是三菱的PLC;配电岗位设有许继的配电保护及监控系统。
pSpace在应用中有效的集成了以上系统,从监测和考核原材料及水、电、气、风的用量入手,减少能耗物耗,对优化生产过程,提高生产运行效率起到了关键的作用。
典型先进控制方案
pSpace支持与国外的各种数据库进行数据交互,比如INFOPLUS、PI、PHD等,通过pSpace SERVER可以在国内外的各种平台上进行上层应用、专家诊断、先进控制等,下面是一个电厂设备诊断的应用,pSpace SERVER通过各种接口将现有SIS系统、小神探系统、新增的断路器和各种辅机监测系统集成为一个整体,其中,状态检修系统需要的绝大部分实时数据都取自SIS系统的PI实时数据库,因此,PI数据库和力控实时数据库之间的接口是整个系统集成的关键,接口Gateway的性能将直接决定整个状态检修系统的性能。
900gb每秒。实时数据库访问速度为900gb每秒,数据库专业的来说,其实就是一种电子的仓库,是专门储存数据和管理管理数据的一种处所,用户可以对数据库中的数据进行新增和更新或者删除等 *** 作。
以上就是关于redis可以替代实时数据库,作为工业数据采集的后台数据库吗全部的内容,包括:redis可以替代实时数据库,作为工业数据采集的后台数据库吗、浅议如何提高MES系统的数据实时性、oracle属于实时数据库吗目前市场上,实时数据库有哪些等相关内容解答,如果想了解更多相关内容,可以关注我们,你们的支持是我们更新的动力!
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)