ifix5.5如何做历史数据库?

ifix5.5如何做历史数据库?,第1张

pSpace在企业信息化的作用

对于现代工业企业,如何能使决策者随时查看生产过程数据,以便快速地做出更为灵活的商业决策,是企业信息化建设的关键,在企业MES所关注的各项资源中,生产过程信息依然是重要的资源,如果不能解决生产过程信息实时有效上传的问题,将仍然无法充分利用和保障MES及ERP管理系统的投资。

企业MES核心是实时历史数据库,实时数据库可用于工厂过程的自动采集、存储和监视,可在线存储每个工艺过程点的多年数据,可以提供清晰、精确的 *** 作情况画面,用户既可浏览工厂当前的生产情况,也可回顾过去的生产情况,可以说,实时数据库对于流程工厂来说就如同飞机上的“黑匣子”。

工厂的历史数据对公司来说是很有价值的,实时数据库的核心就是数据档案管理,它采集并存储与流程相关的上千点的数据,多年应用历史数据库管理的经验告诉我们,现在很难知道将来进行分析时哪些数据是必须的。

因此,保存所有的数据是防止丢失所需信息的最好方法。

此外,要改进产品,必须具备与之相关物料的信息,并了解当前和过去的 *** 作状态。

实时数据库采集、存储流程信息,用来指导工艺改进、降低物料、增加产量。

实时数据库为最终用户提供了快捷、高效的工厂信息,由于工厂实时数据存放在统一的数据库中,工厂中的所有人,无论在什么地方都可看到和分析相同的信息,客户端的应用程序可使用户很容易对工厂级实施管理,诸如工艺改进、质量控制、故障预防维护等。

通过实时数据库可集成产品计划、维护管理、专家系统、化验室信息系统、模拟与优化等应用程序,在业务管理和实时生产之间起到桥梁作用。

北京三维力控推出的pSpaceTM就是这样一个极具竞争力的软件产品,pSpaceTM作为企业级实时历史数据库,通过极高速度的数据采集、大量历史数据存储和大量实时过程数据的发布,实现企业信息集成的基础平台,它为企业实现底层监控、信息集成提供了全方位的软件解决方案。

pSpace可以构成一个复杂的企业信息化系统,企业信息化系统是采用了实时历史数据库技术的计算机系统,该系统不仅仅是一组对数据进行处理的软件,也不只是一个数据库。

一个实时历史数据库系统是一个实际可运行的,按照数据方式存储、维护和向应用程序提供数据或信息支持的系统,它是存储介质、处理对象和管理系统的 *** 体,由数据库、硬件、软件几部分组成,pSpace是企业信息化的核心处理软件平台。

pSpace 企业级实时历史数据库为完全的分布式结构,可任意组建应用模式,支持C/S和B/S应用;它可以提供丰富的企业级信息系统客户端应用和工具;大容量支持企业级应用,内部实现高数据压缩率,可实现历史数据的大量存储,灵活的扩展结构可满足各种需求,具备广泛的安全性和可跟踪性。

pSpace实时历史数据库能完成来自DCS、FCS和其它控制系统的实时数据的采集、存储、压缩,实时数据和历史数据的检索、统计、分析、建模,并进行曲线、图表显示,实现了流程工业中典型的应用功能,如工艺流程图展现、历史曲线分析、历史报警分析、EXCEL报表插件等,能为其他管理软件提供高效的数据接口,将连续存储的历史数据与这些管理软件进行双向通讯,pSpace是一个具有标准接口的、可二次开发的平台。

实时数据库结构:

一个实时数据库系统的优劣,主要体现在它提供的功能是否齐备,系统性能是否优越,能否完成有效的数据存取,各种数据 *** 作、查询处理、存取方法、完整性检查,保证相关的事务管理,事务的概念、调度与并发控制、执行管理及存取控制,安全性检验。

以下是力控的系统结构图系统组成:由采集站DA、数据服务器、 WEB服务器、客户端组成,同时和关系数据库进行有效的数据交换,DCS的数据经过DA进行采集,由DA SERVER送到数据服务器,数据服务器再有效的送给其它客户端。

pSpace实时数据库服务器主要由以下几部分构成:

pSpace Server:

负责整个pSpaceTM应用系统的实时数据处理、历史数据存储、统计数据处理、数据服务请求、事件触发器管理、调度管理、资源管理、系统配置等。

pSpace Data Service:

为第三方厂家的软件访问pSpaceTM Server时提供数据服务功能,包括:OPC Server、DDE Server、ODBC Router、Base API接口等

pSpace COM SDK:

COM SDK为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口。

pSpace Visual ActiveX:

是一组开放的控件,如:数据控件、文本控件、棒图控件、趋势控件等,控件可以直接访问实时数据库和关系数据库的数据。

pSpace DA Server数据采集器:

pSpaceTM DA server是数据采集站的设备通讯管理服务程序,用于系统和DCS、PLC等数据源之间的数据交换,具有自动网络通信负荷平衡功能和断线数据缓冲功能。

pSpace的Web服务器

使用IIS作为Web管理服务器,用图形客户端生成Web网页;

使用pSpace Visual ActiveX自行创建Web服务器和Web网页;

使用pSpace Webserver,用图形客户端生成Web网页;

pSpace 客户端

监控组态软件:力控Forcecontrol系列;

Microsoft Excel:采用标准EXCEL加载宏方式通过网络访问数据库;

“瘦”客户端:Microsoft Inter Explorer 5.0或以上版本的浏览器;

Visual ActiveX:pSpace可视化控件工具包是为建立客户端连接而提供的客户端产品;它包括一组ActiveX控件,如:数据控件、文本控件、棒图控件、趋势控件等;

二次开发工具及访问接口

标准访问接口供客户端程序调用或第三方软件访问使用,因此接口的完整性、开放性决定实时数据库二次开发的性能的优劣,pSpace访问接口及开发工具主要包括以下几种:

1)DBI API

DBI是一套实时数据库访问接口,给用户提供底层编程接口,通过它可以与客户端连接,对数据库进行数据读写,满足继线重连功能,可以获取数据库结构信息,动态控制变化数据集,DBI接口采用了快速数据访问机制,数据访问吞吐量可达到11万次/秒,可以适合过程仿真、优化控制、专家诊断等多种行业应用。

2)COM SDK

SDK是为用户开发基于pSpaceTM Server的应用程序提供基于COM对象的编程接口,用COM SDK编写的一个实例可以同时连接多个Server,也可以用COM SDK同时建立多个实例,提供面向对象的类库供用户开发应用程序,用户使用该工具编程可以提高开发效率,该工具可以在VC++,VB,VBScript,等开发环境下使用。

3)OLE DB Provider

应用程序提供pSpace Server数据库的ADO访问接口。

4)DAI SDK

pSpace的数据源采集接口的开放工具,DAI采集接口软件都可以单独运行在一台网络结点机,并可在远程对其进行配置与监控,具备以下功能:

DAI 可以直接利用原有的力控组态软件的驱动程序;

DAI 具备断线缓存功能;另外DAInterface还要增加几个接口;

DAI 支持XML、CSV文件接口,可采集离线数据源。

实时数据库性能指标:

从实时数据库运行环境来看,实时数据库系统的除了自身的软件性能外,还取决于所使用的 *** 作系统、硬件环境等。

单台服务器容量可达12,0000点以上;

历史数据库支持unix linux windows等64位 *** 作系统;

完整的事件记录系统,所有 *** 作员的动作均被检查并记录,可作为跟踪依据;

功能强大的压缩算法:按高压缩格式保存数据,采用死区和变化率压缩,压缩比为1:30;

支持优化旋转门算法对历史数据进行压缩;

专用的磁盘存贮算法来保证对长年形成的海量历史数据的快速查询;

支持的浮点型、布尔型、字符串型、等常见数据类型及“任意”类型;

数据库吞吐量支持每秒写入/查询20,000个数据点;

支持历史数据库在线备份,多服务器并发处理;

支持数据库冗余;

IO数据采集断线重连:通讯故障能够自动恢复,I/O时间同步;自动补偿 PC 时钟偏差。

构建企业信息门户

力控pSpace可以为企业在创建基于Inter/Intra的网络信息门户时提供完整的软件解决方案,同时支持PDA掌上终端访问力控的WEB服务器。

对pSpaceTM Server的数据进行Web管理有以下几种方式:

使用IIS作为Web管理服务器,将通用流程画面转换为Web网页,整个系统与WIN系统无缝集成,基于WEB组态的工具控件包通过相应的检索便可以进行查询,能够直接生成WEB页面;

使用组态软件创建Web服务器和Web网页然后发布;

用户使用pSpaceTM Visual ActiveX自行创建Web服务器和Web网页;

用户可以使用自己熟悉的网站开发工具如:FrontPage、Dreamweaver、ASP等创建主页,设立网站,并在网页中嵌入pSpace Visual ActiveX中的控件建立pSpaceTM Server的数据显示。

特点如下:

Web页面与过程画面的高度同步

pSpace Web Server实现了服务器端与客户端画面的高度同步, 在浏览器上可以同时浏览多个过程画面, 看到的图形界面与通用组态软件生成的过程画面效果完全相同,数据采用变化传输的方式,具有更快的运行与数据更新速度。

企业级Web服务器

pSpace Web Server专为构建企业级Web服务器而设计,具备高容量的数据吞吐能力和良好的健壮性,力控Web Server支持多达500的客户端的同时访问。

完善的安全机制

pSpace Web Server提供完善的安全管理机制。

只有授权的用户才能修改过程参数。

使用pSpace Web Server时,管理员尽可安心,不必担心非法或未授权的修改。

客户端

力控实时历史数据库管理系统提供了基本的客户端组态工具,开放的接口可以高级应用中的资产管理、设备诊断等管理客户端的开发,每个客户端应用软件都可以与pSpace Server运行在同一台计算机上,也可以分布式地运行在其它网络结点机上。

1)管理工具Admin

pSpace系统配置工具。

包括:在线配置数据库点、采集接口、监控服务器和采集器状态,启、停远程服务等。

2)Forcecontrol组态软件

完成生产调度系统的实时监控,曲线分析、生产报表、报警、事件等。

3)Excel Add-In:Excel加载宏,完成功能包括:

查询原始数据;

查询当前数据;

利用索引点查询过滤数据;

查询数据的采样值;

查询统计值(最小值、最大值、平均值、标准方差、累计值、计数值);

显示、导入、导出标签;

导入、导出数据;

显示、导入、导出消息;

显示采集接口;

4)pBatch

批量生产工艺数据的检索和表示,可跟踪与批量生产相关的各种信息。

5)Alarm Server

报警服务器。

6)SNMP Agent:

网络管理工具,可以在线诊断网络设备。

上层应用工具

报表工具:

可以在力控®的万能报表工具中获取实时数据库的各种过程数据,完成数据的查询与计算;建立易用、灵活、强大的报表系统。

设备运行诊断工具:

生产设备运行诊断工具可以方便地了解运行设备故障事件发生的时间、地点、状态和原因,从而降低设备维护成本。

趋势组记录工具:

提供了非常丰富的趋势记录功能,实时趋势和历史趋势记录允许趋势曲线多层重叠,可以通过颜 *** 分好数据和坏数据,可以显示数据的采样周期、数值精度和曲线变化情况。

图形分析工具:

包括直方图、饼图、面积图等十种图形分析工具,非常方便数据的显示与比较。

图形具有透明性,从而更加容易地观察到数据之间的差别。

趋势曲线放大镜:

利用趋势曲线的放大镜工具,可以放大任何时间的实时和历史曲线,非常方便地分析时间序列的数据。

通过趋势曲线的滚动按钮,可以前后滚动查看趋势曲线的变化情况。

成本核算工具:

内嵌成本核算模板工具,包括核算体系(生产基本单位核算、财务核算及其报表)、预算和考核体系、信息实时查询(收率、消耗、能耗等)、成本统计报表。

质量分析工具:

提供质量分析模板工具,将生产过程的实时数据和质量点的采样数据进行比较,在线进行评估,以便生产管理人员及时掌握各个产品的质量数据。

长期保存质检数据,便于质量分析。

安全性及用户管理

网络安全

在进行项目设计时,在数据采集站可进行双网卡配置以保证生产网和管理网的物理隔离,DA SERVER采集站软件设计中可以保证数据单项传输,防止管理网的干扰生产网。

用户管理

实时数据库提供了完备的安全保护机制,以保证生产过程的安全可靠,用户管理具备多个级别,并可根据级别限制对重要工艺参数的修改,以有效避免生产过程中的误 *** 作。

实时数据库提供了安全区的概念,同级别,不同安全区的数据不可以互相 *** 作,保证了数据的分布式的管理。

提供基于远程的用户管理,增加更多的用户级别及安全区,管理所有用户的远程登陆信息。

加密管理:

支持工程加密,用户可以通过加密锁自己定义工程密码,没有此加密锁任何非法用户无法侵入,保护了自己的工程结构;

*** 作事件:

可以详细的记录 *** 作事件和系统事件,方便事故追忆;

开机自动运行设置、有效的屏蔽系统键盘,可以防止非法用户入侵;

数据采集器DA SERVER

DA SERVER 是Server 与各种数据源之间的接口,DA SERVER具有自动网络通信负荷平衡功能和断线数据缓冲功能,DA SERVER可以和Server运行在同一服务器内,也可以运行在不同的前端机上,通过TCP/IP与Server通信。

DA SERVER主要有以下几种:

DA SERVER:专用的数据采集服务器,通过它中心服务器可以采集各种DCS、PLC、FCS等I/O设备的数据,DA SERVER可以集成HMI/SCADA组态软件的数据采集接口,对于已经安装运行了组态软件的SCADA工作站,通过该数据采集器可以很方便地将SCADA数据采集到Server中。

MOPC:通过该数据采集器,Server可以采集其他各种第三方的OPC Server的数据。

性能

支持通过RS232、RS422、RS485、电台、电话轮巡拨号、以太网、移动GPRS、CDMA、GSM网络等方式和设备进行通讯;

开发环境下具备在线诊断设备通讯功能,可以动态的打开、关闭设备,通讯故障后具备自动恢复功能;

支持控制设备和控制网络冗余,控制设备进行切换时,通讯会自动切换;

支持多种协议的设备挂在一条通讯链路上与DA SERVER进行通讯,方便电台等远程通讯;

支持与设备采取主从、主主、从主等多种交互机制来进行通讯,比如对MODBUS标准协议设备,支持主与从2种方式与设备通讯;

可以采集带时间戳的数据,毫秒级数据采集速率,实现历史数据向实时数据库的回插功能,可以采集记录仪、录波器数据,支持SOE,完成事件监视。

支持的设备种类

支持主流的DCS、PLC、DDC、现场总线、智能仪表等1000多种厂家设备的通讯;也可以按照用户提出的通信协议和硬件接口,在较短时间内开发新的驱动程序。

无所不在的移动通讯

所有设备的驱动程序支持通过移动GPRS、CDMA网络与控制设备进行通讯,DA SERVER节点与其远程DA SERVER节点也可以进行移动通讯;

DA SERVER移动数据服务器与远程设备的通讯为并发处理、完全透明的解决方案,消除了一般软件采用虚拟串口方式造成数据传输不稳定的隐患,有效的流量控制机制保证了远程应用中节省通讯费用;

支持设备主动通过GPRS上传数据的方式进行数据传输。

典型企业信息化应用

胜利油田油气集输公司是胜利油田从事油气集输的专业化生产企业,主要担负胜利油田原油外输、天然气生产集输及轻烃生产任务。

管理着9个气田,187口气井,24座集配气站,总长240公里的天然气输气管道和220公里的输油管道,8座大中型输油站库,2座压气站和3套轻烃回收装置。

所辖13个三级单位,具有点多、线长、面广、易燃易爆、高温高压的特点。

该系统对油田的原油库和压气站等身产装置进行网络信息处理。

该信息系统集成了多种设备,信息集成使用了OPC、DDE、ODBC、PROFIBUS、MODBUS、RS485等多种网络采集方式进行数据处理,是一个典型的分布式采集,集中管理的大型网络信息化系统。

胜利油田原油库控制系统主要选用了SIEMENS 控制系统,在压气站中, 50万岗位使用Honeywell的S9000型号的DCS控制系统;SW64岗位是美国库伯公司的RR控制器;二次增压岗位使用日本Omron的控制器;离心机岗位是横河CS1000型号的DCS控制系统;配气岗位是美国SIXNET公司的ST-GT-1210控制器;热煤炉岗位控制系统是三菱的PLC;配电岗位设有许继的配电保护及监控系统。

pSpace在应用中有效的集成了以上系统,从监测和考核原材料及水、电、气、风的用量入手,减少能耗物耗,对优化生产过程,提高生产运行效率起到了关键的作用。

典型先进控制方案

pSpace支持与国外的各种数据库进行数据交互,比如INFOPLUS、PI、PHD等,通过pSpace SERVER可以在国内外的各种平台上进行上层应用、专家诊断、先进控制等,下面是一个电厂设备诊断的应用,pSpace SERVER通过各种接口将现有SIS系统、小神探系统、新增的断路器和各种辅机监测系统集成为一个整体,其中,状态检修系统需要的绝大部分实时数据都取自SIS系统的PI实时数据库,因此,PI数据库和力控实时数据库之间的接口是整个系统集成的关键,接口Gateway的性能将直接决定整个状态检修系统的性能。

如何应对数据库CPU打满?最优解在这里...

阿里云数据库

2020-04-26 16:48·字数:4996·阅读:129

如何用好数据库,调校数据库使其发挥最优的性能?

如何快速诊断和应对各种原因导致的突发数据库性能问题?

如何以最低资源成本满足业务需求?

......

这些复杂的运维难题最优解到底是什么?

今天(4月22日)15:00数据库自治服务DAS重磅发布会

现场为你揭晓答案!

数据库自动驾驶时代一触即发点击这里

即可预约直播

今天提前为大家揭秘数据库自治服务DAS的一个创新功能 —— AutoScale,基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。

01背 景

为业务应用选择一个合适的数据库规格,是每个数据库运维同学都会经常面临的一个问题。若规格选的过大,会产生资源浪费;若规格选的过小,计算性能不足会影响业务。

通常情况下,运维同学会采用业务平稳运行状态下,CPU可处于合理水位(例如50%以下)的一个规格(如4核CPU配8G内存)并配一个相对富余的磁盘规格(如200G)。

然而在数据库应用运维同学的日常生活里,线上应用流量突增导致数据库资源打满的情况时有发生,而引发这类问题的场景可能多种多样:

1、新业务上线,对业务流量预估不足,导致资源打满,如新上线的应用接入了大量的引流,或基础流量比较大的平台上线了一个新特性功能。

2、不可预知的流量,如突发的舆论热点带来的临时流量,或某个网红引发的限时抢购、即兴话题等。

3、一些平时运行频次不高,但又偶发集中式访问,如每日一次的上班打卡场景,或每周执行几次的财务核算业务。这类业务场景平时业务压力不高,虽已知会存在访问高峰,但为节省资源而通常不会分配较高的规格。

当上述业务场景突发计算资源不足状况时,通常会让运维同学措手不及,严重影响业务,如何应对“数据库资源打满”是运维同学常常被挑战的问题之一。

在数据库场景下,资源打满可分为计算资源和存储资源两大类,其主要表现:

1、计算资源打满,主要表现为CPU资源利用率达到100%,当前规格下的计算能力不足以应对;

2、存储资源打满,主要表现为磁盘空间使用率达到100%,数据库写入的数据量达到当前规格下的磁盘空间限制,导致业务无法写入新数据;

针对上述两类问题,数据库自治服务 DAS 进行了服务创新,使数据库服务具备自动扩展存储和计算资源的技术能力,应对上述的问题。

DAS AutoScale基于数据库实例的实时性能数据作为输入,由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议,使数据库服务具备自动扩展存储和计算资源的能力。

接下来,本文将对DAS AutoScale服务的架构进行详细的介绍,包括技术挑战、解决方案和关键技术。

02技术挑战

计算节点规格调整是数据库优化的一种常用手段,尽管计算资源规格只涉及到CPU和内存,但在生产环境进行规格变配的影响还是不容忽视,将涉及数据迁移、HA切换、Proxy切换等 *** 作,对业务也会产生影响。

业务有突发流量时,计算资源通常会变得紧张甚至出现CPU达到100%的情况。通常情况下,这种情况会通过扩容数据库规格的方式来解决问题,同时DBA在准备扩容方案时会至少思考如下三个问题:

1.扩容是否能解决资源不足的问题?

2.何时应该进行扩容?

3.如何扩容,规格该如何选择?

解决这三个问题,DAS同样面临如下三个方面挑战:

2.1. 挑战一:如何判别扩容是否能够解决问题?

在数据库场景下,CPU打满只是一个计算资源不足的表征,导致这个现象的根因多样,解法也同样各异。例如业务流量激增,当前规格的资源确实不能够满足计算需求,在合适的时机点,d性扩容是一个好的选择,再如出现了大量的慢SQL,慢SQL堵塞任务队列,且占用了大量的计算资源等,此时资深的数据库管理员首先想到的是紧急SQL限流,而不是扩容。在感知到实例资源不足时,DAS同样需要从错综复杂的问题中抽丝剥茧定位根因,基于根因做出明智的决策,是限流,是扩容,还是其它。

2.2. 挑战二:如何选择合适的扩容时机和扩容方式?

对于应急扩容时机,选择的好坏与紧急情况的判断准确与否密切相关。“紧急”告警发出过于频繁,会导致实例频繁的高规格扩容,产生不必要的费用支出;“紧急”告警发出稍晚,业务受到突发情况影响的时间就会相对较长,对业务会产生影响,甚至引发业务故障。在实时监控的场景下,当我们面临一个突发的异常点时,很难预判下一时刻是否还会异常。因此,是否需要应急告警变得比较难以决断。

对于扩容方式,通常有两种方式,分别是通过增加只读节点的水平扩容,以及通过改变实例自身规格的垂直扩容。

其中,水平扩容适用于读流量较多,而写流量较少的场景,但传统数据库需要搬迁数据来搭建只读节点,而搬迁过程中主节点新产生的数据还存在增量同步更新的问题,会导致创建新节点比较慢。

垂直扩容则是在现有规格基础上进行升级,其一般流程为先对备库做升级,然后主备切换,再对新备库做规格升级,通过这样的流程来降低对业务的影响,但是备库升级后切换主库时依然存在数据同步和数据延迟的问题。因此,在什么条件下选择哪种扩容方式也需要依据当前实例的具体流量来进行确定。

2.3. 挑战三:如何选择合适的计算规格?

在数据库场景下,实例变更一次规格涉及多项管控运维 *** 作。以物理机部署的数据库变更规格为例,一次规格变更 *** 作通常会涉及数据文件搬迁、cgroup隔离重新分配、流量代理节点切换、主备节点切换等 *** 作步骤;而基于Docker部署的数据库规格变更则更为复杂,会额外增加Docker镜像生成、Ecs机器选择、规格库存等微服务相关的流程。因此,选择合适的规格可有效地避免规格变更的次数,为业务节省宝贵的时间。

当CPU已经是100%的时候,升配一个规格将会面临两种情况:第一种是升配之后,计算资源负载下降并且业务流量平稳;第二种是升配之后,CPU依然是100%,并且流量因为规格提升后计算能力增强而提升。

第一种情况,是比较理想的情况,也是预期扩容后应该出现的效果,但是第二种情况也是非常常见的情形,由于升配之后的规格依然不能承载当前的业务流量容量,而导致资源依然不足,并且仍在影响业务。如何利用数据库运行时的信息选择一个合适的高配规格是将直接影响升配的有效性。

03解决方案

针对上述提到的三项技术挑战,下面从DAS AutoScale服务的产品能力、解决方案、核心技术这三个方面进行解读,其中涉及RDS和PolarDB两种数据库服务,以及存储自动扩容和规格自动变更两个功能,最后以一个案例进一步具体说明。

3.1. 能力介绍

在产品能力上,目前DAS AutoScale服务针对阿里云RDS数据库和PolarDB数据提供存储自动扩容服务和规格自动变配服务。

其中,针对即将达到用户已购买规格上限的实例,DAS存储自动扩容服务可以进行磁盘空间预扩容,避免出现因数据库磁盘满而影响用户业务的发生。在该服务中,用户可自主配置扩容的阈值比例,也可以采用DAS服务预先提供的90%规格上界的阈值配置,当触发磁盘空间自动扩容事件后,DAS会对该实例的磁盘进行扩容;

针对需要变更实例规格的数据库实例,DAS规格自动变配服务可进行计算资源的调整,用更符合用户业务负载的计算资源来处理应用请求,在该服务中,用户可自主配置业务负载流量的突发程度和持续时间,并可以指定规格变配的最大配置以及变配之后是否回缩到原始规格。

在用户交互层面,DAS AutoScale主要采用消息通知的方式展示具体的进度以及任务状态,其中主要包括异常触发事件、规格建议和管控任务状态三部分。异常触发事件用于通知用户触发变配任务,规格建议将针对存储扩容和规格变配的原始规格和目标值进行说明,而管控任务状态则将反馈AutoScale任务的具体进展和执行状态。

3.2 方案介绍

为了实现上面介绍的具体能力,DAS AutoScale实现了一套完整的数据闭环,如图1:

图1 DAS AutoScale数据闭环

在该闭环中,包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块,各模块的具体功能如下:

性能采集模块负责对实例进行实时性能数据采集,涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等;

决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断,以解决挑战一的问题。例如可通过SQL限流来解决当前计算资源不足的问题则会采取限流处理;若确实为突增的业务流量,则会继续进行AutoScale服务流程;

算法模型是整个DAS AutoScale服务的核心模块,负责对数据库实例的业务负载异常检测和容量规格模型推荐进行计算,进而解决挑战二和挑战三的具体问题;

规格建议校验模块将产出具体建议,并针对数据库实例的部署类型和实际运行环境进行适配,并与当前区域的可售卖规格进行二次校验,确保的建议能够顺利在管控侧进行执行;

管控模块负责按照产出的规格建议进行分发执行;

状态跟踪模块则用于衡量和跟踪规格变更前后数据库实例上的性能变化情况;

接下来,将分别针对DAS AutoScale支持的存储扩容和规格变配两个业务场景进行展开介绍。

!图2 存储扩容方案](https://upload-images.jianshu.io/upload_images/16625435-f448260506c94c56.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240 "lADPD26eLFb47F_NAW3NBDg_1080_365.jpg_720x720q90g.jpg")

存储扩容的方案见图2,主要有两类触发方式,分别是用户自定义触发和算法预测触发。其中,算法将根据数据库实例过去一段时间内的磁盘使用值结合时序序列预测算法,预测出未来一段时间内的磁盘使用量,若短时间内磁盘使用量将超过用户实例的磁盘规格,则进行自动扩容。每次磁盘扩容将最少扩大5G,最多扩大原实例规格的15%,以确保数据库实例的磁盘空间充足。

目前在磁盘AutoScale的时机方面,主要采用的是阈值和预测相结合的方式。当用户的磁盘数据缓慢增长达到既定阈值(90%)时,将触发扩容 *** 作;如果用户的磁盘数据快速增长,算法预测到其短时间内将会可用空间不足时,也会给出磁盘扩容建议及相应的扩容原因说明。

图3 规格变配方案

规格变配的方案见图3,其具体流程为:首先,异常检测模块将针对业务突发流量从多个维度(qps、tps、active session、iops等指标)进行突发异常识别,经决策中心判别是否需要AutoScale变配规格,然后由规格建议模块产生高规格建议,再由管控组件进行规格变配执行。

待应用的异常流量结束之后,异常检测模块将识别出流量已回归正常,然后再由管控组件根据元数据中存储的原规格信息进行规格回缩。在整个变配流程结束之后,将有效果跟踪模块产出变配期间的性能变化趋势和效果评估。

目前规格的AutoScale触发时机方面,主要是采取对实例的多种性能指标(包括cpu利用率、磁盘iops、实例Logic read等)进行异常检测之后,结合用户设定的观测窗口期长度来实现有效的规格AutoScale触发。

触发AutoScale之后,规格推荐算法模块将基于训练好的模型并结合当前性能数据、规格、历史性能数据进行计算,产出更适合当前流量的实例规格。此外,回缩原始规格的触发时机也是需要结合用户的静默期配置窗口长度和实例的性能数据进行判断,当符合回缩原始规格条件后,将进行原始规格的回缩。

3.3核心技术支撑

DAS AutoScale服务依赖的是阿里云数据库数据链路团队、管控团队和内核团队技术的综合实力,其中主要依赖了如下几项关键技术:

1.全网数据库实例的秒级数据监控技术,目前监控采集链路实现了全网所有数据库实例的秒级采集、监控、展现、诊断,可每秒实时处理超过1000万项监控指标,为数据库服务智能化打下了坚实的数据基础;

2.全网统一的RDS管控任务流技

分类: 电脑/网络

问题描述:

现行大学里学习 集散控制系统DCS 的教材都有哪些 最好能说出书籍的全名 作者

解析:

集散控制系统(21世纪全国高等院校自动化系列实用规划教材)

【作者】:刘翠玲、黄建兵

【丛编项】:无

【装帧项】:平装 16 / 248

【出版项】:中国林业出版社 / 2006-9-1

【ISBN号】:***********X

【原书定价】:¥25.00

【图书目录】 - 集散控制系统(21世纪全国高等院校自动化系列实用规划教材)

第1章 绪论

1.1 计算机控制系统基础知识

1.1.1 计算机控制系统的一般概念

1.1.2 计算机控制系统内的信号变换

1.1.3 计算机控制系统的分类

1.1.4 计算机控制系统的发展概况与趋势

1.1.5 控制计算机的几种机型

1.2 计算机控制系统的设计与实现

1.2.1 计算机控制系统设计的原则

1.2.2 计算机控制系统设计步骤

1.3 集散控制系统概述

1.3.1 集散控制系统(DCS)概念

1.3.2 DCS的基本组成及特点

1.3.3 集散控制系统的发展历程

1.4 几种计算机控制系统与DCS的比较

1.4.1 以PLC构成的控制系统监督控制系统

1.4.2 监督控制和数据采集系统

1.4.3 .PC Based监督/控制系统

1.5 DCS典型产品及特点

1.5.1 Horeywell公司的TDC-3000系统

1.5.2 ABB公司的Industrialal IT系统

1.5.3 和利时公司的HOLLiAS系统

本章小结

思考题与习题

第2章 DCS的体系结构

2.1 DCS的体系结构形成

2.1.1 中央计算机集中控制系统的形成

2.1.2 DCS分层体系结构的形成

2.1.3 DCS的分层体系结构

2.2 DCS分层结构中各层的功能

2.2.1 直接控制级

2.2.2 过程管理级

2.2.3 生产管理级

2.2.4 工厂经营管理级

2.3 DCS的构成与联系

2.3.1 DCS的基本构成

2.3.2 DCS的软件构成

2.3.3 DCS的网络结构

2.4 DCS的体系结构的技术特点

2.4.1 信息集成化

2.4.2 控制功能的进一步分散化

2.5 DCS体系结构典型示例

2.5.1 TDC-3000型集散控制系统的体系结构

2.5.2 Centum-XL系统的体系结构

2.5.3 I/A Serics系统的体系结构

2.5.4 INFI-90系统的体系结构

2.5.5 MACS的体系结构

本章小结

思考题与习题

第3章 DCS硬件系统

3.1 DCS硬件系统概述

3.1.1 系统概述

3.1.2 系统的各层功能

3.2 DCS过程控制级

3.2.1 过程装置控制级的特征

3.2.2 过程控制级中的智能调节器与可编程控制器

3.3 现场控制站的结构

3.3.1 现场控制站的构成

3.3.2 现场控制站的功能与可靠性维护

3.3.3 过程控制级和现场控制站的关系

3.4 DCS *** 作员站和工程师站

3.4.1 中心计算机站

3.4.2 *** 作站的功能

3.4.3 工程师站的功能

3.5 DCS的输入/输出设备及原理

3.5.1 主控制器

3.5.2 输入/输出设备

3.5.3 人机接口设备

本章小结

思考题与习题

第4章 DCS的软件系统

4.1 DCS软件系统概述

4.2 DCS的控制层软件

4.2.1 控制层软件的功能

4.2.2 信号采集与数据预处理

4.2.3 控制编程语言与软件模型

4.3 DCS的监督控制软件

4.3.1 监控层的应用功能设计

4.3.2 实时数据库

4.3.3 *** 作员站软件结构

4.4 DCS的组态软件

4.4.1 实时数据库生成系统

4.4.2 生产过程流程画面

4.4.3 历史数据和报表

4.4.4 控制回路组态

4.5 DCS的控制方案

4.5.1 控制器中的PID控制算法及应用

4.5.2 控制器中的功能块

本章小结

思考题与习题

第5章 DCS的通信网络系统

5.1 网络和数据通信基本概念

5.1.1 通信网络系统的组成

5.1.2 基本概念及术语

5.2 工业数据通信

5.2.1 数据通信的编码方式

5.2.2 数据通信的工作方式

5.2.3 数据通信的电气特性

5.2.4 数据通信的传输介质

5.3 DCS中的控制网络标准和协议

5.3.1 计算机网络层次模型

5.3.2 网络协议

5.3.3 网络设备

5.4 现场控制总线

5.4.1 现场控制总线的产生

5.4.2 现场控制总线的特点

5.4.3 现场总线技术介绍

本章小结

思考题与习题

第6章 DCS的性能指标

6.1 DCS的可靠性

6.1.1 可靠度R(f)

6.1.2 失效率λ(t)

6.1.3 平均故障间隔时间(MTBF)

6.1.4 平均故障修复时间(MTTR)

6.1.5 平均寿命m

6.1.6 利用率A

6.2 提高系统利用率的措施

6.2.1 提高元器件和设备的可靠性

6.2.2 提高系统对环境的适应能力

6.2.3 容错技术的应用

6.3 DCS的安全性

6.3.1 系统的安全性概述

6.3.2 环境适应性设计技术

6.3.3 电磁兼容性和抗干扰

6.3.4 提高电磁兼容性和抗干扰能力的“六大法宝”

6.3.5 功能安全性设计

本章小结

思考题与习题

第7章 DCS的工程设计技术与应用实例

7.1 DCS的工程设计

7.1.1 方案论证

7.1.2 方案设计

7.1.3 工程设计

7.2 DCS的安装、调试与验收

7.2.1 安装、调试

7.2.2 验收、管理

7.2.3 维护与二次开发

7.3 MACS在薄页纸生产线当中的应用

7.4 西门子PCS7在锅炉控制中的应用

7.5 PlantScape系统在MTBE装置中的应用

本章小结

思考题与习题

附录一 DCS工程化设计步骤

附录二 DCS的工程应用实施方法

参考文献


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9649516.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-30
下一篇 2023-04-30

发表评论

登录后才能评论

评论列表(0条)

保存