什么是随机控制理论?

[拼音]：suiji kongzhi lilun

[外文]：stochastic control theory

控制理论中把随机过程理论与最优控制理论结合起来研究随机系统的分支。随机系统指含有内部随机参数、外部随机干扰和观测噪声等随机变量的系统。随机变量不能用已知的时间函数描述，而只能了解它的某些统计特性。自动控制系统分为确定性系统和不确定性系统两类，前者可以通过观测来确定系统的状态，后者则不能。随机系统是不确定性系统的一种，其不确定性是由随机性引起的。严格地说，任何实际的系统都含有随机因素，但在很多情况下可以忽略这些因素。当这些因素不能忽略时，按确定性控制理论设计的控制系统的行为就会偏离预定的设计要求，而产生随机偏差量。飞机或导d在飞行中遇到的阵风，在空间环境中卫星姿态和轨道测量系统中的测量噪声，各种电子装置中的噪声，生产过程中的种种随机波动等，都是随机干扰和随机变量的典型例子。随机控制系统的应用很广，涉及航天、航空、航海、军事上的火力控制系统，工业过程控制，经济模型的控制，乃至生物医学等。

随机控制理论研究的课题包括随机系统的结构特性和运动特性(如动态特性、能控性、能观测性、稳定性)的分析，随机系统状态的估计，以及随机控制系统的综合（即根据期望性能指标设计控制器）。随机系统中含有随机变量，所以在研究中需要使用随机过程的基本概念和概率统计方法。严格实现随机最优控制是很困难的。对于线性二次型高斯(LQG)随机过程控制问题,包括它的特例最小方差控制问题，可以应用分离原理把随机最优控制问题分解成状态估计问题和确定性最优控制问题，最终能得到全局最优的结果。但对于一般的随机控制问题应用分离原理只能得到次优的结果。

随机系统在连续时间情形下的动态过程，常可用随机微分方程

描述,式中x(t)为状态向量，dx(t)为由时刻t至t+dt状态的增量,u(t)为控制输入，θ为随机参数，w(t)为独立增量随机过程,其微分dw(t)可理解为白噪声。在离散时间情形下的动态过程则可采用随机差分方程

描述。式中t＝0,1,2,…为离散时间变量,w(t)为独立白色噪声序列。两种情况下系统的输出方程都为：

y(t)＝h[x(t),θ，t]＋v(t)

式中v(t)为输出通道中的随机干扰，假定为白色噪声。

使随机控制系统的某个性能指标泛函取极小值的控制称为随机最优控制。由于存在随机因素，这种性能指标泛函需要表示为统计平均（求数学期望）的形式：

或

式中E{·}表示{·}的均值即数学期望。使性能指标J为极小的最优控制常可取为开环和反馈控制两种形式。如果控制过程中决定u(t)所依据的只是设计时过程特性和随机变量的信息，没有进一步的测量和更新，这种控制策略就称为是开环的。若在决定t时刻的控制作用 u(t)时可以直接利用τ时刻的实时测量值y(τ),则称控制u(t)具有反馈形式，其中要求τ≤t，这是因果性或物理可实现性所要求的。按照利用实时信息的充分程度，又可把反馈形式的控制策略分为两种情形。当只利用这些信息来控制状态变量，而没有通过实时观测来估计和改进各随机变量的统计特性并修改控制策略时，这种策略称为是被动反馈式（简称反馈式）的。若控制策略兼有上述“控制”和“估计”两种功能并具有自行修正的能力，则称为闭环策略（或主动反馈策略）。这种“反馈”和“闭环”的差别是不确定性控制问题所特有的。A.A.费尔德包姆最先指出闭环随机最优控制策略的这种双重功能，并称之为二重最优控制。闭环(或二重)最优策略可达到在已有信息条件下的最好品质或全局最优解。同时它还具有不断按照实时测量改进对不确定性的认识并修正策略的功能，也称为随机自适应最优控制。闭环最优控制的求解很困难，通常只能根据最优解的定性性质来构造次优解。只对某些特殊问题才可能给出定量解法。

随机最优控制有两个重要的性质。由于存在不确定性，控制作用常宁可取得弱一些，保守一些。这称为谨慎控制。另一方面为更好和更快地进行估计，必须不断激发系统中各种运动模式，为此需要加入一些试探作用。试探作用的大小，则根据增加的误差、直接费用和所带来的好处等因素加以折衷权衡进行选择。谨慎和试探已成为设计随机控制策略的两个重要原则。

线性 (Linear)二次型 (quadratic)高斯(Gaussian)随机过程控制问题是用途最广的且可以用分离原理设计全局最优控制系统的一类问题。对于离散时间的情况，受控对象用如下线性差分方程来描述：

性能指标取为二次型的形式：

式中上标T表示向量的转置，装置噪声w(t)和量测噪声v(t)为高斯随机过程。并且假定控制 u(t)可依据t时刻及以前的观测数据y(t)，y(t-1)，…来确定。按照分离原理,随机最优控制的结构具有图中的形式。它由状态估值器给出状态x 的估计值憫，再由憫按线性状态反馈律u＝-L憫确定控制量u。这里状态反馈矩阵L是在不考虑随机干扰w(t)和v(t)时的确定性最优控制问题的解：

而P(t)满足黎卡提方程

和边界条件P(N)=s。状态估计一般用卡尔曼滤波器来实现。整个控制结构可用微型或小型计算机来实现。

参考书目

阿斯特勒姆著，潘裕焕译:《随机控制理论导论》,科学出版社，北京，1983。(K.J.Astr╂m, Introduction to Stochastic Control Theory，Academic Press, New York,1970.)