随机控制

英文

stochastic control

简介

一类控制方法.受到随机因素影响的系统即随机系统.对随机系统最常用的数学描述是随机微分方程或随机差分方程，这取决于连续时间还是离散时间.下面来看离散时间的随机系统

　x_k+1＝f_k(x_k，u_k，ξ_k+1)，　(1)

　y_k＝g_k(x_k，u_k-1，η_k)，　　(2)

x_k+1是系统在k+1时刻的状态，它是k时刻的状态x_k、控制u_k及随机噪声ξ_k+1的函数.方程(1)称为状态方程.y_k是k时刻的量测，当y_k＝x_k时，系统称为完全状态信息的.但通常x_k不能直接量测到，而量到的只是x_k，u_k-1及随机噪声η_k的函数g_k(x_k，u_k-1，η_k).当f_k和g_k都是线性函数时，则系统称为线性随机系统.它的典型形式是

　x_k+1＝A_kx_{k+Bkuk+Dkwk+1，(3)}

　y_k＝C_kx_k+G_ku_k-1+F_kw_k，　(4)

其中A_k，B_k，C_k，D_k，G_k，F_k是确定性阵，w^T_k＝[ξ^T_k，η^T_k].当{w_k}是相互独立的正态序列时，系统(3)，(4)称为高斯系统.这时如果(3)中的A_k，B_k，D_k依赖(y₀，y₁，…，y_k)，而(4)中的C_k，G_k，F_k依赖于(y₀，y₁，…，y_k)，那么系统(3)，(4)称为条件高斯系统.

u_k是k时刻的控制量，而在k时刻可用的信息只有(y₀，y₁，…，y_k)，所以u_k是(y₀，y₁，…，y_k)的函数，也就是u_k是反馈控制.控制的目的是要使性能指标J(u)最小.

J(u)=EL_i(x_i，u_i)+L_N(x_N)，　(5)

N是终端时刻，E表示数学期望.使J(u)达最小的反馈控制{u_k}就是系统(1)，(2)，(5)或(3)，(4)，(5)的最优随机控制.但能得到显式表达的最优随机控制的系统只是个别情形，其中一个重要的系统就是J(u)是二次指标时的线性高斯系统(参见“LQG问题”).