系统辨识方法之最小二乘法

综述最小二乘法的系统辨识

姓名：费冬妹 学号：2010108102 专业：控制理论与控制工程

摘要：在研究一个控制系统过程中，建立系统的模型十分必要。因此，系统辨识在控制系统的研究中起到了至关重要的作用。本文主要介绍了系统辨识的最小二乘方法，最小二乘法的一次完成过程进行了推导，最小二乘法的一次完成的缺陷在于对于有色噪声并没有很好的辨识效果。其中系统辨识在工程中的应用非常广泛,系统辨识的方法有很多种,最小二乘法是一种应用极其广泛的系统辨识方法，阐述了动态系统模型的建立及其最小二乘法在系统辨识中的应用,并通过实例分析说明了最小二乘法应用于系统辨识中的重要意义。

关键词：系统辨识、最小二乘法

一、系统辨识的定义

系统辨识、状态估计和控制理论是现代控制理论三个相互渗透的环节。1962年，L．A．zadeh给出“辨识”的定义为：系统辨识是在对输入和输出观测的基础上，在指

[1]定的一类系统中，确定一个与被识别的系统等价的系统。最先提出了系统辨识的定义。

随着科技的发展，数学建模对科学研究及指导及生产都有非常重要的意义。给一个系统建立数学模型是一个比较复杂的工作，其中关键的一个环节是系统辨识。系统辨识就是研究如何利用系统的输入、输出信号建立系统的数学模型。[7]系统数学模型是系统输入、输出及其相关变量间的数学关系式，它描述系统输入、输出及相关变量之间相互影响、变化的规律性。换句话说，系统辨识就是从系统的运算和实验数据建立系统的模型(模型结构和参数)。系统辨识的三要素：数据、模型类和准则。系统辨识的基本原理：在输入输出的基础上，从一类系统中确定一个与所测系统等价的系统。[2]

二、最小二乘法的引出

最小二乘法是1795年高斯在预测星体运行轨道最先提出的，它奠定了最小二乘估计理论的基础．到了20世纪60年代瑞典学者Austron把这个方法用于动态系统的辨识中，在这种辨识方法中，首先给出模型类型，在该类型下确定系统模型的最优参数。

我们可以将所研究的对象按照对其了解的程度分成白箱、灰箱和黑箱。于其内部结构、 机制只了解一部分，对于其内部运行规律并不十分清楚，这样的研究对象通常称之为 “灰箱”；如果我们对于研究对象的内部结构、 内部机制及运行规律均一无所知的话，则把这样的研究对象称之为“黑箱”。研究灰箱和黑箱时，将研究的对象看作是一个系统，通过建立该系统的模型，对模型参数进行辨识来确定该系统的运行规律。对于动态系统辨识的方法有很多，但其中应用最广泛，辨识效果良好的就是最小二乘辨识

- 1 -

方法，研究最小二乘法在系统辨识中的应用具有现实的、广泛的意义。[4]

应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正，以取得更为准确的参数估计值。[8]

三、最小二乘法的原理

3.1 最小二乘法一次完成推导[1]

本文中以一个SISO系统为例说明最小二乘法的原理。 假设一个SISO系统如下图所示：

图1 SISO系统结构图

其离散传递函数为：

 b  G ( z 1 )  B ( z )  b 1 z 2 z  b nz 3.1

输入输出的关系为：

u(k)•G(z)e(k)y(k) 3.2

1112nA(z1)1a1z1a2z2anzn进一步，我们可以得到：

y(k)A(z)u(k)B(z)e(k) 3.3

11其中，扰动量e(k)为均值为0，不相关的白噪声。 将式3.3写成差分方程的形式：

y(k)a1y(k1)a2y(k2)any(kn)b1u(k1)b2u(k2)bnu(kn)e(k) 3.4

令(k)[y(k1)y(k2)y(kn)u(k1)u(k2)u(kn)]T

- 2 -

[a1a2anb1b2bn]

T则式3.4可以写为：

y(k)(k)e(k) 3.5

将上述式子扩展到N个输入、输出观测值{u(k),y(k)}，k=1,2,…，N+n。将其代入到式3.5中，写成矩阵的形式为：

Ye 3.6

Y[y(n1)y(n2)y(nN)]T其中，

e[e(n1)e(n2)e(nN)]T

y(n1)y(n)y(n1)y(n)  y(nN)y(nN1)

u(1)y(2)u(n1)u(2)y(N)u(nN)u(N)y(1)u(n)取泛函J()为

J()(Y)2e2(ni)eT•e(Y)T(Y)

N最小二乘法原理既是使J()最小，对其求极值得：

JT[(Y)(Y)]0i1由此可得系统的最小二乘法估计值为：

(T)TTY

这样，我们就得到了系统的最小二乘估计值。以上推导的最小二乘法存在一些缺点，比如：预先取得的观测值越多，系统参数估计的精度越高，但使得矩阵T的阶数越大，矩阵求逆计算量也越大，所需的存储空间也会越大；每增加一次观测值，必须重新计算和(T)1； 若T列相关,即不满秩,则T为病态矩阵,无法求得最小二乘估计值。因此可以对该方法进行改进，从而可以得到递推最小二乘法，广义最小二乘法等改进后的方法。这里不做具体的介绍。 3.2最小二乘法的缺陷[ 5]

最小二乘是一种最基本的辨识方法，最小二乘法可以用于线性系统，也可以用于非线性系统；可用于离线估计和在线估计。在随机情况下，利用最小二乘法时，并不要求观测数据提供其概率统计方法的信息，而其估计结果，却有相当好的统计特性。但它具有两方面的缺陷：一是当模型噪声是有色噪声时，最小二乘估计不是无偏、一致估计；二是随着数据的增长，将出现所谓的“数据饱和”现象。针对这两个问题，出现了相应

- 3 -

的辨识算法，如遗忘因子法、限定记忆法、偏差补偿法、增广最小二乘、广义最小二乘、辅助变量法、二步法及多级最小二乘法等。

四、最小二乘法系统辨识的应用举例

系统辨识是通过建立动态系统模型,在模型输入输出数据的基础上,运用辨识方法对模型参数进行辨识，从而得到一个与所观测的系统在实际特性上等价的系统。应用最小二乘法对系统模型参数进行辨识的方法有离线辨识和在线辨识两种。离线辨识是在采集到系统模型所需全部输入输出数据后，用最小二乘法对数据进行集中处理，从而获得模型参数的估计值；而在线辨识是一种在系统运行过程中进行的递推辨识方法，所应用的数据是实时采集的系统输入输出数据，应用递推算法对参数估计值进行不断修正,以取得更为准确的参数估计值。由于在线辨识方法具有实时采集系统输入输出数据，实时辨识模型参数,且占据计算机存储量小的优点，因此与离线辨识相比,在线辨识方法得到了更为广泛的应用。在线辨识的参数估计的最小二乘递推算法如下：

^θ(k+1) = ^θ(k)+K(k+1)[y(k+1)-xT(k+1)^θ(k)] K(k+1) = P(k)x(k+1)[1+xT(k+1)P(k)x(k+1)]-1 P(k+1) = P(k)-K(k+1)xT(k+1)P(k)

2递推初值:^θ(0) =任意值； P(0) =αI,α取计算机容许的最大值。 式中x与y分别为系统的输入输出，θ为参数估计值,K为增益矩阵，

1P(m) = (xT mxm)

其最优性准则函数为:

J =e2(i)

i1m其中m为数据采集的次数，e为残差向量。由于上述递推算法无法反映参数随时间变化的特点，新数据被大量的老数据所淹没，对于慢时变参数的辨识来说，这必然得不到跟踪参数变化的实时估计，因此又进一步有了改进的最小二乘递推算法，即带遗忘因子的渐消记忆的递推算法，该算法贬低老数据的作用，强调新数据的作用，选取遗忘因子λ，得到渐消记忆的最小二乘递推算法如下：

^θ(k+1) = ^θ(k)+K(k+1)[y(k+1)-xT(k+1)^θ(k)] K(k+1) = P(k)x(k+1)[λ+xT(k+1)P(k)x(k+1)]-1 P(k+1) =1λ[P(k)-K(k+1)xT(k+1)P(k)]

- 4 -

递推初值：^θ(0) =任意值； P(0) =α2I，α取计算机容许的最大值。 其最优性准则函数为：

J =mie2(i)

i1m其中加权系数0<λ≤1。λ通常在0.9与0.99之间取值。 3 实例分析

以某微循环流体系统模型的参数辨识为例。我们已经得到该系统模型的差分方程形式，取特定点的压力波作为模型的输入，以另一点的压力波作为模型的输出.由于我们采集的数据是实时的，因此用在线辨识方法。由于建立的微循环流体系统模型是一个单输入、单输出的模型，为使参数估计的结果很好地跟踪参数真值的变化，我们采用渐消记忆的最小二乘法对系统模型参数进行辨识，即强调新数据的作用，贬低老数据的作用。

图1是一组通过试验测量所得到的微循环流体系统输入、输出波形以及模型辨识参数的迭代变化波形.其中，图(a)、(b)为实测波形，(c)为参数估计的递推计算的变化趋势图。

（a）系统的输入波形 （2）系统的输出波形 （3参数a1迭代变化趋势

图1 微循环流体模型输入输出波形及参数估计的递推变化趋势图

图2中(a)图所示为实测的输入波形,(b)图为实测的输出波形,(c)图为模型拟和的输出波形.

a b c

图2 实测波形与拟和波形的比较

- 5 -

五、结论

本文针对于系统辨识问题的某些方法进行了简要的介绍。详细推导了最小二乘法一次完成的算法，由于最小二乘法一次完成算法具有一定的缺陷，即在噪声信号为有色噪声时便不再具备一致性，而且源于在非线性系统辨识过程中的研究，本文又简要介绍了两种不依赖于具体模型的智能算法，它们所具有的特性能够满足其在非线性模型的辨识中得到良好的效果。

六、参考文献

[1].郭利辉，朱励洪，基于MATLAB的最小二乘法系统辨识与仿真，许昌学院学报，第29卷 第2期，2010年

[2].程婵娟，系统辨识的线性规划方法研究，2009年

[3].吴进华，基于BP神经网络的非线性动态系统辨识方法，2009年

[4].刘静纨，最小二乘法在系统辨识中的应用，北京建筑工程学院学报，第20卷 第3期，2004年9月

[5].王浩宇等，系统辨识及自适应控制系统算法仿真实现，控制工程，第15卷增刊，2008年

[6].徐洪泽等，基于遗传算法的系统辨识方法可靠性分析，模式识别与人工智能，第13卷 第4期，2000年

[7]. 黄文梅等，系统分析与仿真，长沙：国防科技大学出版社，1999年

[8]. Ivan Markovsky, Jan C. Willems and so on，Application of Structured Total Least Squares，43rd IEEE Conference on Decision and Control，December 14-17, 2004

[9]. 李言俊，张科，系统辨识理论及应用，北京：国防工业出版社，2009年

- 6 -