nbhkdz.com冰点文库

现代数字信号处理_姚天任_第三章_图文

时间:2012-12-02

Chapter 3 Adaptive Filter 自适应滤波器
设计Wiener 和 Kalman Filter时,要求已知关于信 号和噪声统计特性的先验知识,但许多时候是不知道 的,而且这些特性还是时变的,处理这类信号时,需采 用自适应Filter,它是自适应信号处理两大内容之一, 另一类是自适应天线。
本章主要研究,自适应 Filter的工作原理,基本理 论,重要算法和典型应用。

§3.1 自适应Filter原理 §3.2 Adaptive Linear Combinator(自适应线性组合器) §3.3 Performance Surface(均方误差性能曲面) §3.4 Properties of the Quadratic Performance Surface
(二次性能曲面的基本性质)
§3.5 Stepest Descent Method (最陡下降法) §3.6 Learning Curve & Convergence Speed
(学习曲线和收敛速度)
§3.7 Least-Mean-Square Adaptive Algorithm (最小均方(LMS)自适应算法)
§3.8 Weight Vector Voice (权矢量噪声) §3.9 Misadjustment(失调量) §3.10 Applications of Adaptive Signal Processing
(自适应信号处理的应用)

§3.1 自适应Filter原理
自适应Filter由参数可调的数字结构(or 称自适应处理器)和自适应算法两部分 组成,如图:

x(n)

参数可调数字Filter

y(n)

-

d(n)



e(n)

自适应算法
有时用到
x(n) ?产??生→ y(n) 与参考信号d (n) 比较? e(n) (有时也用 x(n) )经过自适应算法对 Filter参数进行调整。
Adjustable Algorithm 的原则:最终使 e(n) 均方值最小!
实际上:Adaptive Filter是一种能自动调整本身参数的特殊Wiener Filter。它在设 计时,不需先知道输入信号和噪声的统计特性。它能在自己工作中逐渐学会or估计出 所需的统计特性。并以此依据自动调整自己的参数以达到最佳Filtering的目的。
总之,自适应最大的特性:学习(learning)、跟踪(tracing)。
我们关心的是学习的速度(speed)、精度(失调量,misadjustment)这一对矛盾 对自适应系统的影响,e(n) ≠ 0称失调量。

自适应滤波器有这几种常见实例: ⒈ 自适应预测:可用于语音编码和谱估计等

S(n) d(n)=S(n)

z ? D S(n-D)

自适应处理器

参数复制


y (n ) = s?(n )
e(n)

自适应处理器 参数被复制到

从动处理器

s?(n + D )

输入是信号 S (n),输出响应是预测值 S?(n + D) 期望响应 d (n)是 n + D 时刻的信号值 S (n + D)

⒉ 自适应建模: x(n)

设备 未知系统

噪声
N(n)



d(n)

自适应处理器

y(n) -



e(n)

自适应处理器不断调整自己的权值使得输出响应 y(n)尽可能逼近未知系统(被建模 系统)的输出 d (n)。 也即使自适应处理器成为未知系统的模型。

X(n)

Z ?Δ

d(n)=X(n-Δ)

-

未知系统 设备

+∑ +

噪声N(n)

自适应处理器

-∑
y(n)

e(n)

逆向建模:自适应处理器调整自己的权值的成为被建模系统的逆系统:即把被建模系 统的输出转换成为输入信号的延时X (n ? Δ)。

3.自适应干扰器 ?自适应连列信号处理(典型的多输入干扰抵消器)

延时器

D

Δ1

+

D

Δ2

+∑

固定目标信号滤波器 + ∑

s(n)

+

-

D

ΔL

多输入自适应处理器 y(n) = N? (n)

传感器阵列接收到目标信号,导向延时使其预定观测方向上波束增益最大。固 定目标信号滤波器输出为S (n) + N (n),自适应处理器输出是噪声的估计 N? (n),并用 来抵消 N (n)。常用于波束形成器。
在设计自适应滤波器时,首先要确定滤波器的结构(FIR、IIR),然后设计自适 应算法以调整Filter参数,其目标是使某一特定的代价函数最小化。(均方误差为代 价函数)

§3.2 Adaptive Linear Combinator(自适应线性组合器)

自适应线性组合器是一种参数可自适应调整的有限冲激响应(FIR)数字滤波器, 具有非递归结构形式。它的分析和实现比较简单,在大多数自适应信号处理中应用。

下面是自适应线性组合器原理图(多输入):

x0 (n )

W0 (n) 输入:

X (n) = [x0 (n), x1 (n), , xL (n)]T

x1 (n)

W1 (n)

Σ

y(n)

xL (n)
d(n)

W L (n)
自适应处理器

-

e(n)

一个空间序列,同一时刻,一组取样值并行输入; 同一时刻 n 对 L+1 个不同信号源取得 → 多输入。

单输入并行输出的自适应线性组合器:
W0 (n)
x (n)

z ?1 x(n-1)

W1 (n)

z ?1 x(n-2)

z ?1 x(n-L)

WL (n)

d(n) 期望信号或参考信号

自适应处理器

上图是一个时变横向数字滤波器。

输入:

X (n) = [x(n), x(n ?1), , x(n ? L)]T

Σ

y(n)

-

e(n)

一个时间序列,不同时刻,输入信号由该时间序列延迟构建,取样值串行输入;

X (n) = [x(n), x(n ? 1), , x(n ? L)]T
一个时刻序列,一个信号的串行输入; 同一信号源在n以前L+1个时刻取得单输入。 w(n) = [w0 (n), w1 (n), , wL (n)]T 为权系数矢量:既是e(n)的函数,还可能是x(n)的函数。 调整权系数的过程叫做自适应过程。
L
∑ 对单输入情况: y(n) = wk (n)x(n ? k) k =0 L
∑ 对多输入情况: y(n) = wk (n)xk (n) k =0

?y(n) =WT (n)X (n) = XT (n)w(n) ①

还可表示为: ??e(n) = d(n) ? y(n) 



??ξ(n) = E[e2(n)] = min  



总之:自适应线性组合器按照误差信号均方值(or平均功率)最小的准则(即③) 来自动调整权矢量,选择什么信号作为参考响应,要根据不同的应用要求来确定。

§3.3 均方误差性能曲面(Performance Surface)

由上面①②③三式,得均方误差表示式: ξ = E[d 2 (n)] + W T (n)E[ X (n) X T (n)]W (n) ? 2E[d (n) X T (n)]W (n) ④
(∵ ξ = E{[d (n) ? W T (n) X (n)]2} = E[d 2 (n)] + E{[W T (n) X (n)2 ]} ? 2E[d (n)W T (n) X (n)] 且W(n) 参数矢量不是随机的,只有 d (n) X (n) 是随机的,即得④式 )

将④式进一步写成:

ξ = E[d 2 (n)] + W T (n)Rw(n) ? 2PT w(n)

?R = E[ X (n) X T (n)] ? ?P = E[d (n) X (n)]

N×N 列矢量

无论 w(n)的元素为2: w(n) = [w0 (n), w1 (n)]T or 是 L+1 个:w(n) = [w0 (n), w1 (n), , wL (n)]
ξ的图形一定是L+2维空间向中一个中间下凹的超抛物面

§3.3 均方误差性能曲面(Performance Surface)

ξ = E[d 2 (n)] + W T (n)Rw(n) ? 2PT w(n)

?R = E[ X (n) X T (n)] ? ?P = E[d (n) X (n)]

N×N 列矢量

w(n) = [w0 (n), w1 (n)]T
w(n) = [w0 (n), w1(n), , wL (n)]T

均方误差 ξ是权矢量W的各分量的二次函数,即若将该式展 开,则W各分量只有一次和二次项存在,ξ的图形一定是L+2维 空间向中一个中间下凹的超抛物面,有唯一最低点ξ min,该 曲面称为均方误差性能曲面——性能曲面。
当输入只有两个元素时,可得到如图的自适应滤波器性能曲面:

ξ
ε min
ω0?
ω0

ω1?

ω1

ξ是 w0 (n), w1 (n)的二次函数,是三维空间中的抛物面。
自适应过程:即自动调整权系数 w(n),使均方误差达到最小值 ξmin 的过程,相当于
沿性能曲面往下搜索达最低点的过程。
因此向下搜索的梯度很重要。

ξ

ε min
ω0?
ω0

ω1?

ω1

随自变量w的个数增多,相应的性能曲线变为L+1维空间中的抛物面 → 超抛物面。

其梯度:

? = ?ξ = 2RW ? 2PT = 0 ? W * = R?1P ?w

ξ = ξ min + (W ? W *)T R(W ? W *) 让V = W ? W *得: ξ = ξmin + vT Rv

此式表明:当W偏离最佳值W*一个数值 v ≠ 0时,ξ将比

ξ

大一个数值
min

vT Rv

实际上是进行坐标平移: vT Rv > 0 R需为正定or半正定的。

ξξ

v = [v0 , v1, , vL ]T 权偏移矢量 。
? = ?ξ = 2Rv ?v
? = 2Rv = 2R(W ?W *) = 2R(W ? RT P) = 2RW ? 2P

ε min
ω0?
ω0
V0

ω1?

ω1

ω = ω ? V1

为了使曲面上的任一点收敛到W*时最快,则:
① 需按最陡下降(Stepest Decent)方式,即按梯度的负方向下降; ② 下降步幅与梯度的绝对值成正比:W (n + 1) = W (n) ? μ? ③ 要收敛,即方向不能错;

§3.4 Properties of the Quadratic Performance Surface 二次性能曲面的基本性质
平稳随机信号的统计特性是不随时间变化的。因此,其性能曲面在坐标系中是 固定不变或“刚性”的。
自适应过程: 就是从性能曲面上某点(初始状态)开始,沿着曲面向下搜索最低点 的过程。
但对非平稳随机信号来说,这种性能曲面是“晃动的”、“模糊的”。其自适应过 程,不仅要求沿性能曲面向下搜索最低点,而且还对最低点进行跟踪。
我们这里只讨论平稳随机过程,且为方便理解,只讨论两个权系数W0 和W1的自 适应线性组合。

§3.4 Properties of the Quadratic Performance Surface 二次性能曲面的基本性质

此时性能曲面是三维空间 (ξ , w0 , w1) 中的一个抛物面。
现用一个与 W0 ?W1平面平行与其相距 ξ1 的平面切割该抛物面,交线在W0 ?W1平面 上投影是一个椭圆。如图:椭圆中心为W ? =(W0?,W1?) ,它是性能曲面最低点 ξmin的 投影。

ξ

ε1
ω0? ω0

ε min

切割该抛物面得到等高线方程::

W T RW ? 2PTW = (W ?W *)T R(W ?W *)

ω1?

ω1

=常数

若将坐标原点平移至 W * = (W0* ,W1* ),得到权偏移矢量坐标系:
v = (v0 , v1) = W ?W *
等高线方程: F (v) = vT Rv = 常数(可 ξ = ξmin + vT Rv 由得到)
这是一组同心椭圆,中心位于新坐标原点V=0。
将上面讨论推广到L+1个权系数的情况不难想象,等高线将是L+1维空间中的一组同 心超椭圆,椭圆中主位于坐标系 (v0 , v1, , vL )的原点。这组同心超椭圆有L+1个主轴,它 们也是均方误差曲面的主轴。F的梯度也是ξ的梯度。

ω1

ω

? 1

0

V1
V1′

ω 0?

V0
V0′
ω0



W ?平??移→ v ?旋??转→ v'

v =W ?W *

v′ = Q?1v

?ξ ??ξ

= =

ξ min ξ min

+ +

(W ?W *)T vT Rv

R(W

?W *)

??ξ = ξmin + v′T Λv

∧是R的特征值矩阵:可由R的特征方程 det [ R-λI ]=0 解出。

?? λ0

ξ = ξ min + V ?T ΛV = ξ min + (V0′V1′

V L′ )?? ???

λ1
0

0 ???? V0′ ?? ?? V1′ ? ?? ?
λ L ??????V L′ ???

L

∑ = ξ min +

λ i (Vi′) 2

i=0


?V0′

=

2 λ0V0′


?V1′

=

2 λ1V1′′

?2ξ
?V0′

=

2λ0

?2ξ
?V1′2

= 2λ1

? ?? ? ? ??

?


?Vi′

=

2λiVi′

? 2ξ
?Vi′2

=

2λi

(i = 0,1,…, L)

由此总结出二次性能曲面的三个基本性质:

⒈ 输入信号自相关矩阵R的特征矢量 Qn 确定了性能曲面的主轴 R = QΛQ ?1,Λ是R
的特征值矩阵。

det[R ? λI ] = 0

?λ0

? Λ=?

λ1

?0

?

?

0?

?

? ?

对角矩阵

λ

L

? ?

Q是R的特征矢量矩阵:RQn = λQn

W ?平??移→ v ?旋??转→ v′ = Q?1v 它的梯度矢量就位于该坐标轴上。

⒉ 因此它定义的旋转系统 V ′ 就是椭圆的主轴系统。
⒊ R的特征值给出了性能曲面沿主轴的二阶导数值。

§3.5 Stepest Descent Method 最陡下降法
自适应线性组合器的均方误差性能曲面是权系数的二次函数, 但在实际应用中,性能曲面的参数甚至解析式都是未知的。
因此,只能由已测数据,采用某种算法对性能曲面自动进行搜 索。寻找最低点,从而得到最佳权矢量。
牛顿法在数学上有重要意义,但实现很困难。 最陡下降法,它在工程上易于实现。
顾名思义,最陡下降法是沿性能曲面最陡方向向下搜索曲面最 低点。曲面的最陡下降是曲面的负梯度方向。这是一个迭代搜 索过程。

§3.5 Stepest Descent Method 最陡下降法

W*
最陡下降迭 代计算权矢 量公式:
W (n + 1) = W (n) + μ (??(n))

各点梯度不同

? :控制搜索步长的参数,又称自适应增益常数。

将它代入前面讲的梯度:? = 2RW ? 2P

W (n +1) = W (n) ? 2μ[RW (n) ? P] = W (n) ? 2μ R[W (n) ?W *] = [I ? 2μ R]W (n) + 2μ RW *

(W ? = R ?1P)

这方程由 W (0) → W (1) → W (n)计算很困难,一般要将W坐标通过平移→V 坐 标,并通过旋转→主轴坐标V ′。

W (n + 1) ? W * = (I ? 2μR)[W (n) ? W * ] + 2μRW * ? W * + (I ? 2μR)W *

V (n + 1) = (I ? 2μR)V (n) = [I ? 2μQΛQ ?1]V (n) = (QQ ?1 ? 2μQΛQ ?1 )V (n) = Q(I ? 2μΛ)Q ?1V (n)

∴ 又∵

Q ?1V (n + 1) V ′ = Q ?1V

=

(I

?

2μΛ)Q ?1V

(n)?? ???

?

V

′(n

+ 1)

=

(I

?

2μΛ)V

′(n)

?V0′(n + 1) ? ?1 ? 2μλ0

0 ??V0′(n) ?



??V1′(n

+ 1)

? ?

=

? ?

1 ? 2μλ1

? ?

??V1′(n)

? ?

?

??

0

?? ?

??VL′

(n

+

? 1)?

? ?

1

?

2μλ

L

? ?

??VL′

? (n)?

由于Vi′(n + 1)(i = 0,1, , L)之间没有耦合,所以可分别由初始权值进行迭代运算求 解,可得:
V ′(n) = (I ? 2μΛ)nV ′(0)

?V0′(n) ? ?1 ? 2μλ0

0 ? n ?V0′(0) ?



??V1′(n) ?

? ? ?

=

? ? ?

1 ? 2μλ1 0

? ?

??V1′(0)

? ?

?? ?

??VL′ (n)??

? ?

1

?

2

μλ

L

? ?

??VL′ (0)??



Vi′(n) = (1 ? 2μλi )nVi′(0)

为确保算法收敛,有

lim
n→∞

Vi′(n)

=

0,即收敛到V的原点,即W的W*点。

因此必须保证:

|1?

2μλi

|< 1 ?

0

<

μ

<

1
λi

可以由给定的 x(n) → 求 R → (λ0 , λ1, , λL ) → μ

由R的特征值 λ0 , λ1, , λL

∴ 0<μ< 1 λmax

? 在此范围内选取!

这样计算仍比较繁锁,可采用直接估计 ? 的方法,让R矩阵的迹:
L
∑ tr [R] = λk > λmax k =0

tr [R] 也可由输入信号取样值进行估计:

L

∑ tr [R] = E[xk2 (n)]

从而取

0

<

μ

<

t

?1 t

[

R

]

k =0

由于实际自适应F中调整参数是 W (W0 ,W1, ,WL ) 可将上面结果返回到自然坐标系 去,以看清W(n)的自适应调整规律。

由 V ′(n) = (I ? 2μΛ)nV ′(0) 有: QV ′(n) = Q(I ? 2μΛ)nV ′(0)



V ′(n) = Q ?1V (n) = Q ?1[W (n) ? W * ],V ′(0) = Q ?1[W (0) ? W * ]



W (n) = W * + Q[I ? 2μΛ]n Q ?1[W (0) ? W * ]

W (n) = W * + (I ? 2μR)n[W (0) ?W *] 利用恒等式: (QAQ ?1 )n = QAnQ ?1 有 limW (n) = W *
n→∞

§3.6 Learning Curve & Convengence Speed 学习曲线和收敛速度

在自适应调整权系数的过程中,均方误差是迭代次数 n 的函数,称为学习曲线。



W(n +1) = W(n) + μ[??(n)] = [I ? 2μR]W(n) + 2μRW*

V ′(n + 1) = (I ? 2μΛ)V ′(n)
V ′(n) = (I ? 2μΛ)nV ′(0)
W (n) = W * + [I ? 2μR]n[W (0) ? W * ]

W (n) = W * + [1 ? 2μΛ]n[W (0) ? W * ]



ξ = ξmin + [V ′(n)]ΛV ′(n) = ξmin + [V ′(0)]T [(I ? 2μΛ)n ]T Λ(I ? 2μΛ)nV ′(0)

= ξmin + [V ′(0)]T [I ? 2μΛ]2n ΛV ′(0)

L
∑ = ξmin + [Vk′(0)]2 λk (1? 2μλk )2n k =0

( ∵ I ? 2μΛ也是对角阵,两对角阵相乘运算服从交换律)

这就是最陡下降法学习曲线的表达式,收敛条件约为:

0<

μ

<

λ?1 max

称:(γ msc ) k

=

γ

2 k

= (1 ? 2μλk )2 为误差公比 (按几何级数衰减)

γ k = 1 ? 2μλk

讨论: ⒈ 权系数衰减时间常数(The Time-constant of the Exponential Relaxation of
Weight Coefficient)。

收敛速度的快慢,用时间常数来说明:有三个常用时间常数。

第一就是 τ ,权系数衰减时间常数。

V ′(n)

Vk′(n) = (1 ? 2μλk )nVk′(0) = γ knVk′(0)

V ′(0)

定义:

V ′(0)

= γ ?τ

=e?γ

?1
=e τ

V ′(n)

V ′(0)

e


n

即V

′(n)

衰减为

V

′(0)



1 e

倍时,所经历的迭代次数即为τ



通常 τ >> 1(≈ 10)

∴γ

?1
=e τ

=1? 1

τ



=

1 1?

r

=

1
2μλ

(次),其中

r

=

1?

2μλ

⒉ 学习曲线时间常数 τ ms(c The Time-Constant of learning Curve)

τ msc

=1
1 ? γ msc

=

1
2(1 ? γ )


2

=

1
4μλ

ξ (n) ξ (0)

其物理意义:ξ (n) ? ξmin

衰减为ξ (0) ? ξmin的

1 e 倍所需迭代次数。ξmin

τ msc

n

⒊ 自适应时间常数(Adaptive Time Constant)

Tmsc = (τ msc ) ·(Samples样本数or取样周期)
即:τ msc 将迭代次数用其取样间隔来度量。

§3.7 Least-Mean-Square Adaptive Algorithm 最小均方(LMS)自适应算法
其核心是用平方误差代替均方误差。
最陡下降法,每次迭代都需要知道性能曲面上某点的梯度值,而实际上梯度值只能 根据观测数据进行估计。LMS算法是一种很有用的估计梯度的方法。它的突出优点是 计算量小,且不脱线计算,只要知道输入信号和参考响应。

它的总体思想是由 e2 (n) ??代→ E[e2 (n)]

让单个平方误差序列的梯度 ?? (n) ??代→多个平方误差序列统计平均的梯度。



W (n + 1) = W (n) + μ (??(n)) ?(n) = ?[E(e2 (n))]

?W



W (n + 1) = W (n) + μ (??? (n))

?? (n) = ?[e2 (n)]



?? (n) = ?(n)

?W

?2 (n) = ?[e2 (n)] = 2e(n) ?e(n) = ?2e(n) X (n)

?W

?W

(∵e(n) = X (n) ?W T X (n))



W (n + 1) = W (n) + 2μe(n) X (n) → LMS算法的基本关系式

显然权系数调整路径,不可能沿着理想的最陡下降的路径。

可见实现起来很简单,下次权矢量W (μ + 1) 只需在当前权矢量W (n)上加一个修正 量,该修正量为误差信号 e(n)的加权值。

Note:

对权矢量的所有分量来说,e(n)是相同的,权系数为 2μX (n) 。(X(n) 为当前输入)

采用LMS 算法的自适应线性组合器:

d(n)

+

e(n)

X 1 (n)

W0 (n)

+ +

y(n)

Z ?1
2?
+

X 2 (n)

W1 (n) Z ?1
+
+

讨论:
⒈ E[?? (n)] = ?(n),∴?? (n)是?(n) 的不偏估计,即算法收敛
[证明]: E[?? (n)] = ?2E[e(n) X (n)] = 2E{[ X T (n)W (n) ? d (n)]X (n)}
= 2[RW (n) ? P] = ?(n)
说明:按基本关系式将计算得到的多个梯度估计进行统计平均,再由统计平均 值 E[?? (n)] 来调整权矢量,迭代结果最理想。
然而,实际应用中,每次调整权矢量前,通过观测只得到一个 X (n)。 由关系式得到一个 ?? (n),据此调整权矢量 W (n) 得到必然是随机的,当迭代过程收
敛后,权矢量在最佳权矢量附近随机起伏,这等效于在最佳权矢量上加了一个噪声。
⒉ 将W (n + 1) = W (n) + 2μe(n) X (n) 两边取期望值:
E[W (n + 1)] = E[W (n)] + 2μE[e(n) X (n)] = E[W (n)] + 2μE{[d (n) ? X (n)T W (n)]X (n)} = E[W (n)] + 2μ{E[d (n) X (n)] ? E[ X T (n) X (n)W (n)]}
又 ∵ W (n + 1) = W (n) + 2μe(n) X (n)
说明W (n +1)只与X (n), X (n ?1), , X (n)相关,与 X (n + 1)无关。
即W (n)与X (n)不相关,这也保证了不脱线处理的可能性。

∴ E[W(n +1)] = E[W(n)]+ 2μ{E[d(n)X (n)]? E[X T (n)X (n)]E[W(n)]} = E[W(n)]+ 2μ{P ? RE[W(n)]} = [I ? 2μR]E[W(n)]+ 2μP

而最陡下降法梯度公式: W (n + 1) = W (n)[I ? 2μR] + 2μP

说明:LMS 算法得到的权矢量的期望值与最陡下降法权矢量本身一样,因此,当

收敛条件 0

<

μ

<

λ?1 max

or

0

<

μ

<

tr ?1[R]

满足时,随迭代次数趋近于无穷,LMS

权矢量

的期望值将趋近于最佳权矢量。

§3.8 Weight Vector Voice 权矢量噪声

LMS算法之所以简单,主要是因为它对梯度矢量各分量的估计是根据单个数据取样 值得到,没有进行平均。也正因此相当于使梯度估计中存在噪声。
梯度估计的噪声矢量用N(n)表示,有:
(当趋近到最佳权矢量W ?附近时)

?? (n) = ?(n) + N (n)
ξ min ?趋?近?于→ ?(n) =

?? ? 0??

?

?? (n)

=

N (n)

N (n) = D? (n) = ?2e(n) X (n)

协方差: Cov[N (n)] = E[N (n)N T (n)] = 4E[e2 (n) X (n) X T (n)]

∵ 均值为0,协方差=自相关函数,又e(n)与X (n)不相关



Cov[N (n)] = 4E[e2 (n)]E[ X (n) X T (n)] = 4ξmin R

将上式变换到主轴坐标系V ′ ( ∵V → V ′Q?1, N → N ′Q?1)

V ′ : Cov[N ′(n)] = E[N ′(n)N ′(n)T ] = E{[Q ?1N (n)][N T (n)Q]}

= Q ?1E[N (n)N T (n)]Q = Q ?1Cov[N (n)]Q = 4ξmin Λ = 4ξmin R

Λ = Q ?1RQ



V : Cov[N (n)] ≈ 4ξmink

V ′ : Cov[N ′(n)] ≈ 4ξminΛ

这是计算噪声的协方差公式。

下面考虑自适应调整权矢量这程中,梯度估计噪声的影响,即LMS对权矢量的

影响。



W (n + 1) = W (n) ? μ[?(n) + N (n)]

平移坐标系V: V (n + 1) = [I ? 2μR]V (n) ? μN (n)

主轴坐标系V ′:V ′(n + 1) = [I ? 2μΛ]V ′(n) ? μN ′(n) ←由噪声产生

用归纳法求上式,即得:

n?1
∑ V ′(n) = (I ? 2μΛ)nV ′(0) ? μ (I ? 2μΛ)k N ′(n ? k ?1)

k =0

n?1

limV ′(n) = ?μ∑ (I ? 2μΛ)k N ′(n ? k ?1) ←稳态解

n→∞

k =0

另推:

V ′ : Cov[V ′(n)] = μξ min I

V : Cov[V (n)] = QCov[V ′(n)]Q ?1 = μξ min I

Note: V ′(n) = [I ? 2μΛ]V ′(n ? 1) ? μN ′(n ? 1)
[另推]: Cov[V ′(n)] = E[V ′(n)(V ′(n))T ]
     = E{(I ? 2μΛ)2V ′(n ?1)[V ′(n ?1)T + μ 2 N ′(n ?1)(N ′(n ?1))T
     ? μ[(I ? 2μΛ)V ′(n ?1)(N ′(n ?1))T + N ′(n ?1)(V ′(n ?1)T (I ? 2μΛ)T ]}
Note: I ? 2μΛ 为对角矩阵,交叉项之积的期望值=0。

∴上式 ? Cov[V ′(n)] = (I ? 2μΛ)2 Cov[V ′(n)] + μ 2Cov[N ′(n)] 故有: Cov[V ′(n)] = μ (Λ ? μΛ)2 Cov[N ′(n)]
4 将 Cov[N ′(n)] = Q ?1Cov[N (n)]Q = 4ξmin Λ代入上式得:
Cov[V ′(n)] = μξmin (Λ ? μΛ2 )?1 Λ
考虑到实际应用中 μΛ << 1 ∴ Cov[V ′(n)] = μξ min I V : Cov [V (n)] = μξ min I
这就是LMS算法中梯度估计噪声在稳态权矢量中引起的噪声。

§3.9 Misadjustment 失调量

梯度估计噪声的存在,使得收敛后的稳态权矢量在最佳权矢量附近随机起伏,这意

味着稳态均方误差值总是大于最小均方误差ξmin且在 ξmin 附近随机地改变。

如右图所示:

ξ (V0 )

ξ (n)

ξ min
V0

ξ min
n

n
将这种偏移量的期望值称为:超量均方误差,用“超量MSE”表示。 超量MSE = E[ξ (n) ? ξmin ]    = E[V T (n)RV (n)]
∵ξ (n) = ξ min + V T RV
变换到主轴坐标系,超量 MSE = E[V ′(n)T ΛV ′(n)]

∴超量 MSE = E[V ′T ΛV ′] (展开)

L
∑ = λk E[(VK′ (n))2 ] k =0
If 自适应过渡过程已结束,平方误差已接近性能曲面最低点!

可认为E[(VK (n))2 ] 是V ′(n)的协方差矩阵中的元素。

将Cov[V ′(n)] = μξmin I 代入,可得近似公式: L ∑ 超量 MSE = μξ min λk ≈ μξ mintr [R] k =0
超量均方误差(excess MSE)是度量这种性能损失的一个量(权系数在最佳解附近

随机变动)。另一个度量自适应性能损失的量是失调量。用M表示:

M

=

超量 MSE
ξ min

=

μtr [R]

(正比于自适应增益常数 ? )

Note: 失调量和收敛速度要折中加以考虑。

我们已知学习曲线时间常数:

( ) τ mse k =
由此R的迹写成:

1
4μλk

(下标 k 表示第 k 个学习时常数)

∑ ∑ tr[R] =

L
λk
k =0

=

1 4μ

L k =0

1 (τ mse ) k

=

L +1 4μ

???? τ

1
mse

???? av

这里下标“av”表“平均”。



M

=

μtr[R] =

L

+ 4

1

????

τ

1
mse

???? av

在所有特征值相等的情况下:M = L + 1

4τ mse

此式说明M、ξ mse 及权系数个数 L 三者的关系!

由于,通常在t ≈ 4τ mse 时间内,自适应过程基本结束。

此时,

t = tadapt = 4τ mse

Mt adapt = L + 1

(tadapt :自适应过程时间,用取样数来度量!)

例: 已知 L + 1 = 10, M ≤ 10%



?

t adapt

≥ 100,τ mse

= 100 4

=

25

[为下节作准备]

⒈ 自适应Filter的应用范围很广,有自适应建模、自适应A-逆滤波,自适应A-干

扰抵消,及自适应预测这四个主要方面。

⒉ 所谓建模,or辨识,目的就是通过输入信号和相应的输出信号的分析与测试,

求出系统“黑箱系统”(A)的传输出数。用Adaptive Filter(B)模拟未知系统,并通

过调整自己的参数,使它在与未知系统有相同激励时能得到误差均方值最小的输出。

(A、B两者参数不一定同)B看作A的模型。Adaptive Filter(B)有FIR、IIR,只有

FIR性能曲面为二次的,有唯一极小点。而IIR,其性能曲面有许多极小点,不能用前

面讲的梯度法保证收敛于最佳解,而需用新的方法。

习题课:



已知R

=

?2 ??1

1? 2??

  P

=

?7? ??8 ??

  E[d

2

(n)]

=

42

⑴ 写出性能曲面公式; ⑵ 求最佳权矢量; ⑶ 求最小均方误差; ⑷ 求性能曲面主轴 坐标系表示式;⑸ 求性能曲面沿主轴的二阶导数。
解:⑴ ξ = E[d 2 (n)] + W T RW ? 2PTW
= 42 + 2(W02 + W12 ) + 2W0W1 ? 14W0 ? 16W1



?2 W * = R ?1P = ????31

?1 3 2

? ? ? ?

?7? ??8??

=

?2? ??3??

? 3 3?

⑶ ξ min = E[d 2 (n)] + W *T RW * ? 2PTW * = 42 + 2(4 + 9) + 2 × 2 × 3 ?14 × 2 ?16 × 3

=4

⑷ R的特征值

λ0

= 1,  λ2

=

3,  λ

=

?1 ??0

0? 3??

∴ξ = ξ min + V ′T ΛV ′ = 4 + V0′2 + 3V1′2



? 2ξ = 2 ?V0 ′ 2

? 2ξ ?V1′2

=6

例2 如图为一自适应相关抵消器的原理图:

Xn

e(n)

h(n)
Yn

E[X nYn ] = 2
已知 E[ X n 2 ] = 11 E[Yn 2 ] = 0.4
⑴ 推导均方误差随权系数变化的关系式,并求最佳权系数值。 ⑵ 推导加权系数迭代计算公式。 ⑶ 求加权系数表达式,并确定 h(n) 收敛于最佳权值 h 的范围。

解:⑴

R = E[Y 2 (n)] = [0.4]
P = E[X(n)Y(n)] = [2]
∴ξ = E[d 2 (n)]+ hT Rh ? 2PT h = 11 + 0.4h2 ? 4h

即可写为 ⑵

ξ (n) = 0.4h 2 (n) ? 4h(n) + 11
h? (n) = R ?1P = 0.4?1 × 2 = 5
? = 0.8H ? 4
h(K + 1) = h(k) ? μ[0.8h(k) ? 4] = h(k) ? 0.8μh(k) + 4μ

⑶ h(k +1) ?5 = h(k) ?0.8μ[h(k) ?5] = (1 ? 0.8μ)[h(k) ? 5]
∴ h(k) ? 5 = (1 ? 0.8μ) K [h(0) ? 5]

? h(k) = (1 ? 0.8μ) K [h(0) ? 5] + 5
1 ? 0.8μ < 1 → 0 < μ < 2.5

§3.10 Applications of Adaptive Signal Processing
自适应信号处理的应用
一、Adaptive Modeling (system Identification)自适应建模(系统辨识)

实际黑箱系统

A

Z(n)

Black Box

y(n)

B AF

+



e(n)

算法

A过于复杂,无法弄清内部机能。

当e(n) = min 时,可用B模拟A。

当A是 FIR 时,B 易模拟!

自适应滤波器(AF)模型B可选择

FIR?

IIR

? ?

?

Linear(均为线性)

采用LMS算法的预测结果

采用RMS算法的预测结果

也可选用非线性Filter, or人工神经网络。

但随着自适应Filter技术的发展,自适应无限冲激响应(IIR)Filter在许多应用

中,取代了FIR Fitter的最大优点是:在用与FIR Filter同样个别的情况下,性能好得

多。 下面我们来看看,IIR系统的自适应模拟方法: ⑴

x(n)

B(z)

1 1 + A(z)z ?1

y(n)

e(n) –

d(n) 期望响应

[说明]:一个误差信号e(n)分两路进行调节的参数 D(z) A(z), 从而使 e(n) = min

⑵ x(n)

[1 + A(z)z ?1 ]Y (z)

1

B(z)

1 + A(z)z ?1

y(n)





e′(n) +

e(n)
+

等效e(n)

[1 + A(z)z ?1 ]D(z)

d(n)

[说明]:两路误差信号e(n), e′(n)分别用于调节A(z) 和 B(z)的参数。

⑶ x(n)

[1 + A( z) z ?1 ]Y ( z)

1

B(z)

1 + A( z) z ?1

e′(n)

y(n) copy

[1 + A( z) z ?1 ]D( z)

1 + A(z)z ?1

d(n)

Note:

e(n) e′′(n)
[1 + A( z) z ?1 ]Y ( z)

[1 + A(z)z ?1 ][Y (z) ? D(z)] = [1 + A(z)z ?1 ]E(z)

E′ = ?[1 + A(z)z ?1 ]E(z)

E′′(z) = ?[1 + A(z)z ?1 ]E(z)



x(n)

B(z)

[1 + A(z)z ?1 ]Y (z)

1

1 + A(z)z ?1

y(n)

E ?1 (z) = [1 + A(z)z ?1 ]E(z)
-1


e′(n)

+
[1 + A(z)z ?1 ]D(z) 1 + A(z)z ?1

d(n)

e′′(n) = ?e′(n)

二、应用反相Filtering(反相建模)逆滤波
对一个未知系统的逆系统进行模拟叫系统的逆向模拟。系统的逆向模拟,也可看成 是这样一个问题:求一个自适应系统,其传输函数是未知系统传输函数倒数的最佳拟 合。
显然,若得未知系统与它的自适应逆系统相级联,总的传输函数将=1。

原理图如下: 未知系统H(z)
x(n) Black Box
一般有时延Δ 0

y ′(n)

Δ

y(n)=x(n) AF
e(n) -
+ d(n) =x(n–Δ)

Note:

[1]

参考信号d(n)是输入x(n)延时Δ后得到的。Δ

>

Δ

即可
0

?

因果系统

如果d(n)=x(n),则AF有超前特性 ? 非因果系统

[2] 要求输入= 输出 x(n) = y(n)
而H(z)有延时, 因此要求H ?1 (z) 有负延时,使 Δ ? Δ0 > 0,保证为因果系统。
[3] 实际运用时,如果远距离传输,x(n)在发送端,d(n)在接收端, 如何将x(n)引至d(n)?(无法直接引)
解决方法:在接收端用一约定好的引导信号p(n)来代替x(n),而在发送端同时以 p(n)作为输入,待自适应调整过程结束后,再传送x(n)。称p(n)为训练信号。

H(z)

p(n) x(n)

Black Box y′(n)

H ?1 (z)

p(n)

-

+ p(n)

调整结束,p(n)切换到x(n)。

自适应逆滤波应用很广,如信道均衡器,即,若H(z)是信道 (微波、光纤等) 复 杂且时变, y′(n)对x(n) 产生失真,可在接收端加自适应逆Filter,即(H ?1(z)),则
y(n)会尽量好地模拟x(n)——信道均衡。

三、Adaptive interference Canceling自适应干扰抵消

⒈ 其原理如图:

s(n)干扰信号: s(n) + N1 (n) 与N1 (n)相关的干扰 ∶N 2 (n)

+ e(n)
-
y(n) 自适应Filter

严格的讲:E[e2 (n)] = min = E[s 2 (n)]

y(n)



N1 (n) e(n)



s(n)

  N1与N

相关,能很好抵消。
2

⒉ 应用: ① 用于抵消胎儿心电图中的母亲的心音(噪声)。将母亲腹部取得的信号加在参
考输入端,它是胎儿心音与母亲心音的叠加 ? S(n) + N1(n) 。再将母亲胸部取得的信号 加在自适应Filter的输入端 N2 (n),则系统输出将是胎儿心音的最佳估计。
② 语音中干扰的抵消。将受噪声干扰的语音信号加在参考输入端,将环境噪声加 在AF的输入端,则输出为纯语音信号。
③ 长途电话线路中回声的抵消。甲乙通话,由于线路长,阻抗不完全匹配造成回 波传回甲造成干扰。为消除干扰,可在甲、乙端同时用AF回波抵消器。

四、自适应预测(Adaptive Predictor)

将自适应干扰抵消器中的输入信号用有用信号的延时来取代,则成为自适应预测器。

1.原理图: S(n)

+

e(n)

-

z ??

A

y(n)

S(n-Δ) AF

复制

预测滤波器

S(n+Δ)

⒉ 它的一个典型应用是作为分离器,分离窄带信号和宽带信号。
在输入端加入一个窄带信号和宽带信号的混合:即:
S(n) = SN (n) + SB (n)
∵窄带信号的自相关函数RN (k) 比 RB (k) 宽带信号长
当延时时间选为 K B < Δ < K N ,信号 SB (n)将不再相关,而S N (n)仍相关。因而AF 的输出将只是S N (n)的最佳估计S?N (n)与 SB (n) + S N (n) 相减后得SB (n)的最佳估计 S?B (n)。

? 自适应干扰抵消原理图

通信回声抵消的原理图

仿真图形


现代数字信号处理_姚天任_第三章_图文.pdf

现代数字信号处理_姚天任_第三章 - Chapter 3 Adaptive Fi

现代数字信号处理_姚天任_第一章_图文.pdf

现代数字信号处理_姚天任_第一章 - 现代数字信号处理 Modern (Adva

现代数字信号处理 姚天任 第三章答案.doc

现代数字信号处理 姚天任 第三章答案 - 欢迎访问机器人淘宝http://robot.xiaodoutao.com/我们向您推荐淘宝网的物美价廉商品! 第三章答案 3.1 解: (1):由题...

现代数字信号处理-第三章-3-2016_图文.ppt

现代数字信号处理-第三章-3-2016_物理_自然科学_专业资料。3.2 AR模型 ? ?...姚天任现代数字信号处理... 8页 免费 喜欢此文档的还喜欢 姚天任现代数字信号...

现代数字信号处理_图文.ppt

现代数字信号处理_理学_高等教育_教育专区。现代信号处理 教材事项 教材: ① 《现代数字信号处理姚天任等编,华中科技大学出 版社 ② 《现代数字信号处理》王炳...

中国科学院刘艳老师现代数字信号处理第三章上机作业_图文.pdf

中国科学院刘艳老师现代数字信号处理第三章上机作业_哲学_高等教育_教育专区。...中科院课件--现代数字信... 暂无评价 97页 免费 姚天任现代数字信号处理.....

中科院 现代数字信号处理课件-完全版_图文.ppt

中科院 现代数字信号处理课件-完全版_教育学_高等教育_教育专区。现代数字信号处理课件 现代数字信号处理信息科学与工程学院 现代数字信号处理 第一章 预修课程概率论...

现代数字信号处理-绪论_图文.ppt

2、现代部分 (modern) 现代数字信号处理参考书《现代数字信号处理姚天任 华中...(content) 第一章 第二章 第三章 第四章第五章 第六章 第七章 第八章 ...

现代数字信号处理-第一章-2016_图文.ppt

现代数字信号处理-第一章-2016_工学_高等教育_教育专区。第一章 数字信号处理...姚天任现代数字信号处理... 11页 1下载券 现代数字信号处理 (姚天... ...

现代数字信号处理 姚天任 第四章答案.doc

现代数字信号处理 姚天任 第四章答案 - 欢迎访问机器人淘宝http://rob

现代信号处理概述_图文.ppt

? ? ? ? 现代数字信号处理 姚天任等编,华中科技大学出 版社 张贤达,现代信号...? ? ? ? ? 第一章 概述 第二章 数字信号处理基础 第三章 自适应信号处理...

姚天任现代数字信号处理习题解答第六章.doc

姚天任现代数字信号处理习题解答第六章 - 习题六 ■ 7 解: 由闭合公式 h(

现代数字信号处理 姚天任 第二章答案.doc

现代数字信号处理 姚天任 第二章答案 - 欢迎访问机器人淘宝 http://ro

姚天任现代数字信号处理习题解答第一章答案.doc

姚天任现代数字信号处理习题解答第一章答案_工学_高等教育_教育专区。姚天任现代数字信号处理习题解答 第一章 1、证明:X服从正态分布,即X ~ N(m x, x )。...

数字信号处理(姚天任江太辉第三版)课后习题答案.doc

数字信号处理(姚天任江太辉第三版)课后习题答案 - 第二章 判断下列序列是否是周

最新2019-现代信号处理00概述-PPT课件_图文.ppt

现代数字信号处理 姚天任等编,华中科技大学出 版社 ? 张贤达,现代信号处理,北京...第一章 概述 ? 第二章 数字信号处理基础 ? 第三章 自适应信号处理 ? 第四...

数字信号处理_第一章_图文.ppt

现代数字信号处理姚天任 华中理工大学出版社 3、《数字信号处理---理论、算

现代数字信号处理.doc

现代数字信号处理第四节 暂无评价 7页 1下载券 现代数字信号处理-第一章......现代数字信号处理 (姚天... 15页 免费 姚天任现代数字信号处理... 8页...

姚天任现代数字信号处理第一章答案.doc

姚天任现代数字信号处理第一章答案 - 第一章 r r r 1、证明:X服从正态分

现代数字信号处理_图文.pdf

现代数字信号处理_天文/地理_自然科学_专业资料。现代数字信号处理 Advanc