克拉默-拉奥不等式

英文

Cramer-Rao inequality

简介

简称CR不等式.一个重要的统计不等式.它给出了无偏估计的方差下界.在某些场合，这样的下界还是下确界.设X=(X₁，X₂，…，X_n)是取自具有分布密度{f_θ(x)，θ∈Θ}的总体的一个简单随机样本，其中Θ是实轴上的一个开区间，T(X)是参数θ的函数g(θ)的一个无偏估计，即对一切θ∈Θ，有E_θT(x)=g(θ)，且满足条件：

1.集合G={x： f_θ(x)≠0}与参数θ无关;

2.对一切θ∈Θ，g′(θ)与存在且

∫f_θ(x)dx=∫dx，

∫∫…∫T(x)·f_θ(x_i)dx₁，dx₂，…，dx_n

＝∫…∫T(x)f_θ(x_i)dx₁，dx₂，…，dx_n，其中x=(x₁，x₂，…，x_n)^τ;

3.0<I(θ)=E_θ²<∞.

则T(X)的方差D_θT(X)对一切θ∈Θ，有下述不等式(CR不等式)：

且等式成立的充分必要条件为：存在一个不依赖于X₁，X₂，…，X_n，但可能依赖于θ的K，使得等式

＝K·(T(X)-g(θ))

以概率1成立.其中I(θ)称为费希尔信息量.特别当g(θ)=θ时，对一切θ∈Θ，CR不等式为

　　

若参数θ是k维向量，有类似结论.设T(X)=(T₁(X)，T₂(X)，…，T_r(X))^τ是g(θ)=(g₁(θ)，

g₂(θ)，…，g_r(θ))^τ的一个无偏估计，即对一切θ∈Θ，E_θT(X)=g(θ)成立，且满足条件：

1.对一切θ∈Θ及i，j=1，2，…，k，有

其中L(x;θ)=f_θ(x_i)，x=(x₁，x₂，…，x_n)^τ，

θ=(θ₁，θ₂，…，θ_k)^τ;

2.对i=1，2，…，r，j=1，2，…，k及θ∈Θ，存在，且

记　I(θ)

＝-E_θ

　=-E_θ，

　D_θT(x)=(cov(T_i(x)，T_j(x)))_{1≤i，j≤r}，

Δ=＝，

则对一切θ∈Θ，有

是非负定矩阵.通常称I(θ)为费希尔信息阵.以上CR不等式右端表达式称为克拉默-拉奥下界，简称CR下界.如果T是参数θ的无偏估计，其方差达到CR下界，则称T是有效估计.对于θ的任一无偏估计T，称

为无偏估计T的效率.如果T_n(x₁，x₂，…，x_n)是θ的无偏估计，若

＝ e_θ(T_n)=C₀，

则称C₀是T_n的渐近效率.当C₀＝1时，称T_n是θ的渐近有效估计.但是CR下界不易达到， 为提高下界，作为CR不等式的推广，有所谓巴塔恰里亚不等式.沿用前面记号，设T(x)是参数θ的函数g(θ)的无偏估计，在一定正则条件下，记

当V(θ)在θ∈Θ处行列式不为零时，必有

其右端称为巴塔恰里亚下界.k=1时，则为CR下界.克拉默-拉奥不等式是由瑞典学者克拉默(Cramer，H.)和印度学者拉奥(Rao，C.R.)分别于1946年和1945年证明的.