离散信道平均互信息量极值定理

英文

extremal theorem of the average mutual information of discrete channel

简介

信息传输理论的基本定理之一.该定理断言：离散信道的平均互信息量I(X;Y)达到极大值(即等于信道容量)的充分必要条件是输入概率分布{P_i}满足：

1.对所有x_i，I(x_i;Y)=C，其P_i≠0;

2.对所有x_i，I(x_i;Y)≤C，其P_i＝0.

式中C为信道容量.

离散信道平均互信息量极值定理说明：当信道平均互信息量达到信道容量时，输入信源符号集中每一个信源符号x_i对输出端Y提供相同的互信息量，只是概率为零的除外.