仙农第一定理

英文

Shannon first theorem

简介

信源编码理论的基本定理之一.即变长无失真信源的编码定理.离散无记忆信源S的N次扩展信源S^N＝{u₁，u₂，…，u_qN}，其熵为H(S^N)，并有码元集A={a₁，a₂，…，a_r}.对信源S^N进行编码，总可以找到一种编码方法，构成惟一可译码，使信源S中每个信源符号所需的码字平均长度满足：

或

当N→∞时，则

＝H_r(S)，

式中

L–_N＝P(u_i)λ_i，

而λ_i是u_i所对应的码字长度.L–_N/N的含义是：为了得到这个平均值，不是对单个信源符号进行编码，而是对N个信源符号序列u_i进行编码.