多用户信源编码

研究多个相关信源的编码的主要目的是压缩信息率。若两个离散信源各发出符号U1U2,它们的信息熵分别是H(U1)和H(U2),条件熵(以U1为条件)是H(U2|U1)。当他们之间相关时,有H(U2U1)<H(U2)。单一信源编码定理证明,要分别传送这两个信源符号时,所需的信息率R1R2必须分别大于 H(U1)和H(U2)。但在译码器已确知U1的情况下,再从U2中提取的信息应只有H(U2U1)而不是H(U2),在这种情况下传送U2的信息率R2只须大于H(U2U1)即可。当U1U2两个信源不在同一地方,而U1的样已为信宿所确知,但对U2编码时却不确知U1当时的样,那么只要信息率大于H(U2U1),就能把U2编码后传送给信宿,而使后者能正确译出U2。这就是具有边信息的多用户信源编码定理。信宿已确知的U1就称为对U2译码的边信息。这可由容量大于H(U1)的信道传送。

要证明关于离散无记忆信源的这一定理,可以用典型序列的概念(见渐近等分性)。当信源符号数目 N足够大时,U1组成的典型序列有公式 符号个,对应每个U1序列,U2组成的典型序列有公式 符号个,这些序列可排成AB列的矩阵。对U2编码时只须把这个序列在矩阵的列号编成码,于是所需的信息率就是

公式 符号

在译码时,因已知U1序列的样,即已知在哪一行,就可根据列号从矩阵中找出被传送的那一个U2序列。因此只要U2是典型序列,便可以无错误地译码。已知 N→∞时,非典型序列出现的概率接近于零,因此有边信息时译码的差错概率也接近于零。

图

再推广一步,可研究图中a的系统。两个相关信源 U1U2分别由两个编码器编码后用两条信道传送,在接收端同时收到两条信道的输出,为了正确译出12,对两条信道须传送的信息率R1R2的要求是

R1H(U1|U2)

R2H(U2|U1)

R1+R2H(U1U2)

这三个不等式所对应的区域是图中 b所示的阴影部分。利用时分内插编码原理可以证明,只要(R1R2)是在图中的阴影部分内,且符号长度N足够长,总存在一种编码方法,使译码器能正确地译出U1U2。因此两条信道的容量是允许调配的:R1大时,R2可小一些,反之亦然。

另一类多用户信源问题是利用公用信道和私用信道问题。从两个相关信源U1U2引出另一随机量W,使在W 已知条件下U1U2相互独立。此时下列条件概率之间的关系成立

P(U1U2|W )=P1(U1|W )P2(U2|W )

满足上式的所有W组成一个集E。变更W,使U1U2作为一组对W 的互信息I(U1U2W)为最小,此最小值称为U1U2之间的共信息I0,即

公式 符号

当利用公用信道传送W 时,传送U1U2的私用信道的信息率R1R2分别只须大于H(U1W )和H(U2W )。这种系统的特点是利用私用信道(R1)传来的信息和公用信道传来的W 就能正确译出U1,但很难译出U2。因为在W确知条件下,U1U2是相互独立的,也就是译出U1后对U2的解译毫无帮助,这可用于某些保密系统中。另一方面,利用公用信道中的边信息可降低对私用信道的要求。

多用户信源编码是一种尚在发展的理论。对于允许失真的信源问题,也有一些研究结果,其他如有记忆信源以及理论的应用前景等问题,均尚在探索中。