??离散无记忆信源X包含N个符号{x1,x2,…,xi,…,xN}，如果信源发出K重符号序列，信源可以发出 N^ k 第一个是不同的符号序列消息 j 出现符号序列消息的概率是 PKj，信源编码后获得的二进制代码组长度为 Bj，代码组的平均长度B为 B=PK1B1 PK2B2 … PKN^ k BN^k。 ??当 K 趋于无限大，B 和信息量 H(X) 关系是 B/K = H(X) (K接近无穷)。

??信源编码定理表明，数据不可能压缩到代码率（每个符号的平均比例）小于信源的香农熵，不满意的几乎可以肯定，信息将丢失。但是，代码率可以任意接近香农熵，损失的可能性很小。

??香农第一定理的意义：将原始信源符号转换为新的代码符号，使代码符号尽可能服从等级分布，使每个代码符号携带的信息量最大化，然后使用尽可能少的代码符号传输信源信息。

??噪声信道编码定理。当信道信息传输率不超过信道容量时，可以通过适当的信道编码方法实现任何高传输可靠性，但如果信息传输率超过信道容量，就不可能实现可靠的传输。 ??设某信道有 r 输入符号，s 信道容量为输出符号 C，当信道的信息传输率 R < C，码长 N 当它足够长时，它总是可以集中在输入(包含r^ N找到长度为N的代码符号序列） M（(M<=2^ (N(C-a)))，a 代表M个等可能性的消息是任意小正数)的代码，构成一个代码和相应的解码规则，使信道输出端的最小平均错误解码概率 Pmin任意小。 ??公式：

??注：B信道带宽；S/N分贝通常用于信噪比（dB）表示。

??信源编码定理在保真标准下，或称为损坏信源编码定理。只要代码长度足够长，总能找到信源代码，使编码后的信息传输率略大于失真函数，代码平均失真度不大于给定的允许失真度，即 D’<=D。设 R(D) 对于任何允许平均失真度的信息率失真函数，都是一个离散的无记忆信源，并选择有限的失真函数 D>=和任何小的 a>0，以及任何足够长的码长N，一定有一种信源编码 W，码字数为 M <= EXP{N[R(D) a]}，编码后代码的平均失真度 D’(W) <= D a。