学习各种音视频编解码
媒体业务是网络的主要业务之间。特别是随着移动互联网业务的兴起，媒体业务在运营商和应用开发商中占有重要地位，其中媒体编解码服务涉及需求分析、应用开发和释放license收费等等。最近，由于项目的关系，媒体需要澄清codec，更重要的是，在豆丁网上看运营商的规范 在我看来，同一运营商同一业务在不同文档中有不同的要求，有些要求应该是历史的延续，也就是说，现在很少使用。所以豆丁上看不出为什么。 wiki上查。中文的wiki信息量有限，很短，而且wiki英文内容多，删减版减肥太多。我还在网上看到一个山寨中文wiki，长得像，红色，叫天下维客。wiki汉语仍然很好，但建议阅读英语。
我对媒体codec做了一些整理和总结，数据来自wiki，其中一小部分来自在线博客的收集。我们将给出网民信息的来源。如果数据已经转移了几次，就没有办法了，鹅留下了声音，我们只能给出一定的轨迹。
编解码器（codec）它指的是一个变信号或数据流的设备或程序。这里指的转换包括将要 编码信号或数据流（通常用于传输、存储或加密）或提取编码流的操作，也包括观察或处理从编码流中恢复适合观察或操作的操作。视频会议和流媒体等应用中经常使用编解码器。
很多媒体数据流需要同时包含音频数据和视频数据，通常会添加一些元数据，如字幕，用于音频和视频数据的同步。这三种数据流可能会被不同的程序，进程或者硬件处理，但是当它们传输或者存储的时候，这三种数据通常是被封装在一起的。通常，这种包装是通过视频文件进行的 实现公式，如常见公式*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 有些格式只能使用某些编解码器，而更多的编解码器可以通过容器使用。
FourCC全称Four-Character Codes，四个字符(4) bytes）在视频数据流格式频数据流格式的四字节wav、avi档案中会有一段FourCC来描述这个AVI档案，是利用何种codec来 编码wav、avi大量存在等于大量存在IDP3”的FourCC。
视频是计算机中多媒体系统的重要组成部分。为了满足存储视频的需要，人们设置了不同的视频文件格式，将视频和音频放在一个文件中，以便同时回放。视频文件实际上是一个包裹在不同轨道内的容器，使用的容器格式与视频文件的可扩展性有关。
采样率(也称为采样速度或采样频率)定义了每秒从连续信号中提取并形成离散信号的采样数量，它使用赫兹（Hz）表示。采样频率的倒数称为采样周期或采样时间，是采样之间的时间间隔。注意不要使用采样率和比特率（bit rate，又称位速率)混淆。
采样定理表明，采样频率必须大于采样信号带宽的两倍，另一种相同的说法是奈奎斯特频率必须大于采样信号带宽。如果信号的带宽是 100Hz，因此，为了避免混合现象，采样频率必须大于2000Hz。换句话说，采样频率必须至少是信号中最大频率的两倍，否则原始信号无法从信号采样中恢复。
语音采样：
- 8,000 Hz - 电话采样率， 对人说话就够了
- 11,025 Hz
- 22,050 Hz - 无线电广播采样率
- 32,000 Hz - miniDV 数码视频 camcorder、DAT (LP mode)所用采样率
- 44,100 Hz - 音频 CD, 也常用于 MPEG-1 音频（VCD, SVCD, MP3)采样率
- 47,250 Hz - Nippon Columbia (Denon)世界上第一个商业开发的世界 PCM 录音机采样率
- 48,000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频使用的数字声音采样率
- 50,000 Hz - 20世纪70年代末出现 3M 和 Soundstream 商用数字录音机开发的第一台采样率
- 50,400 Hz - 三菱 X-80 数字录音机使用的采样率
- 96,000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音轨、Blu-ray Disc(蓝光盘)音轨，和 HD-DVD （高清晰度 DVD）采样率用于音轨
- 2.8224 MHz - SACD、 索尼 和 飞利浦 联合开发的名称 Direct Stream Digital 的 1 位 sigma-delta modulation 采样率用于工艺。
在模拟视频中，采样率被定义为帧频和场频，而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远小于重复时间，采样频率可能分周期远小于重复时间。
- 50 Hz - PAL 视频
- 60 / 1.001 Hz - NTSC 视频
当模拟视频转换为数字视频时，会出现另一个不同的采样过程，即使用像素频率。一些常见的像素采样率包括：
- 13.5 MHz - CCIR 601、D1 video
分辨率，一般指测量或显示系统对细节的分辨率。这个概念可以用时间、空间等领域来测量。图像的清晰度主要用于日常语言中的分辨率。分辨率越高，图像质量越好，细节越多。但相对而言，记录的信息越多，文件就越大。目前，个人电脑中的图像可以使用 处理软件，调整图像大小，编辑照片等。例如 photoshop，或是photoimpact等软件。
：
用于描述图像细节的分辨能力，也适用于数字图像、胶卷图像等类型的图像。常用的每毫米线 线每英寸等。通常，分辨率表示为每个方向的像素数，如640x480等。在某些情况下，它也可以表示为每英寸像素 （pixels per inch，ppi）以及图形的长度和宽度。比如72ppi，和8x6英寸。
：
比较各种电视规格的分辨率 频画面大小称为分辨率。数字视频以像素为测量单位，类比视频以水平扫描线数为测量单位。标记电视频号的分辨率 720/704/640x480i60（NTSC）或768/720x576i50（PAL/SECAM）。新的高清电视（HDTV）分辨率可达 1920x1080p60，即每条水平扫描线有1920个像素，每张图片有1080条扫描线，以每秒60张图片的速度播放。
Frame rate中文常被翻译成画面更新率或帧率，指视频格式每秒播放的静态画面数量。典型的图像更新率从早期每秒6或8张开始（frame persecond，简称fps），到目前为止，每秒120张不等。PAL (欧洲、亚洲、澳大利亚等地的电视广播格式) 与 SECAM (法国、俄罗斯、一些非洲等地的电视广播格式) 规定其更新率为25fps，而NTSC (美国、加拿大、日本等地的电视广播格式) 规定更新率为29.97 fps。电影胶卷是24，稍慢fps在拍摄过程中，这使得各国电视广播在播放电影时需要一些复杂的转换程序(参考)Telecine转换）。大约需要10个才能达到最基本的视觉暂留效果fps的速度。
视频压缩损坏（Lossy ）和无损（Lossless）概念与静态图像基本相似。无损压缩，即压缩前和解压后的数据完全一致。大多数无损压缩都使用RLE行程编码算法。有损 压缩意味着解压后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息，而且丢失的信息不可恢复。几乎所有高压缩算法都采用有损压缩，以实现低数据率的目标。丢失的数据率与压缩比有关，压缩比越小，丢失的数据越多，解压后的效果越差。另外，有些有损压 缩算法采用多次重复压缩的方致额外的数据丢失。
- 例如，无损格式WAV，PCM，TTA，FLAC，AU，APE，TAK，WavPack(WV)
- 例如，有损格式MP3，Windows Media Audio（WMA），Ogg Vorbis（OGG），AAC
帧内（Intraframe）压缩也称为空间压缩 （Spatial compressin）。当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，这实际上与静态图像压缩类似。帧内一般采用有损压缩算法，由于帧内压缩时各个帧之间没有相互关系，所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。
采用帧间（Interframe）压缩是基于许多视频或 动画的连续前后两帧具有很大的相关性，或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息，根据这一特性，压缩相邻帧之间的冗余量就可以进一步提高压缩量，减小压缩比。帧间压缩也称为时间压缩（Temporalcompression），它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值（Frame differencing）算法是一种典型的时间压缩法，它通过比较本帧与相邻帧之间的差异，仅记录本帧与其相邻帧的差值，这样可以大大减少数据量。
对称性（symmetric）是压缩编码的一个关键特 征。对称意味着压缩和解压缩占用相同的计算处理能力和时间，对称算法适合于实时压缩和传送视频，如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中，一般是把视频预先压缩处理好，尔后再播放，因此可以采用不对称（asymmetric）编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间，而解压缩时则能较好地实时回放，也即以不同的速度进行压缩和解压缩。一般地说，压缩一段视频的时间比回放（解压缩）该视频的时间 要多得多。例如，压缩一段三分钟的视频片断可能需要10多分钟的时间，而该片断实时回放时间只有三分钟。
除wiki外的资料来源：http://tech.lmtw.com/csyy/Using/200411/3142.html
编解码学习笔记（二）：codec类型
资料（港台将information翻译为资料）压缩是透过去除资料中的冗余资讯而达成。就视讯资料而言，资料中的冗余资讯可以分成四类：
时间上的冗余资讯（temporal redundancy） 在视讯资料中，相邻的帧（frame）与帧之间通常有很强的关连性，这样的关连性即为时间上的冗余资讯。这即是上一次学习中的帧间压缩。
空间上的冗余资讯（spatial redundancy） 在同一张帧之中，相邻的像素之 间通常有很强的关连性，这样的关连性即为空间上的冗余资讯。这即是上一次学习中的帧内压缩。
统计上的冗余资讯（statistical redundancy） 统计上的冗余资讯指的是欲编码的符号（symbol）的机率分布是不均匀（non-uniform）的。
感知上的冗余资讯（perceptual redundancy） 感知上的冗余资讯是指在人在观看视讯时，人眼无法察觉的资讯。
视讯压缩（英文：Video compression）是指运用资料压缩技术将数位视讯资料中的冗余资讯去除，降低表示原始视讯所需的资料量，以便视讯资料的传输与储存。实际上，原始视讯资料的资料量往往过大，例如未经压缩的电视品质视讯资料的位元率高达216Mbps，绝大多数的应用无法处理如此庞大的资料量，因此视讯压缩是必要的。目前最新的视讯编码标准为ITU-T视讯编码专家组（VCEG）和ISO／IEC动态图像专家组（MPEG）联合组成的联合视讯组（JVT，Joint Video Team）所提出的H.264/AVC。
一个典型的视讯编码器：在进行当前信号编码时，编码器首先会产生对当前信号做预测的信号，称作预测信号（predicted signal），预测的方式可以是时间上的预测（interprediction），亦即使用先前帧的信号做预测，或是空间上的预测 （intra prediction），亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后，编码器会将当前信号与预测信号相减得到残余信号（residual signal），并只对残余信号进行编码，如此一来，可以去除一部份时间上或是空间上的冗余资讯。接着，编码器并不会直接对残余信号进行编码，而是先将残余信号经过变换（通常为离散余弦变换）然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码，去除统计上的冗余资讯。
| 是 |
||||
| 是 |
||||
| 是 |
影音光碟（VCD ） |
|||
| 否 |
DVD影碟（DVD-Video ）、蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、SVCD |
|||
| 否 |
||||
| 否 |
蓝光（Blu-Ray ）影碟、数位视讯广播（DVB ）、iPod 视讯、高画质DVD（HD DVD ） |
|||
常见的编解码见下表，在以后会分类论述：
上面的表格，查看某个具体的codec，可以在中文的wiki中查找，但是英文的wiki咨询更为丰富，见下表