资讯详情

各种音视频编解码学习详解 h264 ,mpeg4 ,aac 等所有音视频格式

http://blog.csdn.net/yunjinwang/article/details/8187642

http://blog.csdn.net/diyagoanyhacker/article/details/7546204
编解码学习笔记(1)

媒体业务是网络的主要业务之间。特别是随着移动互联网业务的兴起,媒体业务在运营商和应用开发商中占有重要地位,其中媒体编解码服务涉及需求分析、应用开发和释放license收费等等。最近,由于项目的关系,媒体需要澄清codec,更重要的是,在豆丁网上看运营商的规范 标准,同一运营商同样的业务在不同文档中不同的要求,而且有些要求就我看来应当是历史的延续,也就是现在已经很少采用了。所以豆丁上看不出为什么。 wiki上查。中文的wiki信息量有限,很短,而且wiki英文内容多,删减版减肥太多。我还在网上看到一个山寨中文wiki,长得像,红色,叫天下维客。wiki汉语仍然很好,但建议阅读英语。

我对媒体codec做了一些整理和总结,数据来自wiki,其中一小部分来自在线博客的收集。我们将给出网民信息的来源。如果数据已经转移了几次,就没有办法了,鹅留下了声音,我们只能给出一定的轨迹。

基本概念

编解码

编解码器(codec)它指的是一个变信号或数据流的设备或程序。这里指的转换包括将要 编码信号或数据流(通常用于传输、存储或加密)或提取编码流的操作,也包括观察或处理从编码流中恢复适合观察或操作的操作。视频会议和流媒体等应用中经常使用编解码器。

容器

很多媒体数据流需要同时包含音频数据和视频数据,通常会添加一些元数据,如字幕,用于音频和视频数据的同步。这三种数据流可能由不同的程序、过程或硬件处理,但当它们传输或存储时,通常会包装在一起。通常,这种包装是通过视频文件进行的 实现公式,如常见公式*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 有些格式只能使用某些编解码器,而更多的编解码器可以通过容器使用。

FourCC全称Four-Character Codes,四个字符(4) bytes)在视频数据流格式频数据流格式的四字节wav、avi档案中会有一段FourCC来描述这个AVI使用什么样的档案?codec来 编码wav、avi大量存在等于大量存在IDP3”的FourCC。

视频是计算机中多媒体系统的重要组成部分。为了满足存储视频的需要,人们设置了不同的视频文件格式,将视频和音频放在一个文件中,以便同时回放。视频文件实际上是一个包裹在不同轨道内的容器,使用的容器格式与视频文件的可扩展性有关。

参数介绍

采样率

采样率(也称为采样速度或采样频率)定义了每秒从连续信号中提取并形成离散信号的采样数量,它使用赫兹(Hz)表示。采样频率的倒数称为采样周期或采样时间,是采样之间的时间间隔。注意不要使用采样率和比特率(bit rate,又称位速率)混淆。

  采样定理表明采样频率必须大于被采样信号带宽的两倍,另外一种等同的说法是奈奎斯特频率必须大于被采样信号的带宽。如果信号的带宽是 100Hz,那么为了避免混叠现象采样频率必须大于200Hz。换句话说就是采样频率必须至少是信号中最大频率分量频率的两倍,否则就不能从信号采样中恢复原始信号。

  对于语音采样:

  • 8,000 Hz - 电话所用采样率, 对于人的说话已经足够
  • 11,025 Hz
  • 22,050 Hz - 无线电广播所用采样率
  • 32,000 Hz - miniDV 数码视频 camcorder、DAT (LP mode)所用采样率
  • 44,100 Hz - 音频 CD, 也常用于 MPEG-1 音频(VCD, SVCD, MP3)所用采样率
  • 47,250 Hz - Nippon Columbia (Denon)开发的世界上第一个商用 PCM 录音机所用采样率
  • 48,000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频所用的数字声音所用采样率
  • 50,000 Hz - 二十世纪七十年代后期出现的 3M 和 Soundstream 开发的第一款商用数字录音机所用采样率
  • 50,400 Hz - 三菱 X-80 数字录音机所用所用采样率
  • 96,000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音轨、Blu-ray Disc(蓝光盘)音轨、和 HD-DVD (高清晰度 DVD)音轨所用所用采样率
  • 2.8224 MHz - SACD、 索尼 和 飞利浦 联合开发的称为 Direct Stream Digital 的 1 位 sigma-delta modulation 过程所用采样率。

  在模拟视频中,采样率定义为帧频和场频,而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远远小于重复所需时间,采样频率可能与采样时间的倒数不同。

  • 50 Hz - PAL 视频
  • 60 / 1.001 Hz - NTSC 视频

  当模拟视频转换为数字视频的时候,出现另外一种不同的采样过程,这次是使用像素频率。一些常见的像素采样率有:

  • 13.5 MHz - CCIR 601、D1 video

分辨率

  分辨率,泛指量测或显示系统对细节的分辨能力。此概念可以用时间、空间等领域的量测。日常用语中之分辨率多用于图像的清晰度。分辨率越高代表图像品质越好,越能表现出更多的细节。但相对的,因为纪录的信息越多,文件也就会越大。目前个人电脑里的图像,可以使用图像 处理软件,调整图像的大小、编修照片等。例如 photoshop,或是photoimpact等软件。

 图像分辨率 :

  用以描述图像细节分辨能力,同样适用于数字图像、胶卷图像、及其他类型图像。常用'线每毫米'、 '线每英吋'等来衡量。通常,“分辨率”被表示成每一个方向上的像素数量,比如640x480等。而在某些情况下,它也可以同时表示成“每英吋像素” (pixels per inch,ppi)以及图形的长度和宽度。比如72ppi,和8x6英吋。

 视频分辨率 :

各种电视规格分辨率比较视 频的画面大小称为“分辨率”。数位视频以像素为度量单位,而类比视频以水平扫瞄线数量为度量单位。标清电视频号分辨率为 720/704/640x480i60(NTSC)或768/720x576i50(PAL/SECAM)。新的高清电视(HDTV)分辨率可达 1920x1080p60,即每条水平扫瞄线有1920个像素,每个画面有1080条扫瞄线,以每秒钟60张画面的速度播放。

画面更新率fps

  Frame rate中文常译为“画面更新率”或“帧率”,是指视频格式每秒钟播放的静态画面数量。典型的画面更新率由早期的每秒6或8张(frame persecond,简称fps),至现今的每秒120张不等。PAL (欧洲,亚洲,澳洲等地的电视广播格式) 与 SECAM (法国,俄国,部分非洲等地的电视广播格式) 规定其更新率为25fps,而NTSC (美国,加拿大,日本等地的电视广播格式) 则规定其更新率为29.97 fps。电影胶卷则是以稍慢的24fps在拍摄,这使得各国电视广播在播映电影时需要一些复杂的转换手续(参考Telecine转换)。要达成最基本的视觉暂留效果大约需要10fps的速度。

压缩方法

有损压缩和无损压缩

  在视频压缩中有损(Lossy )和无损(Lossless)的概念与静态图像中基本类似。无损压缩也即压缩前和解压缩后的数据完全一致。多数的无损压缩都采用RLE行程编码算法。有损 压缩意味着解压缩后的数据与压缩前的数据不一致。在压缩的过程中要丢失一些人眼和人耳所不敏感的图像或音频信息,而且丢失的信息不可恢复。几乎所有高压缩的算法都采用有损压缩,这样才能达到低数据率的目标。丢失的数据率与压缩比有关,压缩比越小,丢失的数据越多,解压缩后的效果一般越差。此外,某些有损压 缩算法采用多次重复压缩的方式,这样还会引起额外的数据丢失。

  • 无损格式,例如WAV,PCM,TTA,FLAC,AU,APE,TAK,WavPack(WV)
  • 有损格式,例如MP3,Windows Media Audio(WMA),Ogg Vorbis(OGG),AAC

帧内压缩和帧间压缩

  帧内(Intraframe)压缩也称为空间压缩 (Spatial compression)。当压缩一帧图像时,仅考虑本帧的数据而不考虑相邻帧之间的冗余信息,这实际上与静态图像压缩类似。帧内一般采用有损压缩算法,由于帧内压缩时各个帧之间没有相互关系,所以压缩后的视频数据仍可以以帧为单位进行编辑。帧内压缩一般达不到很高的压缩。

  采用帧间(Interframe)压缩是基于许多视频或 动画的连续前后两帧具有很大的相关性,或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性,压缩相邻帧之间的冗余量就可以进一步提高压缩量,减小压缩比。帧间压缩也称为时间压缩(Temporalcompression),它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值(Frame differencing)算法是一种典型的时间压缩法,它通过比较本帧与相邻帧之间的差异,仅记录本帧与其相邻帧的差值,这样可以大大减少数据量。

对称编码和不对称编码

  对称性(symmetric)是压缩编码的一个关键特 征。对称意味着压缩和解压缩占用相同的计算处理能力和时间,对称算法适合于实时压缩和传送视频,如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中,一般是把视频预先压缩处理好,尔后再播放,因此可以采用不对称(asymmetric)编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间,而解压缩时则能较好地实时回放,也即以不同的速度进行压缩和解压缩。一般地说,压缩一段视频的时间比回放(解压缩)该视频的时间 要多得多。例如,压缩一段三分钟的视频片断可能需要10多分钟的时间,而该片断实时回放时间只有三分钟。

除wiki外的资料来源:http://tech.lmtw.com/csyy/Using/200411/3142.html

 

 

 

编解码学习笔记(二):codec类型

资料(港台将information翻译为资料)压缩是透过去除资料中的冗余资讯而达成。就视讯资料而言,资料中的冗余资讯可以分成四类:

时间上的冗余资讯(temporal redundancy)   在视讯资料中,相邻的帧(frame)与帧之间通常有很强的关连性,这样的关连性即为时间上的冗余资讯。这即是上一次学习中的帧间压缩。

空间上的冗余资讯(spatial redundancy)   在同一张帧之中,相邻的像素之 间通常有很强的关连性,这样的关连性即为空间上的冗余资讯。这即是上一次学习中的帧内压缩。

统计上的冗余资讯(statistical redundancy)   统计上的冗余资讯指的是欲编码的符号(symbol)的机率分布是不均匀(non-uniform)的。

感知上的冗余资讯(perceptual redundancy)   感知上的冗余资讯是指在人在观看视讯时,人眼无法察觉的资讯。

 

  视讯压缩(英文:Video compression)是指运用资料压缩技术将数位视讯资料中的冗余资讯去除,降低表示原始视讯所需的资料量,以便视讯资料的传输与储存。实际上,原始视讯资料的资料量往往过大,例如未经压缩的电视品质视讯资料的位元率高达216Mbps,绝大多数的应用无法处理如此庞大的资料量,因此视讯压缩是必要的。目前最新的视讯编码标准为ITU-T视讯编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视讯组(JVT,Joint Video Team)所提出的H.264/AVC。

  一个典型的视讯编码器:在进行当前信号编码时,编码器首先会产生对当前信号做预测的信号,称作预测信号(predicted signal),预测的方式可以是时间上的预测(interprediction),亦即使用先前帧的信号做预测,或是空间上的预测 (intra prediction),亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后,编码器会将当前信号与预测信号相减得到残余信号(residual signal),并只对残余信号进行编码,如此一来,可以去除一部份时间上或是空间上的冗余资讯。接着,编码器并不会直接对残余信号进行编码,而是先将残余信号经过变换(通常为离散余弦变换)然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码,去除统计上的冗余资讯。

视讯编码标准发展

年份

标准

制定组织

解除版权保护 (DRM-free )

主要应用

1984

H.120

ITU-T

 

1990

H.261

ITU-T

视讯会议 、视讯通话

1993

MPEG-1 第二部份

ISO /IEC

影音光碟(VCD )

1995

H.262/MPEG-2 第二部份

ISO / IEC、ITU-T

DVD影碟 (DVD-Video )、蓝光 (Blu-Ray )影碟、数位视讯广播(DVB )、SVCD

1996

H.263 [6]

ITU-T

 

视讯会议 、视讯通话 、3G 手机视讯(3GP )

1999

MPEG-4 第二部份

ISO /IEC

 

2003

H.264/MPEG-4 AVC [1]

ISO / IEC、ITU-T

蓝光 (Blu-Ray )影碟、数位视讯广播(DVB )、iPod 视讯、高画质DVD (HD DVD )

常见的编解码见下表,在以后会分类论述:

视频codec

ISO/IEC

MJPEG · Motion JPEG 2000 · MPEG-1 · MPEG-2 (Part 2 )· MPEG-4 (Part 2/ASP · Part 10/AVC )·HVC

ITU-T

H.120 · H.261 · H.262 · H.263 · H.264 · H.265

其它

AMV · AVS · Bink · CineForm · Cinepak · Dirac · DV · Indeo · Microsoft Video 1 · OMS Video · Pixlet ·RealVideo · RTVideo · SheerVideo · Smacker · Sorenson Video & Sorenson Spark · Theora · VC-1 ·VP3 · VP6 · VP7 · VP8 · WMV

音频 codec

ISO/IECMPEG

MPEG-1 Layer III (MP3) · MPEG-1 Layer II · MPEG-1 Layer I · AAC · HE-AAC · MPEG-4 ALS ·MPEG-4 SLS · MPEG-4 DST

ITU-T

G.711 ·  标签: 3m高密连接器

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台