资讯详情

流媒体知识 wiki

媒体业务是网络的主要业务之间。特别是随着移动互联网业务的兴起,媒体业务在运营商和应用开发商中占有重要地位,其中媒体编解码服务涉及需求分析、应用开发和释放license收费等等。最近,由于项目的关系,媒体需要澄清codec,更重要的是,在豆丁网上看运营商的规范 在我看来,同一运营商同一业务在不同文档中有不同的要求,有些要求应该是历史的延续,也就是说,现在很少使用。所以豆丁上看不出所以然,从 wiki上查。中文的wiki信息量有限,很短,而且wiki英文内容多,删减版减肥太多。我还在网上看到一个山寨中文wiki,长得像,红色,叫天下维客。wiki汉语仍然很好,但建议阅读英语。

我对媒体codec做了一些整理和总结,数据来自wiki,小部分来源于网络博客的收集。网友资料我们将给出来源。如果资料已经转手几趟就没办法,雁过留声,我们只能给出某个轨迹。

编解码器(codec)它指的是一个变信号或数据流的设备或程序。这里指的转换包括将要 编码信号或数据流(通常用于传输、存储或加密)或提取编码流的操作,也包括观察或处理从编码流中恢复适合观察或操作的操作。视频会议和流媒体等应用中经常使用编解码器。

很多媒体数据流需要同时包含音频数据和视频数据,通常会添加一些元数据,如字幕,用于音频和视频数据的同步。这三种数据流可能由不同的程序、过程或硬件处理,但当它们传输或存储时,通常会包装在一起。通常,这种包装是通过视频文件进行的 实现公式,如常见公式*.mpg, *.avi, *.mov, *.mp4, *.rm, *.ogg or *.tta. 有些格式只能使用某些编解码器,而更多的编解码器可以通过容器使用。

FourCC全称Four-Character Codes,四个字符(4) bytes)在视频数据流格式频数据流格式的四字节wav、avi档案中会有一段FourCC来描述这个AVI使用什么样的档案?codec来 编码wav、avi大量存在等于大量存在IDP3”的FourCC。

视频是计算机中多媒体系统的重要组成部分。为了满足存储视频的需要,人们设置了不同的视频文件格式,将视频和音频放在一个文件中,以便同时回放。视频文件实际上是一个包裹在不同轨道内的容器,使用的容器格式与视频文件的可扩展性有关。

采样率(也称为采样速度或采样频率)定义了每秒从连续信号中提取并形成离散信号的采样数量,它使用赫兹(Hz)表示。采样频率的倒数称为采样周期或采样时间,是采样之间的时间间隔。注意不要使用采样率和比特率(bit rate,又称位速率)混淆。

采样定理表明采样频率必须大于被采样信号带宽的两倍,另外一种等同的说法是奈奎斯特频率必须大于被采样信号的带宽。如果信号的带宽是 100Hz,因此,为了避免混合现象,采样频率必须大于2000Hz。换句话说,采样频率必须至少是信号中最大频率的两倍,否则原始信号无法从信号采样中恢复。

语音采样:

  • 8,000 Hz - 电话采样率, 对人说话就够了
  • 11,025 Hz
  • 22,050 Hz - 无线电广播采样率
  • 32,000 Hz - miniDV 数码视频 camcorder、DAT (LP mode)所用采样率
  • 44,100 Hz - 音频 CD, 也常用于 MPEG-1 音频(VCD, SVCD, MP3)采样率
  • 47,250 Hz - Nippon Columbia (Denon)世界上第一个商业开发的世界 PCM 录音机采样率
  • 48,000 Hz - miniDV、数字电视、DVD、DAT、电影和专业音频使用的数字声音采样率
  • 50,000 Hz - 20世纪70年代末出现 3M 和 Soundstream 商用数字录音机开发的第一台采样率
  • 50,400 Hz - 三菱 X-80 数字录音机使用的采样率
  • 96,000 或者 192,000 Hz - DVD-Audio、一些 LPCM DVD 音轨、Blu-ray Disc(蓝光盘)音轨,和 HD-DVD (高清晰度 DVD)采样率用于音轨
  • 2.8224 MHz - SACD、 索尼 和 飞利浦 联合开发的名称 Direct Stream Digital 的 1 位 sigma-delta modulation 采样率用于工艺。

在模拟视频中,采样率被定义为帧频和场频,而不是概念上的像素时钟。图像采样频率是传感器积分周期的循环速度。由于积分周期远小于重复时间,采样频率可能分周期远小于重复时间。

  • 50 Hz - PAL 视频
  • 60 / 1.001 Hz - NTSC 视频

当模拟视频转换为数字视频时,会出现另一个不同的采样过程,即使用像素频率。一些常见的像素采样率包括:

  • 13.5 MHz - CCIR 601、D1 video

分辨率,一般指测量或显示系统对细节的分辨率。这个概念可以用时间、空间等领域来测量。图像的清晰度主要用于日常语言中的分辨率。分辨率越高代表图像品质越好,越能表现出更多的细节。但相对而言,记录的信息越多,文件就越大。目前,个人电脑中的图像可以使用 处理软件,调整图像大小,编辑照片等。例如 photoshop,或是photoimpact等软件。

用于描述图像细节的分辨能力,也适用于数字图像、胶卷图像等类型的图像。常用的每毫米线 线每英寸等。通常,分辨率表示为每个方向的像素数,如640x480等。在某些情况下,它也可以表示为每英寸像素 (pixels per inch,ppi)以及图形的长度和宽度。比如72ppi,和8x6英寸。

比较各种电视规格的分辨率 频的画面大小称为“分辨率”。数字视频以像素为测量单位,类比视频以水平扫描线数为测量单位。标记电视频号的分辨率 720/704/640x480i60(NTSC)或768/720x576i50(PAL/SECAM)。新的高清电视(HDTV)分辨率可达 1920x1080p60,即每条水平扫描线有1920个像素,每张图片有1080条扫描线,以每秒60张图片的速度播放。

Frame rate中文常被翻译成画面更新率或帧率,指视频格式每秒播放的静态画面数量。典型的图像更新率从早期每秒6或8张开始(frame persecond,简称fps),到目前为止,每秒120张不等。PAL (欧洲、亚洲、澳大利亚等地的电视广播格式) 与 SECAM (法国、俄罗斯、一些非洲等地的电视广播格式) 规定其更新率为25fps,而NTSC (美国、加拿大、日本等地的电视广播格式) 规定更新率为29.97 fps。电影胶卷是24,稍慢fps在拍摄过程中,这使得各国电视广播在播放电影时需要一些复杂的转换程序(参考)Telecine转换)。大约需要10个才能达到最基本的视觉暂留效果fps的速度。

视频压缩损坏(Lossy )和无损(Lossless)的概念与静态图像中基本类似。无损压缩,即压缩前和解压后的数据完全一致。大多数无损压缩都使用RLE行程编码算法。有损 压缩意味着解压后的数据与压缩前的数据不一致。一些人眼和人耳不敏感的图像或音频信息在压缩过程中丢失,丢失的信息无法恢复。几乎所有高压缩算法都采用有损压缩,以实现低数据率的目标。丢失的数据率与压缩比有关,压缩比越小,丢失的数据越多,解压后的效果越差。另外,有些有损压 缩算法采用多次重复压缩的方致额外的数据丢失。

  • 例如,无损格式WAV,PCM,TTA,FLAC,AU,APE,TAK,WavPack(WV)
  • 例如,有损格式MP3,Windows Media Audio(WMA),Ogg Vorbis(OGG),AAC

帧内(Intraframe)压缩也称为空间压缩 (Spatial compression)。在压缩一帧图像时,只考虑这帧数据而不考虑相邻帧之间的冗余信息,这实际上类似于静态图像压缩。帧中一般采用有损压缩算法。由于帧内压缩时各帧之间没有相互关系,压缩视频数据仍可以帧编辑。帧内压缩一般不能达到高压缩。

采用帧间(Interframe)压是基于许多视频或 动画的连续前后两帧具有很大的相关性,或者说前后两帧信息变化很小的特点。也即连续的视频其相邻帧之间具有冗余信息,根据这一特性,压缩相邻帧之间的冗余量就可以进一步提高压缩量,减小压缩比。帧间压缩也称为时间压缩(Temporalcompression),它通过比较时间轴上不同帧之间的数据进行压缩。帧间压缩一般是无损的。帧差值(Frame differencing)算法是一种典型的时间压缩法,它通过比较本帧与相邻帧之间的差异,仅记录本帧与其相邻帧的差值,这样可以大大减少数据量。

  对称性(symmetric)是压缩编码的一个关键特 征。对称意味着压缩和解压缩占用相同的计算处理能力和时间,对称算法适合于实时压缩和传送视频,如视频会议应用就以采用对称的压缩编码算法为好。而在电子出版和其它多媒体应用中,一般是把视频预先压缩处理好,尔后再播放,因此可以采用不对称(asymmetric)编码。不对称或非对称意味着压缩时需要花费大量的处理能力和时间,而解压缩时则能较好地实时回放,也即以不同的速度进行压缩和解压缩。一般地说,压缩一段视频的时间比回放(解压缩)该视频的时间 要多得多。例如,压缩一段三分钟的视频片断可能需要10多分钟的时间,而该片断实时回放时间只有三分钟。

除wiki外的资料来源:http://tech.lmtw.com/csyy/Using/200411/3142.html

资料(港台将information翻译为资料)压缩是透过去除资料中的冗余资讯而达成。就视讯资料而言,资料中的冗余资讯可以分成四类:

时间上的冗余资讯(temporal redundancy)  在视讯资料中,相邻的帧(frame)与帧之间通常有很强的关连性,这样的关连性即为时间上的冗余资讯。这即是上一次学习中的帧间压缩。

空间上的冗余资讯(spatial redundancy)  在同一张帧之中,相邻的像素之 间通常有很强的关连性,这样的关连性即为空间上的冗余资讯。这即是上一次学习中的帧内压缩。

统计上的冗余资讯(statistical redundancy)  统计上的冗余资讯指的是欲编码的符号(symbol)的机率分布是不均匀(non-uniform)的。

感知上的冗余资讯(perceptual redundancy)  感知上的冗余资讯是指在人在观看视讯时,人眼无法察觉的资讯。

 

  视讯压缩(英文:Video compression)是指运用资料压缩技术将数位视讯资料中的冗余资讯去除,降低表示原始视讯所需的资料量,以便视讯资料的传输与储存。实际上,原始视讯资料的资料量往往过大,例如未经压缩的电视品质视讯资料的位元率高达216Mbps,绝大多数的应用无法处理如此庞大的资料量,因此视讯压缩是必要的。目前最新的视讯编码标准为ITU-T视讯编码专家组(VCEG)和ISO/IEC动态图像专家组(MPEG)联合组成的联合视讯组(JVT,Joint Video Team)所提出的H.264/AVC。

  一个典型的视讯编码器:在进行当前信号编码时,编码器首先会产生对当前信号做预测的信号,称作预测信号(predicted signal),预测的方式可以是时间上的预测(interprediction),亦即使用先前帧的信号做预测,或是空间上的预测 (intra prediction),亦即使用同一张帧之中相邻像素的信号做预测。得到预测信号后,编码器会将当前信号与预测信号相减得到残余信号(residual signal),并只对残余信号进行编码,如此一来,可以去除一部份时间上或是空间上的冗余资讯。接着,编码器并不会直接对残余信号进行编码,而是先将残余信号经过变换(通常为离散余弦变换)然后量化以 进一步去除空间上和感知上的冗余资讯。量化后得到的量化系数会再透过熵编码,去除统计上的冗余资讯。

H.120

ITU-T

 

H.261

ITU-T

视讯会议、视讯通话

MPEG-1 第二部份

ISO /IEC

影音光碟(VCD )

H.262/MPEG-2 第二部份

ISO / IEC 、ITU-T

DVD影碟(DVD-Video )、蓝光(Blu-Ray )影碟、数位视讯广播(DVB )、SVCD

H.263 [6]

ITU-T

 

视讯会议、视讯通话、3G 手机视讯(3GP )

MPEG-4 第二部份

ISO /IEC

 

H.264/MPEG-4 AVC [1]

ISO / IEC 、ITU-T

蓝光(Blu-Ray )影碟、数位视讯广播(DVB )、iPod 视讯、高画质DVD(HD DVD )

常见的编解码见下表,在以后会分类论述:

视频codec

ISO /IEC

MJPEG  Motion JPEG 2000  MPEG-1  MPEG-2 (Part 2 ) MPEG-4 (Part 2/ASP  Part 10/AVC ) HVC

ITU-T

H.120  H.261  H.262  H.263  H.264  H.265

其它

AMV  AVS  Bink  CineForm  Cinepak  Dirac  DV  Indeo  Microsoft Video 1 OMS Video  Pixlet  RealVideo  RTVideo  SheerVideo  Smacker  Sorenson Video & Sorenson Spark  Theora  VC-1  VP3  VP6  VP7  VP8  WMV

音频 codec

ISO /IECMPEG

MPEG-1 Layer III (MP3)  MPEG-1 Layer II  MPEG-1 Layer I  AAC  HE-AAC  MPEG-4 ALS  MPEG-4 SLS  MPEG-4 DST

ITU-T

G.711  G.718  G.719  G.722  G.722.1  G.722.2  G.723  G.723.1  G.726  G.728  G.729  G.729.1

其它

AC-3  AMR  AMR-WB  AMR-WB+  Apple Lossless  ATRAC  DRA  DTS  FLAC  GSM-HR  GSM-FR  GSM-EFR  iLBC  Monkey's Audio  TTA (True Audio) MT9  μ-law Musepack  Nellymoser  OptimFROG  OSQ  RealAudio  RTAudio  SD2  SHN SILK  Siren  Speex  TwinVQ  Vorbis  WavPack  WMA

图像压缩

ISO /IEC /ITU-T

JPEG  JPEG 2000  JPEG XR  lossless JPEG  JBIG  JBIG2  PNG  WBMP

Others

APNG  BMP  DjVu  EXR  GIF  ICER  ILBM  MNG  PCX  PGF  TGA  TIFF

媒体容器

通用

3GP  ASF  AVI  Bink  BXF  DMF  DPX  EVO  FLV  GXF  M2TS  Matroska  MPEG-PS  MPEG-TS  MP4  MXF  Ogg  QuickTime RealMedia  RIFF  Smacker  VOB

只用于音频

AIFF AUWAV

上面的表格,查看某个具体的codec,可以在中文的wiki中查找,但是英文的wiki咨询更为丰富,见下表

Video compression

ISO /IEC

MJPEG  Motion JPEG 2000  MPEG-1  MPEG-2 (Part 2 ) MPEG-4 (Part 2/ASP  Part 10/AVC ) HEVC

ITU-T

H.120  H.261  H.262  H.263  H.264  HEVC

Others

AMV  AVS  Bink  CineForm  Cinepak  Dirac  DV  Indeo  Microsoft Video 1  OMS Video  Pixlet  RealVideo  RTVideo  SheerVideo  Smacker  Sorenson Video & Sorenson Spark  Theora  VC-1  VP3   标签: 3m高密连接器

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台