超高清数字视频潮流奔腾向前,帧率从30开始 fps向60fps、120fps甚至240fps与此同时,物理媒体越来越薄,内容正在通过有形无形的网络传输到世界各地的终端设备。目前主流的高密度数据给带宽和存储带来了巨大的挑战H.264开始不应用,新一代视频编码标准H.265似乎成了数字4K时代的救世主。
H.265又称为HEVC(全称High Efficiency Video Coding,高效率视频编码,本文统称为H.265),是ITU-T H.264/MPEG-4 AVC标准继任者。2004年由ISO/IEC Moving Picture Experts Group(MPEG)和ITU-T Video Coding Experts Group(VCEG)作为ISO/IEC 23008-2 MPEG-H Part 2或称作ITU-T H.265开始制定。第一版的HEVC/H.2013年4月13日,265视频压缩标准被国际电信联盟接受(ITU-T)正式标准。 理论上H.265比H.264效率提高30-50%(尤其是在分辨率较高的情况下),但真的就这么简单吗?
H.265重新利用了H.264中定义的许多概念。两者都是基于块的视频编码技术,所以它们有相同的根源和类似的编码方法,包括:
1.用宏块划分图片,最后用块细分。
2.利用帧内压缩技术减少空间冗余。
3.利用帧内压缩技术减少时间冗余(运动估计和补偿)。
4.残留数据压缩采用转换和量化。
5.减少运动矢量传输和信号发送中残留和最终冗余。
事实上,视频编解码是从MPEG-自诞生以来,没有根本性的改善,H.265也只是H.264在一些关键性能上的进化和简化。
当你考虑只在普通互联网上传输4时K在内容上,要实现最佳的图像质量,首先要明确更多的压缩和更好的压缩两个概念。如果只是更多的压缩,4K与今天的1080相比,超高清并不一定要保证p或HD图片质量更好。更好的压缩意味着更聪明的压缩。面对相同的原始材料,更好的压缩将以更好的方式减少数据量,而不牺牲质量。更容易压缩,更好的压缩需要更多的思考和更好的技术,通过更智能的算法来处理图像,同时保持更低的比特率,这是H.265所要做的。
如何实现更好的压缩,例如,我们通常会发现在许多图像材料中,如视频会议或电影场景,每帧的大部分内容变化不大,视频会议通常只有演讲者的头(甚至嘴唇),背景一般不动,在这种情况下,我们的做法不是每帧的每个像素代码,而是最初的帧代码,然后只编码发生变化的部分。
图像分区
H.265将图像分为编码树单元(coding tree Unit, CTU)而不是像H.264那样的16×16的宏块。编码树单元的尺寸可根据不同的编码设置设置为64×64或有限的32×32或16×16。许多研究表明,更大的编码树单元可以提供更高的压缩效率(也需要更高的编码速度)。每个编码树单元可以用四叉树结构递归分割,分为32×32、16×16、8×8的子区,下图是64×64编码树单元分区示例。 细节区域(如边界等)通常使用较小的编码单元,而可预测的平面区域使用较大的编码单元。
2022年最新最全面的学习提升资料包 , 资料 内容包括 《Andoird音视频开发必备手册 最新的音视频学习视频 大厂面试真题 2022年最新学习路线图 》 (C/C ,Linux,FFmpeg ,webRTC ,rtmp ,hls ,rtsp ,ffplay ,srs)等等 加企鹅裙:788280672
每个编码单元可以四叉树递归分为转换单元。H.264主要以4×4转换,偶尔8×8转换的区别在于,H.265有几个转换尺寸:32×32、16×16、8×8和4×4.从数学的角度来看,更大的转换单元可以更好地编码静态信号,而更小的转换单元可以更好地编码更小的脉冲信号。
一个编码单元可以使用以下八种预测模式中的一种进行预测。
帧内预测:H.265有35种不同的帧内预测模式(包括9种)AVC现有),包括DC模式、平面(Planar)模式和33个方向。帧中的预测可以遵循转换单元的分割树,因此预测模式可以应用于4×4、8×8、16×16和32×32转换单元。
帧间预测:运动向量预测,H.265有两个参考表:L0和L1.每一个都有16个参考项,但唯一图片的最大数量是8。H.估计265运动比H.264更复杂。它使用列表索引,主要有两种预测模式:合并和高级运动向量。
与H.264在4×四块实现去块化的区别在于,HEVC的只能在8×8网格上实现去块。这就能允许去块的并行处理(没有滤波器重叠)。首先去块的是画面里的所有垂直边缘,紧接着是所有水平边缘。与H.264使用相同的滤波器。
采样点适应偏移(Sample Adaptive Offset)
去块后,还有第二个可选的滤波器,称为采样点自适应偏移。类似于去块滤波器,用于预测循环,结果存储在参考帧列表中。该滤波器的目标是修改错误预测、编码漂移等,并使用自适应进行偏移。
由于HEVC的解码要比AVC因此,一些技术允许并行解码。最重要的是拼贴和波前(Tiles and Wavefront)。图像分为树编码单元的矩形网格(Tiles)。目前,芯片架构已逐渐从单核性能向多核并行发展,因此为了适应高度并行化的芯片实现, H.265 并行运算引入了许多优化思路。
总而言之,HEVC将传统的基于块的视频编码模式推向更高的效率水平,总结如下:
-可变尺寸转换(从4×4 到32×32)。
-四叉树结构的预测区域(从64×64到4×4)。
-运动向量预测基于候选清单。
-各种帧内预测模式。
-更准确的运动补偿滤波器。
-优化去块、采样点自适应偏移滤波器等。
与之前从H.261到H.与其他264标准相比,H.265的显著改进不仅体现在帧间压缩领域,也体现在帧内压缩领域。由于可变量的尺寸转换,H.265在块压缩方面有了很大的改善,但在提高压缩效率的同时也带来了一些新的挑战。
视频编码是一个复杂的问题,高度依赖内容。众所周知,静态背景和亮点低动态场景可以比高动态和黑场的图片压缩更多。所以对于图像H.对于像264这样的现代编解码器来说,首先要解决的是最困难的场景/情况。例如,关键帧的细节和高动态的钩边(crisp)慢动态、噪音/纹理等图像、黑暗区域。
H.265在帧内编码效率更高,所以细节区域可以编码得更好,平滑区域和渐变区域也是如此。与H.264相比,H.265的运动估计和压缩更有效,在伪影出现之前可以较低的比特率运行。好消息是,H.265产生的伪影更加光滑,质量下降也非常协调,即使在编码非常激进的分辨率/比特率时,也有很好的印象。
然而,就像硬币的两面一样,在处理黑暗区域的慢动态和噪音/纹理时,H.265的优势也会变弱。黑暗区域和噪声/纹理需要更准确的高频保留和更小的色阶变化。这通常被称为编码心理优化。
由于H.264使用小转换可以很容易地将量化误差转化为特征/细节。虽然它不同于原始内容,但感觉近似”。接近原生频率范围的误差生成可以通过小的边界转换来阻止,因此也更加可控。而更大转换的H.265要使用这种方式则会更加复杂。
H.265编码视频的存储依然是个问题,即使蓝光光盘协会正在寻求一个能够在蓝光光盘上存储4K视频的解决方案。只有至少达到100GB容量的光碟才能存储H.264编码的蓝光4K电影。而另一方面,即使H.265编码和芯片部件已经准备就绪,但是仍然缺少支持4K内容的存储和重放解决方案,并且能够兼容现有的蓝光标准。这也是H.265发展中的一个主要挑战。
当你考虑“只是在普通互联网上传输4K内容,还是要实现最好的图像质量”之时,就要先厘清“更多的压缩”和“更好的压缩”这两个概念。如果只是更多的压缩,4K和超高清不一定要保证比今天的1080p或HD做到更好的图片质量。更好的压缩则意味着更聪明的压缩,面对同样的原始素材,更好的压缩会以更好的方式,在不牺牲质量的情况下令数据量减少。更多的压缩很容易,而更好的压缩需要更多的思考和更好的技术,通过更智能的算法来处理图像,在维持质量的同时保持更低的比特率,这正是H.265所要做的。
如何实现更好的压缩,举例来讲,我们通常会发现在很多的图像素材里,如视像会议或者电影的很多场景中,每一帧上的大部分内容并没有改变太多,视像会议中一般只有讲话者的头在动(甚至只有嘴唇在动),而背景一般是不动的,在这种情况下,我们的做法不是对每一帧的每一个像素编码,而是对最初的帧编码,然后仅对发生改变的部分进行编码。
在H.265大步向前的同时,谷歌VP8的继任者VP9也已推出,同样在VP8的基础上号称编码效率提高50%,支持8K内容。VP9是一个开源和免费的规格,是WebM架构的一部分。谷歌已经在Chrome浏览器和YouTube中整合支持VP9。
与H.265在表面上类似,它同样可以抓取64×64个超级块。但265不同的是,它不一定是平方形式的,所以它可以以64×32或4×8的块来采样,实现更大的效益。但另一方面,它只有10个预测模式来重建它们。
两者都很大程度上简化了现有这些格式,尽管实现了相近的文件尺寸,有初步的报告认为,H.265有更高的图像质量,而VP9对于流媒体来说更加可靠。H.265更大的预测模型实现了边缘可视化,而VP9实施更严格的编码规则,似乎可以让流媒体更加连贯和可靠。
H.265与VP9的比较有一点类似于HDMI与DisplayPort的比较。后者以版权免费的方式去争取一席空间,但是前者的无处不在的应用意味着它会有更广泛的行业支持。这也是之前H.264轻松打败VP8的原因。
与此同时,第三个压缩格式也在规划之中,Xiph.Org基金会开发了“Daala”,虽然它还比较遥远,但是Xiph称其将是性能超越H.265和VP9的新一代规格。
高像素数量导致需要更复杂的编解码器来最小化带宽需求。持续连接PC或TV,平滑处理4K信号的最小码流是20Mbit/s,例如Netflix要求用户的互联网连接至少提供持续的25Mbit/s带宽量。20到25Mbit/s代表带宽的巨大改善,原生的、非压缩的4K视频需要在60Mbit/s的带宽上才会有好的表现。
对于大多数的行业应用来说,H.265就是解决这一问题的答案之一,但是也要付出一定代价:显著增加的算法复杂性据说需要10倍目前2K部署所用H.264编解码器的计算能力来支撑,而提供这种能力所需的硅也远非一个简单的商品条目。
很多制造商希望在上游芯片和IC技术供应商的努力之下,解决成本和功能不平衡的问题,让H.265快速取代H264。就目前来看,H.265在广电领域已经有比较好的发展,但是否也会成为专业应用领域的主流规范还存有疑问。因为安防监控领域等专业领域不仅受制于上述挑战,而且还要看终端用户。对于项目化的专业用户和需要监控的一般消费者而言,平安城市、交通检测和银行监控这类专业用户需要更加稳定和可靠的系统。他们中大多数已经在使用现有的技术,对于是否采用H.265还心存犹豫,这就需要更长的验证周期。
另一方面,中小企业和家庭、商店用户等消费者需要低安装成本,因此更加倾向于采用新技术。基于这个原因,H.265可能首先在中小企业应用中获得成功,并在消费者市场获得认可。如果H.265标准快速成熟,其压缩效率比H.264提升50%,它就能够节省20%的投资,保证更高的性能和更替的网络和系统建设成本。