阿里云自主开发编码器Ali优酷于2022年1月正式上线,这是已知行业中第一个H.266/VVC标准编码器商业着陆项目。根据两个月的实际操作数据,打开它Ali266年以后,当画面清晰度相同时,比原来更清晰H.265/HEVC方案码率最高节省40%,卡顿率降低50%,充分证明Ali商业价值266。
这是世界上界上最快的H.266/VVC编码器
Ali266是基于最新一代国际视频编码标准的阿里云H.266/VVC编解码实现点播、直播、实时通信等不同场景。基于Ali266演变而来的自研H.266/VVC编码器S266在MSU2021(世界编码器大赛)客观赛道8项第一,主观赛道冠军优异。从已公开的资料可以看出,Ali266是目前全世界最快的H.266/VVC实时高清编码器,结合自主研发H.266/VVC即使是中低端手机也能清晰流畅地观看最新的解码器H.266/VVC高清视频。
Ali266首次商用,帮助优酷
阿里云一直在探索和推广Ali266商业道路,2022年1月Ali266在优酷正式上线,帮助优酷率先使用最新的国际产品H.266/VVC视频编解码标准。通过近两个月的实际操作,开始Ali266年以后,当画面清晰度相同时,比原来更清晰H.265/HEVC方案码率最高节省40%,卡顿率降低50%,成本和用户体验收入显著,充分证明Ali商业能力266。
阿里云致力于促进视频编解码领域的深度培育和积累H.266/VVC标准的实用性和最新技术成果的包容性。优酷是中国领先的在线视频平台,现在支持PC、电视和移动三个终端都有版权、自制、合制、自频道、直播等内容形式,致力于使用更丰富的声誉内容、更极端的视听体验和更创新的互动游戏。
在提供这些应用体验的背后是一系列非常复杂的技术,其中最核心和最基本的技术之一是视频编解码技术。为此,阿里巴巴云将与优酷团队密切合作Ali266首次商业登陆,首次推出国际最新一代视频编解码标准H.266/VVC,让优酷充分享受视频编解码标准升级带来的技术红利。
H.266/VVC标准的由来
说起H.266/VVC标准的由来,必须提到国际标准化组织和国际电工委员会两大巨头 ISO/IEC 动态图像专家组 MPEG(Moving Picture Experts Group) 国际电信联盟电信标准分局 ITU-T 视频编码专家组 VCEG(Video Coding Experts Group)。20世纪90年代初,这两大巨头分别发布了第一代视频编码标准MPEG-1和H.从261开始,经历了30多年。这两大巨头从20世纪90年代初分别发布第一代视频编解码标准MPEG-1和H.从261开始,经历了30多年。众所周知的H.264/AVC、H.265/HEVC,都是两大巨头合作的结果。
继2013年发布H.265/HEVC自两个国际标准化组织以来,ITU-T和ISO/IEC2020年7月,继续加强联盟H.266/VVC第一个正式版本。如图 1所示,H.266/VVC与上一代相比,它提供了许多先进的视频编码工具,包括图像块、预测、变换、量化、熵编码和环路滤波H.265/HEVC压缩率大约是标准的两倍。
图 1:H.266/VVC底层技术
在叶燕博士的带领下,阿里云自2019年初开始深入参与制定H.266/VVC制定标准。近100项技术提案提交了一年半,采纳了多项技术提案,为国际标准的制定做出了重要贡献,为阿里巴巴的业务发展奠定了坚实的技术基础。在H.266/VVC在制定过程中,阿里云标准团队成员还担任了多个专题讨论小组(AHG)在国际标准舞台上,与多个核心实验负责人发出中国视频产业的声音。
Ali266:完整的H.266/VVC实时高清编解码能力
在紧跟H.266/VVC在标准化进程的同时,阿里云也首次启动Ali266编解码器开发项目创造了完整的自组合编解码能力,更好地开启了端到端生态,为行业提供了新一代的视频编解码解决方案。
在解码端,Ali266解码器通过一系列工程和算法的优化手段,如多核并行、汇编优化、内存占用和访问效率优化来提高解码速度。Ali266解码器的中低端手机也能清晰流畅地观看最新H.266/VVC近年来发布的视频或直播旗舰机型甚至可以支持4K@30fps实时解码。
此外,Ali266解码器充分考虑了商业软件在稳定性、鲁棒性、内存占用等方面的需求。Android、iOS许多高、中、低端设备的大规模测试都得到了验证Ali266解码器的鲁棒性、稳定性和商用性。
在编码端,为了满足不同业务场景的需求,Ali266编码器目前支持slow、medium、fast和faster四级。slow等级主要适用于离线应用,编码速度和x265 veryslow档次相当。
在MSU主办的2021年世界编码器大赛,Ali266 slow通过阿里巴巴音视频组命名等级S266获得全高清(FullHD)在主观性能轨道上,S266在全球16款参赛编码器中以大比分获得第一名。在与MSU官方指定的基准编码器x带宽节省高达71%,主观质量相同。MSU比赛结果显示,S266是唯一一个进入前三名的唯一编码器,充分证明了S编码性能在各指标下全面均衡。
为了实现H.266/VVC经过阿里云团队的不断努力,标准的实用化和最新科技成果的普惠化,Ali266年6月成为行业第一个公开720p实时高清的H.266/VVC同年9月,编码器成为业内第一个公开1080p实时高清的H.266/VVC编码器。
与x265 medium与等级相比,在相同的质量下,Ali266的faster节省了40%以上的带宽,为直播、视频会议等实时视频应用带来了巨大的带宽红利。第一个实时高清H.266/VVC软件编码器,Ali266在行业中迈出了重要一步,证明了现有的计算平台可以让用户充分享受最新的国际标准H.266/VVC压缩能力强。
Ali266首次落地优酷背后的技术方案
移动端接入方案
优酷播放核心将播放过程高度封装Consumer、open Source、open Decoder、openRender这些模块。openSource从网络端获取原始数据,解复用成音视频es数据和缓存管理,Consumer从缓存取出到发送数据openDecoder,并从openDecoder获取解码数据,然后将数据交给openRender渲染及相关后处理。他们的一般关系结构如图所示 2所示:
图 2:优酷播放器架构及Ali266技术方案
openDecoder如图所示 3所示。openDecoder待解码的数据将被解码Send给解码器,然后从解码器Receive解码后的数据,Send和Receive都不block播放流程。解码器内部维护输入输出buffer,Send将数据copy到input packets,worker从input packets解码据解码,存储解码数据output frames,然后Receive可以获得渲染的有效数据。
图 3:优酷播放器与Ali266交互细节
保证了优酷播放核心的跨平台、可扩展性和高可靠性Ali266在优酷平台上快速顺利落地。播放内核是native层开发具有自然的跨平台特性,因此接入Ali266之后,可以在多个平台上快速发布,不需要做太多额外的开发,这也是为了Ali266在业务端快速铺售提供了保障。openDecoder所有所有与解码相关的逻辑,只暴露几个简单的接口与内核进行逻辑交互,因此需要访问Ali266软解码器只需要实现openDecoder的关键api可以剥离解码器和播放器的复杂逻辑,方便快速接入新的解码器。播放内核实现了智能平滑丢帧系统,可以在极端情况下丢弃一些非关键帧,从而保证视频画面的流畅播放。借助完善的播放核心质量监控系统,Ali全面监控和有效保证266在线播放质量,使优酷最新一代国际编解码标准升级如丝般顺畅。
服务端接入方案
目前,优酷转码服务端支持不同的编码器(H.264/AVC、H.265/HEVC等),不同的分辨率(270p到8K),不同帧率(25fps/60fps/120fps等),不同的包装格式(mp4/hls/cmaf等等)等数百种组合,服务端可以根据端侧的播放能力发布不同的流量数据,以确保用户体验最佳。
在优酷转码系统中,Ali266的接入主要包括编码器接入、解码器接入和包装格式H.266/VVC如下图所示:
图 4:Ali266接入优酷服务端模块图
封装层:优酷常用的封装格式主要是MPEG-TS和MP4,服务端在Demux和Mux在模块中实现正确H.266/VVC支持码流封装和解封装。
编解码:在转码器中对Ali266Encoder和Ali266Decoder的注册和API调用以完成编码和解码的访问。在生产链路中正确检测H.266/VVC在Demux在模块中集成对H.266/VVC码流的Probe、Parser能力以及Ali266Decoder。
为了使Ali266编码器能更好地适应优酷的应用场景,优酷服务端与阿里云团队合作,做出有针对性的适应:
(1)提升H.266/VVC视频的播放效果支持编码参数信息的重复发布能力,保证用户在播放过程中的快进快退和拖拽体验。
(2)对视频的画质和流畅性Ali266Encoder在保证视频画质的同时,有针对性地进行了码率控制和优化,减少了码率波动,并将播放端的卡顿率与之进行了比较H.265/HEVC降低50%。>
(3)为了适配优酷的智能档多清晰度随带宽平滑切换,在Ali266Encoder中对时间戳处理进行优化,使得音视频时间戳与其他格式码流(H.264/AVC、H.265/HEVC)保持一致,确保了优酷智能档无缝自适应切换。
(4)实现了优酷现有MP4/MPEG-TS的流媒体封装格式对H.266/VVC标准的支持。由于H.266/VVC标准发布时间不久,各种媒体处理工具还没有支持对H.266/VVC的封装。为此,优酷开发人员按照MPEG官方文档,在MP4 box与TS的PMT中使用官方定义的CodecId,与播放器配合打通了整个生产播放链路。
除此之外,在生产链路中优酷也针对H.266/VVC做了分辨率-清晰度档位的规格定义,并在播放服务端可以依据端侧支持能力自适应选择H.266/VVC合适档位的视频流下发,使H.266/VVC编码在优酷生产播放链路上整体落地,并达到了预期的效果。
业内首款H.266/VVC商用落地结果
Ali266于2022年1月份在优酷移动端正式上线,成为目前已知的业界首个H.266的商用落地项目。上线后截至3月23日,已经累计播放超过六十万次。各项指标如下:
- 码率:同等清晰度情况下比H.265码率降低高达40%;
- 体验:同等情况下卡顿率只有H.265的50%,平均解码耗时在8ms左右,稳定性超过99.95%;
- 功耗:满电可H.266软解播放10小时,节省流量达到1G;
- 内容:涵盖了热门的综艺、电影、电视剧等多种场景,如《古董局中局》、《长津湖》等电影,《麻花特开心》等综艺,《真相》等电视剧。
未来,持续进化Ali266的商用之路
据了解,联发科在2021年下半年发布了全球首款7nm工艺制程打造的电视SoC芯片Pentonic 2000,也是世界首批支持 H.266/VVC视频解码的芯片,具有8K/120Hz的解码能力。这对于完善H.266的生态,是个巨大的助力。可以说,H.266/VVC不是将来时,而是实实在在进入了现在进行时。
Ali266紧扣最新技术发展趋势,与音视频产业紧密结合,不仅给优酷提供了业界领先的编解码技术,也赋予了业务更多的可能性。为了进一步满足对优酷丰富的内容形态及业务场景的支持,挖掘新技术带来的红利,促进视频产业不断向前发展,接下来阿里云将会与优酷一起紧密合作,针对10bit HDR、优酷自由视角、超高清4K~8K、高帧率60fps~120fps等视频内容,并从点播场景进一步拓展到直播场景,持续持续推进H.266/VVC编解码的技术创新,不断探索创新音视频技术,加强其在更多视频应用、更多终端设备上的普适性,将更多的技术普惠到广大消费者,赋能千行百业的视频化需求,催生新兴产品形态和业务模式,为观众带来更极致的视听体验和更创新的互动玩法。
「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实践技术文章,在这里与音视频领域一流工程师交流切磋。公众号后台回复【技术】可加入阿里云视频云产品技术交流群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。