在6月21日进行的华为开发者大会(HDC 2024)上,华为云推出了盘古媒体大模子,经由过程在语音天生、视频天生和AI翻译三方面的手艺立异,重塑了内容出产和使用的新模式。
盘古媒体大模子在视频天生方面取得了显著结果。经由过程盘古,能够将实拍视频转换为分歧气概的高清动漫。在现场演示的天生视频中,演员的跳舞、武打等大活动轨迹能坚持同等视觉结果,脚色的面孔特性也坚持先后同等。这一手艺的打破,为视频制造畛域带来了全新的可能性,也大大晋升视频制造服从,作品一次拍摄多元化制造,完成代价最大化。
在语音天生方面,盘古大模子经由过程AI原声译制与视频天生才能,完成了将原片译制成分歧言语的视频,并保留原始脚色的音色、情绪和语气。更加首要的是,盘古还能同步天生新的口型,确保分歧言语对应的口型同等,使得跨言语相同加倍天然流通。
另外,在AI翻译方面,华为云盘古大模子也对云集会体系进行了进级。经由过程基于大模子的语音复刻、AI笔墨翻译以及TTS手艺,完成了语音的同声传译。这使得不同国度的人在云视频集会中能够畅快地应用母语交换。连系数字人手艺,在不方便开摄像头时,用户还能够经由过程数字人参会,并经由过程口型驱动完成数字人以种种言语措辞都能精准立室口型,犹如自己措辞普通。这一手艺的使用,将为环球用户供应加倍便捷、高效的跨言语相同体验。华为黄超在现场演示了新的云集会体系。
华为云盘古大模子5.0的推出,将进一步推进媒体内容出产和使用的立异进展,为用户带来更多方便和代价。