近日，首届网易集团创新奖评选落幕，从众多参赛作品中脱颖而出，获奖。
获奖项目诞生于获奖项目。自2020年初以来，在稳定音频通信质量的基础上，音频实验室团队不断探索和创新，从0到1成功开发和实施了多种创新算法，包括等。
实时语音 3D 音效在，不仅实现了实时的 3D 空间音效还增加了距离衰减和房间建模特性。
很多朋友都知道因为第一人称射击游戏场景，比如吃鸡，但是如何实现空间音效呢？目前主流方案有哪些？可以应用于哪些场景？对产品甚至行业有什么价值？
今天，我们通过了，。
本文包括以下内容：
Q1 什么是空间音效？
Q如何听到空间音效？
Q3 空间音效的基本原理是什么？
Q影响空间音效的因素有哪些？
Q5 空间音效的技术难点在哪里？
Q目前6 空间音效的主流方案有哪些？
Q7 空间音效具备什么样的特点和优势？
Q8 空间音效可以应用于哪些场景？
维基百科是这样介绍的:3D 音效又称空间音效（Spatial Sound），它是一套音效，可以控制立体声扬声器、环绕声扬声器、扬声器阵列或耳机产生的声音。它可以将声源虚拟成三维空间的特定位置，包括听者水平面的前后左右，以及垂直方向的上下。
本质上，。
(网易云信 3D 音效，建议带耳机播放)
比如在游戏中，敌人偷偷出现在你左后方的脚步声，同伴在你右边换弹夹的声音，左窗被打碎的声音，右前方手榴弹的爆炸声。
事实上，我们可以通过使用扬声器或耳机等多种方式听到空间音效。根据不同的使用目的和应用场景，总结了四种方法：
创建空间音效的一种方法是在一个空间中放置多个扬声器。当通过环绕声系统听电影配乐或音乐时，单个元素可以移动到与听众头部相同的平面上的任何位置。对话、音乐和音效似乎来自扬声器或两者之间的任何地方。
(图源见参考文献)
假如你不能安装多个扬声器，但想要有一个家庭影院，这可能是一个更划算、更方便的选择。
目前，使用串扰消除技术的智能条形扬声器可以提供完整的 3D 体验。串扰消除技术在用扬声器渲染双耳信号方面起着重要作用。它主要通过预失真滤波器在特定的声学传输路径上抵消扬声器播放的声音。
简单地说，从右扬声器到左耳，从左扬声器到右耳的声音被抵消。串扰消除滤波器应根据头部位置实时更新，因此需要头部跟踪以达到最佳的操作效果。
(图源见参考文献)
使用耳机时，可以基于上混或 diffuser 滤波器等技术产生多声道声源，然后对每个声道数据进行 HRTF 卷积滤波增加了声音的方位感。混响效果器的使用可以产生特定的 3D 声场效果。该方法的主要优点之一是可以消除头部效应，适用于游戏和电影场景，可以带来一定的沉浸感。华为手机常见的 histen 音效中的 3D 沉浸和 3D 宏大模式主要基于此类技术。
耳机通常听起来不真实，部分原因是当你转动头部时不会改变，所以头部跟踪非常重要。例如，使用光学相机或陀螺仪传感器来跟踪头部的位置和方向。双耳渲染可以整合你的动作，这意味着渲染可以根据你的头部旋转和位置更新。
(图源见参考文献)
，当头部移动时，可以重新计算数据，使佩戴者听到的环境音效与原始效果一致。除了实时跟踪佩戴者的头部外，AirPods Pro 传感器还可以跟踪头部和设备之间的运动数据，并支持数据比较，以确保用户在乘坐地铁或公交车时不会中断环绕声效果。
在现实生活中，我们听到的声音有方向和距离，声源本身也有一定的宽度。不同方向、距离和宽度的声音共同构成了我们听到的声源定位。
而
头部相关传输函数（HRTF）它可以用来描述你的头和耳朵对你感知到的声音的影响。当不同方向的声音到达两只耳朵时，会有轻微的相位和频率差异，这可以本能地定位声源。
简单来说，HRTF 是试图模拟人耳获取声音的模型，并通过这个模型虚拟任何声源对人耳的感觉。
因此，HRTF 首先要测量很多人耳的数据，通过这些数据建立黑盒子的声学模型，关键是。
第一个不可避免的因素是。
当声源在我们的右边时，声波通常先到达我们的右耳，然后到达左耳，这些小的时间差异足以让大脑判断声音来自我们的右边，即 （Interaural time difference，双耳时间差），而右耳因为直接接收到声波，所以音量会略大过左耳，加上左耳所接收到的声音，有部分是从外部的反射及绕射而来的，因此会导致音色发生变化，这就是 （interaural level differences，双耳强差)。此外，人是最大的变量。当我们听声音时，不可能保证我们的头和耳朵一动不动。ITD、ILD 和人的影响形成 HRTF，耳朵、头和肩膀的影响也是 HRTF 需要个性化的原因。
(图源:网络)
第二个因素是，包括主观响度感、高频衰减、头部对声音的影响、反射声等。由于人与声源的相对运动，波长或频率也会发生变化。
第三个因素是，例如反射、混响、吸收、障碍、传播、衍射等。
最后，还有一些其他因素，例如听音者往往混淆前方声像和后方声像，而视觉辅助以及移动往往会增强定位效果等等。
第4道问题中影响空间音效效果的因素，也决定了空间音效的技术难点，这里我们主要分享以下3点：
为确保音源从空间任意位置传递到人耳的特性均被准确记录，因此需要尽可能多的在不同距离，不同角度上进行测量，最终导致采集到的 HRTF 数据库比较庞大，在特定应用场景会受到限制。
研究表明，声音的方向信息与声音到达人的双耳时间差，双耳强度差相关性比较高，同时也会受到外耳耳廓，内耳耳道以及肩膀宽度的影响。这直接导致无法创建一个完美适用于所有人的单一 HRTF 数据库。
人耳可以基于响度的大小以及频率成分的差异，分辨出声音的远近。另外，声源从远及近或者由近及远的过程中，人耳感受到的声音频率会发生变化，也就是所谓的多普勒效应。在开发空间音频时，需要开发适当的算法来模拟声音在传播过程中随距离的衰减情况，以及声源在移动过程中的多普勒效应。
声音在空间中传播可以类比光的传播。当声音在传播过程中遇到墙壁时，会产生反射，同时墙体材料不同，声音还会被一定程度的吸收。针对一个特定的三维房间，声音从某个点传播到听音者的声音，既有直达声，也有经过房间一次反射吸收之后的声音，也有耳朵甚至是多次反射之后传递过来的声音。如果高效的对于这种声音在特定环境中的传播进行建模，是一个比较复杂和有挑战的问题。
该方案是最早也是应用最广泛的方案。基于多声道的 3D 音频，在家庭影院中最常见的方案有 5.1 声道系统和 7.1 声道系统。5.1 声道和 7.1 声道的方案仅仅只能带来水平面的空间效果，在垂直方向上则没有效果。
目前，在专业的电影院，已经出现了 11.1 或者 22.1 声道的回放系统，这些方案通过在不同垂直面上面布置扬声器，从而改善了高于水平面或者低于水平面等方向的空间效果。
目前常见的多声道回放解决方案有：杜比 7.1 环绕声 （Dolby Surround 7.1），杜比数字 5.1 （Dolby Digital 5.1） ，auro 公司推出的 auro9.1 , auro10.1 , auro 13.1 等解决方案。日本 NHK 公司推出了 22.2 的多声道回放系统。
（杜比 7.1）
目前市场上采用了基于的空间音频解决方案有。
杜比全景声（Dolby Atmos）是杜比实验室于 2012 年推出的高级环绕声标准，通过将前置、侧置、后置和天空扬声器加上复杂的音频处理和算法相结合，提供高达最高64声道的环绕声，增加空间沉浸感。
DTS:X 技术是开放式的新一代的编解码标准，同时也是基于对象的多维空间音频技术。，它能根据回放环境的不同进行灵活调试，从而获得在该环境下最佳的音效表现。它还能够在观众周围的精确位置点上营造逼真的声音效果，缔造更为丰富的音景。
DTS:X 与 DolbyAtmos 都是采用基于声音对象的录制技术。
该方案在采集端录制和编码 ambisonic 格式的音源，在播放时，再根据回放系统的扬声器布置解码成为对应的格式。目前市面上有多种支持该格式的音频采集设备。
（图源：网络）
基于该方案目前在音乐 App 以及消费电子设备中有广泛应用。例如：蝰蛇音效中的 5.1 全景式、3D 丽音，网易云音乐的鲸云音效等。
我们每天听到的声音是复杂的。空间音频的非凡之处在于它以数字方式再现了我们在现实生活中听到的声音。
声音会根据你离声源的近或远而变化，当你倾斜或转动头部时，声音会根据耳朵的方向而变化，你可以感受到声音的高度。空间音频打开了全方位的声音，提供了。
空间音效让数字世界更加真实。当你与 3D 图像进行交互时，声音也应该让你感受到空间感，只有这样才能真真正正的体会身临其境的感觉。
例如，在玩游戏时，你可能会在穿过黑暗的走廊时听到头顶上有空调嗡嗡作响。当你靠近时，声音会变得更响亮。鸟儿在树上叽叽喳喳，瀑布在远处轰鸣——所有这一切都将出现在使用空间音频的郁郁葱葱的 3D 环境中。
（图源见参考文献）
在日新月异的时代，我们可以感受到的一个趋势是，现实和虚拟的深度融合，正在让人类开启一个人机交融的（Metaverse）。空间音频和类似的沉浸式音频技术，将会从声音体验上，强化“元宇宙”的沉浸感，让“元宇宙”中的我们，从视觉到听觉，彻底沉浸。
空间音频允许我们精确定位声音的位置并将其与多个来源区分开来，这在远程沟通的场景中非常有价值。
以视频会议举例，视频会议的局限性凸显了逼真音频的重要性。使用空间音效让我们更容易理解谁在说话。当两个或更多人同时说话时，也更容易辨认他们在说什么。
在一天的过程中，它确实在方面发挥了重要作用。清晰度使实时空间音频大放异彩。
我们所熟知的，是空间音效在 的应用。通过使玩家依赖对声音线索来源的正确判断，空间音效可以提高玩家在 FPS 游戏中的环境意识。熟练的玩家在游戏过程中仅凭轻微的声响或技能音效，就能精确定位危险所在，和队友连麦时，可以通过求助语音准确辨别队友位置展开救援。
但是不仅限于第一人称射击类游戏，作为增强沉浸式体验的关键因素之一，空间音频可以为绝大部分游戏在一定程度上。
例如，通过空间音效，让手机游戏等小屏幕游戏营造出大游戏的体验感；以声音（空间音效）为中心的游戏可以帮助视觉受损的人享受游戏；恐怖游戏可以利用黑暗和缺少能见度，使玩家依赖 3D 声音线索，从而创造更有沉浸感的体验。
（图源：网络）
此外，传统的声音为二维平面，这与 VR 提供的视野是脱节的。头戴设备（例如 Oculus Rift）与空间音效相结合，可以让玩家通过头部转动来确定声音的来源方向，从而进一步提升 VR 体验。
，空间音效可以让你选择同一场馆内不同位置的音效，如果你愿意，你甚至可以体会站在歌手身旁听音乐的感觉，可以拥有坐在舞台中央欣赏交响乐的体验。而这一定程度上解决了现在线上演出缺乏沉浸感的问题。
，空间音效更是为你带来无限可能，声音在自由度上的增强不仅有助于作曲家们在创作时的情感表达，还能够让配乐为动作和对话腾出更多的空间。未来会有更多的音乐创作基于“空间音效”来创作，从录制阶段就有针对性的录音，音乐市场有可能进入一个沉浸式创作的时代。
正如第7道问题中提到，空间音效会把空间信息带入音频中，使用空间音效一定程度上让我们更容易知道多人在场的场景中，现在是谁在说话。当多人同时说话时，也更容易辨认他们在说什么。提升效率的同时，也减少了沟通的疲劳感。
也是可能的方向，VR 与空间音效结合，公司员工可以与客户像面对面一样介绍展位、沟通交流。真实的 VR 体验，除了触感、视觉等感官体验，空间音效更是必不可少的。
空间音效还可以用于医疗保健，例如，用于运动康复系统 、电子旅行辅助设备和其他辅助设备视障人士的技术，以视障人士为例，空间音效可以作为他们方向感的主要线索，为他们的日常生活提供了较大的便利。
技术的发展瞬息万变，从单声道，立体声，到现在的空间音频，斑斓的世界也随之被带到了我们耳边。当声音进入空间环境，它已不仅仅是音频技术的变革，而是娱乐等众多生态的基础构件。为了更好的服务于各行各业的企业客户，，敬请期待。
https://www.thepaper.cn/newsDetail_forward_13162631
https://www.jiqizhixin.com/articles/2017-10-25-5
https://zhuanlan.zhihu.com/p/92991993
https://abbeyroadinstitute.nl/blog/spatial-audio-continuing-evolution/
http://www.yidianzixun.com/article/0Pj54HVb
https://www.highfidelity.com/blog/3-major-benefits-of-spatial-audio
https://www.yundongfang.com/Yun12951.html
集网易21年IM以及音视频技术打造的融合通信云服务专家，稳定易用的通信与视频 PaaS 平台。
提供融合通信与视频的核心能力与组件，包含 IM 即时通讯、5G 消息平台、一键登录、信令、短信与号码隐私保护等通信服务，音视频通话、直播、点播、互动直播与互动白板等音视频服务，视频会议等组件服务。
网易云信服务于网易云音乐、好未来、新东方、科大讯飞、南京银行等各行各业客户，已有100w+ 企业开发者接入云信服务。
