作者：ADI公司信息娱乐系统架构总监 David Katz
低延迟和实时声学处理是许多嵌入式处理应用的关键因素，包括语音预处理、语音识别和主动降噪(ANC)。随着这些应用领域对实时性能要求的稳步提高，开发人员需要以战略思维妥善处理这些要求。由于许多大型系统由芯片提供可观的性能，我们经常在这些设备上加载任何额外的任务，但我们需要知道延迟和确定性是一个非常关键的因素，如果不仔细考虑，很容易导致重大的实时系统问题。本文将讨论设计师的选择SoC和专用音频DSP时应考虑的问题，以避免实时声学系统出现令人不快的意外。
低延迟声学系统应用广泛。例如，在汽车领域，低延迟对个人音频区域、道路噪声降噪和车内通信系统至关重要。
随着汽车电气化趋势的出现，道路噪声降噪变得更加重要，因为没有内燃机产生明显的噪声。因此，与汽车道路接触相关的噪声将变得更加明显和令人不安。降低这种噪音不仅可以带来更舒适的驾驶体验，而且还可以减少驾驶员的疲劳。特殊音频DSP与低延时声学系统的上部署相比，SoC上部署将面临许多挑战。这些问题包括延迟、可扩展性、可升级性、算法考虑、硬件加速和客户支持。让我们一一介绍。
延时
在实时声学处理系统中，延迟问题非常重要。如果处理器跟不上系统的实时数据处理和计算要求，就会导致不可接受的音频间歇。
一般来说， ，SoC将配备小片SRAM，因此，大多数本地存储器访问必须依靠缓存。这导致代码和数据的使用不确定，并增加处理延迟。ANC这种实时应用是不可接受的。但事实上，SoC它还将操作管理繁重的多任务非实时操作系统。这将放大系统的不确定性，使其难以在多任务环境中支持相对复杂的声学处理。
图1显示了实时音频处理负载的运行SoC处理更高优先级的具体示例SoC任务时，CPU负载峰值。例如，在执行中SoC这些峰值可能浏览或执行系统为中心的任务可能会出现这些峰值。当峰值超过100% CPU负载时，SoC将不再实时运行，这将导致音频丢失。
图1.除其他任务外，典型的高音负载处理方法SoC的瞬时CPU负载。1
另一方面，音频DSP在整个信号处理路径（从采样音频输入到处理（如音效 噪声抑制）到扬声器输出）中实现低延迟。L1指令和数据SRAM它是最接近处理器核心的单周期存储器，足以支持多个处理算法，无需将中间数据转存到片外存储器。此外，在片中L2存储器(远离内核，但访问速度仍比片外快DRAM快得多)可以在那里L1 SRAM当存储容量不足时，提供中间数据操作缓存。最后，音频DSP实时操作系统通常运行(RTOS)，确保输入数据处理可以在新输入数据到达前完成，并将其移动到目标位置，以确保数据缓冲区在实时操作过程中不会溢出。
系统启动时的实际延迟也是一个重要指标，特别是对于汽车系统，它需要在启动后的窗口中播放提示。SoC该领域通常采用较长的启动顺序，包括启动整个设备的操作系统，因此很难或不能满足启动要求。另一方面，你可以自己操作RTOS、独立音频不受其他无关系统优先级的影响DSP实施优化，加快启动速度，满足启动声音要求。
可扩展性
虽然在噪声控制等应用中SoC延迟是个问题，但对于想要进行声学处理的人来说，SoC可扩展性是另一个缺点。换句话说，控制有许多不同子系统的大型系统（如汽车多媒体主机和仪表板）SoC它不能轻易地从低端扩展到满足高端音频的需求，因为每个子系统组件之间总是存在冲突，需要整体SoC权衡利用率。例如，如果前端SoC如果连接到远端接收模块并适应多种型号，则接收模块需要从多个通道扩展到多个通道，每个通道都会加剧上述实时问题。这是因为SoC控制下的每个附加特性都会发生变化SoC实时行为用的实时行为和关键架构组件的资源可用性。这些资源包括存储带宽、处理器核心周期和系统总线结构仲裁槽。
除了连接到多任务外， SoC除了其他子系统问题外，声学系统本身也存在扩展问题。它涉及从低端到高端的扩展（例如，增加ANC麦克风和扬声器通道在应用中的数量)也涉及音频体验的扩展，从基本的音频解码和立体声播放到3D虚拟化等高级功能。尽管这些要求没有ANC实时限制系统，但与系统音频处理器的选择直接相关。
使用单独的音频DSP作为SoC协处理器是解决音频可扩展性问题的绝佳解决方案，可实现模块化系统设计和成本优化。SoC可以减少对大型系统实时声学处理需求的关注，将这种处理需求转移到低延迟音频DSP此外，音频DSP提供代码兼容和引脚兼容选项，涵盖几种不同的价格/性能/存储容量等级，让系统设计人员能够最大限度地灵活选择适合给定产品层级的音频性能产品。
图2. ADSP-2156x DSP，高度可扩展的音频处理器
可升级性
随着汽车越来越普遍地使用 OTA，通过发布关键补丁或提供新功能进行升级变得越来越重要。由于其各个子系统之间的依赖性增加，这可能会导致SoC关键问题。首先，将会有多个处理和数据移动线程SoC争夺资源。添加新功能，特别是在活动高峰期，会加剧处理器MIPS与存储空间竞争。从音频的角度来看，其他的SoC控制域中的新特性可能对实时声学性能产生不可预测的影响。这种情况的负面影响之一是，新功能必须在所有操作平面上进行交叉测试，导致子系统各种操作模式之间的无数排列组合。因此，每个升级包的软件验证次数都会翻倍。
从另一个角度来看， 可以说除了受影响SoC除控制其他子系统的功能图外，SoC音频性能的提高也取决于可用性SoC MIPS。
算法开发与性能
显然，在开发实时声学算法时，音频DSP旨在实现任务目标。SoC独立音频的显著区别在于独立音频DSP可以提供缺乏图形开发环境DSP有编码经验的工程师可以在其设计中集成高质量的声学处理。这种工具可以缩短开发时间，降低开发成本，而不牺牲质量和性能。
例如，ADI的SigmaStudio?图形音频开发环境为直观的图形用户界面提供了多种集成(GUI)信号处理算法可以创建复杂的音频信号流。它还支持使用图形A2B音频传输的配置对加快实时声学系统的发展非常有帮助。
音频辅助硬件特性
除了处理器高效并行浮点计算和数据访问而设计的处理器核心架构外DSP一般使用特殊的多通道加速器来运行通用算法，如快速傅立叶变换(FFT)、脉冲响应有限无限（FIR和IIR）滤波器，异步采样速率转换(ASRC)。允许内核CPU此外，还进行实时音频过滤、采样和频域转换，以提高核心的有效性。此外，由于它们采用了优化的架构，并提供了数据流管理功能，因此有助于构建一个灵活和方便的编程模型。
由于音频通道数量、滤波器流量和采样速率的增加，我们需要使用配置最高的引脚接口来支持在线采样速率转换、精密时钟和同步高速串行端口，以避免延迟或外部接口逻辑的增加。ADI公司的SHARC?系列处理器的数字音频连接(DAI)这种能力如图4所示。
图3. ADI公司的SigmaStudio图形开发环境
图4. 数字音频互连(DAI)框图
客户支持
在开发嵌入式处理器时，我们经常忽略客户对设备的支持。
尽管SoC供应商提倡内置供应商DSP声学算法在产品上运行，但在实际使用中会带来一些负担。一方面，由于供应商的支持通常更复杂，供应商的支持通常更复杂SoC声学专业知识一般不涉及应用开发领域。因此，往往很难基于它SoC的片内DSP开发自己声学算法的客户提供支持。相反，供应商提供标准算法并收集相当可观的费用NRE费用，然后将声学算法移植到SoC一个或多个核心。即便如此，当供应商无法提供成熟、低延迟的框架软件时，也不能保证成功。最后，适合基于SoC声学处理的第三方生态系统往往相当脆弱，因为这个领域不是SoC关注重点。
显然，专用音频DSP它可以为复杂声学系统的开发提供更强大的生态系统，从优化算法库和设备驱动程序到实时操作系统和易于使用的开发工具。此外，音频参考平台（如ADI的SHARC对于音频模块平台，如图5所示)SoC很少见，但在独立音频中DSP但是领域很常见。
图5. SHARC音频模块(SAM)开发平台
简而言之，很明显，实时声学系统的设计需要详细的战略规划系统资源，而不仅仅是通过多任务SoC管理上部分配处理的余量。相反，优化独立音频进行低延迟处理DSP为了满足未来的系统需求和性能水平，有望提高其耐久性，缩短开发时间，实现优异的可扩展性。
参考资料
1 Paul Beckmann。“多核SOC处理器：性能、分析和优化。”2017年度AES国际汽车音频大会，2017年8月。
作者简介
David Katz在模拟、数字和嵌入式系统设计方面拥有30年的经验。他是ADI公司汽车信息娱乐系统架构总监。他在国际上已发表了将近100篇关于嵌入式处理的文章，并在该领域提交了数篇会议论文。加入ADI公司之前，他在摩托罗拉公司工作，担任电缆调制解调器和工厂自动化部门的高级设计工程师。David拥有康奈尔大学电气工程学士学位和工程硕士学位。联系方式：david.katz@analog.com。