0 前言
上一篇文章主要从终端的角度分析AR终端功能模块、系统组成和通信方案。本文将AR边缘计算架构的视角向上移动一层,来到边缘设备侧,分析如何支持和实现边缘侧AR处理相关业务和数据。我们知道AR业务需要处理大量的实时数据,包括视频、图像、位置感知、生物特征信息等。如此大的数据量不能在终端设备侧完成,需要卸载到边缘设备或云处理。具体实现时是什么?AR业务需要卸载,卸载到哪里,如何卸载,何时卸载,都需要系统分析。从边缘计算卸载技术的角度,设计了五个功能模块:设备管理、数据预处理、安全管理、服务管理和虚拟化。这些模块架构解决了AR连接到网络、数据预处理、显示、安全和业务连续性等问题。
1 支持AR边缘设备架构
边缘设备的设计与具体业务密切相关,因此正在进行中AR在边缘结构设计中,笔者对以前的边缘框架1进行了改造,专门用于处理AR终端业务如下图所示。图中边缘设备仍分为南北两个方向hub,中间有五个核心业务模块。
南边缘hub主要跟AR终端相连接,为AR终端将提供接入接口AR终端的访问协议转换为边缘设备可识别的协议,将数据转换为可处理的格式,这里的消息代理仍然可以使用mqtt broker,同时支持多路AR终端连接到边缘设备。这也可以通过边缘设备hub由于移动,层进行组网连接AR终端将接入不同的接入节点,因此需要快速切换边缘设备之间的数据,并在移动管理中详细讨论。北向的hub它相对简单,即将边缘设备连接到云中。边缘设备的一些智能功能需要云辅助模型训练和云提供OTA升级、全球运维、安全管理等高级业务。这两个hub实现了AR终端是边缘计算设备的关键模块,也是整个移动AR边缘卸载的基本功能。
2 设备管理和数据预处理
下一步是跟随AR与业务强相关的模块,首先是设备管理模块,主要完成边缘云、边缘和边缘的互联。边缘设备与云断开连接后,仍然可以AR管理和执行终端AR对于终端卸载的数据,AR报警和预测性维护终端故障,在边缘设备上生成AR然而,目前我们正在研究移动AR因此,没有必要在边缘设备上保留该模块,然后根据实现进行切割。
数据的预处理和执行是整个数据AR边缘设备的最核心的模块。本文作者是基于一个基本的假设,即AR考虑到功耗问题,终端没有密集的计算能力AR除传感器数据采集和显示外,终端几乎所有业务都卸载到边缘计算设备。交互识别是指终端设备和人之间的视觉、听觉、触觉、语音等数据。这些数据具有及时性要求,适用于识别功能中的边缘计算设备。姿势预测是指提前预测用户的头部角度、眼睛焦点、面部表情、手势、姿势等。在用户做下一步之前,他们可以根据之前的指示预测用户的意图。事实上,这本质上是为了减少处理延迟。移动预测类似于另一个模块,AR终端将继续在不同的接入节点上切换,这很容易导致业务中断。业务中断的根本原因是数据没有在不同的接入节点之间及时切换,或在切换过程中由于不可预测的因素而延迟,这将严重影响AR终端体验。若能提前预测AR该终端将访问哪个边缘设备,数据将提前移动到该设备,从而解决滞后带来的业务连续性问题。
对周围环境数据的识别也卸载到边缘设备上。首先,收集到的图像数据将在边缘设备上进行基本识别,并压缩图像,然后将其传输到云进行大规模模型训练。训练模型将传输到边缘设备。需要注意的是,我们边缘设备上的图像识别模型是一种简化的云模型,或重新设计考虑能耗比的智能算法,因此,这里需要一套边缘智能技术栈的支持。在显示方面,还需要大量的计算,需要重建三维场景,叠加数字世界的图像、文本等信息。为了让用户体验更好,需要渲染其真实性。
3 服务管理
3.1 卸载技术
在AR业务边缘化处理的核心技术是边缘卸载技术。与以往的云架构不同,边缘计算的引入使卸载水平从原来的两层变为三层,每层需要处理的任务也不同,三层可以相互配合完成整个AR业务处理。卸载时应考虑功耗、延迟、资源和能效比等指标,以确保整体性能最佳。如下图所示,作者是针对作者的AR业务的特点,可以分层处理的业务。
图中以AR以眼镜为例,真实环境中有一棵松树,我们AR在树上看到一只虚拟的松鼠。这个过程是如何实现的?首先是AR眼镜收集环境信息,包括深度信息、位置信息和图像信息,可以在真实环境中获得松树的位置、深度和物理信息。由于边缘计算设备识别过程是由边缘计算设备完成的,因为AR眼镜本身趋于轻薄,不适合密集计算。除环境信息外,还有另一种信息AR眼镜特别关注用户的交互信息,包括用户的头部定位、眼睛焦点、语音交互和手势交互。这类信息直接关系到用户的交互体现,对实时性要求很高,同样需要卸载到边缘设备上。除了在边缘设备上执行上述两种信息外,还需要上传到云上进行培训,使模型更接近用户,更个性化,模型满足用户的行为习惯,为下一步预测用户意图奠定基础。在上传云时,为了减少对带宽的影响,需要压缩图像信息的传输,因此边缘设备也需要具有图像的压缩功能,传输也可以智能选择道路。根据AR终端采集、边缘执行、云训练思路,完成整个上升过程。
下一步是处理下行数据。云负责将满足培训用户行为的模型和真实场景识别模型卸载到边缘设备上。卸载方向是将云的能力卸载到边缘设备上,这与终端卸载的想法不同。终端卸载主要是由于终端能耗和计算能力薄弱,需要卸载密集的计算任务,而云主要考虑满足延迟要求,减少对带宽的影响,因此卸载性能评价不同。边缘设备主要完成三维场景重建和高真实渲染,首先将叠加松鼠图像传输到边缘设备,然后根据松树的深度信息和位置信息,松鼠叠加到松树的位置,用户视角可能会改变,此时需要根据当前用户重建整个三维世界,让松鼠看起来更真实、更聪明。当边缘设备处理这些信息时,AR终端眼镜可以在镜头上显示这些信息,让用户真正看到松鼠在树上移动。
3.2 移动性管理
除移动卸载技术外,如下图所示,AR终端眼镜在网络中的位置也会发生变化。为了让用户感知不到这种变化,需要提前预测用户的移动位置,这可以通过用户在上述卸载技术中的行为来预测。在这里,数据主要从一个基站转移到另一个基站,由于当时网络负载等因素的影响,数据往往无法及时更新到相应的网站。一种解决方案是基于预测提前迁移,另一种方法是将其送到更高的边缘设备,如核心在线处理,以避免迁移问题。一种解决方案是基于预测提前迁移,另一种方法是将其送到更高的边缘设备,如核心在线处理,以避免迁移问题。从这个纬度来看,边缘设备层之间仍然存在自组网和卸载水平的问题,需要根据真实的实验环境来确定。
3.3 延迟和功耗管理
衡量边缘计算和处理功耗和延迟指标AR业务质量的关键指标不同边缘设备上分解的关键业务指标AR业务耗时。AR如果业务想要获得更好的用户体验,需要20年的延迟ms在蜂窝场景中,我们可以看到它只卸载到蜂窝场景中bbu理论上可以满足要求,放在核心网的位置,延迟不能再满足要求。这部分耗时包括传输耗时和计算耗时,目前最大的挑战是传输延迟。
除了延迟,还需要考虑功耗AR终端属于轻量级设备,处理能力有限,所使用的供电资源也有限。因此,在卸载和移动性方面,需要考虑全卸载的方式,在选择通信技术时也需要考虑低功耗等因素。特别是当接入时AR当终端数量增加时,在设计边缘设备时,还需要考虑如何实现负载平衡。
3.4 网络切片技术
网络切片技术也是边缘设备的设计和处理AR业务时需要考虑的一种技术,该技术可以保证AR终端业务获得类似专线的能力,可以优化低延迟、大带宽的需求,确保不同AR例如,文献3就提出了终端之间可以共享带宽,实现带宽的优化,可以将不同用户的类似数据合并在一起,然后通过组播发送到设备上,既节省了带宽,又共享了计算资源,进一步减少了延迟。通过网络切片,将AR将业务与其他业务隔离,实现独特需求,为进一步增强用户体验创造条件。通过网络切片,将AR将业务与其他业务隔离,实现独特的需求,为进一步增强用户体验创造了条件。如果是常用数据,可以缓存到边缘计算设备上。
4 小结
到目前为止,基于边缘计算的移动AR在分析完成后,本主题没有提出实现某一技术的具体方法,而是探索了边缘计算在某一业务领域的应用。后续作者将系统梳理边缘计算技术和产品技术,请期待。
参考文献:
1边缘计算简述-多视角边缘计算_linus_ben的博客-CSDN博客_如何实现边缘计算
2计算融合通信5G移动增强/虚拟现实
3研究加强移动边缘计算资源在现实场景中的分配优化