VR/AR/脑机接口是下一代人机交互平台,集微显示、传感器、芯片和算法于一体。回顾人机交互的整个发展过程,我们可以看到人机交互的指令输入和反馈输出正在朝着更低的操作门槛和更高的交互效率发展。目前,我们正站在智能手机时代与下一种交互形式的交界处,我们认为虽然 VR/AR 在输入技术(传感)和输出技术(显示)方面均较上一代交互设备有显着飞跃,但目前仍处于发展的早期阶段。随着元宇宙应用的发展和内容生态的完善,元宇宙对硬件的需求逐步清晰,将推动 VR/AR/脑机接口设备的逐步升级有望出现PC、下一代硬件堪比智能手机。
本期智能内部参考,我们推荐华泰证券的报告《人机交互系统是通往元宇宙的入口》VR、AR元宇宙时代脑机接口设备的发展趋势。
华泰证券
原标题:
人机交互系统是通往元宇宙的入口
作者:黄乐平 等
早期硬件设备受应用场景和内容单一、用户体验不完善等缺陷的影响VR/AR 没有实现大规模增长。
现在我们可以看到,游戏、电子商务、协作办公、社交、健身、医疗、视频等元宇宙应用场景正在逐渐清晰,这对 VR/AR/脑机接口硬件端提出了更高的要求,预计将推动许多底层技术的不断改进,包括微显示技术、三维重建、生物传感器、肌电/脑电处理、全身跟踪和空间定位。
▲元宇宙各大应用场景对沉浸感和交互感的要求
1.游戏:强调沉浸感的元宇宙游戏需要多平台/VRAR//云原生技术作为底层技术支
目前,游戏具有元宇宙的虚拟身份、朋友、经济系统等特点,但未能给玩家带来完全的身临其境。硬件主要受近视显示和多维感官传感技术的影响。未来,元宇宙游戏将朝着更强的身临其境感和更丰富的内容生态方向发展。有必要利用成熟的场景渲染和身临其境的声场技术来提高声音和绘画效果,并利用全身运动跟踪、传感器、空间定位等技术来提高现场感。高质量的游戏内容创新将与 VR/AR 硬件升级形成正反馈效应,促进元宇宙游戏生态的发展,为高性能计算芯片和硅基 OLED、Micro LED 及相关设备组装企业带来增量空间。
▲元宇宙游戏的发展方向和底层技术
传统的电子商务平台仍然片、视频等平面形式展示商品。尽管近年来电子商务直播AR 化妆测试等形式的兴起在一定程度上弥补了传统电子商务在购物时相对较薄的感知体验,但对于服装等SKU 用户仍然无法在线测试丰富的非标产品。在在线即在场的最终需求驱动下,元宇宙时代的电子商务有望通过 进一步突破物质世界屏障AR/VR/MR 等新一代人机交互平台实现视听甚至触觉等多感官交互的购物体验,创造 3D 虚拟购物中心、数字展厅等消费者购买场景。我们认为,该过程主要依赖于近视显示、三维重建、触觉传感器甚至虚拟人的成熟,这将为相关的微显示、传感器和芯片企业带来增长空间。
▲元宇宙电子商务有望使用 VR/AR/MR 实现沉浸式购物体验在线即在场
目前,移动互联网阶段的远程办公距离理想模式存在一定差距,工作效率和沟通效果仍存在局限性。元宇宙办公/社交网络强调互动感。例如,用户可以通过手势满足整个过程VR 虚拟空间中的举手、拇指拇指等功能显著降低了人机交互平台的操作门槛,实现了无距离交互。该场景的实现将主要依赖于手势读取、眼睛跟踪、语音识别、空间定位等 VR/AR 底层技术。
在生物监测方面,当前随着心率监测、血氧检测技术的成熟,已有部分智能手环和手表产品中引入了医疗级功能,向着更专业的医疗设备进化将是智能穿戴重要发展方向。未来,智能穿戴产品有望大规模搭载 ECG 心电图和无创血糖检测等新功能为老年人和慢性病群体提供了更专业的服务,这也对血糖、血氧等生物监测技术提出了更高的要求。从长远来看,预计人机交互硬件将扩展到神经系统和肌肉系统瘫痪患者(如脑、脊髓疾病、中风、创伤等)将为脑接口技术创造相当大的发展前景。
▲生物检测和辅助健身场景
传统影视作品、长视频、短视频仍主要通过电视、电影院、视频平台等媒体传播。由于平面表达,内容的表达仍有很大的改进空间。在元宇宙时代,观众预计将使用先进的 VR/AR设备更沉浸在电影、现场现场、音乐会等内容中,娱乐和体验将迎来定性的飞跃。目前包括 Netflix 和爱奇艺等长视频平台积极探索了元宇宙 视频的落地。
模拟训练是指在军事训练、工业设计、教学训练、安全应急演练等复杂或高风险训练、安全应急演练等复杂或高风险数的领域。在工业领域,制造企业将充分利用模拟虚拟空间中的各种数据,优化工业生产环节中的设备技术和操作流程。
模拟演练需要在军事和安全应急领域进行。预计未来将在虚拟场景中进行更大、更复杂的军事和应急训练,以节省训练成本,提高安全性。鉴于模拟训练目的的特殊性,对沉浸感和互动感的要求相对较低,不依赖高端硬件设备奖金。目前,曼恒科技、一传诚等企业已实现商业化。
VR 是 Virtual Reality(虚拟现实)缩写是指计算机图形技术、计算机模拟技术、传感器技术、显示技术等科学技术,在多维信息空间中创建虚拟信息环境,为用户提供视觉、听觉、触觉等感官模拟,可以使用户沉浸在沉浸与环境完美的交互能力。
2Q21 全球 VR 212.6 万台,同比增长 136.4%,其中 Oculus Quest 2 出货量占 75%,继续引领市场。自2014 以来,行业销量以爆款产品为主的特点没有改变(2015-2017 三星 VR 2016-2018年 PS VR、2019 年至今 Oculus 一体机)。
▲VR 历史销售:VR 盒子、VR 头盔、VR 一体机连续迭代
▲主流 VR 产品比较
根据digitimes,推测 Meta 下一代 VR明年将推出 升级产品pancake 光学模组和更多传感器,以实现产品轻量化,并升级手势识别、眼动跟踪等功能;而苹果也将在 2022年底推出一款高端 VR 方案,这款高端产品能够会重新定义 VR 这个产品形态。预计这款产品将配备 Micro-OLED 显示屏,复合菲涅尔透镜 pancake 方案,全彩影像透视、搭载更多传感器,为消费者带来全新混合现实体验。
在 Meta 较早的pancake 技术专利中,我们可以看见一个显示组件包括具有四分之一波片和部分反射表面的第一透镜、具有反射偏振器的第二透镜和显示器,实现头显的轻薄化。我们认为,苹果同样在探索使用三个菲涅尔透镜堆叠,形成轻薄透镜组的方案。改进光学透镜后的 VR 产品将实现轻薄化,头显重量或由原来的 500g 降低至 200-300g。
Meta 下一代 VR 产品与苹果 MR 产品将会增加传感器,主要是摄像头的种类与数量。高通在其官网上披露,高通骁龙 XR2 芯片算力最多可支持 7 颗摄像头(2 颗眼动追踪,2 颗混合现实,2 颗头部 6DoF追踪,1 颗其他),并可以此实现 MR 混合现实功能。我们认为 Meta 下一代或充分利用骁龙 XR2 算力,为产品进行功能升级。
根据 digitimes 等杂志 2022 年 1 月中旬的报道,苹果或将搭载与 M1 芯片相似算力高阶处理器和一个负责传感器的低阶处理器,支持 5-8 个外置相机模组,2 个内置眼动追踪相机模组,1-2 个 ToF 摄像头,以实现全彩RGB 影像透视和眼动追踪、手势追踪等功能,实现内容与应用边界的拓展,也为内容生产商提供更多的数据支持。
为 Meta 下一代或沿用 FastLCD 屏幕,与 quest 2 分辨率差别不大,但具有像素级控制的先进背光,可以展示和 OLED 一样的纯黑底色;而苹果或使用高分辨率、高对比度、宽色域、快速响应的 Micro-OLED 显示屏,随之而来的或是高昂的售价,根据Digitimes 等媒体 2022 年 1 月中旬的报道,新一代苹果 MR 产品售价可能达到 1500-3000美元,高于当前 Oculus quest 2 的最低售价 299 美元。
AR(Augmented Reality,增强现实)是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容,与 VR 不同的是,AR 能够将真实环境和虚拟物体之间重叠之后,在同一个画面以及空间中同时存在。AR 中的关键技术包括跟踪定位技术、虚拟与现实合并技术、显示技术与交互技术。
根据 IDC,2020-2021 年 AR 年出货(不含Screenless viewer)在 20-30 万之间,增速波动大。从品牌来看,除 Epson 和微软外,其他较多品牌并没有实现 AR 的持续大规模销售,常常在 1-2 个季度的爆发后销声匿迹,消费端市场上没能出现标杆性的品牌,我们认为 AR 作为一款消费电子产品仍然处于概念期阶段。
长期来看 AR 终端有望替代手机,实现年出货量超过 10 亿台(对比手机出货量超过 13 亿台),但目前来看实现这个目标时日尚早。从应用看,AR 产品仍未出现杀手级的应用场景。从技术角度看,虽然OLED+Birdbath 方案已经比较成熟,但因透光性差等原因,形似墨镜的设计不能支持全环境的使用。而其他微显示系统如 LBS/LCoS/DLP 等搭配光波导的方案仍在探索过程中。
一款合格 AR 眼镜需要怎样的配置?
显示:由于 AR 像源产生的图像将与太阳光一起进入人眼,户外若不加墨镜,入眼亮度需超过 2,000nits,甚至达到 5,000nits,才能在各种天气状况下清楚的显示图像。目前一款光波导眼镜的光效率大约为 3-5%,即像源亮度至少要在10 万 nits 左右,才能满足 AR 眼镜的亮度需求。此外,75Hz 以上的刷新率、25°视场下 720P的分辨率、支持局部刷新及低功耗状态下静态图像的维持,是一款 AR 眼镜的及格线。
人、机、环境的有效交互:为了实现虚拟信息和真实场景的叠加,需要实现使用者的空间定位追踪和虚拟物体在真实空间中定位。除此之外,为了将虚拟信息与输入的现实场景无缝结合在一起,增强 AR 使用者的体验,还需要考虑虚拟事物与真实事物之间的遮挡关系以及实现几何一致、模型真实、光照一致和色调一致。从上世纪 80 年代发展到现在,SLAM 传感器、算法、技术框架等持续改进,是实现自我姿态评价以及虚拟图像反馈,构建人与虚拟内容的有效交互的主要手段。
当前已提出的微显示技术包括 OLED(有机发光二极管)/ LCoS(硅基液晶)/ DLP(数字光处理)/LBS(激光束扫描仪)等待,但这些技术均无法兼顾成熟性、性能、成本等指标。MicroLED 是业内公认的 AR 显示最佳解决方案,但存在技术尚不成熟、量产难度大等问题,真正大面积商用可能要到 2025 年左右。
▲微显示技术一览
LCoS 作为微显示技术存在比较明显的限制,逐渐淡出微显示领域。LCoS 的优势在于技术成熟,成本低廉,像素密度高且功耗低,在早期的 AR 设备中应用较多,如灵犀微光灵犀AR(LCoS+几何光波导),Magic Leap One (LCoS+衍射光波导)。但劣势也相对明显,大量厂商都在积极寻求使用 LBS/DLP 等方案代替 LCoS,2018 年以后搭载 LCoS 的新机型逐渐淡出。
目前市场上主流的硅基 OLED产品亮度均小于 3000nits,与 10 万 nits 的要求相去甚远,难以应用于户外 AR 场景。同时,由于产品的生产工艺更加复杂,其价格比 LCoS 贵 50%以上,但使用寿命在高亮度模式下将低于 3000 小时且极有可能出现烧屏的情况,整体性价比更低。因此,虽已有部分 AR 厂商使用硅基 OLED 替代 LCoS,但其仍不是 AR 像源的最佳解决方案。
与 LCoS 等其他显示技术相比,LBS 技术优势明显。LBS 系统主要由激光、光学器件和MEMS Mirror 组成由于 LBS 使用激光光源进行逐像素渲染,相较其他非激光、逐帧渲染方案天然具有延迟低(激光纳秒 vs 普通光源毫秒)、画面滞留时间短、亮度高、能耗低、色彩丰富的优势。
当前主流的 LBS 产品分辨率约720P,提高分辨率可能需要较高的成本。AR 硬件/软件企业 Rave 首席科学家 Karl Guttag将搭载 LBS 光机的 HoloLens 2 代和搭载 LCoS 光机的 HoloLens 1 代进行对比测试后发现,虽然 HoloLens 2 的垂直视场角较 1 代提升近一倍(30 度 vs 17.5 度),但其在分辨率、色彩均匀性等方面的表现均更差。此外,HoloLens 2 实拍图色彩饱和度更低,观感模糊,雾度也更大。
DLP(Digital Light Processing)系统的核心是 TI 专利的 DMD 芯片(Digital Micromirror Device),它由数百万个高反射的铝制独立微型镜片组成,每个镜片通过数量庞大的超小型数字光开关控制角度。这些开关可以接受电子讯号代表的资料字节,然后产生光学字节输出,将输入 DMD 的视频或图形信号转换成高清晰度的、高灰度等级的图像。
Micro LED 即 LED 微缩技术,通过将传统 LED 阵列化、微缩化后定址巨量转移到电路基板上形成超小间距 LED,可将毫米级别的 LED 长度进一步缩小到微米级(50um 左右,原本 LED 的 1%)。相较其它技术,MicroLED 产品性能在亮度、对比度、工作温度范围、刷新率、分辨率、色域、功耗、延时、体积、寿命等多方面具备较大优势,被期望为下一代主流显示技术的重要路径。
MicroLED 的生产包括芯片和背板制造、巨量转移、接合、驱动和检测维修等环节,由于其晶粒尺寸在微米级,生产单个成品即需要处理数百万甚至数千万晶粒,对技术的效率和良率提出了极为严苛的要求,现有技术水平还无法满足其量产需求。而 MicroLED 晶粒的发 光效率、波长一致性和良率也尚未达到 MicroLED 彩色化显示的要求。基于此,现有MicroLED 屏幕价格高昂,单片售价即大于 1000 美金。2018 年三星演示的采用 microLED技术的 The Wall 电视,146 寸版报价高于 10 万美元。
与 VR 的不同之处在于,AR 眼镜需要透视(see-through),既要看到真实的外部世界,也要看到虚拟信息,所以成像系统不能挡在实现前方,这就需要多加一个或一组光学组合,通过层叠的方式,将虚拟信息和真实场景融为一体,设计包括自由曲面,光波导等。
▲AR 光学模组梳理
光波导技术是应 AR 需求而生的一个比较有特色的光学组件。因它的轻薄与外界光线的高穿透特性而被认为是消费级 AR 眼镜的必选光学方案。
AR 眼镜中光的传输关键在于“全反射”。其实,波导技术并不是新发明,光纤就是波导的一种,只不过传输的是我们看不见的红外波段的光。光机完成成像过程后,波导将光耦合进自己的玻璃基底中,通过“全反射”原理将光传输到眼睛前方再释放出来,就完成了图像的传输。
越是大的视场角,就需要越高折射率的玻璃基底来实现。因此传统玻璃制造商比如康宁和肖特,近年来都在为近眼显示市场研制专门的高折射率并且轻薄的玻璃基底,还在努力不断增大晶元尺寸以降低波导生产的单位成本。
具体来看,当前光波导技术可以分为下面三种:
1) 该概念和专利一直由以色列公司 Lumus 提出并持续优化迭代,基本原理是耦合光进入波导的一般是一个反射面或者棱镜。在多轮全反射后光到达眼镜前方时,会遇到一个“半透半反”镜面阵列,将光耦合出波导。几何/列阵光波导目前大都只能实现一维扩瞳。这里的“半透半反”镜面阵列相当于将出瞳沿水平方向复制了多份,每一个出瞳都输出相同的图像,这样眼睛在横向移动时都能看到图像,这就是一维扩瞳技术(1D EPE)。
2)传统的光学结构被平面的衍射光栅取代,通过材料表面浮雕出来的高峰和低谷,在材料中形成了一个折射率的周期性变化。通过设计光栅的参数(材料折射率、光栅形状、厚度、占空比等)可以将某一衍射级(即某一方向)的衍射效率优化到最高,从而使大部分光在衍射后主要沿这一方向传播。
Hololens I, Vuzix Blade, Magic Leap One, Digilens 等使用的方法是,当入射光栅将光耦合入波导后,会进入一个转折光栅的区域,这个区域内的光栅沟壑方向与入射光栅呈一定角度,那么它就像一个镜子一样将 X 方向打来的光反射一下变成沿 Y 方向传播。另外一种实现二维扩瞳的方式是直接使用二维光栅,即光栅在至少两个方向上都有周期,将单向“沟壑”变为柱状阵列。WaveOptics 就是采用的这种结构,从入射光栅耦合进波导的光直接进入一个具有二维柱状阵列发区域,可以同时将光线在 X 和 Y 两个方向实现扩束,并且一边传播一边将一部分光耦合出来进入人眼。
3) 利用光全息术在记录材料薄膜上记录点光源的干涉条纹,再经过处理制成光栅条纹结构的薄膜光学元件,具有光束准直、聚焦、偏转等功能。其对光的衍射符合布拉格定律,只有满足布拉格条件的入射光才会被衍射,不满足布拉格条件的入射光不被衍射。目前在做全息体光栅(VHG)波导方案的厂家比较少,包括十年前就为美国军工做 AR 头盔的 Digilens,曾经出过单色 AR 眼镜的 Sony,还有由于被苹果收购的 Akonia。
SLAM(Simulataneous Localization and Mapping),同步定位与地图构建,指在运动过程中通过重复观测到的环境特征定位自身位置和姿态,再根据自身位置构建周围环境的增量式地图,从而达到同时定位和地图构建的目的。
前端通过传感器实现数据关联,研究帧与帧之间变换关系,主要完成实时的位姿跟踪,对输入的图像进行处理,计算姿态变化。后端主要对前端的输出结果进行优化,得到最优的位姿估计和地图。
与电脑、平板、手机的3D 显示不同,AR 更注重虚拟信息与真实信息的无缝融合,即图像出现的平面位置与景深准确、带来沉浸感的良好体验。这就需要利用 SLAM 算法,准确叠加虚拟坐标系和真实坐标系。同时,真实环境中有高低起伏、有障碍物、有遮挡关系,AR 可以让虚拟信息跟这些真实环境中的物理信息进行交互。
随着机器学习和深度学习的发展,虚拟信息可以“理解”真实世界,让二者的融合更趋于自然。当前计算机已经可以已经可以认出图片上的内容,但没有理解内容之间的关系,当前的一项研究方向是,应用 SLAM+AI 技术,通过特征提取,实现机器的语义理解,优化 AR 系统的辅助功能。
AR 中交互方式的升级,带来更多样信息需求。随着人机交互由 2D 走向 3D,交互方式逐渐多样化,向人类本能发展,手势交互、姿势交互、眼动交互、语音交互,甚至结合生物信号、周围环境交互的方式不断进化,这对更多种类的信息提出了要求,用户运动类、生物类信息,以及其他环境信息都将为人机交互提供底层支持。
当前苹果手机、手表广泛运用多种运动、生物型传感器,与之对比,VR 爆款产品 Oculus quest 2 头显仅搭载了4 颗黑白摄像头,手柄配备了两组陀螺仪加速度计传感器。未来,为实现更深度沉浸和更便捷交互,测距摄像头、眼动追踪摄像头、精细化压力传感器,甚至生物型、环境型传感器,都将逐渐配备。
脑机接口(Brain Computer Interface,BCI)1976 年由加州大学洛杉矶分校的雅克·维达尔(Jacques J. Vidal)提出。事实上采集中枢神经信号以监测大脑活动的方法有很多种,包括脑电、功能近红外光谱(functional near-infrared spectroscopy, fNIRS)、功能磁共振成像(functional magneticresonance imaging, fMRI)等,反馈技术也同样包括电、磁、声、光多种。
马斯克提出的一个经典论述是“人类不能被 AI 淘汰,要与 AI 融合,在大脑和电脑之间创建一个接口”。随着我们对脑科学的不断认识和脑机接口技术下对人类肢体限制的不断突破,人脑的潜能或得到释放。
在各种监测技术中,脑电因为时间分辨率高、设备价格低廉且便携等优点,逐渐成为脑机接口研究最主流的探索方向。脑机接口主要包括以下几种技术:
1) 脑电采集是 BCI 的关键步骤,采集的效果、信号强弱、稳定性及带宽大小直接决定后续的处理及输出。由于大脑的中枢神经元膜电位的变化会产生锋电位(spikes),或动作电位(action potentials),并且神经细胞突触间传递的离子移动会形成场电位(field potentials),通过在大脑皮质的运动神经位置外接或植入微型电极,可以采集并放大这些神经生理信号。
2) 信号处理是将转化为电信号的大脑活动,去除干扰电波以及其他信号,并将目标分类并处理,转化为可以执行输出的对应信号。
3) 信号输出指将收集并处理后的脑电波信号传输至已连接的设备器材,作为数据基础加工内容,或反馈到终端机器以形成指令,甚至实现直接交互。
4)在信号执行后,设备将产生动作或显示内容,参与者将通过视觉、触觉或听觉感受到第一步产生的脑电波已被执行,并触发反馈信号。
,通过采集脑电、神经电获取脑部信息,但信息精度及分辨率较低,可用于简单的信号判断与反馈,但较难传达复杂指令,如帮助肢体残障人士通过意念操控机械骨骼,或用于 VR/AR游戏应用的基础手势控制。非侵入式根据收集信息的不同可以分为 EEG(收集脑电)和MEG(收集磁场)两种。
通过导电凝胶将 Ag/AgCI 电极固定在头皮上,以测量头皮脑电信号,但一般只能监测到 0-50Hz 相对较窄频带中的信息。
通过测量细胞内离子电流引起的小磁场获得信号,但由于高昂的成本和操作方法的繁琐(电磁封锁环境,保持绝对静止),MEG 并不是一个理想的解决方案。
侵入式将设备直接植入到人/动物大脑灰质或颅腔内,能够获取相对高频、准确的神经信号,不仅能够通过读取脑电信号来控制外部设备,还能够通过精确的电流刺激让大脑产生特定感觉。侵入式脑机接口可以分为 ECoG、LFP、SUA 等类型。
1) ECoG:测量大脑皮层电位,与 EEG 技术相似,但能够监测到更大带宽的信息;
2) LFP、SUA:测量大脑皮层场电位与锋电位,可以通过 Mircowire array,Michigan array,Utah array,Neurotrophic electrode 等多种传感器实现。
侵入式采取电信号的方法,具有较高的空间分辨率、良好的信噪比和更宽的频带,但目前仍然面临着有创带来的安全问题、难以获得长期稳定的记录、需要医护人员长时间连续的观察等问题,目前应用仍局限于医疗康复领域。
随着人们对大脑的认知、电极设计、和人工智能算法的精进,脑机接口领域应用也持续拓展,并向更加精细化发展。脑机接口相关的研发已经在仿生学、医疗诊断与干预、消费电子等多个领域进行持续探索,相关产品可能将在未来 20-30 年内陆续商业化,支撑起近千亿美元的市场规模。
目前来看,脑机接口在以下三个场景最有希望率先落地:
脑机接口可以帮助实时监控和测量神经系统状态,辅助临床判读。“监测”型脑机接口应用方向十分多样,包括评测陷入深度昏迷患者的意识等级,测量视/听觉障碍患者神经通路状态协助医生定位病因等等。除此之外,通过结合脑电、视频等多元信息进行诊
例如,对于运动皮层相关部位受损的中风病人,脑机接口可以从受损的皮层区采集信号,然后刺激失能肌肉或控制矫形器,改善手臂运动;运动想象类脑机接口可以用于孤独症儿童的康复训练,提升他们对于感觉运动皮层激活程度的自我控制能力,从而改善孤独症的症状,也可以通过脑电信号的反馈,训练使用者的专注力。疗,能够辅助医生判读脑损伤、脑发育等多种临床适应症。
基于电、声、光、磁刺激进行神经调控的脑机接口已经实现商业化。相关应用包括:通过电刺激治疗进行神经康复,主要针对脑卒中、 帕金森等中枢神经或周围神经损伤所致的运动功能障碍,如偏瘫、肌萎缩、肌力低下、步行障碍、手功能障碍;通过颅磁刺激治疗抑郁症,以及对脑卒中所致的言语功能障碍、吞咽障碍、认知功能障碍进行治疗。国内外多家公司包括伟思医疗,Neuronetics,Brainsway等公司已经推出相关产品。
BrainCo 强脑科技在 2019 年推出世界上第一款可以意识控制每一根手指的非侵入式智能仿生手后,在今年再次推出一款适合不同伤残等级的仿生腿产品。根据公司介绍,这款产品每秒可提取 2 万个肌电神经电数据,因此能快速、准确地识别用户意图,并根据环境、肌肉情况调整步态防止摔倒,实现高仿生体验,还能够支持攀岩、涉水等多种复杂操作,为残障人士创造高品质生活,拓展了脑机接口技术在义肢方向的应用。
早在 2014 年,加难道公司Thalmic Labs 就推出了一款臂带式控制器 Myo,通过感知肌肉的生物电活动,可以让使用者只需要动动手指就可以无线控制身边的计算机和其他数字产品。随着技术的持续升级,当前臂带式控制器可以实现通过识别活动意念带来的电流进行控制,意念打字、意念操作玩具等已经不是幻想。
在脑机接口的支持下,游戏玩家可以用意念来控制 VR 界面的菜单导航和选项控制,获得了独立于传统游戏控制方式之外的新的操作体验;同时人们也可以用意念控制开关等,甚至控制家庭服务机器人,实现全新意义上的智能家居。
渗透率或随 AR 及其他可穿戴产品普及持续提升。当前更加简单形式的控制,比如眼动追踪摄像头、触摸控制等或限制脑机接口交互需求。我们认为未来随着一系列可穿戴设备比如 AR 眼镜的普及,以及元宇宙的持续建设,基于脑机接口技术的消费电子产品渗透率将持续提升。
2020 年美国兰德公司发布了一份名为《脑机接口:美国军事应用和意义的初步评估》(Brain-Computer Interfaces: U.S. Military Applications and Implications)的报告,指出虽然存在一定风险,“脑机接口”很可能在改进未来作战中提供相应的支持,脑机接口在军事 领域用途包括保证更高效和保密的军事通信、提高决策速度与准确性,允许操作员同时控 制多个平台等。
进行更高效和更保密的军事通信。2019 年,DARPA(美国国防部高级研究计划局)就选择了6个团队来开发N3神经技术研究计划,旨在为美国军方提供高精度的双向脑机接口系统,使服役人员能够与计算机系统进行通信。未来若脑机接口用于军事通信的技术获得成功,将颠覆现有通信技术的运转模式。此前的通信解密都是在得到对方通信信号的基础上,依据共同、公开的技术知识进行解密。理论上只要有足够的时间,任何加密算法都可以被破译。而脑机接口通信可能在双方的主体意识尚未明确时就已经完成;所以,不仅通信信号难以得到,即使得到信号,也缺乏解密所需的技术知识。
脑机接口或用于处理大量数据来提高决策效率。未来作战中,智能设备、士兵穿戴式传感器和无人机可向士兵提供大量的行动数据,大量的信息融合将增加决策的复杂性。通过脑机接口能够使得机器与人之间连通性增强,促进数据在作战人员和决策者之间快速而广泛地流动,使得相互连接的军事系统能够顺利运行。同时人工智能工具可能融入决策流程,帮助人类作战人员评估环境,管理数据,并最终消化更大容量的信息。
▲全球主要脑机接口公司
智东西认为,人机交互是人类通往元宇宙的入口,借助于自然用户界面,AR/VR带来了远远高于图形化展示更自然的交互模式,也是最有望实现元宇宙的第一个入口。但长远来看,脑机接口才是元宇宙入口的真正形态,而其中的非侵入式脑机接口在未来或许成为元宇宙入口的一张“王炸”。
未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。
如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”