点击上方“3D视觉车间，选择星标
第一时间送达干货
作者丨程茜
来源丨智东西
编辑丨Panken
让机器人做核酸采样可靠吗？
在过去的两年里，许多研发团队开发了一个系统，允许医务人员远程操作机械臂完成核酸采样。然而，与直接开始相比，这些操作有一个困难——很难掌握开始的重要性。
▲中国工程院院士钟南山团队与中国科学院沈阳自动化研究所联合发起的新型智能咽拭子采样机器人系统
毕竟，这不是医务人员自己的手。医务人员只能想象他们应该用丰富的经验来控制鼻子和喉咙。
但如果机器人能同步向医护人员反馈触觉，问题会解决吗？
1月14日，香港城市大学、大连理工大学、清华大学、中国电子科技大学学者合作的研究成果出现在国际学术顶级杂志上Science Advances。论文中的机器人VR解决上述问题的系统项目。
研究团队开发了一种灵活的电子皮肤贴片，可用作机器人无线人机交互系统VR。人类贴上这个魔法贴，人类就能与机器分享触觉。
贴片可以小到无感，也可以大成夹克，通过振动强度和频率反馈触觉。当用户佩戴时VR在设备上，他可以远程控制机器人，完成就像亲临现场一样的精细动作。
▲智能机器人电子皮肤VR测核酸应用演示
以前市场上的大部分VR沉浸式游戏，为了增加触觉体验，用户通常需要安装沉重、巨大的触觉感知硬件设备，如外骨控制。新的电子皮肤预计将使用户在虚拟世界中更轻松地拥有真正的触觉感觉。
机器人VR如何实现触觉反馈？研究解决了哪些困难？未来会有哪些新的应用？
近日，智东西专访本文Science香港城市大学生物医学工程博士生导师于欣格了解了该研究的幕后故事，并对其技术原理和应用前景有了更深入的了解。
本文福利:随着新冠肺炎疫情的爆发和防疫规范化的发展，机器人防疫工作展示了自己的技能。推荐精品报告《》，可在微信官方账号聊天栏回复关键词【】获取。
机器人VR从2020年初席卷全球的新冠肺炎疫情开始，项目的开始。
当时新冠肺炎确诊病例不断上升，医护人员医疗资源短缺，核酸采样效率低，医护人员感染风险高。这让于欣格开始思考是否可以开发远程非接触式控制采样机器人。
中南山团队、清华大学计算机系教授孙富春团队、南丹麦大学研究人员开发了智能核酸采样机器人系统，包括降低医疗成本、降低感染风险等。
▲全自动鼻咽拭子采样机器人(图片来源于环球时报)在2021年服贸会上展出
但这些遥控手柄控制的机器人对医务人员的操作精度要求很高。
余欣格团队发现，在手术过程中，医生需要通过屏幕判断手术过程，想象反馈有多强，这通常需要有经验的临床医生来控制。
那么，机器人能否在医生和机器人之间分享触觉，将现场触觉反馈同步给远程医务人员呢？
将电子皮肤应用于无线人机系统VR由此启动了中国的研究项目。
研究人员提出了一个设想，只要“贴上”智能电子皮肤，医生远程操控机器人时，就可以通过视觉、听觉、触觉全方位感知，近似于零距离感受手术过程，并且这在一定程度上，会降低手术机器人认证医生的标准。
▲智能机器人虚拟现实中电子皮肤的应用演示
但要把想法变成现实，还需要克服很多困难。
在机器人VR余欣格团队在项目进展中遇到的最大问题是机器人和人体的双向反馈。这也是项目进展时间最长的环节。
有两个核心困难：一是如何在电子皮肤捕捉到人体动作后准确地将动作指令传递给机器人？第二，如何准确地向人类反馈机器人获得的触觉？
此外，机器人VR研究过程不仅涉及新格团队擅长的生物医学工程，还涉及材料、电路、机械优化、有线反馈通路、软件开发和界面优化。
因此，他们与大连理工大学、清华大学和中国电子科技大学的许多优秀人才合作，最终在如此庞大的应用工程项目中取得了进展。
回到研究本身，新电子皮肤控制面板的整体尺寸为57mm x 39mm x 0.8mm。
研究人员在电子皮肤中采用多层堆叠布局，其中一层肤色弹性硅(聚二甲基硅氧烷，PDMS）聚酰亚胺可用作皮肤的软粘合剂（PI）互连一系列芯片和传感器，包括电阻器、电容器、蓝牙模块、微控制器单元（MCU）、软传感器和执行器由研究人员独立开发。
▲CL-HMI电子皮肤的组成结构
根据完善的机械设计规则，电子皮肤的设计形成丝状蛇形结构，使整个系统具有可拉伸性。另一层肤色弹性硅（PDMS）用于包装所有功能组件。
▲电子皮肤中的蛇形结构设计
余欣格说：电子皮肤的最终形式取决于我们想要实现的功能。它可以是一个几乎没有感觉的小贴片，一件手套，一件夹克或一件连体衣。
延伸到机器人VR，研究人员佩戴四个集成电子皮肤的贴片来控制一个13自由度的人形机器人，可以完成人类的大部分动作。
通过配备相应的传感器，机器人可以同、大腿侧面和腹部的压力。
在实验过程中，弯曲传感器和触觉致动器的数量也可以根据具体应用自由选择，同时佩戴VR同步机器人电子眼获取的视觉信息。
这样，机器人VR在无线操作模式下，操作模式下远程控制机器人的操作平台。
▲手套形状的电子皮肤操纵遥控车模拟实验
关于触觉反馈的实现，余欣格说：我们通过不同的振动强度和频率来取代触觉。振动范围可能是从低频振动到类似于手机振动的状态。
在研究过程中，研究人员将为用户建立映射标准，用户可以在训练和熟悉后逐渐适应振动反馈，但到目前为止，映射标准将因身体部位、用户等因素而异。余欣格告诉智慧，他们也在探索更真实的映射技术。
除了触觉感知外，机器人VR系统的无线传输功能同样神奇。
这块电子皮肤上安装了7个弯曲传感器和5个执行器。这些传感器和执行器可以直接连接到电子皮肤中MCU的模拟数字转换器（ADC）和通用型输入/输出（GPI/O）接口，用于多通道传感和驱动。
电子皮肤中包括读取信息的传感器、用于发送信息的无线发射器，以及有助于触觉反馈的小型振动磁铁。
这些传感器以锯齿形方式放置的电线组成，当贴片弯曲时，这些电线被拉得更直，弯曲、放直手臂时可以向机器人传输有关身体运动的数据。
研究人员称，这些传感器可以将人体运动转换为电信号，由MCU进一步处理并通过无线传输到目标机器人。同时，机器人上的压力传感器检测到与外部环境的接触，通过蓝牙模块控制触觉执行器的振动强度，为用户提供触觉反馈。
为了进一步说明电子皮肤实时无线操作的性能，研究人员测量了1-5米距离范围内的电子皮肤循环响应速度，包括信号传感、数据传输、信号接收、制动响应等环节。
研究结果表明，影响电子皮肤无线传输距离的因素有：顶部肤色弹性硅封装层厚度，人体中复杂的生物组织可能吸收电磁辐射等。
在完善机器人VR的触觉反馈方面，于欣格说：“我们现在可以通过调整电子皮肤的位置和结构解决上述问题，同时也会和更专业的通信领域专家合作，融合相关技术，继续探索机器人VR在无线通信传输领域的潜力。”
▲电子皮肤的无线传输距离实验数据
除了蓝牙操作模式外，电子皮肤还支持Wi-Fi和互联网两种无线通信模式。
对于Wi-Fi模式，只要操作区域被同一个Wi-Fi网络覆盖，无线传输范围就可以扩展到数百米。在互联网操作模式下，无线传输距离可以扩展至互联网覆盖的任何地方，其响应时间范围为30.2到47.8毫秒。
除了医疗领域，触觉反馈也可以应用到社交、娱乐、假肢传感等方面，进一步提升用户体验。
如果将VR设备、触觉反馈和现有的在线视频软件相结合，从听觉、视觉延伸到触觉，隔着屏幕，用户就能感受到与远方亲友握手、拥抱的实感。
去年爆火的“元宇宙”概念中，人们需在虚拟世界建立一个自己的虚拟化身。而要让这个虚拟化身与人类感同身受，必然离不开触觉技术的进化。
早从2018年，于欣格就长期专注于触觉反馈研究，探索VR、机器人与电子皮肤的结合。此前，其团队研发的皮肤VR进展曾于2019年底发表在国际学术顶刊Nature上。皮肤VR系统就搭载了近场通信技术（NFC），远在千里之外的人通过抚摸和滑动屏幕，就能无线控制皮肤VR的触觉驱动。
在他看来：“机器人VR可以理解为线下版的元宇宙。”
在现实世界中，很多危险系数高、环境极端的任务需要机器人辅助，这就需要触觉反馈和传感一体的闭环人机交互系统。
于欣格谈道，在虚拟世界中控制机器人，用户只需要将指令发送给软件，而在现实世界，多了指令和硬件的交互环节，控制机器人的难度更高。
机器人VR系统主要针对于人机交互。于欣格也补充说，从机器人精准感知角度来讲，他们的研究团队已经有了相关成果，现在电子皮肤中的震动单元大小成功缩小到将近之前的1/4，单位面积上单元集成度也大幅提升。
在娱乐应用方面，于欣格为我们举了一个例子，《铁甲钢拳》电影中机器人争斗替代了暴力、血腥的搏击运动。在未来，利用机器人VR和皮肤VR控制机器人决斗，也是该领域的潜在应用场景。
▲《铁甲钢拳》中人和机器人同步动作片段
机器人VR还可以用在健康领域的假肢传感。
失去上肢或下肢的特殊人群安装假肢后，往往无法仅通过观察来掌握力度大小，而将电子皮肤安装在他们的截肢末端有望改善这个问题。
于欣格解释说，电子皮肤在控制假肢运动的同时，还可以将物体的硬度、重量等信息反馈到截肢末端的电子皮肤上，使用户能感受到真实的力度、硬度反馈，从而控制力度的大小。
据于欣格透露，他们也正在筹备初创公司，探索机器人VR的落地，目前更偏向医疗应用领域等to B的工业合作伙伴。
闭环人机接口的出现为人体和机器人之间提供了更新的交互方式，使得远程操控机器人的应用场景进一步增加，除此之外，双向反馈也为机器人执行更为复杂的任务提供了可能。远程操控高自由度机器人在远距离操作、假肢控制和医疗应用方面的例子代表了其在不同领域的广泛潜在应用。
开发兼具精确触觉传感和反馈功能的远程操控技术非常重要，于欣格说，他们仍然在探索电子皮肤形态的多样性、触觉反馈的精准度、无线传输的效率……
未来，元宇宙可能是机器人VR系统应用的一个重要领域。但于欣格认为，该项目的研究远远不止于此，皮肤作为人体最大的触觉感官，还有更多的发展潜力，不过这个领域的基本探索时间还很短，基础研究在现阶段仍必不可少。
对于听觉、视觉的感知，我们在日常生活中已经司空见惯，如果触觉感知能进一步普及，是否会使得虚拟世界的真实性越来越高？我们也很期待未来不仅能远程听到、看到，还能真实地感觉到虚拟空间。
本文仅做学术分享，如有侵权，请联系删文。
1.面向自动驾驶领域的多传感器数据融合技术
2.面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)3.彻底搞透视觉三维重建：原理剖析、代码讲解、及优化改进4.国内首个面向工业级实战的点云处理课程5.激光-视觉-IMU-GPS融合SLAM算法梳理和代码讲解6.彻底搞懂视觉-惯性SLAM：基于VINS-Fusion正式开课啦7.彻底搞懂基于LOAM框架的3D激光SLAM: 源码剖析到算法优化8.彻底剖析室内、室外激光SLAM关键算法原理、代码和实战(cartographer+LOAM +LIO-SAM)
9.从零搭建一套结构光3D重建系统[理论+源码+实践]
10.单目深度估计方法：算法梳理与代码实现
11.自动驾驶中的深度学习模型部署实战
12.相机模型与标定(单目+双目+鱼眼）
13.重磅！四旋翼飞行器：算法与实战
14.ROS2从入门到精通：理论与实战
扫码添加小助手微信，可
也可申请加入我们的细分方向交流群，目前主要有、、、、、等微信群。
一定要备注：，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。也请联系。
▲长按加微信群或投稿
▲长按关注公众号
：针对3D视觉领域的五个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近4000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、答疑解惑、助你高效解决问题