资讯详情

工程技术TOP期刊《Engineering》观点评述:基于脑电图的脑-机接口系统在实用化进程中面临的挑战...

d0f0a5bf2344505166e0a593bd5dc31a.png

b0ad222b6067013c24b67b6d0e77495a.png

许敏鹏[a,b],何峰[a,b,*],钟子平[a,b,c],顾晓松[b,d],明东[a,b,*]

[a]Departmentof Biomedical Engineering,College of Precision Instruments and OptoelectronicsEngineering,Tianjin University,Tianjin 300072,China

[b]Academyof Medical Engineering and Translational Medicine,Tianjin University,Tianjin300072,China

[c]SwartzCenter for Computational Neuroscience,University of California,San Diego,CA92093,USA

[d]JiangsuKey Laboratory of Neuroregeneration,Co-innovation Center of Neuroregeneration,Nantong University,Nantong 226001,China

* Corresponding authors.

E-mails: heaven@tju.edu.cn (F.He),

richardming@tju.edu.cn(D. Ming)

脑-机接口(brain-computer interface,BCI)这个术语是最早的Vidal Jacques J1973年等人提出,距今已近50年[1]。与传统电子接口在非生命体之间实现信息传输不同,BCI该系统是生命体和非生命体之间的直接通信桥梁。它可以将中枢神经系统的活动转化为人工输出,从而增强、替代、修复、补充或改善中枢神经系统的正常输出[2]。今天,基于头皮脑电图(electroencephalography,EEG)的BCI系统应用最广泛。

从通信的角度来看,编码策略和解码策略是EEG-BCI系统中最关键的两个环节。BCI在该领域,编码策略也被称为范式,它将用户的意图指令转换为可检测的脑电图信号;解码策略也被称为算法,旨在提取和识别相应的脑电图特征。因此,信息传输速率作为通信系统的关键指标(information transfer rate,ITR)广泛应用于评估BCI编解码效率。近十年,BCI系统的ITR大幅提升。2010年左右,ITR能达到的最高值只有1.5 bits/s(bps)[3]到2015年已经提高了近三倍[4],目前已经接近7 bps[5]。

从另一个角度看,BCI该系统可视为处理用户意图指令的处理器。因此,针对BCI评价系统的指令处理方法及其处理能力是必不可少的。直接评价指标之一是指令集的大小,即BCI系统能够处理的指令类型数量。该指标近十年来得到显着提升,从2010年的30个左右提高至2020年的上百个[6]。另一个重要指标是BCI异步性能,即BCI系统是否可以进行异步操作,目前该研究方向仍有待发展。

从第三个角度看,BCI该系统是实时测量心理活动的仪器。不同于传统的测量仪器,如EEG放大器仅对EEG测量信号本身,BCI系统测量EEG信号背后反映的复杂心理过程,如左手运动想象或右手运动想象。BCI测量精度可视为实时解码脑电特征的微弱程度。解码脑电特征越弱,BCI心理活动越丰富。2018年,BCI测量精度首次突破亚微伏(0.5 μV)级别[7],显著拓宽BCI的应用面。

近年来BCI技术发展突飞猛进,但从实验室场景到实际应用场景仍面临诸多挑战。BCI它是一门新兴学科,涉及神经科学、计算机科学、材料科学、电子科学、人机工程学和机械工程。因此,促进BCI实用需要不同领域学者的共同努力。笔者认为,目前BCI发展以下两个挑战:

目前,EEG-BCI该系统通常包括电极、放大器、脑电帽等附件,其硬件形式和穿戴方式直接决定BCI潜在的应用场景。例如,为了获得高质量的脑电图信号,大多数研究使用高精度、多导联的脑电图收集设备,但这些设备体积大、重、便携性差,只能应用于科学研究和医疗场景。针对这一问题,研究人员还开发了体积小、质量轻的便携式脑电图产品[8],但仍需要脑帽或类似的设备来放置电极。有些更轻BCI产品采用结构更紧凑、更易穿戴的头带来固定电极。然而,由于目前的原因BCI系统能力有限,不能给健康人的日常生活带来实质性的改善。因此,这些舒适性差、美观性低的脑帽或脑带仍然难以被普通用户接受。事实上,在大多数情况下,BCI 系统对健康人的用途微不足道,甚至不清楚。因此,患者满怀期待地使用它BCI不同的大脑神经功能被替换、修复、增强、补充或改善,健康人没有足够的动力穿现有的BCI因此,只有改进。BCI这种最直接的人机通信方式自然可以融入日常生活,也有助于研究日常工作中的大脑机制。

在过去的50年里,BCI大多数研究人员专注于如何进一步改善脑-机器之间的关系ITR,而忽略了两者之间的互动友好性。BCI范式发展严重停滞不前BCI几乎所有的交互范式都是在30年前发明的,比如运动想象(motor imagery,MI)[9]、P300[10]和稳态视觉诱发电位(steady-statevisual evoked potential,SSVEP)[4、5、11]等。这些传统范式已被证实可以在大脑和计算机之间实现有效的信息传输。然而,它们与大脑的交互过程并不自然。与传统的人机交互方式相比,传统的BCI范式需要占用更多的认知资源来完成指令输出。例如,基于SSVEP的BCI目前系统最高ITR,指令输出速度可以达到每秒 [4,5],但为了获得高鲁棒性SSVEP信号,SSVEP-BCI指令通常由闪烁感强的大面积视觉刺激编码。这样不仅会占用大量的视觉资源,而且与主观意图无直接关系的强烈视觉刺激会扰乱用户,使用户感到不舒服。因此,即使是基于传统范式的BCI在某些特定场景下,系统可以正常运行,但其不自然的交互方式大大降低了系统的易用性。

笔者认为,上述两大挑战是现阶段的障碍BCI系统实用的主要因素迫切需要采取有效的措施。同时,这两个挑战都是涉及多学科研究领域的复杂问题,因此需要不同专业知识背景的学者进行合作。在这里,作者总结了应对上述挑战的一些重要研究方向,以吸引学者更多的关注、讨论和研究。

在以往的研究中,研究人员通常使用分类精度和ITR来评估BCI系统性能。然而,这两个指标只关注评估BCI系统的信息转换过程并不能充分反映真实而复杂的人机交互场景中的大脑机交互过程。在实际的大脑机交互过程中,我们需要考虑如何评估人因在闭环系统中的作用和影响[12]。因此,从实用的角度来看,需要设计一些更全面的指标来评估BCI脑手效率比等系统的整体性能(brain-to-hands ratio,BHR)[13]等等。具体来说,BHR指在同一任务中使用同一用户BCI控制成绩与直接用手控制成绩的比例。

如前文所述,当前BCI大多数健康人很难接受硬件设备的形式和穿戴方式。因此,迫切需要创新BCI促进传感电极、采集电路、集成模式、安装机制和穿戴模式BCI硬件设备微型化、集成化、易用化。EEG如果采集设备可以小到可以藏在头发里,用户会比现在笨重的形状更容易接受。

传统的BCI范式通常占用大量用户的认知资源,导致大脑-机器交互模式不自然。因此,作者强烈建议学者遵循传统BCI范式研究转向可以降低用户认知负荷的新型BCI范式研究。

BCI解码是识别大脑意图的关键环节。在图像和语音识别领域,人类可以清楚地识别待识别对象,因此研究人员可以根据先验知识和合理推断来指导特征的提取和分类器的构建。然而,原始的EEG信号非常复杂,肉眼很难观察其背后的规律。EEG在未知的演变规律和特征下发展BCI算法是盲目的。因此,深入理解EEG该机制将有助于指导BCI算法去的大多数研究中,算法的设计[7]经常被忽视。EEG不同个体之间的信号和同一个体在不同时间有显著的变异性,严重影响EEG特定响应的可重复性降低BCI算法的泛化能力[14–16]。先进的BCI需要克服算法EEG为了构建高鲁棒性的跨个体、跨时间变异性信号BCI系统。为实现这一目的,同样需要深入理解EEG信号背后的神经机制。

总而言之,BCI发展进程已进入脑-机交互阶段。因此,除上述四个方向外,任何与脑-机自然交互相关的课题都应该在未来进行BCI在实践过程中得到更深入的研究。

衷心感谢国家重点研发项目(2017年)YFB1300300);国家自然科学基金(81925020,61976152,81630051);与中国科协青年人才托举项目(2018QNRC001)的资助。

参考文献

[1] Vidal JJ. Toward direct brain–computer communication. Annu Rev Biophys Bioeng 1973;2(1):157–80.

[2] Wolpaw JR, Millán JDR, Ramsey NF. Brain–computer interfaces: definitions and principles. Handb Clin Neurol 2020;168:15–23.

[3] Panicker RC, Puthusserypady S, Sun Y. An asynchronous P300 BCI with SSVEP-based control state detection. IEEE Trans Biomed Eng 2011;58(6):1781–8.

[4] Chen X, Wang Y, Nakanishi M, Gao X, Jung TP, Gao S. High-speed spelling with a noninvasive brain-computer interface. Proc Natl Acad Sci USA 2015;112(44):E6058–67. 

[5] Jiang J, Yin E, Wang C, Xu M, Ming D. Incorporation of dynamic stopping strategy into the high-speed SSVEP-based BCIs. J Neural Eng 2018;15(4):046025. 

[6] Xu M, Han J, Wang Y, Jung TP, Ming D. Implementing over 100 command codes for a high-speed hybrid brain–computer interface using concurrent P300 and SSVEP features. IEEE Trans Biomed Eng 2020;67(11):3073–82. 

[7] Xu M, Xiao X, Wang Y, Qi H, Jung TP, Ming D. A brain–computer interface based on miniature-event-related potentials induced by very small lateral visual stimuli. IEEE Trans Biomed Eng 2018;65(5):1166–75. 

[8] Siddharth, Patel AN, Jung TP, Sejnowski TJ. A wearable multi-modal bio-sensing system towards real-world applications. IEEE Trans Biomed Eng 2019;66(4):1137–47. 

[9] Wang K, Xu M, Wang Y, Zhang S, Chen L, Ming D. Enhance decoding of pre-movement EEG patterns for brain-computer interfaces. J Neural Eng 2020;17(1):016033. 

[10] Xiao X, Xu M, Jin J, Wang Y, Jung TP, Ming D. Discriminative canonical pattern matching for single-trial classification of ERP components. IEEE Trans Biomed Eng 2020;67(8):2266–75. 

[11] Xu M, Qi H, Wan B, Yin T, Liu Z, Ming D. A hybrid BCI speller paradigm combining P300 potential and the SSVEP blocking feature. J Neural Eng 2013;10(2):026001. 

[12] The group on Neurotechnologies for Brain–Machine Interfacing. Standards roadmap: neurotechnologies for brain–machine interfacing. Report. New York: IEEE; 2020 Feb. Report No. IC17-007.

[13] Mei J,et al. "Using SSVEP-BCI to Continuous Control a Quadcopter with 4-DOFMotions." 2020 42nd Annual International Conference of the IEEEEngineering in Medicine & Biology Society (EMBC). IEEE, 2020.

[14] Xu L,Xu M, Ke Y, An X, Liu S, Ming D. Cross-dataset variability problem in EEGdecoding with deep learning. Front Hum Neurosci 2020;14:103.

[15] ChiangKJ, Wei CS, Nakanishi M, Jung TP. Cross-subjecttransfer learning improves the practicality of real-world applications ofbrain-computer interfaces. In: Proceedings of 2019 9th InternationalIEEE/EMBS Conference on Neural Engineering (NER); 2019 Mar 20–23; SanFrancisco, CA, USA. New York: IEEE; 2019.

[16] Wei CS,Lin YP, Wang YT, Lin CT, Jung TP. A subject-transferframework for obviating inter- and intra-subject variability in EEG-baseddrowsiness detection. NeuroImage 2018;174:407–19.

论文信息:

http://www.engineering.org.cn/ch/10.1016/j.eng.2021.09.011

脑机接口知识星球:

即时资讯,脑机观点,脑机行业讯息,脑机最新技术,脑机咨询...会在该星球分享。

同时,它是链接人与人的一个圈子。关注脑机接口+X 领域的伙伴们能在这里找到或分享脑机观点、信息,创业领域等,寻找志同道合伙伴的一个渠道。

1b054b13bb2771b8ff4a5860d67cc888.png


仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!

acd55fee9736fc3d3448af7736ca6c6e.png

更多阅读


2021年度脑机接口重大事件和进展汇总

“缸中之脑”会打乒乓球了!黑客帝国成真了吗?

基于加权投票的尖峰神经活动数据高效解码

可扩展且侵入性最小的脑机接口平台

逆天改命,机械飞升:渐冻症科学家将自己改造成了「半机械人」

科学家实现脑机接口即插即用控制

脑机接口新进展!意念控制机器人离实现更近了一步!

连续低频脑电图解码手臂运动,实现机械手臂的闭环自然控制

人类、动物和人工智能意识的新理论

新型传感器将改变大脑控制的机器人技术

dc79bc7050d3a90e20c2d755b34a2f7e.png


45ac951cac96f15e3e205f41bf70c70d.png

07064efd6405105fbc8431700adf3d8c.png

点个在看祝你开心一整天!

标签: 接近传感器配件

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台