Advances in research on fine motion control of prosthesis fingers with brain-computer interface
-
摘要:
各种原因导致的手指缺失会造成患者手部功能的完全或部分丧失,严重影响患者的身体及心理健康,且在不同程度上降低其生活质量。义指在补全身体形态、增强患者自信自尊等方面起到了重要作用,但如何令义指实现协调动作、恢复完整功能是亟需解决的关键问题。本文综述了脑机接口控制义指精细运动的方法,并阐述该技术发展的起源、现状和进展,为后续研究奠定基础,从而帮助患者解决因手指功能不全或缺失带来的问题。
Abstract:The deficiency of fingers due to various reasons leads to a certain degree of loss of full or part hand functions. Physical and mental health of patients are seriously affected, and patients have varying degrees of reduced quality of life. Prosthesis fingers play an important role in completing the body shape and enhancing patients’ self-confidence and self-esteem. However, how to make prosthesis fingers perform coordinated movements and restore complete functions is a crucial problem that urgently needs to be solved. This paper reviews the methods of brain-computer interface controlled fine finger movements and elaborates on the origin, current situation, and advancements of the development of this technology, laying a foundation for subsequent research, with the expectation of helping patients solve the problems arising from the insufficiency or absence of finger functions.
-
各种原因导致的手指缺失不仅影响患者的生活、工作和学习,还给患者的心理造成了极大影响。手部功能至关重要,不仅是人类完成日常基本活动的基础,还在工作、社交中扮演着关键角色[1]。人类手部运动功能占肢体总运动功能的54%[2]。其中,拇指被视为最重要的手指,承担了约40%的手部功能,它的灵活性和力量使得人们能够进行精细的抓握和操作,几乎是执行所有手部动作的核心。示指和中指各占20%的功能,主要负责指向和精细操作,如书写、打字和使用工具等。环指和小指虽然各自的功能占比较小,仅为10%,但它们在握力和稳定性方面同样不可或缺,可以帮助增强手部的整体抓握能力[3]。手指的灵活与协调直接影响到个体生活的独立性和质量,手部功能的完整与否,对于个体的生存和发展具有不可替代的作用。
随着科技的不断发展,神经科学、生物医学等领域与计算机科学进行融合,实现了人工智能与机器智能的融合。利用脑电信号等来反馈使用者意图,直接读取大脑的活动信号,可以实现对义指的控制,帮助患者恢复日常生活中的精细动作能力。目前,关于义指动作控制的研究和应用正在迅速开展,为各个领域带来了新的可能性。
1. 脑机接口(brain-computer interface,BCI)发展历程
BCI作为一项极具潜力的前沿科技领域,其起源可追溯到20世纪研究人员对大脑电活动的发现。1924年,德国精神病学家汉斯・贝格尔(Hans Berger)将电极置于1例颅骨缺损患者的头皮相应部位,首次记录到了人类大脑的电活动,这一发现为后来BCI的发展奠定了最基本的生理信号基础[4]。1963年,英国拜登神经病学研究所的医生格雷・沃特实现了第1次成功的BCI试验,开创了利用大脑信号控制外部设备的先河[5]。2024年,BCI协会进行多轮专家咨询和投票更新了BCI的定义[6]:BCI是一种转换系统,用以检测大脑活动并将其实时(或近乎实时)地转换为能够实现某种功能的输出,以取代、恢复、增强、补充和(或)改善大脑的自然输出,从而改变当前大脑与其外部或内部环境之间的相互作用。此外,BCI也可以通过传递靶向刺激信号为大脑的活动提供有用的输入。2024年,Neuralink公司通过BCI的植入手术,检测到稳定的神经元脉冲信号,在与计算机连接后,患者能够用思维控制鼠标光标。该项目在加拿大进行首次临床试验,有望帮助四肢瘫痪患者通过意念控制外部设备,这标志着BCI技术向实用化迈出了重要一步[7]。
2. 脑电数据的采集与处理
脑电信号的获取依赖于信号采集电极。电信号获取途径可分为非植入式、半植入式与植入式3类。植入式BCI经手术把芯片或电极植入大脑特定区域以获得优质神经信号;半植入式BCI在颅骨下放置电极,不与大脑直接接触,手术风险小且可移除;非植入式BCI于头皮表面放置电极采集脑电信号,无需外科手术,安全性强、舒适度佳,但是信号的干扰较强,如何过滤干扰信号得到可靠信息是当前研究的热点。借助特殊检测装置还可获取其他大脑信号:脑电图(electroencephalogram,EEG)、脑磁图(magnetoencephalography,MEG)、功能磁共振成像(functional magnetic resonance imaging,fMRI)、皮质脑电图(electrocorticography,ECoG)等[8]。
在脑电信号的采集与处理流程中,首先对采集所得的脑电信号进行预处理。预处理是运用滤波手段滤除杂散的频率成分,并借助独立成分分析等技术去除信号中的伪迹。完成预处理后进行特征提取,挖掘脑电信号中具有代表性的特征信息。随后,运用支持向量机(support vector machines,SVM)、人工神经网络(artificial neural network,ANN)等机器学习算法构建模型并开展深度学习训练。最终依据提取到的特征,对脑电信号实施分类与识别,从而精准确定与之对应的手指动作类型[9](图1)。
3. BCI中不同信号来源在义指精细动作中的应用进展
非侵入式BCI信号包括EEG、MEG、功能性近红外光谱技术(functional near-infrared spectroscopy,fNIRS)等,其中以EEG最为常见[10]。早期的研究主要是探索EEG与行为之间的关系。关于手指运动等更精细的动作,有研究者[11-12]采集到手指运动引发的EEG信号,解码了单个手指的运动,平均分类准确率大于60%。2016年,有学者[13]使用精神控制的“人造手臂”来控制运动,通过128个电极传感器阵列测量了手指连接在大脑中产生的电活动,分离各个手指的控制,使得控制准确率达到76%。
基于EEG的BCI系统具有高分辨率、可便携等特征,近年来受到了研究者们的积极关注。在信号采集过程中,脑电信号的质量与电极数量及品质相关,电极数量的增加可以提高空间分辨率[14],但对于高空间分辨率EEG对身体运动的精确解码的研究甚少。另外,有研究[15]使用了一种新型柔性电极网格来获取超高密度EEG,通过使用分布在大脑对侧感觉运动皮质上的256个通道,来解读单个手指运动,并使用SVM进行成对手指分类,以此探索新系统的性能。近年来,精细运动解码也得到了长足的发展。有研究[15-16]开发了一种基于6种手部精细运动解码的BCI技术,设计了手部精细运动执行BCI范式,实现了一种基于卷积神经网络的运动相关EEG信号解码模型,并搭建了基于手部精细运动的BCI系统。这是BCI技术在动作解码精度上的一次突破,使得实现更复杂且更精准的人体运动控制成为可能。
MEG是一种拥有广阔发展前景的BCI成像方式,用于测量神经元内部电流产生的磁场。MEG分辨率高,能够实时监测大脑活动并且能较为精确地确定大脑不同区域的活动源,进而识别特定功能相关的大脑区域[17]。Bu等[18]提出了一种基于MEG传感器的BCI神经网络(MEG-RPSnet),用于解码石头-剪刀-布手势。研究者进行了4次试验,每次受试者需要根据手势图片(共720张,每次180张)引导快速反应,做出石头、剪刀、布的手势,试验者在此过程中使用306脑磁通道的VectorView全头部脑磁系统收集受试者的脑磁信号,并在信号分析过程中将独特的预处理管道与卷积神经网络深度学习模型相结合,准确分类手势,结果显示,12例受试者的平均分类准确率为85.56%。
除非侵入式信号外,还有研究者探索ECoG控制手指动作的作用。ECoG是一种半侵入性信号,通过放置在大脑皮质表面顶部的植入电极直接记录来自皮质的脑电信号。ECoG不会穿透皮质,并且比EEG信号具有更高的空间特异性、信噪比和带宽。将ECoG电极网格植入患者大脑皮质表面后,要求患者使用假肢手臂执行各种手指动作,发现低频局部电机电位和高伽马频率(70~150 Hz)范围内的ECoG功率与抓取参数密切相关,这些特征为假肢的闭环控制提供了良好的参考依据[19]。Jang等[20]使用了一种更精确的解码技术用于手部运动功能障碍患者的BCI系统,研究者让18例癫痫患者执行伸手和抓握动作,收集执行动作时和进行想象运动的ECoG,并利用变分贝叶斯最小二乘法进行信号分析。结果显示,变分贝叶斯解码模型能够成功预测手部运动的想象轨迹,且运动执行和运动想象交替进行的范式中,想象轨迹的解码精度更高。
在上述BCI技术中,EEG具有非侵入性、设备成本相对较低、时间分辨率较高且可便携等优点,但存在空间分辨率低、信号易受干扰、个体差异大等不足[21-22];MEG具备高时空分辨率、可直接反映神经活动的特征,不过其设备成本高昂,限制了普通实验室及机构中的广泛应用[23];ECoG信号质量高、空间分辨率较高、适用范围广,但由于其侵入性的特征,应格外注意安全问题;fNIRS分辨率高,可同时监测大脑的多个区域,但响应时间相对较慢,可能不适合更复杂的认知任务[10]。这些技术各有其优势和局限,在BCI技术的发展进程中都有着独特的地位与研究价值,其应用场景和发展方向也因自身特性而有所不同。
4. BCI-外部装置结合与义指精细动作
BCI技术可实现大脑与外部设备间的信息联通,并能够使设备实现用户意图[24]。目前,外部装置的研究[25]集中在BCI技术操控外骨骼或虚拟现实(virtual reality,VR)对象,实现对运动功能的增强或恢复。
4.1 BCI-外骨骼系统与义指精细动作
BCI-外骨骼系统通过BCI采集和分析人脑信号,并将其转化为控制指令,驱动外骨骼设备带动手部进行训练,帮助因各种原因导致的手部功能受损患者完成日常精细动作,提升生活质量。
2016年,Hotson等[26]通过映射控制每个手指动作的脑区,将假肢经过“编程”后与手指移动关联,并与放置在志愿者体内的电极连接,随后患者想象移动手指时,假肢就会完成相应的动作。该试验第1次实现了通过脑部来控制机械假肢的单根“手指”。中国研究团队在BCI技术上也实现了新突破,研发出基于可穿戴脑电帽控制的外骨骼系统,成功助力患者实现手部抓握。该系统的运作原理是通过脑电帽提取运动意图脑电,经生物信息处理算法分析、识别后,输出相应指令,再由外骨骼气动手套驱动患者做出动作,借助此系统用脑电控制外骨骼驱动手和手臂“运动”[27]。
目前,BCI-外骨骼系统可帮助患者进行手部功能的康复,通过内置电极或电极帽的方式成功获取患者大脑信号并驱动假肢完成相应动作。相信未来随着更先进更成熟的技术发展,BCI对外骨骼设备的调控会展示出越来越显著的优越性,帮助患者实现更佳的康复效果。
4.2 BCI-拓展现实(extended reality,XR)系统与义指精细动作
BCI技术发展不断加快,逐渐拓展到了元宇宙领域[28]。XR包括VR、增强现实(augmented reality,AR)与混合现实(mixed reality,MR)等不同形式,重塑了人们对视觉及交互体验的认知。2种技术的结合为义指精细动作控制的研究提供了新思路。
2017年,Irwin等[29]在恒河猴身上开展大脑控制手指精细运动的研究,通过让猴子执行力量抓握任务(使用4指控制抓握孔径),并利用VR技术将动作在显示屏上以“虚拟手”的形式呈现,以平均目标获取率作为衡量任务执行成功与否的指标,为控制虚拟设备奠定了基础。另外,有研究[30]提出了集成AR的稳态视觉诱发电位(steady-state visual evoked potential,SSVEP)BCI系统(SSVEP-BCI)。此系统的创新之处在于把物体视觉信息与刺激目标相互融合,进而达成刺激目标与物体间映射关系的自动更新。AR设备能提供具有沉浸式的交互场景,缓解研究过程中可能导致的注意力转移的问题,运用该技术的机械臂抓取成功率达到(87.50±3.10)%。李奇等[31]设计了一种结合SSVEP和眼动追踪技术的MR脑控机械臂系统,使用轻便的MR设备在现实场景中对用户进行视觉刺激并诱发SSVEP脑电信号。同时,MR设备可实现内置式眼动追踪技术,在研究过程中记录眼动信息并提供反馈,为研究提供了更大的指令集。该系统将收集到的信号映射成控制指令,并成功控制机械臂完成抓取动作。
上述研究充分展示了BCI和XR技术融合在该领域的创新性、可行性及良好应用前景,未来有望在更多复杂精细动作控制场景以及人机交互等领域取得进一步突破,帮助手部功能障碍患者康复,为人类生活和科技发展带来更多便利。
5. 发展前景与挑战
随着技术水平的提高,BCI技术将在各个领域发挥越来越大的作用,拥有十分广阔的发展前景。BCI技术使用户能在动作产生前获取大脑运动意图,除了通过思维直接驱动义指,还能在需要快速反应的场景发挥作用。这种直接的控制方式将极大提升用户的体验感和满意度。
同时,BCI技术面临的挑战也逐渐显现。由于大脑结构复杂,产生的脑电信号不仅微弱,还会被其他噪声影响,脑电信号的采集和提取需要采用更加精确的方式;同时,从脑电信号中解码手指动作的意图涉及复杂的信号处理和特征提取,而大脑活动具有高度非线性和个体差异,因此有效且高效的解码算法是非常必要的[32]。从侵入性角度来看,目前大多数植入性BCI进行了动物实验,只有少数研究在人类中开展,这给临床应用和转化带来困难。未来,在涉及BCI技术的临床试验中,还须谨慎评估其有效性和安全性。尽早实现BCI技术的转化和应用,能够帮助更多的患者解决因手指缺失或功能不足而产生的一系列问题。
伦理声明 无。
利益冲突 所有作者声明不存在利益冲突。
作者贡献 甘迪:研究主题和思路提出,论文内容和构架设计,论文修改;黄辉:文献查阅、论文撰写;李承智:脑机接口信号采集部分的文献查阅和撰写;张诗雨:脑机接口对外接设备控制部分的文献查阅和撰写;王世源:脑机接口相关科学性审核;王韬:产学研合作项目负责人,医学科学性审核。
-
[1] 吕璐璐, 顾凡彬, 刘小林, 等. 手功能状态的评估方法与装备[J]. 中华手外科杂志, 2021, 37(1): 78-80. DOI: 10.3760/cma.j.cn311653-20200515-00218 LÜ L L, GU F B, LIU X L, et al. Methods and equipment for assessing hand function status[J]. Chin J Hand Surg, 2021, 37(1): 78-80. DOI: 10.3760/cma.j.cn311653-20200515-00218
[2] 苏栋楠. 基于EEG的精准手部中风电刺激功能康复仪研究[D]. 洛阳: 河南科技大学, 2022. SU D N. Research on EEG-based functional rehabilitation instrument for precise electrical stimulation of hand stroke[D]. Luoyang: Henan University of Science and Technology, 2022.
[3] 赵书强, 王澍寰, 徐 军, 等. 手功能评定标准的改进[J]. 中华外科杂志, 1994, 32(2): 69-72. DOI: 10.3760/j:issn:0529-5815.1994.02.002 ZHAO S Q, WANG S H, XU J, et al. Improvement of hand function evaluation standard[J]. Chin J Surg, 1994, 32(2): 69-72. DOI: 10.3760/j:issn:0529-5815.1994.02.002
[4] BERGER H. Über das elektrenkephalogramm des menschen[J]. Arch Für Psychiatr Und Nervenkrankheiten, 1931, 94(1): 16-60.
[5] 马 兰. 神经伦理研究[M]. 武汉: 华中科技大学出版社, 2018: 124-132. MA L. Research on neuroethics[M]. Wuhan: Huazhong University of Science and Technology Press, 2018: 124-132.
[6] The Brain-Computer Interface (BCI) Society. BCI definition[EB/OL]. [2025-01-15]. https://bcisociety.org/bci-definition/.
[7] PRAGYA, BISHT S, PARASHAR P. Nanotechnology-driven microemulsion based intranasal delivery to neurotechnology-driven neuralink: strategies to improve management of neurodegenerative disorders[J]. AAPS PharmSciTech, 2024, 25(7): 215. DOI: 10.1208/s12249-024-02929-0
[8] LEBEDEV M A, NICOLELIS M A L. Brain-machine interfaces: past, present and future[J]. Trends Neurosci, 2006, 29(9): 536-546. DOI: 10.1016/j.tins.2006.07.004
[9] 罗尚清, 杨 浩. 脑—机接口系统工作原理综述[J]. 医疗卫生装备, 2008, 29(8): 33-35. DOI: 10.3969/j.issn.1003-8868.2008.08.012 LUO S Q, YANG H. Review on working principles of brain computer interface system[J]. Chin Med Equip J, 2008, 29(8): 33-35. DOI: 10.3969/j.issn.1003-8868.2008.08.012
[10] PEKSA J, MAMCHUR D. State-of-the-art on brain-computer interface technology[J]. Sensors (Basel), 2023, 23(13): 6001. DOI: 10.3390/s23136001
[11] QUANDT F, REICHERT C, HINRICHS H, et al. Single trial discrimination of individual finger movements on one hand: a combined MEG and EEG study[J]. Neuroimage, 2012, 59(4): 3316-3324. DOI: 10.1016/j.neuroimage.2011.11.053
[12] BERA S, ROY R, SIKDAR D, et al. An ensemble learning based classification of individual finger movement from EEG[EB/OL]. (2019-03-25)[2024-11-26]. https://arxiv.org/abs/1903.10154v1.
[13] Johns Hopkins University. Mind-controlled prosthetic arm moves individual ‘fingers’[EB/OL]. (2016-02-15)[2024-11-26]. https://www.sciencedaily.com/releases/2016/02/160215154656.htm.
[14] PAWAN, DHIMAN R. Machine learning techniques for electroencephalogram based brain-computer interface: a systematic literature review[J]. Meas Sens, 2023, 28: 100823. DOI: 10.1016/j.measen.2023.100823
[15] LEE H S, SCHREINER L, JO S H, et al. Individual finger movement decoding using a novel ultra-high-density electroencephalography-based brain-computer interface system[J]. Front Neurosci, 2022, 16: 1009878. DOI: 10.3389/fnins.2022.1009878
[16] 李 睿, 刘宇琪, 刘卫平, 等. 一种基于手部精细运动分类的脑机接口方法研究[J]. 临床神经外科杂志, 2024, 21(4): 384-388. DOI: 10.3969/j.issn.1672-7770.2024.04.005 LI R, LIU Y Q, LIU W P, et al. Study on a brain computer interface based on decoding of precise hand movements[J]. J Clin Neurosurg, 2024, 21(4): 384-388. DOI: 10.3969/j.issn.1672-7770.2024.04.005
[17] 梁颖茵, 王 莺, 陈松林, 等. 脑磁图及其在神经科学领域中的临床应用[J]. 立体定向和功能性神经外科杂志, 2007, 20(1): 50-52. DOI: 10.3969/j.issn.1008-2425.2007.01.015 LIANG Y Y, WANG Y, CHEN S L, et al. Magnetoencephalography and its clinical application in the field of neuroscience[J]. Chin J Stereotact Funct Neurosurg, 2007, 20(1): 50-52. DOI: 10.3969/j.issn.1008-2425.2007.01.015
[18] BU Y F, HARRINGTON D L, LEE R R, et al. Magnetoencephalogram-based brain-computer interface for hand-gesture decoding using deep learning[J]. Cereb Cortex, 2023, 33(14): 8942-8955. DOI: 10.1093/cercor/bhad173
[19] FIFER M S, ACHARYA S, BENZ H L, et al. Toward electrocorticographic control of a dexterous upper limb prosthesis: building brain-machine interfaces[J]. IEEE Pulse, 2012, 3(1): 38-42. DOI: 10.1109/MPUL.2011.2175636
[20] JANG S J, YANG Y J, RYUN S, et al. Decoding trajectories of imagined hand movement using electrocorticograms for brain-machine interface[J]. J Neural Eng, 2022, 19(5): 56011. DOI: 10.1088/1741-2552/ac8b37
[21] MCFARLAND D J, WOLPAW J R. EEG-based brain—computer interfaces[J]. Curr Opin Biomed Eng, 2017, 4: 194-200. DOI: 10.1016/j.cobme.2017.11.004
[22] 肖晓琳, 辛风然, 梅 杰, 等. 自适应脑机接口研究综述[J]. 电子与信息学报, 2023, 45(7): 2386-2394. DOI: 10.11999/JEIT220707 XIAO X L, XIN F R, MEI J, et al. A review of adaptive brain-computer interface research[J]. J Electron Inf Technol, 2023, 45(7): 2386-2394. DOI: 10.11999/JEIT220707
[23] MELLINGER J, SCHALK G, BRAUN C, et al. An MEG-based brain-computer interface (BCI)[J]. Neuroimage, 2007, 36(3): 581-593. DOI: 10.1016/j.neuroimage.2007.03.019
[24] MANE R, WU Z Z, WANG D. Poststroke motor, cognitive and speech rehabilitation with brain-computer interface: a perspective review[J]. Stroke Vasc Neurol, 2022, 7(6): 541-549. DOI: 10.1136/svn-2022-001506
[25] 王 珂, 王 雷, 李文杉, 等. 脑机接口技术在脑卒中患者下肢功能康复中的应用前景[J]. 中国组织工程研究, 2025, 29(14): 3027-3033. DOI: 10.12307/2025.613 WANG K, WANG L, LI W S, et al. Application prospect of brain-computer interface technology in the rehabilitation of lower limb function in stroke patients[J]. Chin J Tissue Eng Res, 2025, 29(14): 3027-3033. DOI: 10.12307/2025.613
[26] HOTSON G, MCMULLEN D P, FIFER M S, et al. Individual finger control of a modular prosthetic limb using high-density electrocorticography in a human subject[J]. J Neural Eng, 2016, 13(2): 26017. DOI: 10.1088/1741-2560/13/2/026017
[27] 中国电子科技集团有限公司. 中国电科 14 所脑机接口技术实现新突破[EB/OL]. (2023-04-06)[2024-11-29]. https://www.cetc.com.cn/zgdk/1593322/1593325/1770771/index.html. China Electronics Technology Group Corporation. China Electric Power Research Institute’s 14th Institute has made new breakthroughs in brain-computer interface technology[EB/OL]. (2023-04-06)[2024-11-29]. https://www.cetc.com.cn/zgdk/1593322/1593325/1770771/index.html.
[28] 王 雪, 李 莎, 李荣洋, 等. 脑机接口在元宇宙中的应用研究进展[J]. 工程科学学报, 2023, 45(9): 1528-1538. WANG X, LI S, LI R Y, et al. Advances in the application of a brain—computer interface to the metaverse[J]. Chin J Eng, 2023, 45(9): 1528-1538.
[29] IRWIN Z T, SCHROEDER K E, VU P P, et al. Neural control of finger movement via intracortical brain-machine interface[J]. J Neural Eng, 2017, 14(6): 66004. DOI: 10.1088/1741-2552/aa80bd
[30] FANG B, DING W L, SUN F C, et al. Brain-computer interface integrated with augmented reality for human-robot interaction[J]. IEEE Trans Cogn Dev Syst, 2023, 15(4): 1702-1711. DOI: 10.1109/TCDS.2022.3194603
[31] 李 奇, 宗子彦, 武 岩, 等. 混合现实场景下结合SSVEP与眼动追踪的脑控机械臂系统[J]. 重庆理工大学学报(自然科学), 2024, 38(7): 93-100. LI Q, ZONG Z Y, WU Y, et al. Research on a brain controlled robotic arm system combining SSVEP and eye-tracking in mixed reality scenarios[J]. J Chongqing Univ Technol Nat Sci, 2024, 38(7): 93-100.
[32] 肖 峰. 脑机接口技术的发展现状、难题与前景[J]. 人民论坛, 2023(16): 34-39. DOI: 10.3969/j.issn.1004-3381.2023.16.007 XIAO F. Development status, problems and prospects of brain-computer interface technology[J]. People’s Tribune, 2023(16): 34-39. DOI: 10.3969/j.issn.1004-3381.2023.16.007