【看点】基于脑电的无创脑机接口研究进展

近20年来，脑机接口（brain computer interface，BCI）迅速成为研究和应用的热点。自1973年Vidal首次提出脑机接口这一术语以来，脑机接口在神经科学、神经工程和临床康复等领域受到越来越多的关注。脑机接口研究的最初目的是提供一种非肌肉控制的信息交流通道，以帮助严重运动障碍患者实现与外界的交流。脑电图、脑磁图、功能磁共振成像、近红外光谱功能成像及神经元记录等监测大脑活动的方法均可为脑机接口提供输入信号。在所有方法中，脑电（electro-encephalogram，EEG）因无创、使用方便、设备价格低廉等优点成为脑机接口研究最常采用的信号。一个典型的脑机接口系统由信号采集、信号处理和设备控制3部分组成（图1）。本文仅关注基于脑电的无创脑机接口方法。

图1  基于脑电的无创脑机接口系统框图

脑机接口研究先驱在20世纪的早期工作为脑机接口领域奠定了重要的基础。1977年，Vidal开发了基于视觉事件相关电位（event-related potentials，ERPs）的脑机接口系统，通过注视同一视觉刺激的不同位置实现了对4种控制指令的选择。1988年，Farwell和Donchin提出并设计了P300拼写器，将字符排列成6×6的字符矩阵，该矩阵中的字符按行或列随机闪烁以诱发P300成分。20世纪90年代初，出现了基于感觉运动节律的脑机接口。Woplaw等训练用户自我调节mu节律的幅值，通过mu 节律幅值的变化实现光标的一维控制。Pfurtscheller等构建了基于感觉运动节律的事件相关去同步（event-related desynchronization，ERD）的脑机接口系统，从ERD的时空模式区分想象左/右手运动。与此同时，基于事件相关电位的脑机接口范式也得到了进一步扩展。1992年，Sutter开发了一种基于伪随机序列调制的视觉诱发电位（visual evoked potentials，VEPs）的脑响应接口，该系统利用视觉诱发电位可在一个8×8视觉键盘上识别用户注视的方向。1999年，Birbaumer等利用慢皮层电位（slow cortical potentials，SCPs）幅度变化控制光标一维运动，实现了名为思维翻译器（thought translation device，TTD）的文字拼写脑机接口。

21世纪后的近20年，脑机接口研究取得快速发展，参与脑机接口研究的机构和相关科学出版物的数量都大大增加，这一点在2000年以来该领域同行评审的论文数量中得以证明（图2）。

图2 以EEG和BCI为关键词，在Scopus中检索到2000—2017年发表论文的数量

脑机接口研究在算法、范式、应用3个方面均取得了很大的进步。在算法研究方面，先进的脑电信号处理和机器学习算法应用于早期的脑机接口范式（例如，基于P300电位和感觉运动节律的脑机接口）取得了显著的性能提升。在系统范式方面，基于稳态视觉诱发电位（steady-state visual evoked potential，SSVEP）的脑机接口、基于运动起始时刻视觉诱发电位（motion onset VEPs，mVEP）的脑机接口等诸多新范式相继涌现并日益成熟。基于事件相关电位的各种视听觉脑机接口被证实具有较高的信息传输率（information transfer rate，ITR）。将其他生理信号加入到传统的脑机接口中进而形成的混合脑机接口（hybrid BCI）范式在脑机接口的性能和系统灵活性方面均显现出优势。在系统应用方面，各种脑机接口的应用不断涌现，大大拓展了脑机接口的应用范围。专为交流和运动康复设计的辅助型/康复型脑机接口已被广泛应用于实验研究和临床试验，并验证了这些系统适用于肌萎缩侧索硬化症、中风和脊髓损伤患者。此外，利用脑机接口技术针对健康人群的非医学领域应用呈稳定增长趋势，涉及安全、教育、游戏、状态监测以及身体、感觉或认知能力增强等众多领域。

近年来，脑机接口技术取得了飞速的发展，众多新范式和脑电编码解码新方法不断涌现。尽管脑机接口性能得到了显著提高，目前将脑机接口系统从实验室研究推向实际日常生活应用仍面临诸多挑战。本文重点关注基于脑电的无创脑机接口，从脑机接口的类型、应用及其面临的挑战3个方面介绍基于脑电的脑机接口的研究现状。

脑机接口的分类不仅有利于总结当前脑机接口所处的水平，而且还有助于建立系统设计的通用性框架。为了对当前脑机接口系统进行有针对性的概述，本文根据脑电信号的特点将现有基于脑电的无创脑机接口系统分为3大类：1）基于事件相关电位的脑机接口；2）基于感觉运动节律的脑机接口；3）混合脑机接口。本文重点介绍脑机接口研究中广泛使用的脑电信号及相应的系统范式（表1）。需要指出的是，除脑电信号外，混合脑机接口还研究包含肌电、眼电等其他类型的生理信号，也包括近红外光谱（near-infrared spectroscopy，NIRS）等其他神经活动检测方法。

表1  基于脑电的脑机接口系统的分类

基于事件相关电位的脑机接口

1）用于脑机接口研究的事件相关电位信号。事件相关电位（ERP）原称诱发电位（evoked potential，EP），是由刺激诱发产生的脑电活动。事件相关电位的波形通常由多个波峰和波谷组成，称为事件相关电位成分。有两类事件相关电位信号在脑机接口系统中得到了广泛应用。第一类是视觉诱发电位，包括了瞬态视觉诱发电位（transient VEP，TVEP）、稳态视觉诱发电位、运动起始时刻视觉诱发电位和编码调制视觉诱发电位（code-modulated VEP，cVEP）。视觉诱发电位是由视觉刺激引起的事件相关电位，在大脑枕区具有最强响应。另一类为P300电位，它是一种在相关事件刺激后300~400 ms内出现的正向波，在大脑的中央区和顶区具有较强响应，在oddball实验范式里反映了刺激评估、选择性注意和意识区分的过程。除了上述两类事件相关电位信号，也有少许研究采用其他类型的事件相关电位信号，如听觉诱发电位（auditory evoked potential，AEP）、N2pc、错误相关负波（error-related negativity，ERN）及N400等。如图3所示，基于事件相关电位的视听觉脑机接口通过注意和心理任务调节视听觉刺激诱发的事件相关电位，用于解码感觉、知觉、和认知活动。

图3  基于事件相关电位的视听觉脑机接口范式

2）事件相关电位的刺激编码。事件相关电位脑机接口中的刺激编码方法可以通过引入通信领域的多址（multiple access，MA）技术进行系统分类。这种分类有助于促进对系统范式的理解，使其可以统一到信号调制的框架下。事件相关电位脑机接口系统中的信号调制方法可以分为时分多址（time-division multiple access, TDMA）、频分多址（frequency- division multiple access，FDMA）、码分多址（code division multiple access，CDMA）和空分多址（space-division multiple access，SDMA）。首先，时分多址允许多用户通过将信号分成不同的时隙来共享相同的通信信道。在基于事件相关电位的脑机接口中，时分多址是最为常见的多目标编码方法。基于视觉P300电位、mVEP、tVEP的脑机接口均采用时分多址方法进行调制。其次，频分多址将整个频带划分为多个独立的频带，每个频带用于不同的用户。基于稳态视觉诱发电位的脑机接口是一种典型的频分多址系统。相比于时分多址方法，频分多址方法具有更高的编码效率。再次，码分多址通过分配不同的序列来调制用户的信号。基于伪随机序列调制视觉诱发电位的脑机接口是典型的码分多址系统。码分多址的脑机接口系统与频分多址具有相当的性能。最后，空分多址将地理空间划分为多个用户的较小空间。基于空分多址的脑机接口系统可以利用视野中不同刺激位置的视网膜视图映射来诱发tVEP或SSVEP的不同空间模式。空分多址中目标数量通常受到基于脑电的视网膜定位的低空间分辨率的限制。

3）事件相关电位的解码。事件相关电位的解码可以看作是一个脑电模式识别问题，包括数据预处理、特征提取、和分类。信号处理和机器学习是事件相关电位解码中两种主要的数据分析技术。信号处理算法已被广泛应用于预处理和特征提取步骤中。数据预处理的目的是通过去除与任务无关的噪声以提高事件相关电位信号的信噪比。带通滤波和空间滤波是2种常见的预处理技术。带通滤波用于保留事件相关电位信号对应的频率范围。空间滤波则通过计算多导脑电信号的加权线性组合以找到能最大程度区分不同类别的投影方向。此外，多试次平均是提高事件相关电位信噪比的另一种有效方法。预处理之后，需提取能够反映事件相关电位信号特点的特征，通常利用信号的时空信息。除了时域和空域的特征之外，频域上的特征也被用于检测SSVEP。在特征提取之后，机器学习算法被应用于分类。诸如线性判别分析（linear discriminant analysis，LDA）和支持向量机（support vector machine，SVM）的分类器算法被广泛应用于对事件相关电位的时空特征进行分类。

基于感觉运动节律的脑机接口

1）用于脑机接口研究的感觉运动节律。在想象运动时，mu/beta节律的事件相关去同步/同步（event-related desynchronization/synchronization，ERD/ERS）对应于不同状态（例如左手和右手）显示出特有的空间模式。大量研究表明，通过反馈训练人们可以利用想象运动来调节感觉运动节律的幅值（上升或下降）。近年来，基于感觉运动mu/beta节律的脑机接口发展迅速。想象运动是实现感觉运动节律脑机接口的基本策略。例如，在由Wolpaw 及其同事开发的Wad-sworth BCI中，受试者利用其mu/beta节律幅值实现一维、二维或三维光标控制。感觉运动节律脑机接口的另一类实现方法则是利用模式分类技术对想象运动状态（例如左手和右手）进行分类。由Pfurtscheller领导的Graz BCI利用空间滤波器和分类器训练受试者产生可区分的想象运动状态，进而建立一个允许同时进行脑机协同学习的脑机接口系统。该系统可区分想象不同身体部位运动时（包括左右手、脚和舌头）事件相关去同步/同步更为复杂的时空模式。图4为基于想象运动的脑机接口系统原理示意。

图4  基于想象运动的脑机接口范式

2）感觉运动节律的特征提取和分类。检测mu/beta节律事件相关去同步/同步的常用特征包括频带能量值、Hilbert变换的幅值包络和自回归模型。时频分析因能综合考虑脑电在时域和频域的动态变化而能够提供更为详细的特征，进而提高分类性能。除了时域和谱特征之外，想象运动时事件相关电去同步/同步表现出特定的空间模式，因此空间特征的提取对于区分想象运动状态也尤为重要。例如，共空间模式（common spatial pattern，CSP）及其扩展算法滤波器组共空间模式（Filter bank common spatial pattern，FBCSP）已被证明能够高效地提取想象运动状态的任务相关信息。诸如独立成分分析（independent component analysis，ICA）的无监督方法也已被应用于提取独立的感觉运动成分，进而实现无需校准的零训练系统。另外，脑电源成像方法也被用于提取脑电源空间的空间特征。在对脑机接口的想象运动状态的分类时，脑电源成像方法显示出更高的空间分辨率和特异性等优点。此外，诸如非线性回归系数、相位锁定指数（phase locking value，PLV）的幅度和相位耦合测量等方法也被应用于提取能够反映想象运动涉及的多皮层区域间连接的大脑同步特征。特征提取之后，诸如LDA和SVM的常用分类器将特征转换为连续或离散的控制命令以操控外设。

混合脑机接口

1）混合模态。混合脑机接口是指将脑机接口与其他的生理或技术信号相结合的系统。混合脑机接口的目的是通过整合多个输入信号以提高脑机接口的性能，进而扩大终端用户群。在混合脑机接口中，至少有1种脑信号作为脑机接口的意图输入以实现实时通信或控制。根据第2种信号的模式，混合脑机接口可以分为纯粹混合脑机接口（pure hybrid BCIs）和交叉混合脑机接口（mixed hybrid BCIs）。纯粹混合脑机接口通过综合2种脑电模态各自优势以提高整体系统的性能。常用的混合脑电模态包括事件相关电位和感觉运动节律的结合（例如SSVEP-想象运动、P300-想象运动）以及2种事件相关电位的结合（例如P300-SSVEP、N2pc-SSVEP、cVEP-SSVEP）。除了脑电信号的结合之外，还可以利用其他类型的脑信号来构建纯混合脑机接口。例如，NIRS和脑电相结合的脑机接口能够显著提高想象运动的分类精度。交叉混合脑机接口将脑电与其他非脑信号相结合以实现更为精确可靠的控制。控制信号可以是生理信号（如肌电、眼电、心电）或来自其他现有输入设备（如眼动追踪系统）的信号。例如，可以通过患者的残余肌肉活动调制的肌电信号与各种脑电信号相结合实现混合脑机接口以显著提高正确率和信息传输率。混合脑机接口按不同模态信号的工作时序可以分为串行和并行2种（图5）。

图5  基于事件相关电位和感觉运动节律的2种混合范式

2）混合脑电信号。纯粹混合脑机接口中有2类不同的方法来形成混合脑电信号。一类方法是设计多个心理任务的混合脑机接口范式，通过诱发不同的脑电信号实现单一或多个维度的控制。例如，频率编码的SSVEP刺激能够叠加到用标准行/列范式编码的P300刺激上，所注视的目标刺激能够同时诱发P300和SSVEP，提高目标和非目标刺激的可区分性。同步进行的想象运动任务（想象左手或右手运动）和视觉注意任务（注视左侧或右侧闪烁刺激）将会同时产生事件相关去同步和SSVEP这2个独立的特征，进而提高系统的分类性能。另一类方法则是采用能够诱发多个脑电信号的单一类型心理任务。事件相关电位和脑节律振荡相结合能够提高脑电模式的可区分度。例如，事件相关去同步/同步与单侧化准备电位（lateralized readiness potential，LRP）的结合有助于想象运动任务的分类。

在脑机接口研究中，信息传输率（ITR）是一个被广泛用于评估脑机接口性能的指标。信息传输率定义为单位时间内传输的信息量（单位为bit/min）：

式中，M为目标数量；P为平均分类正确率；T为输出一个命令所需的时间。提高脑机接口信息传输率通常要考虑M、P和T这3个参数及其之间的相互影响。

信息传输率的发展

脑机接口系统的信息传输率在21世纪初开始得到大幅提高。2002年，Wolpaw等发表的综述中提及脑机接口的最高信息传输率为10~25 bit/min。在过去的十几年中，研究者主要从增加分类目标数量、提高目标识别算法精度、减少输出命令所需时间等方面来提高脑机接口的信息传输率。对于基于感觉运动节律的脑机接口而言，虽然高效的信号处理和机器学习算法能够提高其信息传输率，但因其信号特征来自于自发脑电活动且可分类目标数量较少等原因，其信息传输率通常低于15 bit/min 。而基于事件相关电位的脑机接口的信息传输率则取得了较大突破。基于事件相关电位的脑机接口的信号特征来自诱发脑电活动，便于增加分类目标数量。随着高效的信息编码和脑电解码方法应用，与早期相比，当前基于事件相关电位的脑机接口的信息传输率已提高了数倍。其中，P300脑机接口、SSVEP脑机接口及cVEP脑机接口的信息传输率已超过100 bit/min。与单一模态脑机接口相比，并行范式的混合脑机接口的信息传输率能够获得明显提高，但其信息传输率依赖于所采用的信号。

高速率SSVEP 脑机接口

近年来，SSVEP脑机接口的信息传输率从过去60~75 bit/min 的水平逐步提高到300 bit/min 以上。2014年，Chen等利用采样正弦编码方法开发了一套45目标的文字输入系统并获得了105bit/min的信息传输率，通过滤波器组典型相关分析方法，信息传输率进一步提升至151 bit/min。Nakanishi 等将个体校准数据引入SSVEP检测，并结合频率和相位混合编码方法，获得了166 bit/min的信息传输率。2015年，Chen等提出频率和相位联合编码方法，并以1 字符/s 的拼写速度，将信息传输率提高至267 bit/min。2018年，Nakanishi等开发了基于任务相关成分分析的SSVEP检测方法，获得了325 bit/min的信息传输率，为目前无创脑机接口报导的最高信息传输率。

在电子、计算机、通信等信息技术快速发展的推动下，脑机接口正从实验室走向实际应用。现有的脑机接口应用主要关注于用户意图的解码和输出，即用户主动执行一定心理任务编码意图，经脑电解码方法解读后转换为指令，从而实现与环境的通信交流以及对设备的控制。脑机接口连接的设备通常是辅助或康复类的设备，可以用于医学和非医学领域。除通信和控制外，脑机接口也被用于用户精神状态的实时监测。

医学领域的应用

脑机接口研究的初衷是帮助运动障碍患者。迄今为止，脑机接口的主要应用仍集中于医学领域。基于事件相关电位的脑机接口可能是最受欢迎的脑机接口系统，可作为严重运动障碍患者（例如，肌萎缩侧索硬化症患者）的辅助通信和控制方法。与感觉运动节律脑机接口相比，基于事件相关电位的脑机接口的主要优点是相对容易获取可靠的信号且所需训练较少。肌萎缩侧索硬化症患者能够利用视觉P300脑机接口在家居环境里长时间使用各种软件和家用电器。然而，对于丧失眼动控制能力的完全锁定综合症（complete locked-in syndrome，CLIS）患者而言，脑机接口应用仍存在挑战。与辅助通信和控制的应用不同，感觉运动节律脑机接口被认为是一种有效的神经康复方法，脑机接口康复训练有望帮助病人加速恢复丧失的运动功能，在中风患者人群中应用最为广泛。感觉运动节律脑机接口在假肢或功能性电刺激（functional electrical stimulation，FES）的帮助下，通过检测患者的运动意图并将其转换为实际的肢体运动。这种由大脑主动参与的康复训练被认为有助于神经回路的重组，从而加速受损运动功能的恢复。

非医学领域的应用

基于事件相关电位和感觉运动节律的脑机接口可作为一种新型的人机交互方法应用于非医学领域，特别是在娱乐和游戏行业。用于游戏开发的脑机接口可以灵活依赖于脑电信号与其他类型信号的混合控制以实现一种新颖的人机交互方式。对于健康用户而言，一个新兴重要的脑机接口应用方向是实时监测用户的心理状态（例如警觉性、注意力、压力、认知负荷、情绪等）。这一类型的脑机接口也被称为被动式脑机接口，通常可以采用混合脑机接口的形式，在必要时还包括其他生理或环境信号，以更全面地了解用户的状态。被动式脑机接口可为驾驶安全、教育、用户体验或神经营销等领域提供更客观的评价。尽管还处于实验室研究的早期阶段，脑机接口在非医学领域的应用数量呈现出稳定上升的趋势，并且具有更为广泛的应用人群。

尽管各种脑机接口范式的可行性已得到验证，但是将现有的脑机接口技术由实验室研究阶段推向实用化阶段仍面临诸多挑战。首先，脑机接口的性能尚待提高，脑电编解码技术的突破是提高系统信息传输率的关键。其次，脑机接口的实用化很大程度上依赖于移动式脑机接口平台的开发。此外，脑机接口的广泛应用将对融合人脑和机器的新型脑机交互和脑机融合技术提出更高的要求。

脑电编解码技术

脑机接口的性能是实现脑机接口实际应用的关键因素。由于脑电技术的局限性，通讯速率瓶颈问题尚未解决。特别是在复杂的环境下，较低的信息传输率仍是脑机接口应用的主要障碍。脑电编解码技术的改进是提高脑机接口信息传输速率的关键，所面临的挑战主要包括以下2个方面。

1）分类正确率在信息传输率的估算中至关重要。通过脑电编解码技术提高分类正确率的研究可归纳为2个方向：（1）提高任务相关脑电信号的信噪比。先进的信号处理算法已被应用于去除伪迹、空间滤波以及特征提取。（2）最大化多个目标的可分性。为此，基于机器学习的分类技术已被广泛应用于特征提取、特征组合和分类。此外，通过在脑电信号中编码更多的特征信息（如混合脑电信号）也可提高多个目标的可分性。

2）可识别目标数在信息传输率的估算中也起着重要的作用。在基于感觉运动节律的脑机接口中，因脑电模式的低空间分辨率导致其目标数量非常有限（比如想象手、脚、舌头运动）。目标数量可通过启用二维和三维连续移动控制提高。基于事件相关电位的脑机接口在实现较多目标数量方面表现出独特的优势，采用通信领域的多址技术可以编码大量目标。随着神经解码技术的发展，脑电信号有望用于解读更高维度、更抽象的思维信息。

移动式脑机接口

虽然基于脑电的脑机接口在性能上获得显著提升，但实际的脑机接口应用因缺乏便携以及诸如涂抹导电膏等繁琐的系统设置而受限。开发移动式脑机接口平台有助于脑机接口系统走出实验室进入日常生活。设计移动式脑机接口系统需要解决如下3方面的挑战。

1）移动式脑机接口系统需要先进的脑电传感技术以替代基于导电膏的电极皮肤接触，这些步骤在传统高密度脑电系统中需要较长时间才能完成。干电极等新型脑电电极技术有望用于实现即戴即用的脑电信号采集。

2）利用移动式硬件进行刺激呈现、信号获取和数据采集的便携式平台是扩展脑机接口应用所必须的。诸如智能手机等移动设备的快速发展使实现真正便携式脑机接口成为可能。

3）伪迹去除技术对于移动式脑机接口是必要的。一般而言，在实验室环境下受试者被要求保持静止状态且只关注于实验任务以获取干净的脑电记录。然而，在日常生活中，因为用户的行为不受限制，运动伪迹和环境噪声将对脑电信号造成严重的干扰。

从脑机交互到脑机融合

经过最近20年的快速发展，基于脑电的脑机接口系统的构建方案已相对完善。由人脑、脑机接口、外部设备直接参与的脑机交互过程逐渐转变为脑机接口研究的重点。目前，基于在线闭环脑机接口的脑机交互研究面临诸多挑战。

1）在脑机接口系统构成中，脑机交互体现在人脑和计算机算法间的交互学习和适应。大脑学习和机器学习的交互适应需要为脑电的个体差异和非平稳问题提供有效的解决方案。

2）在脑机接口应用中，脑机交互体现在人脑和设备或环境之间的信息交互。基于视听觉反馈和神经调控技术构建的双向闭环脑机接口系统需要具备更高的效率和可靠性。

3）随着人工智能和机器智能技术的快速发展，借助脑机接口构建的脑机智能技术将成为脑机接口发展的新方向。新型脑机混合智能需要兼具生物智能（感知、记忆、推理、学习）和机器智能（整合、搜索、计算）的优势。

在过去的20~30年，基于脑电的无创脑机接口技术取得了前所未有的进步。除了帮助运动障碍患者实现与环境进行交流的最初目的外，当前脑机接口应用已经扩展到包含大脑状态监测、神经康复及认知增强等诸多领域。广义的脑机接口系统可以重新定义为一种利用在线脑信号分析技术以影响人与环境实时交互的平台。目前脑机接口技术更注重于通过人脑与输出设备之间的交互实现脑机一体化的融合。更多实际的脑机接口应用将被用于进一步研究脑机动态交互过程中人脑与设备间的相互作用，并以此为基础开发更高效的脑机融合方法与系统。在不远的将来，以神经信息获取、解析、调控、脑机融合为重点的新型脑机智能研究将推进脑机接口技术取得重大的创新和突破。

作者简介：陈小刚，中国医学科学院北京协和医学院生物医学工程研究所，助理研究员，研究方向为脑机接口；王毅军（通信作者），中国科学院半导体研究所，研究员，研究方向为脑机接口和神经计算。

来源：科技导报

往期文章推荐