作者丨张玮玮

学校丨东北大学硕士生

研究方向丨情绪识别

引言

论文方法

▲ 图2. 不同情绪下脑电激活模式

连接模式

由于不同脑区之间的同步活动并不是单纯的线性关系，在本文中，作者提出了相位锁定（PLV）的方法来捕捉非线性相位同步，统计测量两个脑区的相位同步。PLV 的定义如下：

为了构建脑功能网络图，本文将 32 个电极作为网络节点，利用图论的知识，提取了四种脑电网络图特征（EEG based network patterns, ENP）。 

聚类指数量化了一个节点的最近邻之间存在的连接数与最大可能连接数的比例，节点i的聚类指数在中定义为：

SP-Length 表示从一个节点到另一个节点必须遍历的最小边数。

其中：

G-Efficient 度量信息在整个网络中传播的程度，是任意两个节点之间最小路径长度的调和平均值的倒数。

L-Efficient 通过观察其子网络的良好连接来衡量网络的区域专业化能力。

▲ 图3. 不同情绪下的脑功能网络图

模式融合

激活模式捕捉对情绪作出反应的局部活动，而连接模式挖掘相关脑区之间的相互作用。将这两种模式融合的难点主要是这两种特征类型中存在的冗余信息可能会意外地影响识别效果。在本工作中，将 F-score 和分类器依赖结构相结合来实现特征选择，如图 1，这样既保证了所选特征子集的分辨能力，又节省了计算量。

第 i 个特征的 F-score 定义为：

F(i) 越大，说明对应特征的鉴别能力越强。对所有 F-score 值的降序排序，本文应用支持向量机（SVM）和图正则化极值学习机（GELM）的模型，并采用 10 倍交叉验证方案来选择基于训练集的广义特征。特征选择的步骤如下： 

1. 计算训练集中所有特征的 F-score 值，并按降序排序，定义为 F，并将一个特性子集Fsel初始化为空。将最佳分类结果定义为 MaxR，并将其设置为 0。将最优特性索引初始化为空。

2. 从 f 中选择 f 得分最高的特征向量，将选择的向量加入到 Fsel 中。 

3. Fsel 进行 10 倍交叉验证,估计平均分类精度 μ。 

4. 重复步骤 2 到 4 直到遍历完毕。

▲ 图4. 特征选择过程

最大化识别器的上述损失函数，特征提取过程会产生域不变的特征，从而消减情绪识别中的域差异。

结果

为了评估本文方法的性能，本文在三个基准的基于多模态的情绪数据库上进行了实验，即 MAHNOB-HCI、DEAP 和 SEED。从本质上说，多模态信息方法的性能改进是由于利用了从激活模式和连接模式中获得的补偿信息。

实验结果如图 5 所示，多模态方法相对于单模态方法有助于提高识别性能。除了提高融合策略的性能外，还需要注意影响情绪识别的另外两个方面，一是在不同的数据集上观察到不同的准确性，SEED 数据集表现最好。另一点是，由于不同的设计目的，不同的特征选择方法可能会导致最佳特征子集的差异。

结论