SMP学术成果速递（CIKM 2020）

原创社媒派SMP 社媒派SMP

题目：Aspect-Invariant Sentiment Feature Learning: Adversarial Multi-task Learning for Aspect-Based Sentiment Analysis

作者：梁斌哈尔滨工业大学（深圳）、殷熔磾哈尔滨工业大学（深圳）、桂林英国华威大学、杜嘉晨哈尔滨工业大学（深圳）、Yulan He 英国华威大学、徐睿峰哈尔滨工业大学（深圳）

会议：The 29th ACM International Conference on Information and Knowledge Management （CIKM 2020）

背景

方面类别（aspect category）情感分析旨在根据抽象的方面类别从文本中挖掘情感特征，预测该方面的细粒度情感极性，是目前自然语言处理领域备受关注的研究热点之一。目前的研究方法在处理方面类别情感分析时，大多数着眼于如何更好地提取和某一给定方面相关的情感特征。但是在大多数数据集中，很多方面的标注训练样例往往是不足的，所以单纯地针对给定方面学习细粒度情感特征将难以预测标注数据不足样例的情感类别。

我们发现在实际的数据集上，文本情感极性的表达可归类为方面相关（句子的情感表达需要依赖于特定方面才能体现出来）和方面无关（无论针对哪个方面，句子的情感表达都不会改变）两种情感表达方式。而大多数的情感表达是和方面无关的，即：替换句子中和方面对应的实体词，情感极性也不会有任何变化。于是，对于方面类别情感分析来说，更重要的是如何判断一个文本的表达方式是否是方面无关的。尤其是在缺少标注语料的前提下，如何在不需要额外的标注数据情况下提取出数据集中的方面无关情感特征并将这些特征共享给数据缺乏的方面是提升方面类别情感分析性能的关键。如下图中的例子所示：

上图（a）中绿色框里是一个真实的测试样例，但由于该测试样例对应的方面“LOCATION#GENEEERAL”缺乏标注训练数据，所以常用的模型难以识别该测试样例的方面级情感极性。此外，红色框里的句子是训练集中真实存在的标注训练样例。我们可以看到，只需要简单的将红色框中句子的目标词“service”换成方面“LOCATION#GENEEERAL”的目标词“location”并保持情感极性不变，就可以得到一个和绿色框中测试样例相对应的人造训练样例。基于此，我们可以推断出该测试样例的方面级情感极性。然而，这种简单替换的方法有可能会改变句子的方面级情感极性或者引入不合理的句子，如上图（b）和（c）所示。所以，针对该问题我们提出一个多任务对抗学习框架。并提出3种不同的网络结构，以验证提出方法的有效性。

具体来说，我们使用随机替换句子中实体词的方式生成伪训练样例，然后将真实样例和伪样例输入到判别器，判断样例是来自生成样例还是真实样例。由于两类样例分布的特点，这一判别器天然地倾向于将方面无关的伪样例数据判别为真实数据。基于此，我们使用一个门控机制接收判别器的输出特征，用于调整最后用于情感表达加权时方面的权重。即：对于方面无关的特征表达，仅需使用简单的分类就可以预测对应的结果；对于方面相关的样例，才需要使用特定方面的特征进行分类。所以，我们提出的框架主要有两个分支：1）学习特定方面的情感特征；2）挖掘方面无关的情感特征。模型整体框架如下图所示：

伪样例生成

为了使提出的框架更通用，我们使用的一个简单方法是用另一个与原来的方面实体/属性相似的方面实体来替换句子中对应的实体词。这里，我们定义的相似方面指的是，两个方面类别有相同的方面实体或属性。如“FOOD#QUALITY”和“FOOD#PRICE”有相同的方面实体，“SERVICE#GENERAL”和“LOCATION#GENEEERAL”有相同的方面属性。基于此，我们可以得到大量的基于相似方面生成的伪样例。

多任务学习

对于特定方面情感特征学习分支，我们可以使用任何的方面类别情感分析模型（ABSA Model）或常用的神经网络模型来学习针对特定方面的文本情感特征

h^m

：

h^m=\mathcal{M}(X,a)=ABSAModel(X,a,\theta^m)

这里

X

是输入文本的embedding矩阵，a是特定方面的embedding向量,

\theta^m

代表模型的所有可调参数。然后，我们将情感特征输送到分类器上学习特定方面的情感特征表示，其损失函数如下：

\mathcal{f}(\theta_{ac})=- \sum\limits_{i=1}^{N_r}\sum\limits_{j=1}^Sq_i^jlogC(\mathcal{M}(X))

这里

N_r

和

S

分别是真实样例数量和情感类别数量，

P_i^j

是真实情感标签分布，

\theta_{ac}

代表特定方面情感分类对应的所有可调参数。

对于挖掘方面无关情感特征分支，我们使用一个简单的双向LSTM网络（Bi-LSTM）作为特征提取器，旨在提取输入文本的方面无关特征:

h_t^f=\mathcal{F}(X_t)=Bi-LSTM(X_t,h_{t-1}^f,\theta^f)

这里

X_t

是当前时刻的词向量，

h_{t-1}^f

表示上一时刻的隐藏层输出，

\theta^f

表示特征提取器的所有可调参数。然后，我们使用一个判别器来同时判断输入文本的方面类别和样例类别（真实/伪造），其损失函数表示为:

\mathcal{f}^a(\theta_d)=-\sum\limits_{i=1}^N\sum\limits_{j=1}^Ay_i^jlog\mathcal{D}(\mathcal{F}(X))

\mathcal{f}^s(\theta_d)=-\sum\limits_{i=1}^Nz_ilog\mathcal{D}(\mathcal{F}(X))+(1-z_i)log(1-\mathcal{D}(\mathcal{F}(X))

这里

A

是方面类别数量，

y_i^j

和

z_i

分别是真实的方面类别和样例类别标签分布。

\theta_d

代表判别器的所有可调参数。基于此，我们将提取到的特征信息输送到情感分类器中学习特征的情感极性，其损失函数表示为:

\mathcal{f}(\theta_{sc})=-\sum\limits_{i=1}^N\sum\limits_{j=1}^Sp_i^jlogC(\mathcal{F}(X))

这里

\theta_{sc}

代表句子级别情感分类对应的所有可调参数。

对抗训练

为了通过提取方面无关情感特征，以提升方面类别情感分析任务的性能。我们使用对抗方法来训练整个模型框架：

\mathcal{f}(\Theta_{sc})=\mathcal{f}（\theta_{sc}）-\alpha\mathcal{f}(\theta_d)

\mathcal{f}（\theta_d）=\mathcal{f}^s（\theta_d）+\beta\mathcal{f}^a(\theta_d)

\mathcal{f}(\Theta)=\mathcal{f}（{\theta{ac}}）+\lambda\mathcal{f}(\Theta_{sc})

这里

\alpha

、

\beta

和

\lambda

是控制不同损失项影响程度的可调整参数。对应的模型框架训练学习算法流程如下所示：

三种网络结构

为了验证所提出框架在不同网络结构中都能提升方面类别情感分析任务的性能，我们提出了3种不同的网络结构进行实验。分别是集成结构框架（ISF）、拼接结构框架（CSF）、门控结构框架（GSF），各网络结构框架如下图所示：

其中，ISF是将方面级情感分类模型同时作为特征提取器，即特定方面情感特征学习和方便无关情感提取都通过一个网络完成。CSF是将特定方面情感特征和特征提取器学习的方面无关情感特征拼接后作为分类器的输入：

h=h^f\bigoplus h

对应地，GSF是使用门控机制来接收两部分特征信息：

h=(h^mW^m+b^m)\bigotimes\sigma(h^fW^f+b^f)

实验结果

我们基于以往研究提出的10种模型在两个公开数据集上进行对比实验，实验结果如下所示。可以看到，我们提出的对抗多任务学习框架能直接和现有的方面类别情感分析模型相结合，并能有效提升模型的效果。此外，在判别器无法识别的样例中，有超过90%的样例是方面无关的，即这些方面无关的情感特征可以直接在方面类别情感分析任务中共享。

责任编辑：杨亮

继续滑动看下一个