SMP学术速递——WSDM 2021

社媒派SMP

题目:BiTe-GCN: A New GCN Architecture via Bidirectional Convolution of Topology and Features on Text-Rich Networks

作者:金弟（天津大学）, 宋祥辰（伊利诺伊大学香槟分校）, 于智郅（天津大学），刘子扬 (京东）, 张鹤龄（伊利诺伊大学香槟分校）, 成照萌(京东）, 韩家炜（伊利诺伊大学香槟分校）

会议:The 14th International Conference on Web Search and Data Mining (WSDM 2021)

文章链接:

https://arxiv.org/abs/2010.12157 (manuscript)

1.内容简介

图卷积神经网络（Graph convolutional networks GCNs）是一种通过堆叠图卷积层来集成节点高阶邻域信息的神经网络，被广泛应用于许多网络分析任务（节点分类、链路预测等）。然而，GCNs存在着不可避免的局限性：拓扑局限性（过度平滑，局部同质性），这些严重限制了其表示网络的能力。现有的工作（如拓扑优化、自监督等）主要通过将特征在拓扑上进行卷积来缓解GCNs的拓扑限制，这使得卷积结果严重依赖于网络拓扑结构。与此同时，在真实世界中，网络很多是富文本网络（即text-rich networks），多数现有方法在卷积时仅考虑了全局（文档）级别的特征信息，而忽略了局部（单词）级别的文本序列信息。为了解决这些问题，我们提出了一种新的GCN架构（BiTe-GCN），对拓扑结构和特征的进行联合卷积进而学习更好的节点特征。具体来说，我们首先将原始的富文本网络增广为一个双类型（bi-typed）异构网络，进而获取全局(文档)级别信息和局部文本序列信息。其次，我们设计了一种有辨别力的卷积机制，在同一系统中实现拓扑结构和特征的联合卷积，并针对不同目标任务自动学习拓扑结构与特征分别对目标任务的贡献。

2.方法

本文提出的框架主要由三部分构成（如下图所示）。首先，我们将原始的富文本网络增广为一个双类型（bi-typed）异构网络，使得增广后的网络既能包含全局（文档）级别信息，又能包含局部（单词）级别文本序列信息。其次，基于元路径（meta-path）的概念，利用一种有辨别力的多层次卷积机制对不同类型网络传递的节点信息进行融合，实现拓扑部分和特征部分的联合卷积。最后，利用一些常用技巧，如注意力（attention）机制，实现对网络结构和模型的进一步修正。

1）双类型（Bi-typed）网络构建

双类型（Bi-typed）网络构建可以分为两部分：词网络构建和全网络的补全。

词网络构建

在富文本网络中，每个文档节点

V_i

都和一个特征语料库中的文档

d_i

相关联(用于描述该节点的文档)。为了充分利用语料库中的信息，我们首先将语料库中的所有文档转换为词子网络

G_W=(V_W,E_W)

，

V_W

是从语料库中提取的具有代表性的单词或短语的集合,

E_W

是根据不同短语之间部分词共享构建的链接（如“text_mining”和“data_mining”共享“mining”一词，则构建一条链接）。

全网络补全

我们利用文档和词之间的包含关系，构建文档节点和词节点之间的边。具体的，文档-词子网络表示为：

$G_{DW}=(V_D\cup V_W,E_{DW})$

最后，整个网络可以表示为：

$G=G_D\cup G_{DW}\cup G_W=V_D\cup V_W,E_D\cup E_{DW}\cup E_W)$

2）联合卷积

不同于现有工作在双类型（Bi-typed）网络中以交替的方式进行信息传递，我们采用联合卷积的方式学习文档节点和单词节点的特征表示。BiTe-GCN由两级信息传递操作组成：相同类型子网络的信息传递和不同类型子网络的信息聚合。

相同类型子网络的信息传递

针对相同类型子网络，我们利用原始的GCN层实现信息传递：

$H_t^{(l+1)}=GCN_t(H^{(l)}),\forall t\in \mathcal{T}$

不同类型子网络的信息聚合

针对不同类型子网络，我们利用聚合函数AGG实现信息聚合：

$H^{(l+1)}=AGG(H_t^{(l+1)},\forall t\in \mathcal{T})$

因此，两层的BiTe-GCN模型可以表示为：

$Z=AGG_2(GCN_{2t}(AGG_1(GCN_{1t}X,\forall t\in \mathcal{T})),\forall t\in \mathcal{T})$

最后，我们采用交叉熵定义损失函数，表示为：

\mathcal{L}={-}{\sum\limits_{d\in y_D}\sum\limits_{f=1}^{F}Y_{df}lnZ_{df}},

3)数据修正

为了进一步增强网络中边的语义信息，我们分别在文档子网络和单词子网络上进行边的修正。

文档网络修正

文档网络中的边一般是通过文档之间的引用关系构建的。然而，由于文档作者自身知识的局限性，可能会引入不相关的引用，或缺失真正重要文献的引用。为了解决这个问题，我们利用文档的特征表示，通过余弦相似度来分析文档间的语义相似性，删除语义相似度较低的文档间的边，增加语义相似度较高的文档间的边。

词网络修正

我们采用两种不同的嵌入（embedding）方法空间，欧式空间（Word2vec）和球面空间(JoSE)，通过捕捉词之间的语义相似性，进一步对词子网络进行修正。

4）模型修正

我们采用多头注意力（multi-head attention）机制来学习来自文档子网络和词子网络之间的信息传递。对于单头注意力机制，其表示为：

$a_d=\rho（H_{Dd}||H_{Wd}）$

于是文档节点在单头注意力机制下的特征表示为：

$H_{d,single}=a_d\left[ \begin{array}{cc|c} H_{Dd}\\ H_{Wd} \end{array} \right]$

而文档节点最终的节点表示是对所有注意力头（attention head）的输出进行拼接，即：

H_D=\left |\right |H_{d,single}

3.实验

本文在四个真实富文本图数据集上进行了实验。数据集的统计信息如下：

节点分类结果

4.在电子商务搜索中的应用

我们的新框架同样适用于一些电子商务平台的搜索推荐场景（如下图所示）。

5.总结

针对富文本网络，我们提出了一个新的GCN架构(BiTe-GCN)，来克服GCNs的拓扑限制(过度平滑和拓扑的局部同质性)。我们的工作是第一个在同一系统中通过联合卷积网络和文本的方式来缓解GCN的拓扑限制。与此同时，基于元路径的概念，利用有辨别力的层次卷积机制，我们能针对不同目标任务（如节点分类）自动学习网络拓扑部分和文本部分的贡献。此外，我们还从文本中整合了更多的语义和知识信息：全局文档级别信息和局部文本序列信息。在四个真实数据集上的实验与消融研究表明，我们的新架构比现有工作有较大的改进。同时，我们的新架构也能很好地应用于电子商务搜索场景（如JD搜索）。最后但同样重要的是，这种新架构正交于许多现有的GCN方法，可以很容易地整合到现有方法中以进一步改善其性能。

责任编辑：杨成

继续滑动看下一个