【速览】AAAI 2020 | 图卷积中的多阶段自监督学习算法

1、图卷积神经网络

Li, Han, and Wu 2018[6]分析了图卷积本质的作用机制是一种对称的拉普拉斯平滑，但是堆叠多层反复施加这一平滑会使得信号过度平滑而丢失信息。没有办法做深这一图卷积神经网络的缺陷限制了有限监督节点的弱监督信号在graph上的传播。

2、多阶段训练算法框架

受到self-training[6]的启发，我们进一步拓展这种自训练的方式到多阶段。通过每一阶段将图卷积模型预测节点中confidence高的节点加入到有标签的训练集中，不断在整个图中扩大监督信息的利用。多阶段训练算法流程如下：

3、深度聚类

作为一种典型的自监督学习方法，DeepCluster[7]通过求解下面的优化问题来构造每个样本的虚拟标签，从而进一步提供网络训练的监督信息。

我们借助了DeepCluster[7]的思想，在graph embedding空间中实施DeepCluster[7]来构造每个节点的虚拟标签。

进一步，我们在embedding空间中设计了对齐机制，将没有标签的节点根据空间中的距离远近自动对齐到最近的类别中，从而完成监督标签的构建。对齐机制等价于求解如下优化问题：

1、层数效应

在本文的实验部分我们先探究了图卷积神经网络的层数效应，即当标签比率越低时最优的层数呈现增长的趋势。这一层数效应证明了弱监督信号需要更多层数来传播的必要性。

2、多阶段训练算法框架的优势

进一步地，我们通过探讨不同K阶段的训练算法相比于只有一个阶段训练算法的优势，可以看出，当label rate越低的时候多阶段训练框架效果提升地越明显。

3、M3S的进一步提升

最后，我们将DeepCluster的自监督机制引入多阶段训练框架。从表格中的结果来看，我们容易发现最后得到M3S算法不仅对多阶段训练算法框架效果进一步提升，而且在三个数据集不同的标签比率下取得了一致最好的结果，这充分证明了我们算法的有效性。

同时本文也提供了参数的灵敏度分析，为我们的M3S在实际中的部署提供了具体的指导。