作者丨王文博

学校丨哈尔滨工程大学硕士生

研究方向丨知识图谱、表示学习

动机

由于传统模型主要存在以下问题：只对关系型三元组进行建模，而忽略了节点的属性；没有将结点的结构化信息纳入考虑范围。而随着图神经网络的提出与发展，使得 GCN 成为了获取图结构化信息的利器。

故本文中作者通过运用变种 GCN（WGCN）模型，使得节点的结构化信息得以充分利用。并根据最新的用卷积解决知识图谱嵌入问题的研究，改进了 ConvE 模型，使其保留了平移特性，构建了 Cov-TransE 模型，将上述两个模型一个作为编码器，一个作为解码器，构建了整个 SACN 模型，用于完善知识图谱。

模型

实验

基准数据集

FB15k-237 与 WN18RR

数据构造

大部分之前的方法仅仅对于实体和关系进行建模，而忽略了丰富的实体属性。本方法可以对大量的实体属性三元组进行建模。为了证明模型效率，本文从 FB24k 数据集中抽取了属性三元组用来构建评价数据集，被命名为 FB15k-237-Attr。

FB24K：FB24k 在数据集 Freebase 的基础上构建，其中只选择了至少有 30 个三元组均包含的实体和关系构成。其中有 23634 个实体，673 种关系。另外，从原始数据集中移除了可颠倒的关系。在 FB24k 数据集中可以找到属性三元组。FB24k 种包含 207151个属性三元组和 314 个属性。

FB15k-237-Attr：从 FB24k 种抽取 FB15k-237 中的实体的属性三元组。在映射过程中在最初的 14541 个节点中有 7589 个节点具有节点属性。最终从 FB24k 中抽取了 78334 个属性三元组。这些三元组包括 203 个属性，247 个关系，基于这些三元组，制作了数据 FB15k-237-Attr，使得其包括了 14541 个实体节点，203 个属性节点，484 种关系类型。

实验设置

模型 Conv-TransE 和模型 SACN 的超参数设置都是通过训练过程中的梯度搜索算法进行设置的。在此过程中人为地设定了超参数范围：学习率 {0.01,0.005,0.003,0.001}，dropout 比例 {0.0,0.1,0.2,0.3,0.4,0.5}，嵌入尺寸 {100,200,300}，核的数量 {50,100,200,300}，核的尺寸 {2×1,2×3,2×5} 。

这些模型中均使用两层的 WGCN。对于不同的数据集可以按照如下设置，使其达到更好的实验效果：对于 FB15k-237，dropout 设置为 0.2，核的数量设置为 100，学习率设置为 0.003，对于 SACN 的尺寸设置为 200；对于 WN18RR，dropout 设置为 0.2，核的数量设置为 300，学习率设置为 0.003，对于 SACN 的尺寸设置为 200；当只运用 Conv-TransE 模型时，也可以按照上述方法对朝参数进行设置。模型均采用 Adam 优化器进行训练。

结果

评价标准

将所有重组后的有效三元组移除，然后对模型进行评估。评估过程中采用 Hits@1,Hits@3,Hits@10,MRR 作为评价指标。

连接预测

FB15k-237-Attr 被用于验证属性节点对模型的影响。将其与 FB15k-237 数据集上运行的 SACN 进行对比。首先得出模型 ConvE 在四个基准模型中具备最好的实验结果。

但是本文中的模型 Conv-TransE 相对于模型 ConvE 得到的结果在数据集 FB15k-237 上，Hits@10 提高了 4.1，Hits@3 提高了 5.7，在数据集 WN18RR 上，Hits@10 则提高了 8.3%，Hits@3 提高了 9.7。从以上结果得出模型 Conv-TransE 使用神经网络保留了实体和关系之间的平移特性得到了更好的实验结果。

由于 SACN 模型加入了结构化信息，SACN 在测试集上相较于基准模型取得了更好的效果，模型相对于模型得到的结果在数据集 FB15k-237 上，Hits@10 提高了 10.2，Hits@3 提高了 11.4，Hits@1 提高了 8.3，MRR 提高了 9.4，在数据集 WN18RR 上，Hits@10 则提高了 12.5，Hits@3 提高了 11.6，Hits@1 提高了10.3，MRR 提高了 2.2。所以模型 SACN 证明了属性的重要性。

在 SCAN 模型中加入节点属性，运用 FB15K-237-Attr 来训练 SACN。在加入属性节点之前，SACN 已经得到更好的结果，但是在加入属性信息之后，SACN 模型再次被加强。使得相较于 ConvE 模型在数据集 FB15k-237 上，Hits@10 提高了 12.2，Hits@3 提高了 14.3，Hits@1 提高了 12.5，MRR 提高了 12.5；在数据集 WN18RR 上，Hits@10 提高了 1.9，Hits@3 提高了 2.6，Hits@1 提高了 3.8，MRR 提高了 2.9。

为了通过模型 ConvE 进行更好的比较，也在该模型中加入了属性信息。并证明得出在该模型中加入属性信息并不能提高模型效果。 

收敛分析

图三展示了三个模型的收敛过程，在经历几轮迭代之后 SACN 模型的收敛曲线（红线）一直优于模型 Conv-TransE (黄线)。模型 SACN 的表现过程在 120 轮迭代之后仍然持续增长。两个模型曲线的巨大差距证明了结构信息的有效性。当运用 FB15k-237-Attr 数据集时，ASCN+Attr 比单独的 SACN 模型效果更好。 

核尺寸分析

在表四中对不同的核尺寸进行分析，尺寸为 2×1 的核表示实体向量的一个属性与关系向量的对应属性之间的知识或信息转换。如果将核尺寸扩张为 2×k，其中 k={3,5}，信息在实体向量中的 s 属性组合和关系向量中的 k 属性组合之间进行转换。用更大的尺寸来收集属性信息有助于提高模型的性能。

如表四所示，在数据集 FB15k-237 和 FB15k-237-Attr 上，Hits@1，Hits@10 和 MRR 均随着核尺寸的增加而得到了提高。但是，如何选择核的最优尺寸可能要依据所要解决的任务来决定。

节点入度分析

节点有更大的度表示有更多的邻居节点与该节点相连，这种节点可以从邻居节点获得更多的信息。表五种根据度的阈值将节点划分成了不同的集合。计算 Hist@10 和 Hits@3 的均值。随着度的阈值的变大，Hits@10 和 Hits@3 的均值也在增大。

首先，对于一个入度小的节点，它受益于来自 SACN 的 WGCN 层的邻居信息的聚合，它的嵌入向量可以被稳定的计算。其次，对于具有较大入度的节点，意味着通过 GCN 可以聚合更多的信息，并且其嵌入的嵌入向量在邻居之间得到了极大的平滑。因此从 SACN 中学到的嵌入向量不如从模型 Conv-TransE 中学到的向量。对于这个问题的一种解决办法是进行邻居选择。 

总结

本文的贡献主要有以下两点：

运用 WGCN，将每一种关系类型作为一幅子图进行单独处理，并在将其进行加和，对完整的知识图谱进行处理。该过程中使用了节点的结构化信息，节点的属性信息，边的类型关系。使得嵌入向量中具备的信息更加丰富。

对 ConvE 进行修改，使其可以保留实体与关系的平移属性，得到 Conv-TransE 模型，并且该模型在加入属性信息后具备更好的表现效果，而原有的 ConvE 模型则不会随加入属性信息得到更高的表现效果，甚至一直不如模型 Conv-TransE 最原始的效果。

本文的不足之处：虽然很好的解释了如何运用 WGCN 解决实体结点的编码问题，但是对关系嵌入向量的编码过程解释过于笼统。