背景知识补充 

知识图谱可以表示为 ζ=(ϵ,R)，其中 ϵ 和 R 分别表示集合中的实体（结点）和关系（边）。对于三元组可以表示两个实体节点之间存在边 r。嵌入模型试图学习实体、关系以及得分函数的有效表示，以达到当给定一个三元组作为输入时，得分函数 f(t) 可以给出 t 是真实三元组的概率。 

图注意力神经网络（GATs） 

图注意力神经网络 （GANs）不同于图卷积神经网络（GCNs）将所有邻居实体的信息赋予相同权重的策略，采用了按照邻居实体结点对给定实体结点的不同重要程度分配不同权重的策略。表示该神经网络中一层结点中的输入特征集合。该层生成的变换后的特征向量为，其中和分别表示实体的输入嵌入向量与输出嵌入向量，N 表示实体（结点）的个数。单独的 GAT 层可以描述为下述公式：

其中表示知识图谱中边的注意力值，W 是一个可以将输入特征映射到更高维的输出特征空间中的参数化的线性转化矩阵，a 是所选择的注意力函数。

每个边的注意力值表示边的特征对源结点的重要程度。此处相对注意力值通过对邻居集合中得出的所有注意力值进行 softmax 运算得出。公式（2）展示了一个输出层。

GAT 运用多头注意力来稳定学习过程。连接 K 个注意头的多头注意过程如公式（3）所示：

其中 || 表示连结方式，σ 表示任意的非线性函数，表示由第 k 个注意力机制计算的边的归一化系数，表示第 k 个注意力机制对应的线性转化矩阵。为达到多头注意的目的，在最终层的输出嵌入向量是通过计算平均值得出的而不是采用连接操作得出的。如公式（4）所示：

关系十分重要

虽然 GAT 取得了成功，但是由于忽略了知识图谱构成中不可或缺的关系（边）上所具有的特征，所以 GATs 方法并不适用于知识图谱。在知识图谱中，实体依据与它们相连的关系在三元组中具有不同的作用。因此作者提出了一种将关系与相邻节点特征相结合的新型方法构建潜入模型。据此，定义了一个单独的注意层，它是构成本文中提出的模型的构建单元。与 GAT 类似，本文中的框架对注意力机制的特定选择是不可知的。

本文提出的模型中的每一层都将两个嵌入矩阵作为输入。实体嵌入矩阵用矩阵来表示，其中第 i 行表示实体的嵌入向量，表示实体总数，T 表示每个实体嵌入向量的特征维数。用一个相同结构的矩阵来表示关系的嵌入向量矩阵。然后该层输出两个对应的嵌入矩阵和。

为获得实体的新的嵌入向量，学习了一种与相连的每一个三元组的表示。如公式（5）所示，通过对实体和关系特征向量的连接进行线性变换来学习这些嵌入，这些特征向量对应于一个特定的三元组。

其中是一个三元组的一个向量表示。向量、与分别是实体、和关系的嵌入向量。除此之外，表示线性转化矩阵。该模型学习了每一个三元组的重要程度，用表示。之后用一个权矩阵作为参数进行线性变换，然后应用 LeakyRelu 非线性得到三元组的绝对注意值（如公式（6））。

如公式（7）所示，为了获得相对注意力值，对所有进行 softmax 运算。图三展示了对于一个三元组相对注意力值的计算过程：

其中表示所有与实体相邻的实体的集合，表示连接实体与的关系的集合。实体的新的嵌入向量是由对每一个三元组表示向量按注意力值进行加和得到的。如公式（8）所示：

为了稳定学习过程，且压缩更多的有关邻居结点的信息，采用多头注意力机制。将 M 个独立的注意力机制用来计算，将其连接，可以表示如下：

图四展示了图注意力层结构。如公式（10）所示，将一个权重矩阵作用于关系嵌入矩阵 G 进行线性变换，其中 T' 是输出的关系嵌入向量的维度。

在模型的最后一层作者采用对最终的实体的嵌入向量取平均的方式而不是像多头嵌入一样采用连接嵌入。具体公式如下：

但是当学习新的嵌入向量时，实体丢失了它们最初的嵌入向量信息。因此为了解决这个问题，作者通过用一个权重矩阵对进行线性变换得到。其中表示本文模型中作为输入的实体嵌入向量，表示转化后的实体嵌入向量，表示初始实体嵌入向量的维度，表示最终实体嵌入向量的维度。作者将最初的实体嵌入向量的信息加到从模型最终注意力层获得的实体嵌入向量矩阵上，公式如下：

在本文的架构中，作者通过将两个实体间存在的多跳关系作为辅助关系的方式将边的定义扩充为有向路径。这个辅助关系的嵌入是路径中所有关系的嵌入之和。本文的模型迭代地从一个实体的遥远邻居那里积累知识。

如图 2 所述，在本文中模型的第一层，所有实体捕捉了与它们直接相连的邻居信息，在第二层中，U.S 结点从实体 BarackObama、EthanHorvath、Chevrolet 和 WashingtonD.C 结点聚集信息，这些节点中已经从之前层中获得了他们邻居节点 MichelleObama 和 SamuelL.Jackson 的信息。

总之，对于一个 n 层模型来说，传入的信息是根据 n 跳相邻的邻居计算得出的。学习新的实体嵌入向量的聚合过程和相邻多跳结点间的辅助边的引入在图二中都有所展示。对于每一个主要的迭代过程，在第一层之前，在每一个广义的 GAT 层之后，作者对实体的嵌入向量进行了规范化处理。

训练目标 

作者提出的模型借鉴了平移得分函数的思想，使得在学习嵌入向量的过程中，假设给定一个真实的三元组，存。作者尝试学习实体和关系嵌入来最小化由给出的 L1 -范数不相似测度。并用 hinge 损失来训练本文中的模型，具体公式如下：

其中 γ>0 是一个边缘超参数，S 是正确的三元组集合，S' 表是不正确的三元组集合。S' 按照如下形式给出：

解码

本篇模型采用 ConvKB 作为解码器，卷积层的目的是分析三元组各个维度上的全局嵌入特性，并归纳出模型中的转化特性。根据多个特征映射得到的得分函数可以写成如下形式：

其中表示第 m 个卷积过滤器，Ω 是表示过滤器数量的超参数，* 是卷积运算符，表示一个用于计算三元组最终得分的线性转化矩阵。模型用软边界损失函数来进行训练。

当时，；当时，。