英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
基于Translating on Hyperplanes的知识图谱嵌入
Zhen Wang1lowast;,Jianwen Zhang2,Jianlin Feng1,Zheng Chen2
1Department of Information Science and Technology,Sun Yat-sen University,Guangzhou,China
2Microsoft Research, Beijing, China
摘 要
本文的工作是将一个由实体和关系组成的大型知识图谱嵌入到连续的向量空间。TransE是当下非常流行的一个算法，不仅相当高效，而且有着目前最先进的预测性能。本文讨论在知识图谱嵌入时应当考虑的关系映射属性，例如：关系反射性，1-N、N-1、N-N这样的复杂关系。然而TransE在这些属性上表现的不够理想。一些复杂模型以牺牲效率为代价来试图解决这些映射属性问题。为了平衡算法的复杂度和效率，本文提出了TransH模型。该模型将关系看作为一个超平面，在超平面上作平移操作。TransH可以在保持跟TransE同复杂度的前提下，解决关系映射属性的问题。此外，实际上的知识图谱是很难真正完成的，如何构造负样本减少在模型训练中的假阴性率是很重要的。利用关系的1-N/N-1映射属性，本文提出了一个小技巧来试图降低假阴性率。本文还在WordNet和Freebase基础数据集上对链接预测、三元组分类和关系事实抽取进行了广泛的实验。实验表明，TransH与TransE相比，预测的准确性和算法处理能力都有了显著的提高。
1.介绍
知识图谱，例如：Freebase(Bollacker et al.2008)，WordNet(Miller 1995)和GeneOntology(Ashburner et al.2000)已经成为了搜索引擎、问答系统等与人工智能相关应用的重要资源。知识图谱是由实体表示节点，关系表示边的多关系图。一条边的实例就代表一个事实三元组(head entity,relation,tail entity)(通常表示为)。在过去的十年中，知识图谱的构建已经取得了很大的进展。然而，支持计算的一般范式还不清晰。存在有两个挑战：（1）知识图谱是符号和逻辑系统，然而应用过程中需要在连续空间进行数值计算；（2）很难构建完整的知识图谱。传统的形式逻辑推理方法在处理大规模知识图谱时既不有效也不健壮。最近有研究者提出了一种新的方法解决这个问题，该方法尝试将知识图谱嵌入到一个连续的向量空间，同时保持原图的特定属性（Socher et al.2013;Bordes et al.2013a;Weston et al.2013;Bordes et al.2011;2013b;2012;Chang,Yih,and Meek 2013）。例如，每个实体(或者)被表示为向量空间中的一个点(或者)，同时关系看作向量，表示在空间的平移、反射等操作。实体和关系的表示通过最小化一个涉及所有实体和关系的损失函数来求得。因此，单一实体/关系嵌入表示编码知识图谱的所有信息。然后，嵌入表示可以服务各种各样的应用。比较直接的一个应用就是补全知识图谱遗失的边。对于任何候选三元组,我们可以通过和进行操作来确定它的正确性。
一般来说，嵌入知识图谱将一个实体表示为维向量(或者)，并且定义了一个得分函数来测量嵌入空间三元组的可信度。该得分函数隐含了在实体对间的翻译。比如，在TransE(Bordes et al.2013b)中，,i.e.,关系被表示为平移向量。对于不同的得分函数，转化所隐含的意思有些许不同（Bordes et al.2012），translation(Bordes et al.2013b),offine(Chang,Yih,and Meek 2013),general linear(Bordes et al.2011),bylin-
ear(Jenatton et al.2012;Sutskever,Tenenbaum,Salakhutdinov 2009),以及nonlinear transformations(Socher et al.2013)。当然模型的复杂度（参数的数量）也是大不相同。（详细参考Table 1和“相关工作”章节）
在上文所述的方法中，TransE(Bordes et al.2013b)是最有希望的，因为它不仅简单有效，还有着目前最先进的预测性能。然而，TransE在处理关系的反射性/1-N/N-1/N-N这些映射属性时存在缺陷。上文已经讨论了这些映射属性在嵌入时扮演的角色。一些有更多参数的先进模型能保护这些映射属性，但是时间复杂度也相应的显著增高。并且这些模型的预测性能比TransE差(Bordes et al.2013b)。这就驱使我们提出一种平衡算法的计算能力和效率的方法，能在继承TransE效率的同时克服它的缺陷。
本文首先分析了TransE在关系反射性/1-N/N-1/N-N时的问题。相应地，本文提出了一种叫translation on hyperplanes(TransH)的模型，该模型将关系解释为在超平面上的平移。在TransH模型中，每个关系是由两个向量表示，超平面的法向量和在超平面上的平移向量。对于一个表示了现实世界知识的三元组，和在超平面的投影将被平移向量以低误差连接。这个简单的方法克服了TransE在关系反射性和1-N/N-1/N-N复杂关系的缺陷,同时保持了与TransE相当的复杂度。关于模型训练，本文指出仔细构造负样本在知识图谱嵌入中是重要的。通过利用关系的映射属性，本文提出了一个降低假阴性率的小技巧。本文还通过在WordNet和Freebase基础数据集上进行的链接预测、三元组分类和关系事实抽取实验，结果表面TransH在不同的评估方法上预测准确性都有显著提高。本文同样比较了TransE和TransH的运行时间。
2.相关工作
相关研究方法简要地总结在Table 1.所有的方法都是将实体嵌入到向量空间，然后计算得分函数。不同的方法有着不同的得分函数，表示着在和上的一些转化。
TransE(Bordes et al.2013b)用平移向量表示关系，使三元组嵌入的实体能被以低误差连接。TransE是高效的，同时有着先进的预测准确性。然而在处理关系反射和1-N/N-1/N-N复杂关系时存在缺陷。
Unstructured是TransE的简化，它将图看作单关系的并且设置平移向量,i.e.，得分函数为.它在(Bordes et al.2012;2013b)中被看作为一个不成熟的基线。显然，它是不成熟的。
Table 1:不同方法的得分函数和复杂度.
和是实体和关系的个数，通常是。是嵌入空间的维度。是神经网络隐藏层节点个数。
Distant Model(Bordes et al.2011)介绍了实体在一个关系上两种独立的投射。它将关系表示为一个左矩阵和一个右矩阵。不同的是，和之间的距离由测量。(Socher et al.2013)指出该模型在捕捉实体和关系间的相互关系是欠缺的，因为它使用两个独立的矩阵。
Bilinear Model(Jenatton et al.2012;Sutskever,Tenenbaum,and Salakhutdin-
ov 2009)通过二次式定义嵌入实体间的二阶相互关系。因此，一个实体的组件与其它实体的组件相互作用。
Single Layer Model(Socher et al.2013)介绍了通过神经网络的非线性转化。它将和作为输入，传递给非线性的隐藏层，然后输出层输出得分：。(Collobert and Weston 2008)提出了相似的结构。
NTN(Socher et al.2013)是目前最有表现力的模型。它通过将二阶相互关系考虑进非线性转化(神经网络)来扩展Single Layer Model。得分函数为：。根据作者的分析，即使当张量降格为矩阵，它覆盖了以上所有的模型。然而，该模型的复杂度非常高，很难运用到大规模知识图谱。
除了与知识图谱嵌入直接相关的工作，在多关系数据还有广泛的领域，例如：矩阵因子分解。请参考(Bordes et al.2013b)的”Introduction”部分。
3.基于TransH模型的知识图谱嵌入
首先定义一些符号。表示头实体，表示关系，表示尾实体。加粗符号表示对应的嵌入表示。表示正确的三元组，表示错误的三元组集。因此，我们用来表示“是正确的”。是实体集，是关系集。
3.1.嵌入时关系的映射属性
正如在介绍和相关工作(Table 1)提到的，TransE定义关系为平移向量,并且假设：如果三元组是正确的，则低。它能很好的处理非反射和1-1关系，但对于关系反射性和1-N/N-1/N-N复杂关系时有缺陷。
考虑到理想状态，如果则，无误差嵌入。我们可以直接从TransE模型中得到如下现象：
·如果并且,i.e.,是反射性的，然后有和。
·如果，，是一个N-1关系，有。相似的，如果，关系是一个1-N关系，有。
导致这个现象的原因是，在TransE模型中，在任何关系中实体的表示都是一样的，忽略了在不同关系的分布式表示。尽管TransE没有用来衡量是否为正确的三元组，它允许有一定的误差，正确的三元组的误差小，错误的三元组误差大，但以上问题仍然存在。
3.2.Translating on Hyperplanes(TransH)
为了克服TransE在关系反射性和复杂关系时的问题，我们提出了一种使实体在不同关系有分布式表示的模型。如Figure 1陈列的，对每一个关系,我们将特定关系的平移向量作用于特定关系的超平面（超平面），而不是嵌入同一个实体空间。特别的是，对于三元组，嵌入的实体和首先被投射到超平面，相应地表示为和。如果三元组是正确的，我们希望和能在超平面上以低误差被平移向量连接。
Figure 1:TransE和TransH简单的陈述
因此，我们定义的得分函数为：来测量三元组正确的可信度。通过约束我们容易得到：
|
， |
|
然后得分函数为：
|
|
如果三元组为正确的则得分低；反之，得分高。我们将该模型命名为TransH。该模型的参数是所有的嵌入实体；所有关系的超平面和平移向量。
在TransH模型中，通过将实体投射到特定关系超平面的机理，能使一个实体在不同关系上有不同的表示。
3.3.训练
为了更好地区分正确三元组和错误三元组，我们使用以下基于边际的损失韩式：
|
|
式中，是正确的三元组集，表示错误的三元组集，是正样本和负样本的差距。下章将具体介绍的构造方法。
当最小化损失函数时，以下约束必须满足：
|
，//scale |
(1) |
|
，//orthogonal |
(2) |
|
，//unit normal vector |
(3) |
约束(2)确保平移向量在超平面上。对比直接优化约束函数，我们通过软约束转化上文损失函数为下文的无约束损失函数：
式中C是衡量软约束重要性的超参数。
我们采用stochastic gradient descent(SGD)来最小化以上损失函数。正确的三元组（来自知识图谱的三元组）自由行走多次。当一个正确的三元组被访问到，一个负样本的三元组就被构造成（参考下章）。小批量后，梯度被计算，模型的参数被更新。注意到约束（3）在方程（4）中被忽略。相反的是，为了满足约束（3），我们令每个在访问每个小簇前都被保护到单元球。
3.4.降低假阴性率
正如上章所描述的，训练涉及到为每个正确的三元组构造一个负样本。之前的方法只是随机的打乱正确的三元组。例如，在TransE模型中，对于一个正确的三元组，负样本的构造只是随机的从中抽取一个实体对。然而，作为一个真正的知识图谱是很难被补充的，这种随机抽样的方法可能会导致在
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[151029]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
