笔记整理:孙硕硕,东南大学硕士,研究方向为根源溯源。
Citation: Zhang N, Xie X, Chen X, et al. Reasoning Through Memorization: Nearest Neighbor Knowledge Graph Embeddings[J]. arXiv preprint arXiv:2201.05575, 2022.
动机
大多数知识图谱补充方法(如TransE、ComplEx和RotatE)预测三元组的知识嵌入技术是将实体和关系嵌入到向量空间中,然后测三元组的知识嵌入技术。通过端到端训练,将所有相关知识隐式编码到参数神经网络的权值中。然而,这些方法的一个主要限制是,它们很难通过几个罕见的实体或训练中从未见过的新实体进行推理。
记忆增强神经网络的最新进展导致了分离计算处理和记忆存储的模块化架构设计。基于记忆的方法(或非/半参数方法)已成功应用于语言模型和问答等任务,具有表达能力和适应性。受此启发,本文提出了这一点kNN-KGE,这是一种通过使用邻的方法(kNN)实际上,模型线性插值的实体分布扩展知识图嵌入法。
图1 kNN-KGE不仅利用softmax (MEM头)中的物理预测,也从物理描述和训练三元组结构的知识存储中检索物理
贡献
文章的贡献有:
1.知识图嵌入的第一种半参数方法。本文的工作为通过显式记忆提高知识图推理开辟了新的途径;2.本文介绍了罕见的显式记忆或新兴实体kNN-KGE,这在实践中是必不可少的,因为KGs不断变化;3.两个基准数据集中的实验结果表明,本文的模型可以产生更好的性能,特别有利于低资源的推理。
方法
?模型框架
本文提出如下图2所示kNN-KGE模型框架。
图2 kNN-KGE模型框架
如图2所示,该模型包括实体词汇扩展三个模块(图2所示a),Masked实体模型(图b),以及从描述和三元组建知识存储(图)c)。首先提出了Masked实体模型和实体词汇扩展将链接预测转化为实体预测任务。为了解决罕见或未知实体的问题,通过锚嵌入构建知识存储([MASK]检索实体的输出表示。最后,模型输出通过记忆推理完成。
?Masked实体模型
对于链接预测,给出一个不完整的三元组(ei, rj, ?),以前的研究利用KG嵌入或文本编码表示三元组,并使用预定义的评分函数来表示这些向量。对于预训练的编码器,这些方法,如KG-BERT具有足够的泛化性和对不完全性的鲁棒性;然而,在推理中,他们必须为所有可能的三元组打分。本文简单利用掩码实体建模进行链接预测,使模型能够像掩码语言模型一样(MLM)预测正确的实体的任务。 。具体来说,掩蔽实体建模可以减少所有三元组的不正确实体、复杂的评分函数设计和负抽样。换句话说,模型只需要预测尾部或头部缺失的实体。具体来说,给定一个三元组(, rj, ek)和实体描述 ,我们将三元组与实体描述d串联起来,得到输入序列xt,如下:
该模型可以通过掩盖实体建模获得正确的实体ei。需要注意的是,掩盖实体建模的过程简单有效,推理速度比以前快bert的模型(如StAR)更快。详细比较推论时间见表1。由于plm通常使用字节将序列转换为子单元,使实体表示与标记分离,具有推理的挑战性。为了解决这个问题,本文建议扩展实体词汇表,以嵌入每个唯一的实体。
表1 比较推理效率
实体词汇扩展:由于使用子词进行实体推理并不容易,本文直接使用每个实体的嵌入,就像常见的知识嵌入方法一样。具体来说,实体 表示语言模型词汇表中的特殊符号;因此,知识图推理可以重构为屏蔽实体预测任务,如图1和图2所示。利用实体描述设计提示符,以获得这些实体嵌入(词汇中的特殊符号),如The description of [MASK] is that获得实体嵌入。给出实体描述 = (w1,…, wn),在描述的开头和结尾添加标记[CLS]和[SEP],构建输入序列xd,如下所示:
通过预测实体,优化实体嵌入(随机初始化)ei固定在蔽位置和其他参数。形式上:
?知识存储
通过上下文KG这意味着缺失的三元组可以推断出来;他们倾向于推理罕见或新兴的实体。受记忆增强神经网络最近进展的启发,本文构建了一个知识存储式记忆实体。具体来说,知识存储主要从两部分构建:代表语义信息的实体描述和代表结构知识的实体三元组。
值得注意的是,本文使用了上下文KG训练模型从两个方面构建知识存储,如图2所示;因此,罕见或新兴的实体可以显式地表现在外部存储器中,具有灵活性和适应性。实施细节如下:
:设f(·)将输入x的实体e映射到预训练中LM固定长度向量计算函数。我们使用预设计的提示符从实体描述中获得嵌入的实体。§我们使用提示输入2中相同的过程xd获取嵌入的实体,并将其添加到知识存储中。这样,我们就可以描述了(G所有实体E的描述集D)构造知识库 。
:由于不同的关系关注同一实体的不同方面,使用不同的三元组来表示实体是直观的。例如,给定三元组(Plato, lives, ?),可通过模型KGs中的三元组(Plato, nationality, Greece)希腊的推理。因此,我们也从三元组建知识存储。为了表达同一实体的不同方面,我们将包含实体的所有训练三元组添加到知识存储中。为了从三元组T中获得嵌入的实体,我们遵循它§2中相同的程序来获得嵌入的实体ei。最后,我们可以使用三元组(G所有三元组T的集合)构建知识库。
:知识存储包括描述和三元组结构的实体嵌入,可以嵌入数百万个实体。具体来说,给定的训练三元组和模型输入xt,我们定义一个键-值对(ki、vi)用于知识存储推理,ki关键是向量表示的实体嵌入f (xt)和vi是目标实体ei值。我们使用开源库FAISS最近邻近快速检索在高维空间进行。
?记忆推理
对于知识图谱补全任务,给定一个头尾实体缺失的三元组,我们使用[MASK]输出表示嵌入预测锚实体,在知识存储中找到最近的邻居。该模型使用最后一个隐藏的输出向量[MASK]根据距离函数查询知识存储d(·,·)分布。
因此,我们可以在概率分布的基础上获得K最近邻的软最大值。对于模型检索到的每个实体,我们只选择一个最近的嵌入对象来表示知识存储中的实体,因为我们的模型可能会检索到同一实体的多个嵌入对象。
为了得到目标实体,我们利用参数λ插入最近的相邻分布和模型实体预测,以获得最终值kNN-KG分布:
实验
?实验细节
数据集:FB15k-237、WN18RR
在FB15k-在237中,实体的描述来自每个实体Wikipedia页面介绍部分。
在WN18RR每个实体对应一个词的意思,描述就是词的定义。
表1 统计数据集
评价指标:Mean Reciprocal Rank (MRR) 和Hits@{1,3,10}
•实验结果
如下图3所示,本文提出的kNN-KGE可以在所有这些数据集上获得最先进的或具有竞争力的性能,特别是在Hits@1方面有显著的改进(WN18RR为0.443→0.525, FB15k237为0.252→0.280)。改进的主要原因是本文的掩蔽实体建模和知识存储提高了检索效果。注意,本文的方法可以记住KGs中的稀有实体,从而提高性能。从图4中,观察到kNN-KGE方法与之前最先进的方法相比,可以产生更好或可媲美的性能,这表明了知识存储的有效性kNN-KGE达到了最好的效果Hits@1,这进一步验证了通过记忆进行推理的优势。此外,本文的方法对于归纳设置是灵活的,因为新兴实体可以直接添加到知识存储中,这在实践中尤其相关,因为KGs可以扩展为描述新对象的三元组。
图3 WN18RR和FB15k-237的链路预测结果
图4 归纳设置下WN18RR和FB15k-237的链路预测结果
总结
本文引入了kNN-KGE,它通过在测试时直接查询实体,在转导和归纳设置中都可以优于以往的知识图嵌入模型。在两个基准数据集上的实证结果证明了本文方法的有效性,特别是在低资源设置下。kNN-KGE的成功表明,显式记忆实体有助于知识图的推理。本文的方法简单有效,可以应用于任何不断发展的KG,而无需进一步的培训。未来的工作应该探索如何从知识存储中编辑和删除实体,并将我们的方法应用于其他任务,如问答。
OpenKG(中文开放知识图谱)旨在推动以中文为核心的知识图谱数据的开放、互联及众包,并促进知识图谱算法、工具及平台的开源开放。
点击,进入 OpenKG 网站。