论文相关
摘要
KGE(knowledge graph embedding) 该模型用低维嵌入向量表示知识图谱中的每个实体和关系。该方法通常用于基于不完整知识图谱的知识图链接预测和问答。
KGEs它通常为图中的每个实体创建一个嵌入式，因为实际图中有数百万个实体，这导致了大型模型。对于下游任务，这些原子实体通常需要集成到多阶段的管道中，这限制了它们的实际价值。
本文提出了现成的transformer 编码器-解码器模型作为可扩展性和通用性KGE模型实现KG链路预测和不完整KG问答的最佳结果。将KG链路预测作为序列对序列的任务，并将先验KGE三重评分方法与自回归解码交换。与传统的KGE与模型相比，这种简单但有效的方法可以在保持尺寸降低98%，同时保持推断时间可控。
本文提出的方法称为。用序列到序列的方法实现了 (1) 可扩展性-通过使用组合实体表示和自回归解码(而不是对所有实体进行评分)来推断。 (2) 质量-我们在两项任务中获得最先进的性能。 (3) 通用性-同一模型可用于多个数据集KGC和KGQA 。(4)简单-我们使用现成的模型来获得所有的结果，没有任务或特定于数据集的超参数调优。
相关工作
链接预测(link prediction)是通过以(s, p， ?)和(?， p，o)形式回答queries，预测知识图中丢失的三元组。这通常是嵌入知识图的(KGE)模型完成。
当使用的知识图谱不完整时，仍然可以使用KGE实现KGQA。
将链接预测和问答视为序列到序列的任务。然后，我们在这些任务中训练一个简单的编码器-解码器transformer, 它与T5-small有相同的结构，但没有预训练的权重。在问答训练中，我们使用链接预测目标进行正则化。
对于链接预测，我们需要实体/关系及其文本表示之间的一对一映射。wikidata的KGs，我们使用标准的实体和关系作为文本表示，然后使用消除歧义的方案来描述文本和唯一的方案id附加到名称上。仅用于使用。QA我们不强制一对一映射数据集，因为在这种情况下，不必要的消除歧义甚至损害模型的性能。
比如：查询 (barack obama, born in, ?) ---->>>> 模型输入"predict tail: barack obama | born in"，输出"united states"
为了训练KGT5.我们需要一组序列(输入，输出)。利用teacher forcing与交叉熵损失对KGT5进行训练。与标准的KGE不同的模型，我们没有使用显式负采样训练。模型将在解码的每一步生成 可能是下一个分词 概率分布。在训练中，由于交叉熵损失的真实分布(即下一个真实性)token概率为1，其他一切token受到惩罚的概率为0)不同。
注：teacher-forcing 在训练网络的过程中，每次不使用最后一个state下一个输出state输入是直接使用训练数据的标准答案(ground truth)对应上一项作为下一项state的输入。
给定一个查询query (s,p,?), 传入KGt5模型之前将其转换为文本表示的形式。然后，从decoder 取样一些序列，并将其映射到它们的实体id。通过使用这种生成模型，我们可以用高信度估计t前m一个模型预测，而不是像传统的那样KGE模型那样对KG所有实体的评分。对于每个被解码的实体，我们分配一个等于解码序列的分数(log)概率。这为我们提供了一组(实体，分数)对。为了计算与传统KGE与模型的最终排名指标相比，我们分配了过程中没有遇到的所有实体分配了一个∞的分数。
对于KGQA，我们使用链路预测任务背景KG预训练模型。然后微调相同的模型进行问答。我们将新的任务前缀(predict answer:)连接输入问题，并将答案实体中提到的字符串定义为输出。这种统一的方法允许我们KGT5应用于任何KGQA数据集，而不考虑问题的复杂性，并且不需要实体链接等子模块。
为了在QA微调期间(尤其是KGs为了防止过拟合，我们设计了一个正则化的方案:我们从背景上KG中随机采样链接预测序列入每批，包含相等数量的批次QA链接预测序列。对于推断，我们使用基于邻域的束搜索和搜索(neighbourhood-based)重新排序以获得模型预测是一个单一的答案。