资讯详情

TransX 系列,知识图谱嵌入(KGE)论文阅读

TransX 系列(一)


上篇文章 重点介绍了 TansE 算法的实现原理和核心思想:找出 (相对较高的信心)三元组做预测


文末还提到,这种方法也有特定的缺陷,语义关系不能很好地处理,特别是在一对多关系模式下,如下图所示:

在这里插入图片描述


在替换了三元组的尾实体向量后,这些新的三元组具有较高的信誉,其中真正的三元组命中率相对较高(参考上一篇文章),但这些尾实体之间的语义关系无法判断, ,后续的改进方法是破坏这种翻译路径的独特性,重建向量空间(考虑关系)以改善它TransE语义识别问题…】它们无限接近数学表达,不知道四尾实体的语义联系和区别。例如,我们都得了100分,被系统划分为优秀的学生,但我和你是什么样的人,什么共同点和差异,系统不知道,它唯一知道的是我们学习关系很好,甚至认为我和你没有区别,我等于你,你等于我…,这样做的后果是正在使用mini-batch SGD更新参数,这些样本三元组放弃使用,因为它们被认为是一样的,所以这些原本属于例子的三元组不会出现在hit@10中,这直接导致预测的命中率下降,对模型的精度和实验结果都会造成影响


还有,TransE不能判断自反关系,给出一个三元组,如果在训练中,另一个三元组,当然,换头实体向量和尾实体向量只取代一个,有一种情况,取代三元组A实体向量之一,出现(我,爱,你)三元组,取代三元组B,出现(你,爱,我)三元组,事实上,这两个三元组是自反关系,如下图所示:

处理这两个三元组时,如果是 TransE 这种翻译方法可以通过计算得到错误的结果:



TransH

如图所示,头实体向量 h 和尾实体向量 t 并非投影到 xoy 平面,但将每种关系建模成一个超平面(可以使实体及其关系之间的表达方法多样化,解决实体之间无法区分语义的缺陷),将三元组中的头实体和尾实体映射到超平面,TransH将关系解释为超平面上的翻译操作。每种关系都有两个向量,超平面范数 (用于计算映射后的实体向量) 和超平面上的平移向量 dr :


得分函数和损失函数的设计 TransE 形式是一样的。不同的是,在损失函数中增加了约束条件,负采样方法也得到了改进:

上述替换策略,如一对多,增加了头部实体替换的可能性,从而构建负例,这是有益的。另一方面,想象一下,如果尾部实体被替换,我们文章中的第一张图片很容易,t1 替换成 t2 或 t3 或 t4.不利于识别自身特异性,或者负采样质量不高。另一个改进是三维设计。由于投影到关系超平面后建立的向量,其原向量可以不同,因此得到了改进 TransE 的固有缺陷


TransR

虽然TransH模型使每个实体在不同的关系下有不同的表达方式。它仍然假设实体和关系处于相同的语义空间,这在一定程度上限制了它TransH表达能力。TransR模型为不同的关系建立了自己的关系空间,并在计算时将实体映射到关系空间(不同的) r 使用不同的投影矩阵 Mr),然后从头到尾建立实体的翻译关系。


的区别:

TransR 在关系空间中直接探索转换,转换后的空间维度可能与以前不同,但更直观

TransH 在超平面上进行的探索仍在公共语义空间中进行,即实体和关系仍嵌入在同一三维空间中


TransX 系列是平移距离模型,思路主要是利用基于距离的评分函数对关系进行评分,进行训练

目前这里还有很多类似的模型,,有时间再更新…

标签: 风门开闭状态传感器kge22

锐单商城拥有海量元器件数据手册IC替代型号,打造 电子元器件IC百科大全!

锐单商城 - 一站式电子元器件采购平台