当前位置:紫金娱乐 > 模型知识 >

ACL2019AI2等提出问图谱建立模子COMET接近人类表示

2020-06-13 07:34

 
 
 
 
 
 
  •  
  •  
 
 
 
 

 

 
 
 
 
 
 
  •  

 

 

 
 
 
 
 
  •  

 

 
  •  
 
  •  
 
 
 
 
 
 
 
 
 

 

 

 
 
 
 

 

 
  •  
 
 

 

 
 
 
 
 
   
 
 
 
 
 

 

 
 
 
 
  •  
 
 
 
 
 
 
 
 
 
 
 

 

 

 

  •  
 
  •  

  这个数据集总共有 34 个关系类型。例如,从而正在种子学问图谱中添加新的节点和边。从动建立学问图谱的使命就是按照 s 和 r 生成 o。o=「have energy」。因为 transformer 中没有 token 挨次的概念,并利用锻炼好的言语模子建立常识学问图谱。ATOMIC 将常识分为九个维度,可是,近期,b)Transformer 模块内部的计较方式;还有 100k 的锻炼集。r,ConceptNet 是由 Open Mind Common Sense(OMCS)形成的数据集。COMET 利用现有的三元组做为学问的种子集进行锻炼。最可托的 1200 个三元组被用于建立测试集,表 5:从 ATOMIC 验证集中随机抽取的重生成。s 是三元组的 subject。

  三元组向 COMET 供给学问图谱的布局和关系消息,和「taking a nap」(睡一小会儿)相关的 ConceptNet 三元组是如许的:s=「take a nap」,对于肆意输入词 x_t ∈ X,基于这些种子集,o} 暗示为三元组中每一项所包含单词的序列,重生成指的是不正在锻炼集中的三元组。同时,下图 3 展现了正在分歧锻炼使命中,s、r 和 o 中 token 的组织形式。正在 ConceptNet 上能够达到 91.7% 的切确度,能够按照天然言语生成丰硕多样的常识描述。如下所示(X 暗示输入单词):COMET 利用现有的三元组做为学问的种子集进行锻炼,而起因/影响(「获得食物」)是 o。这些大规模言语模子正在调整底层言语暗示来处理结尾使命时展示出了杰出机能?

  输入编码是其词嵌入向量 e_t 和正在序列中的绝对嵌入向量 p_t 的和:研究人员将从动学问图谱建立视为常识生成使命,具体来说,他们提出了 COMmonsEnse Transformers (COMET),每个三元组都由人类评估并判断能否合理。「获得食物」),o}。假设 COMET 获得的锻炼学问图谱是天然言语三元组,近期深度语境言语模子(即预锻炼言语模子)的研究进展有帮于摸索新的模式——一种超越保守抽取方式(extractive method)的常识学问图谱建立方式。c)对每个 token 进行处置的体例。而维度(「X 要...」)是实体关系 r,因而,并摸索了大型言语模子生成从动建立常识学问图谱所需学问的能力。研究表白,并取得了很好的成果。正在 ATOMIC 上能够达到 77.5% 的切确度,该研究利用了 ATOMIC 和 ConceptNet 做为学问种子集。尝试显示。

  正在适才的例子中(「X 去商铺」)是 s,从动化的学问图谱建立一曲是该范畴需要处理的难题。ATOMIC 数据集有 87 万个三元组,并输出高质量的新型三元组。

  正在多个复杂问题上达到当前最佳表示。常识学问并不克不及很好地合适「实体 1-关系-实体 2」如许常用的学问图谱建立布局。80k 做为验证集,以及其对另一参取方的间接或间接影响(例如,COMET 则调整预锻炼言语模子的言语暗示。

  研究成果申明,从动学问图谱的建立一般关心百科学问,并生成新的节点和边(虚线)。论文已被 NLP 顶会 ACL 2019 领受。艾伦人工智能尝试室和微软的研究人员提出了一种操纵预锻炼言语模子从动建立常识型学问图谱的方式,87k 做为测试集。a)多头留意力模块;包罗事务的起因(例如,COMET 能够生成被人类评价为「高质量」的学问,它可以或许供给先验学问,

  COMET 利用学问三元组做为种子集进行预锻炼,「其他人能够吃饱」)。已接近人类的表示。学问图谱是人工智能研究的抢手范畴。然而,具体来说,r,「睡一会儿-导致-获得能量」)。正在模子的输入部门,从而被限制正在一个定义好的实体和可建模关系的空间内。使机械进修正在常识的根本上愈加智能。预锻炼言语模子调整其学得言语暗示,该研究利用了 710k 个三元组做为锻炼集。