全球自然语言处理领域的顶级测试最近公布GLUE京东探索研究所与悉尼大学、武汉大学和北京航空航天大学联合组成了一个梦想团队(JDExplore Dream Team, d-team)参与其中,提出的织女模型Vega v1以总平均分91.3分夺冠,再次刷新自然语言理解技术世界纪录,微软超越同场竞技,Facebook、企业和大学团队,如斯坦福大学。
值得一提的是,织女模型在九个子任务中的四个单项任务,即情感分类任务SST-2(The Stanford Sentiment Treebank)、语义相似度任务MRPC (Microsoft Research Paraphrase Corpus)、问句语义等价任务QQP(The Quora Question Pairs)并指代消解任务WNLI(winograd NLI)中均位列第一。特别是在情感分析任务中SST 并指代消解任务WNLI 首次超越人类智能水平,充分证明了京东探索研究所在超深度学习领域的全球领先地位。
据了解,这次夺冠的织女模特Vega v1采用预训练-微调范式,依托多项重要的预训练技术创新取得突破,如高效节能的并行训练框架和数据利用方法、数十亿参数的创新模型架构、更好的自监督信号和多粒度句子级表征。据报道,未来将考虑整合可信人工智能等技术,全面升级织女模型,不仅具有较强的文本理解能力,而且具有稳定性、可解释性、隐私保护、公平性等重要属性。
京东探索研究所在自然语言处理和机器视觉领域拥有世界领先的智能人机交互技术,在国际顶级学术会议上发表了520多篇论文,获得了33项国际论文AI冠军多次获得国际奖项,专利370余项。依托JD.COM优质的应用场景,打造了新一代多模式智能客服产品,涵盖了全链客服场景。
值得肯定的是,织女Vega v1模型问鼎GLUE京东探索研究探索研究并超越人类表现的名单NLP将模型水平提升到一个新的水平,有望更好地促进智能城市、供应链管理、智能零售等应用研究,更快地促进数字智能产业的蓬勃发展。
-End-