资讯中心

武汉大学-京东可信人工智能联合研究中心NLP新突破,织女Vega v1问鼎GLUE并首次超越人类智能水平

在近日公布的全球自然语言处理领域顶级测试GLUE(General Language Understanding Evaluation)中,武汉大学-京东可信人工智能联合研究中心组成梦之队(JDExplore Dream Team, d-team)参与其中,其提出的织女模型Vega v1以总平均分91.3分荣登榜首夺冠,再次刷新自然语言理解技术世界纪录,超越同场竞技的微软、Facebook、斯坦福大学等企业和高校团队。

图片1.png

值得提及的是,测试中织女模型在九个子任务中的四个单项任务,即情感分类任务SST-2(The Stanford Sentiment Treebank)、语义相似度任务MRPC (Microsoft Research Paraphrase Corpus)、问句语义等价任务QQP(The Quora Question Pairs)和指代消解任务WNLI(winograd NLI)中均位列第一。尤其在情感分析任务SST 和指代消解任务WNLI 中首次超越人类智能水平,充分证明了武汉大学-京东可信人工智能联合研究中心自然语言处理技术水平在超级深度学习领域的全球领先地位。

本次夺冠的织女模型Vega v1采用“预训练-微调”范式,依托于多个重要预训练的技术创新实现突破,例如采用高效节能的并行化训练框架以及数据利用方法,使用数十亿参数量的创新模型架构、更好的自监督信号以及多粒度句子级表征等。未来团队还将考虑融合可信人工智能等技术对织女模型进行全面升级,让其不仅具有强大的文本理解能力,还能具备稳定性、可解释性、保护隐私、公平性等重要属性。

武汉大学-京东可信人工智能联合研究中心是由武汉大学与京东联合成立的科研机构,以从基础理论层面实现颠覆式创新为目标,共同开展科学研究与人才培养,研究领域包括可信人工智能、量子机器学习、超级深度学习及其他人工智能涉及的理论与技术。自2021年联合研究中心成立以来,已发表高水平研究论文8篇,其中CCF A类期刊/会议论文6篇,量子计算领域SCI一区论文1篇,遥感领域顶刊IEEE TGRS 1篇。在ICCV2021多目标跟踪竞赛的深度+视频大赛与全球自然语言处理领域顶级测试GLUE大赛中取得世界第一佳绩。

主要完成人员:钟起煌(武汉大学)、彭柯沁(北京航空航天大学)、丁亮(京东探索研究院)、刘菊华(武汉大学)、杜博(武汉大学)、陶大程(京东探索研究院、悉尼大学)

GLUE比赛官网地址https://gluebenchmark.com/

媒体报道:

https://mp.weixin.qq.com/s/vq3T68W3Ge87Mzriej48Vg

https://www.163.com/dy/article/GST9841C05199NPP.html

https://www.sohu.com/a/514305851_362042

https://www.leiphone.com/category/industrynews/H7ekLwbayS6gYDv3.html

http://www.techweb.com.cn/internet/2022-01-04/2872488.shtml

https://view.inews.qq.com/a/20220104A0CKR900