智源研究院发布超大规模新型预训练模型“文汇

2021-01-13 12:00:02 作者:天堂那段伤  阅读:106 次  点赞:0 次  鄙视:0 次  收藏:0 次  由 www.3ctuan.cn 收集整理
听新闻 - 智源研究院发布超大规模新型预训练模型“文汇
00:00 / 00:00

+

-

自动播放×

御姐音

大叔音

萝莉音

型男音

温馨提示:
是否自动播放下一条内容?
立即播放当前内容?
确定
确定
取消

日前,北京智源人工智能研究院(以下简称智源研究院)联合阿里、清华等多家单位发布超大规模新型预训练模型“文汇”,旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。项目由智源研究院发起的“悟道”攻关团队完成,团队成员包括智源研究院、阿里巴巴、清华大学、中国人民大学、中国科学院等。

与传统AI训练需要人工标注数据不同,面向认知的预训练语言模型提供了一种全新的学习思路,即AI首先自动学习 大量语言文字和图像数据,记忆和理解其中的信息以及人类语言表述的规律后,再进一步学习专业领域知识,从而让AI同时掌握常识和专业知识。

此次发布的“文汇”是目前国内规模最大的预训练模型,参数量级达113亿。该模型突破了多模态理解与多模态生成两大难题,可理解文本图像信息,并能完成创造性任务。例如,仅需输入诗歌题目、朝代以及作者,“文汇”即可自动生成仿古诗词。目前,“文汇”已支持基于认知推理的多种自然语言及跨模态应用任务,部分应用即将上线。

据介绍,“悟道”项目研究团队正在视觉等更广泛的范围内,对大规模自监督预训练方法开展探索研究,目前已经启动了四类大规模预训练模型研制,包括“文源”(以中文为核心的超大规模预训练语言模型)、“文汇”(面向认知的超大规模新型预训练模型)、“文澜”(超大规模多模态预训练模型)和“文溯”(超大规模蛋白质序列预训练模型)。返回搜狐,查看更多

本文关键词:文汇 , 训练 , 模型

相关文章

X

3C团-上所有的内容均由网友收集整理,纯属个人爱好并供广大网友交流学习之用,作品版权均为原版权人所有。
如果版权所有人认为在本站放置您的作品会损害您的利益,请指出,本站在核实之后会立即删除。QQ:22359512
Copyright 2006-2019 3ctuan.cn Inc. all Rights Reserved