图片来自源@视觉中国。
Inspur最近发布的巨型模型,源,1,.和0,引起了行业专家的注意。据说这个模型的参数规模在2457,已经达到了1亿,在0,00.用于训练的中文数据集已经达到了5 GB相比OpenAI。
去年推出的GPT-3模型(1750亿0参数,0)参数规模领先源,1,.040%,训练数据集规模接近1和0,因此,Inspur、源、1、http://www . Sina.com/、3http://www . Sina.com/、33http://www . Sina.com/、333http://8
在《.,0,源》上映当天,1,因普尔还同时举办了一场研讨会。来自国内自然语言理解领域的近24位专家、院士参加了研讨会,对海量模型的应用前景和面临的挑战发表了个人看法。
# #.00源1.0是什么
如上所述,?,怎么用,?,源是用51,.和0. GB中文数据集制作的,所以0,0、0、http://www . Sina.com/,本质上是一个偏向中文的巨大模型,其未来应用的突破点将主要提前在NLP(自然语言处理)领域。
在传统的人工智能语言模型训练中,由于计算资源和源,等各种限制,行业内的语言模型往往针对小场景,不具有普适性。但由于海量模型中使用的数据集足够大,形成的参数规模也足够大,最终的模型将具有更高的通用性,真正做到“见多识广”。
但是由于预训练过程中需要消耗的计算资本量巨大,1太大,一般行业做的尝试不多。此前,全球已经推出了数千亿的巨型机型,典型的就是OpenAI。
GPT3模型,其参数模型已达到.. 75亿0
据了解,源,源,1,0,源,1亿,中国用于培训的数据集是5。.,0,参数量高达,英国,2457,与GPT3相比。
0有750亿0的参数集,0,有57 GB的训练数据,参数集的规模增加了4,%,训练数据的规模增加了1和0.的近两倍
已经训练了大量的模型。价值在哪里,亮点在哪里?让我们以0.诗歌中的人工智能为例
正常情况下,人工智能写诗之前,需要有一个已经学了很多唐诗宋词的模型,人工智能才能自动填词。
。但是由于这个小模型只学习过唐诗宋词的语料,如果撰写文章,这类模型则很难完成。巨量模型就不同了,由于它提前学习的海量预料中包含了唐诗宋词、各种文体作文、甚至还是有明星八卦,所以无论问它什么,它好像都能从容作答。现场,浪潮人工智能研究院首席研究员吴韶华展示了它为源1.0的设置的指代、推理、理解等多方位的问题,比如完形填空,让AI在空白处填写正确的成语,它回答的都分毫不差。吴韶华也说,除此之外,巨量模型在写300-500字的主题创作上,也能够顺利完成。也就是说,有了巨量模型,在不久的将来,让成熟的文档自己写稿的日子或许真的指日可待了。
## 挑战在哪儿?
在过去4个月里,一群浪潮AI专家,把近5年互联网内容浓缩成2000亿词,让AI在16天内读完,终于炼成了“源1.0”。源1.0的成果得到了在座专家的一致肯定。不过对于源1.0的应用以及后续迭代上,大家也都毫不讳言。其中,受到关注最多的问题是,源1.0这样的巨量模型怎么能够跟产业场景结合,怎么能够落地使用。
在场景落地上,巨量模型首要挑战有两个,一是能不能找到杀手级应用;二是,巨量模型中包含的千亿参数怎么在低功耗的情况下落地。
对于第一个挑战,当前业界还没有最佳实践可循,巨量模型的市场化表现还有待观察。与会专家抛砖引玉指出,希望可以在中文输入法、语音翻译质量(特别是方言场景)、谣言识别、智能客服、客户端个性化推荐等场景上看到巨量模型有所作为。
不过也有专家指出,源1.0主要针对的是语言模型,但当前实际业务中,多模态模型需求是个趋势,他们希望源1.0不仅是针对中文文本的模型,在视频、图片、声音等多模态语境甚至是多语种语境中也能有所作为。
对于巨量模型低功耗落地的问题,浪潮信息副总裁刘军回应称,人工智能巨量模型在发展过程中,势必会经历“把一本书读厚,再把一本书读薄”的过程。浪潮人工智能研究院正在基于对巨量模型规律的了解和掌握,用一些科学和技术方法在保证模型效果的情况下,降低参数,进而降低使用功耗和在产业落地的门槛。“至于能不能降到像大家非常关心的在手机上用,我们今天不能保证,但是至少会朝着这个方向去做。”刘军说。
从技术上来说,专家们也表达了对巨量模型的可解释性和表现稳定性上的期待,原因在于,在实际落地的过程中,巨量模型即使有90%的可靠性,另外10%的风险也会给实际应用带来业务上的挑战。
当然,源1.0模型的成功也让学界和产业界都看到了巨量模型背后的奇妙之处。“为什么在学习了海量数据集之后,计算机可以自己解释海量问题?它背后的计算肌理是否发生了变化?”这些问题都要留待更深入的研究。
“浪潮今天已经把这个模型训练出来了,证明了效果,下一步会开放出来,让学术界和产业界大家都去用。这样使得我们在这方面的巨量人财物的投入能够成为学术界和产业界前进助推剂。”刘军总结。他相信,在学界和产业界的深入合作中,领先的智能模型、以及杀手级应用一定能够成为推进社会智能化的一部分。
(本文首发钛媒体App,作者 | 秦聪慧)