书生、通义、混元、ABAB、商量……在今天举行的2024全球开发者先锋大会之大模型前沿论坛上,去年占据话题中心的多款国产人工智能(AI)大模型首次"同框"。与会专家也不约而同地谈起了"过去这一年",而非"未来会怎样",这似乎印证了对大模型的"祛魅"正在发生。
2023年,以ChatGPT为代表的大模型迅速席卷全球,给人带来一种技术即将跃迁的幻象。尽管业内认为过去一年大模型取得的进步超过以往10年之和,但总体来说大模型技术演进进入了一个相对平缓的平台期。展望未来,大模型还能带来哪些惊喜?学界和产业界应该思考什么?
大与小
"力大砖飞"是人们对ChatGPT的初印象,当人们谈论它的能力时经常用到的一个数据是,它可能消耗了全球互联网2/3的文本语料。一时间,不断扩大参数被认为是提升大语言的不二法则。
然而,过去一年的实践让越来越多从业者意识到,大模型并不完全遵循"参数越多越聪明"的定律。去年6月,微软发布的Phi-1只有13亿参数,能力超越了Meta拥有70亿参数的Llama2,它用事实证明参数的质量比数量更重要。事实上,这也是业内对马斯克开源参数量达3140亿的全球最大模型Grok反应冷淡的原因之一,这是一个基础大模型,尚未针对应用进行特定训练。
上海人工智能实验室领军科学家林达华说:"低质量的数据会对模型造成破坏性影响,甚至可能让模型能力‘坍缩’。"他特别强调多样性对于数据质量的影响——10%的带有重复模式的数据注入到训练集里,可能会使模型降级到原来1/2参数体量的能力表现。从这点来看,互联网语料并不是好的数据来源,它存在太多重复的语言模式。
大参数的另一个缺点是耗能巨大,因此,当下主要大模型都在精简自己的参数。高质量语料用完了怎么办?林达华表示,业内的普遍做法是让计算机自己合成数据,反哺自身。
开与闭
正如当年互联网的开源与闭源之争一样,如今同样的问题又抛给了大模型。日前,马斯克宣布开源其自研的大模型Grok,此举被视为其不满竞争对手OpenAI选择闭源的"身体力行式"回应。
开源大模型允许任何人访问和使用源代码,而闭源模型则由单一实体控制,通常需要付费使用。从阵营来看,开源大模型包括Meta的Llama-2、生成式AI公司Stability AI的Stable Diffusion、阿里云的通义千问等,闭源大模型则以OpenAI的ChatGPT、百度的文心一言等为代表。有人认为,闭源大模型可能加大数字鸿沟,造成大公司的数字垄断,并由此侵占普通人的数字空间话语权,有人则认为开源模型会导致更大的技术风险,有可能导致技术被滥用。
林达华认为,正如Windows和Linux并存了这么久一样,大模型中的开源和闭源也各有优劣。一般来说,闭源模型更容易形成商业模式,企业可以通过销售许可、提供专业服务等途径获取收益;而开源更容易产生颠覆式创新,互联网的繁荣就始于开源。
研与用
推动大模型演进,有"研"与"用"两股驱动力量:"研"是研究人员对规模法则(Scaling Law)的信仰,"用"是无数企业对大模型将带来产业变革的憧憬。两股力量交织,让过去一年大模型取得的进展比以往10年还多。在大模型技术发展趋于稳定的当下,谁能洞察市场需求,率先打造出现象级产品,谁就能在大模型的"中场比拼"中取胜。
针对市场的不同需求,AI公司开始各显神通。几天前,月之暗面科技有限公司宣布旗下Kimi智能助手能处理的长文本数量突破200万字,相当于两套《三体》三部曲的字数。这意味着,只需10分钟,Kimi就能以读文本的方式在任何一个新领域达到接近初级专家的水平。
商汤科技董事长徐立则"推销"起了他们的智能软件研发助手"小浣熊"。它可提供高效的代码补全功能,支持多种编程语言,还可根据上下文理解开发者需求,提供准确的代码建议。据介绍,去年推出的"小浣熊"1.0版本可节省程序员30%的工作量,即将推出的2.0版本则将根据反馈制定产品特征,有望实现产品的自主开发。
稀宇科技技术副总裁安德森也忙不迭介绍自家基于ABAB大模型开发的AI智能聊天助手"海螺问问"。它可以用使用者订制的声线,回答用户提出的包括科学、技术、历史、文化在内的各种问题,还能提供翻译等各项功能。
上海人工智能实验室青年科学家陈凯表示,"去年是对GPT-4祛魅的一年,随着我们对大模型的研究越来越深入,对其能带来的可能与不可能也有了更多了解,今年可以期待更多应用落地。"
作者:沈湫莎
文:沈湫莎 图:受访者提供 编辑:沈湫莎 责任编辑:任荃
转载此文请注明出处。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.