网易首页 > 网易号 > 正文 申请入驻

联想CTO芮勇:大模型的下一步是智能体丨数字思考者50人

0
分享至

大模型能力令人惊艳,但局限性有待改进

大模型的出现可以说是AI历史上一个重要的里程碑,它开启了人工智能发展的新纪元,在过去的16个月里,由大模型引领的人工智能技术日新月异,模型参数从百亿到迁移,再到万亿;模型类型从语言模型到视频模型,再到音乐模型,涵盖了生活工作的方方面面。

我认为,AI历史发展至今,没有任何一个技术可以像今天的大模型一样强大。


图片来源:芮勇博士演讲PPT

但是,当我们觉得大模型要“一统天下”的时候,它的局限性也逐步显现出来。例如,小学时我们就学过的“鸡兔同笼”的数学问题,如果直接提问给大模型,即使它做对了,人们也不知道大模型是真正理解了问题,还是仅仅是记住了训练的数据。

通过这个例子可以看出,今天的大模型没有真正理解语言,没有真正理解世界,也没有真正具备推理和规划的能力。现在的大模型仅仅是根据高维语义空间和联合概率分布,将它训练的数据中的海量片段进行简单的逻辑性的连接。而这种状态下的大模型虽然很强大,但局限性也很强。

要想突破这种局限性,我们不能再单纯地利用大数据+大算力+大网络的方式,堆砌大模型,而是要超越大模型,探索更接近人类思维方式和行为方式的人工智能。

大模型的下一步是智能体

基于上述观点,我认为,大模型发展的下一步是:基于大模型的智能体。大模型的优势与缺点都很明显,优势是具备强大的能力,缺点是局限性很强。

基于此,我们要“扬长长短”。“扬长”是要持续发挥并不断增强大模型的能力;“长短”是要打造基于大模型的智能体技术,真正能解决应用场景中遇见的问题。而这也是联想的发展理念,左手抓大模型,右手抓智能体,两手都要抓,两手都要硬。


图片来源:芮勇博士演讲PPT

在“左手”——增强大模型方面,从技术角度出发。增强大模型方面有四个混合技术方向:

首先,小模型不会消失。未来一定是基于大模型和小模型混合的“意图理解”技术。信息论里熵entropy是度量信息量的单位,越有序,熵越小,越无序,熵越大。使用交叉熵cross entropy损失最小化原则,将意图理解任务最优地分配给大模型和小模型,从而兼顾精准度和复杂性。

第二,未来一定是基于CPU、GPU、NPU混合调度的异构计算的天下。如今,大模型的训练和推理过程中,瓶颈往往不在于芯片算力,而在于数据传输。通过同时优化计算负载和数据传输的方式,使总体执行时间缩短。

第三,基于模型微调(SFT) 与检索增强(RAG) 混合的“智能问答”技术是最佳选择。模型微调(SFT) 与检索增强(RAG) 各有利弊,通过协同优化的方式,让模型微调(SFT) 与检索增强(RAG) 相向而行,从而达到最优结果。

第四,基于硬件加密与全栈可信架构的混合“隐私安全”技术。在安全领域,仅靠硬件不够,仅靠软件业不够,尤其是在后量子时代,通过在高维实数空间里进行因式分解进行加密将成为未来安全的重要趋势。

而这四类混合技术就需要云边端的协同,需要软硬件的协同,需要传输与计算的协同。


图片来源:芮勇博士演讲PPT

在“右手”——智能体方面,如何打造智能体是我们面临的问题。虽然大模型不是万能的,但是没有大模型是万万不能的。未来,大模型将占据“C位”,作为整体的控制中枢,但仅依靠大模型又远远不够。

怎么做呢?首先,要让智能体具有知道自身能力边界的能力,就好像人一样(人也是一个智能体),每个人都知道自身能力的边界。例如,你问我“茴”字如何写?我能告诉你,草字头,下面是个“回”。因为这个在我能力边界内。但如果问我“茴”的四种写法,这就超过了我得能力边界,我会通过查字典,上网查询等方式,查找答案。

回到大模型领域,不具备认知自身能力边界的能力,就使得大模型有时候会非常自信地告诉人们错误答案。

除了自我认知的能力,一个完整的智能体还要具备包括主动感知,意图理解,复杂任务分解,以及长短期记忆机制等在内的多种能力。

综上,大模型的下一步是智能体,智能体基于大模型而又超越大模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
上海一老板跑路,900人失业,公司创立仅1年多,已经亏损62亿!

上海一老板跑路,900人失业,公司创立仅1年多,已经亏损62亿!

古希腊掌管松饼的神
2024-05-28 22:56:03
将近40岁满脸褶,却尬演18岁少女,是谁给了她“强行装嫩”的勇气

将近40岁满脸褶,却尬演18岁少女,是谁给了她“强行装嫩”的勇气

娱乐圈十三太保
2024-05-28 13:56:53
网友晒日本超市骚操作!一块小西瓜切片单卖,换算成人民币几乎等于5块钱!

网友晒日本超市骚操作!一块小西瓜切片单卖,换算成人民币几乎等于5块钱!

可达鸭面面观
2024-05-29 09:47:48
专访孙杨:结束禁赛,很想念站在比赛跳发台的感觉

专访孙杨:结束禁赛,很想念站在比赛跳发台的感觉

澎湃新闻
2024-05-28 14:16:52
俄罗斯宣布进入紧急状态,巨亏之下俄天然气公司生产洗衣机自救

俄罗斯宣布进入紧急状态,巨亏之下俄天然气公司生产洗衣机自救

史政先锋
2024-05-28 21:00:36
有人给保时捷出谋划策:抓紧找名人出来装X,调整渠道政策,不然来不及了!

有人给保时捷出谋划策:抓紧找名人出来装X,调整渠道政策,不然来不及了!

可达鸭面面观
2024-05-28 15:06:32
这是家长会,不是夜总会!90后家长打扮太潮去学校被网友吐槽

这是家长会,不是夜总会!90后家长打扮太潮去学校被网友吐槽

朗威谈星座
2024-05-29 03:28:22
指使污水处理厂虚报数据 人为“抬高”污水收集率

指使污水处理厂虚报数据 人为“抬高”污水收集率

南方都市报
2024-05-29 07:01:39
实至名归!官方:贝林厄姆当选2023/24赛季西甲最佳球员

实至名归!官方:贝林厄姆当选2023/24赛季西甲最佳球员

懂球帝
2024-05-29 02:34:08
大V揭台岛网军,分工明确:反串、假中立、酸文……在大陆各领域制造矛盾

大V揭台岛网军,分工明确:反串、假中立、酸文……在大陆各领域制造矛盾

不掉线电波
2024-05-28 21:15:25
涉嫌违反《维护国家安全条例》,6人被香港警方拘捕

涉嫌违反《维护国家安全条例》,6人被香港警方拘捕

新京报
2024-05-28 17:52:31
刘强东“变脸”再次证明:在民营企业没有前途,考公才是人间正道

刘强东“变脸”再次证明:在民营企业没有前途,考公才是人间正道

叮当当科技
2024-05-29 05:54:10
那些跳桥自杀的人没等到伟大复兴的好日子

那些跳桥自杀的人没等到伟大复兴的好日子

深度财线
2024-05-28 10:05:15
千万粉网红“王妈”塌房:人设立得越稳,塌得更猛?

千万粉网红“王妈”塌房:人设立得越稳,塌得更猛?

今日网红newbc
2024-05-28 20:18:40
李湘携女儿回北京,深山内拜访艺术大师,合影曝光王诗龄很谦卑

李湘携女儿回北京,深山内拜访艺术大师,合影曝光王诗龄很谦卑

缘浅娱深
2024-05-28 17:07:22
白岩松:夜查电动车是为了防火!网友:夜查贪官老百姓会更支持!

白岩松:夜查电动车是为了防火!网友:夜查贪官老百姓会更支持!

韩观社会
2024-05-29 05:13:03
官方确认已不幸离世,年仅31岁.

官方确认已不幸离世,年仅31岁.

华人星光
2024-05-28 15:23:08
场均25+12+2!湖人17顺位首选!号称小姚明,詹眉迎最强帮手

场均25+12+2!湖人17顺位首选!号称小姚明,詹眉迎最强帮手

一才说个球
2024-05-29 10:17:06
20岁宁波女生留学新加坡蹊跷坠亡,家属:离毕业不到10天,部分财物遗失

20岁宁波女生留学新加坡蹊跷坠亡,家属:离毕业不到10天,部分财物遗失

极目新闻
2024-05-28 22:18:53
国税总局原副局长表示:五口之家靠一人工作,工资4000,就能脱贫

国税总局原副局长表示:五口之家靠一人工作,工资4000,就能脱贫

六目先生
2024-05-28 21:34:24
2024-05-29 10:28:49
钛媒体APP
钛媒体APP
独立财经科技媒体
101952文章数 858505关注度
往期回顾 全部

科技要闻

比亚迪重磅发布:最高续航2500KM

头条要闻

菲方抗议中国实施休渔期 宣称此举令南海局势紧张升级

头条要闻

菲方抗议中国实施休渔期 宣称此举令南海局势紧张升级

体育要闻

阿根廷一代神锋,击碎了沙特的金元足球梦

娱乐要闻

昆凌晒三胎正面照,2岁妹妹超像周杰伦

财经要闻

东方通收购藏雷 花6亿买来"业绩变脸"

汽车要闻

三联屏/纯电续航318km 岚图FREE 318官图发布

态度原创

教育
本地
家居
公开课
军事航空

教育要闻

中南大学2024年法学保研暑期夏令营

本地新闻

食味印象|歙县限定!枇杷味儿的清甜初夏

家居要闻

圆的世界 流动的曲线与自如的空间

公开课

近视只是视力差?小心并发症

军事要闻

以军装甲部队进入加沙地带南部城市拉法市中心

无障碍浏览 进入关怀版