网易首页 > 网易号 > 正文 申请入驻

李沐:大模型发展趋势与个人职业选择

0
分享至

思源Source报道

编辑:seefun

2024.8.23,李沐学长回交大讲座纪要。 李沐学长在讲座中介绍了大语言模型的发展趋势,创业Boson.AI的心得体会,以及个人职业选择(PhD,打工 or 创业)

李沐学长在今天上海交通大学的讲座上,分享了过去两年在大语言模型训练、部署、产品化、和基础架构上的一些实际经验,对大语言模型未来趋势做一些预测,以及个人职业生涯选择上的一些建议;

大语言模型

与传统AI一样,LLM(大语言模型)的三大基础依然是:算力,数据,算法

从硬件上看,摩尔定律依然活着。带宽和存储的增长或许逼近极限,但更低bit数据格式带来了更大的通量和更快的速度。由于显卡规模的增大,水冷散热变得非常必要。由于大语言模型火热带来的高溢价,和老黄关系再好,也不得不加价买卡。新卡每年性能翻倍,但价格是原先的1.4倍。但长期看算力依然是越来越便宜。各种厂商AI加速卡很多,但大多只在推理阶段还算OK,nVIDIA依然垄断了大模型的训练阶段的算力,短期很难找到替代品。

长期看算力的持续贬值,大模型训练成本也会不断下降,所以大模型本身也不是一个能保值的东西,价值会随着时间降低,也某种意义上受摩尔定律的影响。

10-50T token的预训练数据规模已经接近极限(因为全人类的知识量有限,当前数据质量的提升比数量提升更重要);由于硬件和数据瓶颈,大模型的激活参数在 500B 可能是极限,100-500B 的大模型会是未来主流的大小。

End-to-end和多模态是当前大模型的趋势。由于文本是信息密度最高的,也是最容易获得的。通过文本模型的泛化能力,用文本模态作为多个模态中介是一个很好的方案。

在人机交互产品设计方面,对于单一的简单操作,比如关窗户,用户更倾向于手动点一下按钮,可能会觉得和大模型交互不是那么有意义。而对于一些复杂的任务则并非如此,需要按一系列条件执行一系列任务,交给大模型则更为省事。但长文本的prompt控制也远不如直接说话方便,使用语音更符合用户习惯。

模型层面,语言模态已经比较成熟,能给个80-85分;语音(audio)则是勉强可用,70-80分水平,而视觉(video)则比较薄弱,大概只能给个50分。

应用层面,数据越多的领域,就越能被自动化。当前大模型在简单的文科任务上已经能很好地代替人类。因为文科任务是最能简单快速采集大量数据的。在简单理科任务和复杂文科任务上能力正在突破。而当前想要替代蓝领,还非常遥远。工厂需要投放大量传感器,做好数字化基础设施建设,数据收集和整理方案成熟起来,才有大模型落地的希望。而这一切当前看来还很难,但一旦实现就会是重大变革。

我们在创业中学到了什么?高质量数据和后训练算法的创新,对行业大模型的提升很大。OpenAI的RLHF有点牵强,(RL)这套技术很原始。Llama标数据据说花了5000w美金,和内部人士聊过,感觉数据没标好,算法也没花太多时间,所以开源的Llama还有很大提升空间。

对于不一样的数据,不一样的目标函数,针对性做研发是有意义的。

之前的机器学习范式:先做好Evaluation(评估),再去做其他事情。自然语言非常难评估,但是也非常关键。LLM本质还是ML(机器学习),都吃数据,都需要很好的评估方法,特点都是一致的。

自建GPU集群不会比租便宜很多,利润大头都被nv吃掉了。

职业规划建议

沐神兜兜转转,什么地方都去过,无论是学校,大公司还是创业。在交大6年读完本硕,CMU读了5年PhD,也还在港科有2年科研助理经历。也去过UCB和斯坦福做过访问学者。大厂在百度待过2年(首席架构师),在亚马逊待过7年(资深首席科学家)。加上两年的创业经历。(这些经历时间线上可能有重叠)

沐神总结了一下大厂打工人、PhD,创业的区别。大厂的目标是升职加薪,PhD的目标就是博士毕业,创业的目标就是套现退出;为了达成这些目标,作为大厂员工,就得去解决问题,对其公司目标;读博则是需要找到有价值的科研问题并解决;而创业是要为付费客户解决问题。而这三者需要的动力则是不一样的,而创业需要最强的动力。

作为打工人、PhD、创业者,有着不同的优缺点:

无论哪个选项,都面临着不同程度上的延迟满足:打工一般做出成果,很快便能升职加薪,PhD做出成果可能要延迟几年才能收获认可,而创业通常至少要5年以上才能得到正反馈。

创业是最艰难的,要面临长时间没有正反馈的生活,也要能一直保持着热情。

关于大厂工作、读博、创业,沐神都写过对应的文章,《工作五年反思》《博士这五年》《创业一年,人间三年》,这种定期总结的习惯,也是持续自我提升的一个不错的方法。

QA彩蛋,关于toB:

国内toB环境差,toB相比于美国而言更加难做,这已经是共识。但越艰难也意味着竞争对手会更少,不至于陷入低价值的内卷,早入场也许会更有机会。随着人力成本的不断增加,企业的付费意愿也会相应增加。交付超出用户预期的产品是企业获得竞争优势的关键。

——The End——

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

云居历史
2026-11-20 00:35:53
CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

体育大学僧
2026-11-21 11:40:50
体操冠军被欠社保91个月!曝光后7小时补齐 官媒:这效率让人不安

体操冠军被欠社保91个月!曝光后7小时补齐 官媒:这效率让人不安

念洲
2026-11-21 08:37:10
上海普陀祥和名邸业主反映小区内千余棵树遭“砍头式”修剪 物业:流程合规

上海普陀祥和名邸业主反映小区内千余棵树遭“砍头式”修剪 物业:流程合规

信网
2026-11-21 10:46:04
回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

兰姐说故事
2025-01-17 10:30:03
我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

白云故事
2025-05-27 08:05:08
日本发布了最新中日关系民意调研结果!出乎人意料

日本发布了最新中日关系民意调研结果!出乎人意料

荆楚寰宇文枢
2026-11-20 22:39:50
耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

运筹帷幄的篮球
2026-11-21 12:17:53
贵金属价格波动加剧,工商银行发布市场风险提示

贵金属价格波动加剧,工商银行发布市场风险提示

环球网资讯
2026-11-20 15:52:21
本田新车官宣:11月21日,正式发布

本田新车官宣:11月21日,正式发布

3C毒物
2026-11-21 10:42:57
李乃文51岁重庆买房:戏熬出来,家安下来

李乃文51岁重庆买房:戏熬出来,家安下来

可乐谈情感
2026-11-21 15:32:05
习酒前董事长钟方达被双开,此前被传已去世

习酒前董事长钟方达被双开,此前被传已去世

21世纪经济报道
2026-11-20 21:36:51
终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

夜深爱杂谈
2026-11-19 20:44:12
贵州支教女老师遇害,6岁学生保留证据21年,真凶令人难以置信

贵州支教女老师遇害,6岁学生保留证据21年,真凶令人难以置信

晓艾故事汇
2024-11-25 23:58:32
特朗普公开表示:我支持黄仁勋重返英伟达,若董事会聪明的话,应该接受他的道歉;中美可搭建超级智能共同护栏,但美国仅对华输出老旧芯片

特朗普公开表示:我支持黄仁勋重返英伟达,若董事会聪明的话,应该接受他的道歉;中美可搭建超级智能共同护栏,但美国仅对华输出老旧芯片

吉刻新闻
2026-11-21 15:47:50
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
皇马阿隆索下课时胜率70.6%仍下课,弗洛伦蒂诺为何请回穆里尼奥

皇马阿隆索下课时胜率70.6%仍下课,弗洛伦蒂诺为何请回穆里尼奥

蓝猫说剧
2026-11-21 11:28:04
我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

财经要参
2026-11-03 12:00:06
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

唠叨说历史
2026-11-10 19:55:18
2026-11-22 00:07:00
人工智能研究 incentive-icons
人工智能研究
分享深度学习、CV、NLP
306文章数 137关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

时尚
艺术
数码
旅游
手机

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

旅游要闻

广西南宁:冬日繁花似锦

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

无障碍浏览 进入关怀版