网易首页 > 网易号 > 正文 申请入驻

陶哲轩捅破AI窗户纸:千亿模型就靠两样老数学,高中底子够用

0
分享至

ChatGPT每次回答你一个问题,背后要烧掉的电,够一个普通家庭用上大半天。

可陶哲轩偏说,这玩意儿底层的数学,高中课本里都写过。

不是玩笑。这位菲尔兹奖得主把大模型拆了个底朝天,结论就一句话:核心只有两样东西——微积分,矩阵乘法。

先别急着关页面。你可能觉得数学离你很远,但今天这篇,是让你以后再看到“AI黑箱”“神经网络玄学”这种词时,心里能稳如老狗。

咱们把这事儿聊透。



模型训练,说白了就跟你教小孩认猫认狗一个道理。

第一次它把猫认成了狗,你怎么办?你会说“错了,这是猫”。模型也一样,它算出一个答案后,会跟自己比对——差了多少,错在哪儿。

微积分在这时候登场了。它的作用就一个:算出来每个参数对这次错误“贡献”了多少。

打个比方,你有一千个旋钮,模型答错了题。微积分帮你算出,第三个旋钮往左拧半圈、第七个旋钮往右拧一圈,下次答对的概率最高。这个过程叫梯度下降,名字听着唬人,其实就是下山找最低点——哪儿坡最陡就往哪儿走,走到谷底就停。



那矩阵乘法呢?更直白。

你把模型想象成一个巨大的Excel表格,里面密密麻麻全是数字。你输入一句话,也变成一行数字。两个表格一乘,出来新的数字,再往下一层乘,一层一层叠上去,最后吐出一个答案。

就这么回事。

你说“苹果手机好用吗”,模型先把这句话转成一串数字向量,跟第一层参数矩阵做乘法,得出中间结果,再乘下一层——重复几十上百次,最后输出“苹果手机在系统和生态方面有优势”。



它为什么知道“苹果”既可能是水果又可能是公司?因为矩阵乘法在计算时,会自动把“苹果”这个词跟周围词的关联度算出来。周围是“手机”“iOS”,它就往科技方向靠;周围是“甜”“好吃”,它就往水果方向走。

注意力机制听起来高级,拆开看,也就是两个矩阵相乘,算词跟词之间的关联权重,再加权求和。

到这里你可能会问:就这?那为什么大模型这么难搞?

答案不在数学,在规模。



一个千亿参数的大模型,做一次前向计算,矩阵乘法的次数是天文数字。训练它,要把海量数据反复喂进去,每一步都算梯度、调参数,循环几百万次甚至上亿次。

你拿纸笔也能模拟一个小模型。三层矩阵,手动调参,跑一个玩具版聊天机器人出来,一个周末足够。但要让它在真实场景里好用,参数量、数据量、算力,三个量都得往上堆。堆到一定程度,效果就自然涌现出来了。

这不是数学的胜利,是工程的胜利。

所以那些把AI说得神乎其神的科普,要么是没搞懂,要么是故意让你觉得“你不配懂”。



陶哲轩的意思很明白:底子就这点东西。微积分管优化,矩阵乘法管计算,两样配合,一个负责调方向,一个负责出结果。模型卡住了学不动,是微积分在找原因;模型能说话能写文章,是矩阵乘法在硬算。

你真正该关心的,不是它背后有没有魔法,而是它这么算,什么时候会犯错、为什么会犯错。

看完这些,再有人跟你说“只有博士才能搞懂AI”,你可以告诉他:原理层面,高中底子够用了。复杂的是规模,是数据量,是算力成本——但这些是钱和时间的问题,不是智商的问题。

想上手试试?装个Python,跑几个矩阵乘法,写个简单的梯度下降调参demo,一个下午你就能看到模型从瞎猜变成猜得有点准。

那一刻你大概会跟我一样,觉得所谓的人工智能,其实挺实在的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
湖北一男子在银行ATM机上向自己的手机账号转账2万元,却被他人账户截留,联系收款人却遭辱骂;当事人已报警

湖北一男子在银行ATM机上向自己的手机账号转账2万元,却被他人账户截留,联系收款人却遭辱骂;当事人已报警

洪观新闻
2026-10-14 15:47:01
美成啥了 关键才15岁 再过几年不得了 又是一个世纪大美女 美过刘亦菲

美成啥了 关键才15岁 再过几年不得了 又是一个世纪大美女 美过刘亦菲

老吴教育课堂
2026-10-15 01:31:30
为什么沙特拥有豪华防空系统,却拦不住“拖鞋军”胡塞武装的袭击?

为什么沙特拥有豪华防空系统,却拦不住“拖鞋军”胡塞武装的袭击?

红星新闻
2026-10-12 18:47:15
俄罗斯社区记录到获得性肺炎病例增加,患者以成年人为主

俄罗斯社区记录到获得性肺炎病例增加,患者以成年人为主

阿尔卑斯瞭望
2026-10-14 17:52:31
藏不住了!许家印重大资产被挖出,186.5亿转给了“重庆李嘉诚”

藏不住了!许家印重大资产被挖出,186.5亿转给了“重庆李嘉诚”

数字财经智库
2026-10-08 16:53:54
0-2,世界第7不敌世界第13,穆霍娃止步WTA1000武汉站16强

0-2,世界第7不敌世界第13,穆霍娃止步WTA1000武汉站16强

俯身冲顶
2026-10-15 13:05:14
A股:不必再等变盘了,市场已经十分清晰,明天行情没有任何意外了

A股:不必再等变盘了,市场已经十分清晰,明天行情没有任何意外了

财经大拿
2026-10-15 13:56:08
黄任中:我睡过100位女明星,9女同床纵欲无度,晚年欠债缠身孤死

黄任中:我睡过100位女明星,9女同床纵欲无度,晚年欠债缠身孤死

春之寞陌
2026-10-11 16:21:42
成都一场婚礼的寒酸程度把全国人民都看愣了

成都一场婚礼的寒酸程度把全国人民都看愣了

七月生活情感驿站
2026-10-11 21:16:41
那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

那个坐拥890万粉丝、体重一度逼近500斤的内蒙古网红“羊亡爷”恩克,步履虚浮难进食,暴食流量终要拿健康买单

LULU生活家
2026-09-25 15:16:25
“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

“这拿筷子姿势,太恶心了”,一段母女吃饭视频火了,又一个贫民窟的小公主

蝴蝶花雨话教育
2026-10-06 11:47:56
又一起!25岁女博士生猝死!

又一起!25岁女博士生猝死!

新区晚参
2026-10-14 23:30:15
毛主席亲口评价周恩来:在大的国际活动方面比我强,非常精明强干

毛主席亲口评价周恩来:在大的国际活动方面比我强,非常精明强干

小莜读史
2026-10-14 18:41:01
莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

莫迪不宣而战!印军越境开火,美派F-35A助阵,中印边境恐要生变?

孤城落叶
2026-10-12 15:01:41
“成都街头女子用U型锁打人”,警方通报

“成都街头女子用U型锁打人”,警方通报

观察者网
2026-10-14 22:33:24
许家印干过最牛的事,就是把一众当红明星玩弄在手掌之间

许家印干过最牛的事,就是把一众当红明星玩弄在手掌之间

流苏晚晴
2026-10-10 18:33:53
最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

最高院:提供 “口交” “肛交”等进入式性服务,是否属卖淫行为?

周军律师聊案子
2026-04-21 09:50:16
腾讯,低调地向红果短剧开了一枪

腾讯,低调地向红果短剧开了一枪

21世纪经济报道
2026-10-13 12:12:15
切尔西眼光差!4000万欧错失巴萨中场核心,如今身价涨到1.5亿欧,追悔莫及

切尔西眼光差!4000万欧错失巴萨中场核心,如今身价涨到1.5亿欧,追悔莫及

零度眼看球
2026-10-15 08:46:20
《伟大的长征》荣登全网第一,于和伟已经是王炸,又冒出黑马男二

《伟大的长征》荣登全网第一,于和伟已经是王炸,又冒出黑马男二

夏末moent
2026-10-15 10:10:50
2026-10-15 15:15:00
呼呼历史论
呼呼历史论
分享有趣的历史
830文章数 18417关注度
往期回顾 全部

科技要闻

核弹院士彭先觉:可控核聚变 不必再等50年

头条要闻

牛弹琴:中东杀红了眼令人心惊 新加坡也倒大霉了

头条要闻

牛弹琴:中东杀红了眼令人心惊 新加坡也倒大霉了

体育要闻

五大联赛第二射手,开着11年前的二手车

娱乐要闻

陈小春弟弟被卖,多年不打扰另有隐情

财经要闻

洋餐饮的中国生意:红利消退后的集体交权

汽车要闻

不止大空间/纯电增程任选 小鹏MONA L05来了

态度原创

教育
时尚
旅游
家居
本地

教育要闻

建校35年,西城这所学校亮出了超强“底牌”

今年秋天一定要拥有的10件单品,时髦又好看!

旅游要闻

文旅搭台聚合力 民族团结润怀川

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

这个十一,林都伊春彻底出圈!

无障碍浏览 进入关怀版