当AI算力再暴涨100万倍会发生什么?Google首席科学家Jeff Dean在Google I/O的一场28分钟访谈里,把未来5年的技术账本算了一遍。网上有营销号说他喊“编程已死”,但完整看完访谈就会发现,真正硬核的内容全被漏掉了。
数据荒是伪命题,缺的是带编译器的数据
![]()
公开文本确实被抓得差不多了,但Jeff Dean的判断很直接:训练数据根本不会用完。代码天然自带编译器和单测,让模型对同一道题生成几百种解法,能编译、过测试、性能好的留下来做合成数据喂回去。有正确性反馈的闭环才是关键,而不是单纯堆更多网页文本。
算力重心从“上学”转向“上班”
过去大家死盯预训练,现在90%的机器学习负载全在推理端,包括用户请求、离线批处理和强化学习试错。量化精度一路杀到FP4甚至2-bit、1-bit。学校再好也得进公司干活,硬件和架构正在全面为推理重构。
两段式训练该退休了
先预训练再微调的方式太别扭。Jeff Dean提出的方向是边看、边做、边从后果里复习的持续学习系统,也就是Lifetime AI。模型在后台边跑边学,跟着人跑一辈子,而不是狂看网页再单独对齐。
93个Agent跑出操作系统的真相
12小时写出能跑Doom的操作系统确实刷屏了,但本质不是AI突然顿悟发明了系统。真正跑通的是拆任务、写代码、跑单测、互相Review、卡死自重启这条工程流水线。只要有测试信号,多智能体就能把训练集里的知识组装出来。
小模型能打全靠蒸馏
Flash和轻量模型才是每天干活的主力,又快又便宜。超大模型负责往上顶天花板,再把能力压缩给小模型。这条分工路线在访谈里被反复强调。
整场访谈最深的感受是:顶尖科学家从来不跟风喊口号。算力再涨一百万倍,底层依然是编译器反馈、推理吞吐、蒸馏压缩和硬件容错。剥掉自媒体包装,真正的技术演进全是实打实的工程账本。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.