网易首页 > 网易号 > 正文 申请入驻

不用训练!Opus 5.5直接手写Transformer权重,13类任务全拿100%

0
分享至

来源:市场资讯

(来源:新智元)


新智元报道

在13类复杂的算法任务、26次独立运行中,一个全新的神经网络在隐藏测试集上全部达到了100%的准确率。

更不可思议的是,整个过程没有喂给它海量数据,甚至完全没有使用「反向传播」和「梯度下降」。

这个晶莹剔透、小巧至极的满分神经网络,是Claude Opus 5.5,用代码一行一行直接「手写」出来的。

近日,微软研究院联合约翰斯·霍普金斯大学、哥伦比亚大学和纽约大学的团队,发表了新研究「可解释权重空间编程(iWSP)」。

这项研究证明:前沿大语言模型已经可以直接越过传统的优化器,依据固定的评测反馈,像外科医生一样精准构思计算逻辑,并用代码将算法直接写进Transformer的权重里。


不用反向传播,AI直接当起「钟表匠」

深度学习常被戏称为「炼丹」。

整个过程,就像一群盲人围着一台布满几亿个旋钮的巨大控制台,谁也看不见里面长什么样,只能凭机器偶尔发出的「报错声」,摸索着拧这个、转那个。

几万步迭代下来,机器居然真就正常运转了,某些任务甚至比人类自己还高,堪称「原地飞升」。

可你要是追问一句:哪个旋钮管逻辑?哪个旋钮管记忆?没人答得上来。

总之,效果拔群,原理不详——旋钮拧对了是玄学,拧错了是事故,中间隔着一整片无人能解释的黑箱。

在工程应用上,只要预测得准,这勉强可以接受。但在脑科学、物理学等极其严肃的科学探索中,这个缺陷太致命。

正如研究团队所指出的核心痛点:

神经网络预测得很好,但很难被理解。在以『解释』为终极目标的科学领域,这是一个严重的问题。

以神经科学为例,深度编码模型能够非常准确地预测大脑对自然刺激的反应,但它们却根本说不出,究竟是刺激中的「哪些特征」驱动了这些反应。

为了打破这个死局,微软团队提出了iWSP。他们决定:不许用反向传播,直接让AI去设定那些旋钮。

在iWSP的框架中,Opus 5.5化身为创世者。

它完全颠覆了传统的工作流:


平均每次跑39轮左右。

最终诞生的,是一个人类可以像阅读普通书籍一样,从头读到尾的「透明」Transformer。

它的每一个部分、每一行权重,都是AI「有意写就」。

反常识的真相

这项实验最让人拍案叫绝的,不仅是它成功让AI造出了AI,更在于它揭示了一个违背直觉的真相。

在传统的AI语境里,我们笃信「大力出奇迹」。千亿参数只是起步,万亿参数才是未来。

大家都以为,神经网络越大越能干。

但这篇论文的数据,直接把这个常识反了过来。

在13类算法实验中,所有由AI「手搓」出来的模型,最终都在隐藏测试集上拿到了100%的准确率。

但当我们对比Anthropic家族不同级别的模型时,神奇的现象出现了:同样把算法题写到全对,越强的AI,写出的网络越小。


建议大家把「166个参数」打在公屏上。在这个动辄千亿、万亿参数的大模型时代,166个参数简直就像一颗微尘。

为什么会有这么离谱的差距?

日志记录了Opus的「心路历程」:Opus的策略是,先想办法写对,再一轮一轮地往小里删。

一开始,Opus为了保证逻辑能跑通,也会先写一个大概有3400个参数的网络。

在可见集拿到100%满分后,它开始疯狂精简代码。它把冗余的计算剔除,把复杂的矩阵压缩,硬生生把平均3400个参数,删到了200个上下。


这就像是学霸和学渣的区别。

学渣(Haiku)不懂公式背后的原理,遇到不会的题就靠死记硬背,把所有可能的情况都塞进脑子,所以需要10万个参数的「大笔记本」。

而学霸(Opus)彻底看透了算法的本质,直接提炼出了最核心的计算规则,所以只需要166个参数的「一张小纸条」。

这个发现极其震撼。它证明了:如果能找到真正正确的逻辑,解决复杂问题根本不需要堆砌。


从数学题到人类大脑,让科学免于「被糊弄」

你可能会问:费这么大劲,让AI手搓几个做数学题的极小模型,到底有什么用?

答案是:为了真正的科学发现。

科学界目前正面临一个尴尬的困境。拿神经科学来说,科学家为了搞懂人类大脑,会使用现成的深度学习黑盒模型来预测大脑的反应。

确实,模型预测得很准,但科学家傻眼了:我用一个搞不懂的黑盒,去预测另一个搞不懂的黑盒(大脑)。预测对了有什么用?我还是不知道大脑到底是怎么工作的!

我们需要的是「解释」,而不仅仅是「预测」。

微软团队这套iWSP方法的价值,在这里大发神威。

因为它造出的网络,内部逻辑是透明的。研究团队将这个方法,直接应用到了极高难度的大脑数据(Brain Encoding Models)中:在语言fMRI(功能性磁共振成像)的实验里,iWSP立下了大功。

面对复杂的大脑数据集,如果用传统的反向传播训练,黑盒模型会为了拿到高分,偷偷利用数据里的瑕疵来作弊。

科学家根本察觉不到。

但在iWSP中,Opus 4.7把模型一步步明确地写了出来。在分析这个全透明模型时,科学家瞬间发现了不对劲:这个模型精准地揪出了数据集里的一个混杂漏洞!

它直接把问题摆在了明面上。


此外,在视觉皮层任务中,iWSP不仅预测效果超过了现有的可解释模型,还清晰地展示了在早期视觉和高级视觉区域,大脑如何进行不同计算。


在听觉ECoG(皮层脑电图)数据上,它系统性地发现并定义了那些能够预测神经活动的「可解释声学特征」。


通过iWSP,AI真正变成了帮助科学家发现真理的显微镜。

AI自主进化的黎明时刻

读到这里,许多人可能会激动地大喊:深度学习的「炼丹时代」结束了!以后训练大模型再也不需要买几万张英伟达H100显卡了,直接让超级AI写权重就行了!

且慢。

尽管iWSP在纯算法任务和脑响应预测中非同凡响,但在自然语言处理(NLP)任务中,它却撞上了南墙。

在情感分类等NLP任务中,人类的语言特征高度模糊、非结构化,充满了幽默、反讽、多义词,根本没有绝对清晰的「数学公式」或「计算模块」可以套用。

面对这种任务,Opus 5.5显得颇为吃力。

为了达到一定的准确率,它不得不拼命增加特征,导致模型参数量被迫膨胀到了19万个左右。更残酷的是,参数涨到19万,情感分类也只到72%;四个语言任务里,复述判断那个连「全猜最常见答案」的基线都没过。

这指出了当前iWSP方法的核心局限性:它目前主要擅长「重组已知的算法和计算模块」。

复杂表征的涌现,目前依然离不开海量数据和梯度下降。

因此,绝对不能据此认定,通用大模型(AGI)已经不需要训练了。

真正底层的基座模型,依然需要算力的「暴力美学」。

尽管如此,微软的这项研究,依然是AI史上一个迷人的里程碑。

它向世界证明:在特定的场景下,神经网络可以摆脱「盲目进化」。

参考资料:

https://arxiv.org/abs/2611.18114

https://github.com/csinva/weight-space-programming-autoresearch

编辑:大卫

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

蒋介石最大的决策失误:错杀瞿秋白,让国民党失去了最后的人心

宅家伍菇凉
2025-11-19 09:30:03
山东69-65逆转广东!产生3个不争的事实,广东3人拉胯,徐杰扛着球队太累

山东69-65逆转广东!产生3个不争的事实,广东3人拉胯,徐杰扛着球队太累

老吴说体育
2026-11-18 22:02:58
前员工爆料张泉灵,压榨员工薪资低,公司变老赖,丈夫李铁被牵连

前员工爆料张泉灵,压榨员工薪资低,公司变老赖,丈夫李铁被牵连

离离言几许
2026-11-19 01:25:42
韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

韩媒震惊:韩国队竟然输给了世界排名第95的中国队,脸都不要了

念洲
2026-11-18 18:24:15
克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

克里米亚大桥被炸断了!泽连斯基庆贺,普京远在深圳也要报复

世界地缘档案
2026-11-18 10:53:23
奥特曼坦言不敢全速训AI!RLHF之父推演GPT-10夺权,警告推翻人类

奥特曼坦言不敢全速训AI!RLHF之父推演GPT-10夺权,警告推翻人类

新智元
2026-11-18 07:16:25
抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

不似少年游
2026-11-19 07:21:22
中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

中国股市:写给处于严重亏损的股民们的一封信,此文,很短很深

屿探涨
2026-11-17 11:25:04
很多人好奇,黄仁勋作为英伟达创始人,为什么只有3.58%的股份?

很多人好奇,黄仁勋作为英伟达创始人,为什么只有3.58%的股份?

猫叔东山再起
2026-11-18 12:35:05
离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

离谱到家!绵阳 1600 元烤全羊端上桌,游客拿放大镜找,几乎找不到肉

川渝视觉
2026-11-18 11:00:51
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

脚踝骨折,确认报销!开拓者再遭重创,西部夺冠格局再起悬念

林子说事
2026-11-18 13:52:03
卷走53亿逃美,欠银行20亿?又一“大佬”跑路,5000家庭血本无归

卷走53亿逃美,欠银行20亿?又一“大佬”跑路,5000家庭血本无归

阿器谈史
2026-11-18 05:04:17
蛋白质要是没吃够,你的免疫、头发和肌肉都在悄悄替你还债

蛋白质要是没吃够,你的免疫、头发和肌肉都在悄悄替你还债

富贵说
2026-11-18 20:23:03
狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

狗子被爆米花机崩飞,事故全程被多机位记录…摊主事后用排骨安抚,评论区:迟来的深情比草都贱,后会有期安排一下…

大爱狗狗控
2026-11-18 20:48:36
普京特朗普提前放话,深圳这场碰面,一定抓住和金正恩谈话的机会

普京特朗普提前放话,深圳这场碰面,一定抓住和金正恩谈话的机会

你是我心中最美星空
2026-11-19 00:13:29
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

山东一男婴日夜啼哭,母亲掀开被子后,将月嫂当场掐死

罪案洞察者
2025-03-31 09:35:41
说到底,身材才是最好的奢侈品

说到底,身材才是最好的奢侈品

疾跑的小蜗牛
2026-11-14 20:23:26
从0-1到2-1!印度队逆转夺冠!四连胜强势登顶,成就三连冠壮举

从0-1到2-1!印度队逆转夺冠!四连胜强势登顶,成就三连冠壮举

绿茵舞着
2026-11-18 19:55:18
2026-11-19 09:07:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5539328文章数 10033关注度
往期回顾 全部

科技要闻

刘炽平回应AI烧钱:不指望几周内就看到回报

头条要闻

牛弹琴:黄仁勋事件越来越荒诞了 马斯克都笑哭了

头条要闻

牛弹琴:黄仁勋事件越来越荒诞了 马斯克都笑哭了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

北京环球影城,亏损难题待解

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

数码
教育
时尚
家居
军事航空

数码要闻

AMD发布Linux 26.17显卡驱动

教育要闻

招生细则里这一栏变了,孩子对口学校可能就不同:家长核对清单

Kendall都开始盛装了,谁还在追求松弛感?

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版