网易首页 > 网易号 > 正文 申请入驻

Claude强到不敢发的Mythos,被质疑用了字节Seed技术

0
分享至

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI


Claude最强“神话”模型,可能用到来自字节的技术?

这条猜测直接冲上热搜榜。

这款“强到不敢公开发布”的Mythos模型,确实刺激了人们对下一代LLM架构的想象。

社区正在热烈讨论它是否采用了循环语言模型(Looped Language Model)架构。

这个概念来自字节Seed团队与多个高校合作的一篇论文,Yoshua Bengio也参与其中。

关键线索在于Anthropic公布的一组测试数据。

字节论文指出,图搜索是循环算法相比标准RLVR具有巨大理论优势的领域之一。

再看Mythos,正是在广度搜索优先的图搜索测试GraphWalks BFS中,超越对手GPT5.4最多。

80%对21.4%,接近4倍的差距。

在其他类型的任务上,并没有出现如此异常的分差。

说明这种进步很可能不是来自通用的Scaling Law,而是架构创新。

循环语言模型:同一层”多转几圈”,小模型碾压大模型

GraphWalks BFS测试,就是给模型一个复杂的图结构,让它做广度优先搜索,从起点出发,一层一层地访问所有相邻节点。

标准Transformer处理这类问题只能一次前向传播,从头走到尾,输出结果,没有“迭代”这个概念。

Mythos在图遍历上拿到了80%的分数,表明它内部很可能在“”反复计算”,对同一组信息来回处理了好几遍。

那么什么样的架构能实现“反复计算”?

字节Seed团队在论文中提出LoopLM循环语言模型。

简单总结LoopLM有三个特点。

1、不写长文思考,在模型内部潜空间迭代,不额外输出更多token。

2、简单题少想几步,难题多想几步,自动调节。

3、预训练时就学 “怎么在潜空间思考”,而不是只学 “怎么预测下一个token”。

在实验中,团队训练了Ouro系列循环语言模型,内置了循环思考。

测试结果,1.4B的Ouro模型性能对标约4B的传统模型。2.8B的Ouro模型相当于8B–12B的传统模型。

至于循环模型的能力提升来自何处,论文详细分析了知识存储vs知识操作的区别。

知识存储(Knowledge Storage)的容量是有限的,大约每个参数2bits,不管用什么架构,这个数字基本不变。

循环也不会让你“记住”更多东西。

但知识操作(Knowledge Manipulation)不一样,把已知事实组合起来做多跳推理、执行程序、搜索图结构,这类能力随循环步数和训练tokens指数级增长。

换句话说,循环模型没有给AI一个更大的知识库,但它让AI在知识库库里的搜索和组合能力提升了一个量级。

那么Mythos究竟是不是循环模型架构,有人总结出除了GraphWalks之外的更多线索。

三条线索指向循环模型架构

第一条线索,也就是广度优先图搜索测试结果。

Mythos除了分数是GPT5.4的4倍,比上一代Opus提升幅度也异常大。

第二条线索,Anthropic报告Mythos每个任务使用的token数量是Opus4.6的1/5,但速度更慢。

(价格也贵5倍!)

这在标准Transformer框架下很难说得通,token少,生成步骤就少,应该更快才对。

但循环模型刚好解释了这个矛盾:推理不发生在token层面,而是发生在潜空间,计算量花在了看不见的地方。

线索三,Mythos在网络安全方面非常突出。

Mythos在CyberGym测试上拿到83.1%,Opus4.6是66.6%,领先近17个百分点。

以及找到上千个零日漏洞,主流操作系统和浏览器全都没逃过。

漏洞发现的本质就是对控制流图做遍历。找到一条从输入到危险函数的路径,也就是图的可达性问题。

又是图遍历。又是循环架构的天生强项。

说了这么多,终归只是大家的猜测,Anthropic没有公开任何关于Mythos架构的信息,很可能以后也不会公开。

但有一句话值得思考:

Scaling Law改善一切,相对均匀,架构创新在匹配其归纳偏置的任务上创造异常尖峰值。

循环Transformer的归纳偏置就是迭代图算法。Mythos的异常尖峰,恰好出现在图遍历任务上。

Anthropic不说,但测试数据已经替它说了。

字节论文:
https://arxiv.org/abs/2510.25741

参考链接:
[1]
https://x.com/ChrisHayduk/status/2042711699413926262
[2]
https://aiia.ro/blog/claude-mythos-looped-language-model-theory

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
CBA第一外援成混子,上海队看走眼惨败,北京辽宁成最大赢家

CBA第一外援成混子,上海队看走眼惨败,北京辽宁成最大赢家

宗介说体育
2026-11-21 11:32:40
马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

马来西亚总理安瓦尔:我不知道世界上还有哪个人能做到这一点

政知新媒体
2026-11-21 08:41:16
西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

西媒:皇马已决定在2027年执行帕斯8000万欧元的回购选项

懂球帝
2026-11-20 21:30:39
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

她陪主席走到最后,终身未婚,41年后同天离世,一生守密不言语

故史闲谈局
2026-11-21 03:04:09
金饰克价,直线跳水!

金饰克价,直线跳水!

环球网资讯
2026-11-20 16:02:39
这微胖女孩的穿搭,胆量比肉感更值得聊

这微胖女孩的穿搭,胆量比肉感更值得聊

记录生活的小明
2026-11-21 06:35:12
湖人开局超预期,ESPN名记泼冷水:这阵容夺不了冠

湖人开局超预期,ESPN名记泼冷水:这阵容夺不了冠

甜度百分百21
2026-11-21 12:14:03
APEC峰会已经结束,各国都拿到了大结果,为啥唯独不见莫迪的影子

APEC峰会已经结束,各国都拿到了大结果,为啥唯独不见莫迪的影子

影孖看世界
2026-11-20 23:22:07
笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

笑不活!第一次这么直观地感受到南北差异 ,网友:南方人不敢说话

石辰搞笑日常
2026-11-20 00:48:24
号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

号商下乡收Claude账号:Anthropic算尽了一切,唯独没算到中国号商会上山下乡!

城事堂
2026-11-19 08:49:08
金饰克价继续下跌 老凤祥单日跌34元

金饰克价继续下跌 老凤祥单日跌34元

财联社
2026-11-21 10:35:02
印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

印媒愤愤不平!当了三年轮值主席,始终轮不到印度主办峰会

比利
2026-11-21 01:05:34
荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

荷兰导弹7枚击中克里米亚大桥,俄罗斯质问荷兰:你们参战了?

桂系007
2026-11-18 23:50:36
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

西班牙队黑化了!上了5名黑人球员5-0,巴萨小将身价=中国全队12倍

球场没跑道
2026-11-21 00:09:02
白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

白宫发布特朗普访华视频,中国仪仗队再次出圈,特朗普曾多次大赞“叹为观止”

极目新闻
2026-11-19 09:25:11
内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

内行人提醒:“纯棉”和“全棉”不是一回事,很多商家不会主动说

一枚大装家
2026-11-19 14:34:04
金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

金价跌破760,北京菜百金条卖断货:有人一次入手85万元,有人高位囤金“扛着”

华夏时报
2026-11-20 22:15:03
2026-11-21 12:36:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

头条要闻

特朗普在白宫点赞深圳 称美国一些城市"脏得让人恶心"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
艺术
家居
游戏
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

艺术要闻

2026第七届民族美术作品展 油画选二

家居要闻

2026建博会(广州) 公装联探展交流活动

《流放之路:降临》国服1.0定档12月12日!我和制作人现场见证并聊了聊

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版