网易首页 > 网易号 > 正文 申请入驻

13人团队SSA架构算力暴降千倍,成本仅Opus,5%

0
分享至



SubQ的核心突破是SSA架构,思路简单到离谱:既然训练好的模型里,绝大多数注意力权重都接近0,那为啥还要算它们?



SSA的操作是:对每个query,根据内容动态选择真正值得关注的位置,只在这些位置精确计算注意力。说白了,就是跳过99%以上的无用交互,只做有意义的计算。它有三个关键特性:

内容依赖路由:不管关键信息在第3个还是第1100万个Token,都能精准找到;

精确检索:不像循环模型压缩信息,SSA能从任意位置取回精确内容。

这不是“把密集注意力算得更快”,而是“让模型少做无用功”——减少的计算量直接变成速度和成本优势。

SubQ放出的每一组数据都像暴击:

100万Token下,SSA比FlashAttention-2快52.2倍,注意力FLOP减少62.5倍;1200万Token时,计算量砍近1000倍。成本对比更夸张:RULER 128K测试中,SubQ花8美元,Opus要2600美元,差了300倍!

最关键的是,这些优势没牺牲准确率:

RULER 128K:SubQ 95% vs Opus 4.6的94.8%;

SWE-Bench代码测试:SubQ 81.8分超过Opus的80.8;

一家种子轮小公司,用不到Opus 5%的成本,在核心测试上打平甚至超过OpenAI、Anthropic的旗舰模型——这事儿细思极恐!



SubQ发布几小时内,AI社区直接分成两派。支持者说:“这是2026年最疯狂的AI发布,可能就是奥特曼说的架构突破!”怀疑派则骂:“这就是AI版Theranos,看完创始人领英更确定是骗子!”

OpenAI前研究员Will Depue更是连发多条质疑:“SubQ几乎肯定是基于Kimi或DeepSeek的稀疏注意力微调。”毕竟AI圈见过太多“发布即巅峰”的故事,PPT和真实部署之间隔着死亡谷。

但不管怎样,这个赌注太大了——如果SubQ是真的,Transformer的时代可能真的要结束了;如果是假的,又是一场AI圈的闹剧。

现在所有人都在等:技术报告公开、独立benchmark复现。但不管结果如何,SubQ的出现已经给AI圈敲响了警钟——Transformer的统治不是不可动摇的。

你觉得SubQ是Transformer的终结者,还是又一个PPT骗局?评论区留下你的看法,转发给身边搞AI的朋友,看看他们怎么说!毕竟这事儿,可能改变整个AI行业的未来。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“寻天”商标注册!小米欲成立汽车独立子品牌?官方未作回应

“寻天”商标注册!小米欲成立汽车独立子品牌?官方未作回应

每日经济新闻
2026-05-09 19:47:07
白打一轮!英超升级迎来大变革,四队零进球,全部都在“演戏”?

白打一轮!英超升级迎来大变革,四队零进球,全部都在“演戏”?

嗨皮看球
2026-05-10 00:35:15
套路一模一样!2026 年汉坦病毒刚露头,西方又准备好了老剧本

套路一模一样!2026 年汉坦病毒刚露头,西方又准备好了老剧本

魔都姐姐杂谈
2026-05-09 20:58:28
状态正佳,多库首次连场英超破门,曼城生涯首次连续3场进球

状态正佳,多库首次连场英超破门,曼城生涯首次连续3场进球

懂球帝
2026-05-10 02:05:27
4战国乒吞0-12!法国男团放话:中国队已不可怕 我们将首次赢他们

4战国乒吞0-12!法国男团放话:中国队已不可怕 我们将首次赢他们

风过乡
2026-05-09 17:29:03
产品为基,技术为擎,用户为本:红旗高质量发展三重奏

产品为基,技术为擎,用户为本:红旗高质量发展三重奏

大众侃车
2026-05-09 17:54:52
15.98万,真的疯了

15.98万,真的疯了

放毒
2026-05-09 18:53:10
热搜上引众怒“河北某夜市最不堪入目的一幕”:人性可以多丑陋?

热搜上引众怒“河北某夜市最不堪入目的一幕”:人性可以多丑陋?

小椰子专栏
2026-05-09 13:25:28
外卖小哥冒死冲进火场救火 被物业收取50元“灭火器使用费”

外卖小哥冒死冲进火场救火 被物业收取50元“灭火器使用费”

闪电新闻
2026-05-09 09:31:06
5月9日阅兵的俄罗斯,走向垃圾时间

5月9日阅兵的俄罗斯,走向垃圾时间

黔有虎
2026-05-09 16:22:09
人民日报发声:机关事业单位的隐性收入,正在消失

人民日报发声:机关事业单位的隐性收入,正在消失

细说职场
2026-05-09 12:16:27
申花球迷意难平!不止因为2-2憾平铜梁龙,更多在于以下这五点!

申花球迷意难平!不止因为2-2憾平铜梁龙,更多在于以下这五点!

田先生篮球
2026-05-09 22:11:34
台积电的美国亚利桑那厂已悄然失败,400亿美元烧完,良率不到日本厂一半

台积电的美国亚利桑那厂已悄然失败,400亿美元烧完,良率不到日本厂一半

风向观察
2026-05-09 13:29:53
果然出事了!特朗普访华遇重大分歧,中方提的要求被美方一口否决

果然出事了!特朗普访华遇重大分歧,中方提的要求被美方一口否决

精彩启程
2026-05-09 23:51:47
阿斯:阿韦洛亚开了上任以来最艰难的发布会,他一度眼含泪水

阿斯:阿韦洛亚开了上任以来最艰难的发布会,他一度眼含泪水

懂球帝
2026-05-09 21:38:55
病毒不在中国爆发,外媒全哑火了!外国网友:怎么还没人责怪荷兰

病毒不在中国爆发,外媒全哑火了!外国网友:怎么还没人责怪荷兰

混沌录
2026-05-09 14:54:10
特斯拉车主苦等多年,这个HUD终于把导航放回眼前

特斯拉车主苦等多年,这个HUD终于把导航放回眼前

闪存猎手
2026-05-09 01:01:43
抓了那么多贪官,钱呢?跟我们有关系吗?

抓了那么多贪官,钱呢?跟我们有关系吗?

细说职场
2026-05-08 22:15:45
昨日因果昨日了!这次马伊琍文章再合体,给内娱离异夫妻上了一课

昨日因果昨日了!这次马伊琍文章再合体,给内娱离异夫妻上了一课

天天热点见闻
2026-05-09 18:41:26
击败罗马尼亚,中国队晋级世乒赛女团决赛,将与日本队争冠

击败罗马尼亚,中国队晋级世乒赛女团决赛,将与日本队争冠

澎湃新闻
2026-05-09 20:58:27
2026-05-10 02:39:00
命运自认幽默
命运自认幽默
命运自认幽默
557文章数 416关注度
往期回顾 全部

科技要闻

美国政府强力下场 苹果英特尔达成代工协议

头条要闻

演员文章面馆大火后又开酒吧 多位明星到场母亲也现身

头条要闻

演员文章面馆大火后又开酒吧 多位明星到场母亲也现身

体育要闻

成立128年后,这支升班马首夺顶级联赛冠军

娱乐要闻

50岁赵薇脸颊凹陷沧桑得认不出!

财经要闻

多地号召,公职人员带头缴纳物业费

汽车要闻

轴距加长/智驾拉满 阿维塔07L定位大五座SUV

态度原创

艺术
教育
数码
时尚
家居

艺术要闻

深圳终究失去“中国第一高楼”,华润接手地块!

教育要闻

天津女教师怼家长!完整录音曝光,老师很嚣张,饭碗恐不保了

数码要闻

有鸿蒙·更美的——全球首台鸿蒙智选美的智能空调上市

伊姐周六热推:电视剧《喀什恋歌》;电视剧《低智商犯罪》......

家居要闻

菁英人居 全能豪宅

无障碍浏览 进入关怀版