网易首页 > 网易号 > 正文 申请入驻

新公司称解决Transformer瓶颈,AI成本降至近零

0
分享至



迈阿密的人工智能初创公司Subquadratic在2026年5月正式结束隐身模式,抛出了一个让整个人工智能行业坐不住的说法。

它宣称,自己已经解决了困扰大型语言模型近十年的一个数学瓶颈,也就是Transformer架构里那个所谓的二次方注意力问题。

最初公开的细节并不多,所以很多人持怀疑态度。

但根据《麻省理工科技评论》6月19日的最新报道,这家公司开始拿出第三方的独立评估结果,部分数据看起来确实值得严肃对待。

这家公司是在2026年5月5日带着2900万美元种子轮融资走到台前的。

创始人兼CEO是连续创业者Justin Dangel,联合创始人兼CTO是前Meta工程师Alexander Whedon。

投资方包括Tinder联合创始人Justin Mateen,以及曾投资过Anthropic和OpenAI的几位早期投资人。

要理解Subquadratic的说法为什么有分量,得先讲清楚现在的大语言模型是怎么算账的。

今天几乎所有主流的大模型,无论是OpenAI的GPT,谷歌DeepMind的Gemini,还是Anthropic的Claude,底层都用着同一种叫Transformer的神经网络架构。

这种比较方式很彻底,但代价很重。

Subquadratic的核心思路,是用一种叫"次二次方选择性注意力"的稀疏注意力机制取代稠密注意力。

简单说,模型不再比对所有词对,而是根据内容动态挑选出真正相关的词对来计算。

这个思路并不新,业界已经有不少团队尝试过稀疏注意力,但此前没有人能在质量上追上稠密注意力。

Subquadratic公布的几个关键数字相当抢眼。

在1百万token的速度测试中,SubQ的注意力机制据称比谷歌DeepMind的FlashAttention快52倍。

但真正引发议论的是成本数字。

公司告诉SiliconANGLE,跑同样的RULER 128K测试,SubQ的成本是8美元,而Claude Opus 4.6需要约2600美元。

在编码任务上,SubQ在LiveCodeBench上据称拿到89.7%,在SWE-Bench Verified上拿到81.8%,跟Opus 4.6的80.8%基本持平。

公司还请了第三方评估机构Appen来复核基准成绩,Appen生成式人工智能研究总监Jeanine Sinanan-Singh形容这些结果"可能是游戏规则的改变者"。

不过,质疑声同样密集。

最核心的一个问题是:SubQ并不是从零开始训练的。

Whedon在X平台上确认,公司是在中国开源模型Qwen的权重基础上,替换了自己的稀疏注意力机制,再做的训练。

这种做法本身在业内很常见,但和"完全重新定义LLM架构"这种宣传口径放在一起,就显得有些尴尬。

曾在OpenAI工作的独立研究员Will Depue评论说,公司可能真的做出了实用的东西,但目前公开的证据还不足以支撑"已经解决二次方注意力瓶颈"这种更强的论断。

另一个被指出的疑点是研究模型和生产模型之间的差距。

这17分的落差至今没有得到完整解释,让人不得不怀疑:从实验室搬到实际产品中,到底牺牲了多少精度。

人工智能评论员Dan McAteer在社交平台上的话流传很广,他写道:SubQ要么是Transformer之后最大的突破,要么就是人工智能版的Theranos。

抛开数字的争议不谈,Subquadratic所瞄准的方向其实是整个人工智能行业最迫切的问题之一。

这也是Justin Dangel在采访中那句话的底气,他说Subquadratic希望开启一个效率新时代,他不认为几年后还会有人在Transformer之上继续搭建系统。

不过谨慎的观察者更愿意等等看。

正如一位开发者在社交平台上的犀利发问:如果SubQ真的把算力减少1000倍,成本只有Opus的不到5%,公司为什么还要靠"早期访问计划"控制流量?

接下来几个月里,社区基准测试一旦放开,独立研究者跑出来的数据将决定这家公司究竟是写下了Transformer之后的新一章,还是给2026年的AI炒作史又添上一笔注脚。

无论结果如何,Subquadratic已经把整个行业的目光,重新拉回了那个被大家暂时搁置的老问题:注意力机制,真的非要这么算账吗?

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1年810万!艾顿留队,对湖人有何影响?

1年810万!艾顿留队,对湖人有何影响?

篮球实录
2026-06-28 18:50:53
50岁男子糖尿病离世,医生强调:这4种早餐尽量停用,别再贪吃了

50岁男子糖尿病离世,医生强调:这4种早餐尽量停用,别再贪吃了

王二哥老搞笑
2026-06-28 18:55:39
好多人其实已经在崩溃边缘了。

好多人其实已经在崩溃边缘了。

老陆不老
2026-06-28 20:04:55
去代转正,孙永刚当选烟台市蓬莱区区长

去代转正,孙永刚当选烟台市蓬莱区区长

齐鲁壹点
2026-06-28 19:12:18
洪森这趟北京之行,走得那是相当狼狈

洪森这趟北京之行,走得那是相当狼狈

云鹏叙事
2026-06-27 20:51:29
世界杯预测,南非队击败加拿大队晋级,理由是加拿大队缺乏经验

世界杯预测,南非队击败加拿大队晋级,理由是加拿大队缺乏经验

足球分析员
2026-06-28 11:00:08
现在卖掉房子,是“愚蠢”还是“明智”?王健林一语道破,明白了

现在卖掉房子,是“愚蠢”还是“明智”?王健林一语道破,明白了

猫叔东山再起
2026-06-28 10:55:06
广东男篮最新消息,徐杰参加德鲁联赛,张昊终于有了新动态!

广东男篮最新消息,徐杰参加德鲁联赛,张昊终于有了新动态!

大汉体育解说
2026-06-28 14:46:11
你的面子走不了

你的面子走不了

求实处
2026-06-27 22:10:03
查尔斯正式签字关门,哈里梅根永久出局!英国王室这次玩真的了

查尔斯正式签字关门,哈里梅根永久出局!英国王室这次玩真的了

阿废冷眼观察所
2026-06-28 20:05:09
刘涛去上海出差,想着好久没见孙俪,发微信约晚饭。孙俪回得很快:见面可以,只能中午,四点前必须散

刘涛去上海出差,想着好久没见孙俪,发微信约晚饭。孙俪回得很快:见面可以,只能中午,四点前必须散

LULU生活家
2026-06-28 09:20:29
离谱!1区TOP论文,图片含“豆包AI水印” ,兰州大学发布《情况说明》

离谱!1区TOP论文,图片含“豆包AI水印” ,兰州大学发布《情况说明》

高分子科学前沿
2026-06-28 17:17:10
哈佛展出王羲之《道德经》真迹,全卷一字未损,专家:无价之宝

哈佛展出王羲之《道德经》真迹,全卷一字未损,专家:无价之宝

幸福娃书画苑
2025-05-10 10:53:03
Nice!斯玛特!火箭,爽了!

Nice!斯玛特!火箭,爽了!

技巧君侃球
2026-06-27 23:42:22
Sidery:湖人、鹈鹕和猛龙等球队均有意迈尔斯-特纳

Sidery:湖人、鹈鹕和猛龙等球队均有意迈尔斯-特纳

北青网-北京青年报
2026-06-28 20:06:08
三国启动CPTPP入约谈判,对中国入约是阻力还是新转机?

三国启动CPTPP入约谈判,对中国入约是阻力还是新转机?

靓仔情感
2026-06-27 15:50:30
中国大使馆新址惊现35枚“中国制造”窃听器,外界震动

中国大使馆新址惊现35枚“中国制造”窃听器,外界震动

匹夫来搞笑
2026-06-28 19:15:42
女孩查分721,当晚选择坠楼自杀,警方检查手机短信,发现实情

女孩查分721,当晚选择坠楼自杀,警方检查手机短信,发现实情

罪案洞察者
2025-07-16 10:48:38
首位90后白玉兰视后诞生:不只是杨紫的胜利,更是代际交替的信号

首位90后白玉兰视后诞生:不只是杨紫的胜利,更是代际交替的信号

极客电影
2026-06-27 21:27:38
意媒:阿拉伊贝戈维奇在世界杯上表现佳,伊布推动米兰引进他

意媒:阿拉伊贝戈维奇在世界杯上表现佳,伊布推动米兰引进他

懂球帝
2026-06-28 17:54:07
2026-06-28 20:36:49
枯蝶
枯蝶
枯蝶
847文章数 224关注度
往期回顾 全部

科技要闻

DeepSeek最新论文:如何让大模型跑得更快

头条要闻

李在明发文批韩国队:把无能之辈放到指挥位置是失败

头条要闻

李在明发文批韩国队:把无能之辈放到指挥位置是失败

体育要闻

韩国可算确定被淘汰了

娱乐要闻

曾沛慈拿下《乘风2026》年度总冠军

财经要闻

两只股票撑起的韩国股市,半年熔断 33 次

汽车要闻

搭载华为乾崑六件套 东风奕派M8预售19.98万起

态度原创

家居
房产
手机
旅游
公开课

家居要闻

绿意盎然 自然之境

房产要闻

全国高考大放水,300分就能上本科!论上岸率,海南没输过!

手机要闻

1999元起 荣耀X80 Pro Max首销大卖:斩获2026年安卓新品首销日销量第一

旅游要闻

架起远东滨海度假桥梁!烟台正式开通俄罗斯两条旅游包机航线

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版