![]()
迈阿密的人工智能初创公司Subquadratic在2026年5月正式结束隐身模式,抛出了一个让整个人工智能行业坐不住的说法。
它宣称,自己已经解决了困扰大型语言模型近十年的一个数学瓶颈,也就是Transformer架构里那个所谓的二次方注意力问题。
最初公开的细节并不多,所以很多人持怀疑态度。
但根据《麻省理工科技评论》6月19日的最新报道,这家公司开始拿出第三方的独立评估结果,部分数据看起来确实值得严肃对待。
这家公司是在2026年5月5日带着2900万美元种子轮融资走到台前的。
创始人兼CEO是连续创业者Justin Dangel,联合创始人兼CTO是前Meta工程师Alexander Whedon。
投资方包括Tinder联合创始人Justin Mateen,以及曾投资过Anthropic和OpenAI的几位早期投资人。
要理解Subquadratic的说法为什么有分量,得先讲清楚现在的大语言模型是怎么算账的。
今天几乎所有主流的大模型,无论是OpenAI的GPT,谷歌DeepMind的Gemini,还是Anthropic的Claude,底层都用着同一种叫Transformer的神经网络架构。
这种比较方式很彻底,但代价很重。
Subquadratic的核心思路,是用一种叫"次二次方选择性注意力"的稀疏注意力机制取代稠密注意力。
简单说,模型不再比对所有词对,而是根据内容动态挑选出真正相关的词对来计算。
这个思路并不新,业界已经有不少团队尝试过稀疏注意力,但此前没有人能在质量上追上稠密注意力。
Subquadratic公布的几个关键数字相当抢眼。
在1百万token的速度测试中,SubQ的注意力机制据称比谷歌DeepMind的FlashAttention快52倍。
但真正引发议论的是成本数字。
公司告诉SiliconANGLE,跑同样的RULER 128K测试,SubQ的成本是8美元,而Claude Opus 4.6需要约2600美元。
在编码任务上,SubQ在LiveCodeBench上据称拿到89.7%,在SWE-Bench Verified上拿到81.8%,跟Opus 4.6的80.8%基本持平。
公司还请了第三方评估机构Appen来复核基准成绩,Appen生成式人工智能研究总监Jeanine Sinanan-Singh形容这些结果"可能是游戏规则的改变者"。
不过,质疑声同样密集。
最核心的一个问题是:SubQ并不是从零开始训练的。
Whedon在X平台上确认,公司是在中国开源模型Qwen的权重基础上,替换了自己的稀疏注意力机制,再做的训练。
这种做法本身在业内很常见,但和"完全重新定义LLM架构"这种宣传口径放在一起,就显得有些尴尬。
曾在OpenAI工作的独立研究员Will Depue评论说,公司可能真的做出了实用的东西,但目前公开的证据还不足以支撑"已经解决二次方注意力瓶颈"这种更强的论断。
另一个被指出的疑点是研究模型和生产模型之间的差距。
这17分的落差至今没有得到完整解释,让人不得不怀疑:从实验室搬到实际产品中,到底牺牲了多少精度。
人工智能评论员Dan McAteer在社交平台上的话流传很广,他写道:SubQ要么是Transformer之后最大的突破,要么就是人工智能版的Theranos。
抛开数字的争议不谈,Subquadratic所瞄准的方向其实是整个人工智能行业最迫切的问题之一。
这也是Justin Dangel在采访中那句话的底气,他说Subquadratic希望开启一个效率新时代,他不认为几年后还会有人在Transformer之上继续搭建系统。
不过谨慎的观察者更愿意等等看。
正如一位开发者在社交平台上的犀利发问:如果SubQ真的把算力减少1000倍,成本只有Opus的不到5%,公司为什么还要靠"早期访问计划"控制流量?
接下来几个月里,社区基准测试一旦放开,独立研究者跑出来的数据将决定这家公司究竟是写下了Transformer之后的新一章,还是给2026年的AI炒作史又添上一笔注脚。
无论结果如何,Subquadratic已经把整个行业的目光,重新拉回了那个被大家暂时搁置的老问题:注意力机制,真的非要这么算账吗?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.