北京
你给AI分配了一笔推理算力，然后对着跑分叹气：“唉，还是不行。”可你有没有想过，可能不是它能力不够，而是你给的钱没花到位。英国人工智能安全研究所（AISI）最近的一项测试，把这个尴尬摊在了桌面上——市面上那些用固定算力上限的基准评测，系统性地低估了AI智能体的真实水平，低估幅度大约六成。
AISI的团队在七个不同的基准上，让前沿模型“放开了跑”，结果很明显：只要多给一些推理时算力，智能体的成功率就直接往上蹿。拿软件工程任务来说，当可消耗的令牌预算从100万拉升到1000万，成功率一下子跳涨了大约25%。数学和学术类任务（像那个被称为“人类最后的考试”的Humanity's Last Exam）在预算加到500万令牌时，也有大约22%的提升。这些数字背后有一条不断上涨的曲线——性能不是一条平线，而是随着“思考时间”越长，能解出的难题就越多。
这条曲线并非在每个领域都同样陡峭。在网络安全任务中，大约8%的题目只有预算突破1000万令牌时才被攻克，有些甚至需要冲到5000万令牌级别；最新的模型在1亿令牌以上的预算区间，跑出了更高的分数。可是到了医学基准HealthBench上，所有模型在标准预算内就已经见顶，再砸钱效果平平。AISI给出的解释一针见血：当智能体能够自己验证工作成果——比如跑一下代码、测试一下漏洞利用是否生效——算力投入的回报就高；反之，如果任务缺乏即时反馈，或者判断依据迟迟不来，追加的算力就像一拳打在棉花上，响动很小。
更有意思的是一个跨任务尺度：人类专家干一件事要花的时间，和AI智能体所需的令牌消耗，存在一条幂律关系。AISI和独立研究机构METR的数据合在一起，画出了211个软件工任务和78个现实攻击类任务的散点图。一分钟的事，AI可能吃掉几千个令牌；一个小时的活，动辄上百万；而要完成人类专家得埋头干一周的任务，账单很容易飙到数十亿令牌。固定算力的评测，相当于把所有“耗时大户”统统砍掉了。看到智能体在某个任务上报错，也许不是它没这个本事，只是预算提前喊停，没能等到收尾的那一刻。AISI在报告里特意点名了网络攻击任务“The Last Ones”，人类专家要花好几个小时才能搞定，在标准预算下，AI智能体无一例外都失败了。
这就让不少人对“前沿能力进展”的感知慢了一拍。相关报道指出，实际进展的坡度，要比以往的量尺测出来的陡峭得多。一刀切的预算上限，测量的其实是能力增长最平缓的那一段，而真正拉开差距的部分，恰好隐身在那条还没走完的曲线上。下次再看跑分，或许该多问一句：这个成绩，是它真实的天花板，还是你刚巧在它刚起跳时，就合上了钱包。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
