北京
AWS在周四把面向代码漏洞的Continuum正式开放使用。这个服务会在代码仓库里找出并验证漏洞，对照客户的AWS环境做检查，然后提交包含修复建议的合并请求。
真正引发讨论的是它此前公布的一组跑分。AWS在10月5日就发布了这项核心基准成绩，比正式上线早了半个多月。在那次运行中，Continuum在CyberGym-E2E上通过了920个任务里的819个，端到端成功率为89.0%，而此前公开的最高成绩是65.9%。
AWS首席执行官Matt Garman在X上发文称，AI对防御方而言“具有真正的变革性”，Continuum在这项测试上的得分高于任何其他AI智能体。
Duckbill首席云经济学家、联合创始人Corey Quinn在这条帖子下回复，猜测这次发布原本是不是为re:Invent准备的，因为互联网当前的状况而被提前推出。Quinn没有提供任何证据证明AWS提前了发布计划。
90分钟，不给任何线索
CyberGym-E2E的设定是：给智能体90分钟，在139个开源项目之一里找出并修复一个漏洞。它拿不到漏洞描述、概念验证代码、崩溃日志，也没有现成补丁可以参考。智能体必须自己定位缺陷、触发它，并产出一个既能阻止崩溃、又不破坏现有测试的修复方案。
所有任务都是C或C++中的内存安全类漏洞，排除了大量其他语言和漏洞类型，这一点AWS自己也承认。
评分分四个累积阶段。Continuum在92.5%的任务中找到了漏洞并复现，在89.6%的任务中阻止了崩溃，在89.0%的任务中保持了项目原有测试通过。第四阶段则检查补丁是否同时修复了基准选定的那个历史漏洞。
智能体始终不知道那个历史漏洞是哪一个，它只需要在代码库里找到一个真实缺陷并修好。Continuum的补丁在37.8%的任务中同时修掉了那个历史漏洞，此前公开的最高成绩是26.2%。
两个分数之间的落差
关于最后一个阶段，AWS的说法有其道理。一个代码仓库里可能存在多个漏洞，修掉另一个并不等于工作没有价值，这有助于解释两个分数之间的差距。
Continuum靠找到并修补一个真实漏洞、且不破坏现有测试，完成了89%的任务；但这些补丁里只有37.8%同时命中了基准要检查的那个历史漏洞。智能体并未被告知那是哪个漏洞，所以这个比较算不上完全公平。目前仍不清楚的是，当团队明确指定一个漏洞让Continuum修复时，它的表现会如何。
跑分是谁做的
AWS自己执行了这些测试，并表示Continuum遵守了基准规则，包括对互联网访问的限制。公司还核查了智能体是否只是去查找已经公开的修复方案。Continuum在90分钟时限内通过了89%的任务。
AWS称，如果给更多时间，这个数字会升到93.7%。基准和测试工具是公开的，但到目前为止，这些结果只有AWS自己给出过。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
