北京
分享至
JetBrains 研究团队分析了 4,782 个真实编程智能体会话，发现了一件让基准测试有点尴尬的事。
在真实请求里，功能开发和 bug 修复加起来，占比远低于一半。用户不会老老实实只让智能体写功能、修 bug，而是在长会话里不断切换：提问、规划、审查、编辑，来回跳。
基准里的世界，和真实世界不一样
对比之下，SWE-Bench Pro 里这两类任务的占比高达 93.8%。也就是说，这个被广泛使用的编程智能体基准，几乎只测了真实工作流里的一小块。
研究指向的问题很直接：如果基准里的任务分布和真实使用差这么远，那测出来的分数，未必能说明智能体在真实场景里好不好用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
