北京
卡内基梅隆大学（CMU）的一篇新论文给出了一个不太寻常的评测思路：不比拼单点能力，而是让智能体直接干完整的工程活。这套基准叫 Singularity-Bench，一共设置了6个端到端任务，从预训练一个模型，到搭出一个推理服务引擎，都在其中。
评分方式也很直接：每个任务的结果，都要和同一批GPU上运行的生产级系统对比，比如SGLang、NVIDIA Dynamo，或者Claude Code本身。换句话说，智能体不是在考卷上答题，而是要和已经上线的工具同场跑分。
结果里最扎眼的是Opus 5.5 + Claude Code这一组。它搭出的预训练流水线、推理引擎和集群编排器，在相同GPU上达到甚至超过了SGLang、NVIDIA Dynamo这类生产工具的水平。
论文给出的Singularity-Index里，1代表人类基线。Opus 5.5拿到1.25，其余10个智能体的平均分是0.58。单看服务引擎这一项，它每GPU小时产出11.52美元，SGLang是8.18美元。
这套基准值得关注的地方在于任务颗粒度：预训练、推理、集群调度，都是工程链条上最费人力的环节，而不是可以靠提示词糊弄过去的演示题。分数背后对应的是能不能真的把系统跑起来。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
