一边Demo惊艳，一边生产环境翻车：AI智能体的"伪强大"被伯克利撕开了

• 最强AI连1%都过不了：伯克利耗时半年造的"最后一考"，凭什么这么难？

• 一边Demo惊艳，一边生产环境翻车：这道"最后一考"揭穿了AI行业的皇帝新衣

• 250位行业专家、1490道真实考题：伯克利"AI智能体最后一考"全文拆解
  

• 在测试集拿了82分，真实职场却只有0分：AI智能体的"伪强大"被伯克利撕开了

近年来，AI 系统在游戏、奥数、竞赛编程这些高难度基准上接连刷新纪录，却很少在真正驱动经济增长的专业工作里，变成看得见的生产力。

这中间的落差，被越来越多研究者当成当下 AI 的核心瓶颈。

2026 年 6 月首次提交、10 月更新到 v3 的论文《Agents’ Last Exam》（arXiv:2606.05405），就是冲着这个落差来的。

它由加州大学伯克利分校 Dawn Song 团队主导，联合 250 多位产业专家一起搭建，想用一套覆盖真实职业、可验证、长周期的基准，衡量通用计算机使用智能体（GCUA）在真实经济活动里的实际能力。

对要决定 AI 预算、评估供应商、规划下一代产品的决策者来说，这篇论文值得认真读。它回答的问题很具体：现在最强的智能体，离“能真正干活”还有多远。

评估决定方向

一个领域的进步，很大程度上被它选择优化的那个基准牵着走。ImageNet 曾定义了计算机视觉的黄金十年，因为一旦某个领域有了可靠、可验证、被广泛采用的评估，研究注意力和工程资源就会涌进来，部署也跟着落地。

可金融、法律、电气工程、制造、建筑设计这些真正贡献核心经济产出的领域，长期没有这类基准。现有的评估，要么盯着短周期的计算机操作任务，要么依赖合成环境，要么停在问答层面，要么靠昂贵的人工打分。

结果就是，模型越来越会“考试”，却在“完成需要数天甚至数周专业判断的真实项目”上进展缓慢。作者把这叫 AI 的“效用问题”：基准成绩的累积速度，远快于核心产业肉眼可见的转型速度。

要解决它，就得造一套能测量“长周期、经济价值高、真实环境中可验证结果”的评估体系。ALE 的出发点，就在这里。

“Last Exam”这个名字有两层意思。一层是能力门槛，通过这类行业级考试的智能体，才算真正具备在该职业里持续完成有经济价值工作的能力，而不只是会回答相关问题。

另一层是难度前沿，它刻意锚定需要专业判断的真实长周期工作流，正好卡在当前系统可靠完成的边界之上。

这个判断对企业有很好的警示。过去两年，大量企业在智能体热潮里投入资源，结果发现演示效果和生产环境的表现差了一大截。

ALE 用数据指出，这个差距的根源，是现有评估体系系统性偏向短周期、低复杂度、易验证的任务。

用真实职业造题

ALE 的覆盖面严格锚定美国联邦职业分类体系 O*NET / SOC 2018。团队把软件中介工作流相似的职业聚成 ALE 行业，排除掉核心工作没法有效数字化的领域，最终得到 13 个产业集群、55 个子领域，共 1490 多个任务实例，其中约 150 个公开，其余私有。55 个子领域都有非零覆盖，任务跑在 Linux 和 Windows 虚拟机里。

筛任务遵循三条原则。

代表性，必须匹配真实专业实践里实际用的软件和流程，比如建筑专家更习惯用 SolidWorks 或 Rhino 把二维图纸转成三维模型，而非简单的 AutoCAD 操作。

复杂性，得是专家要花可观时间才能完成的端到端交付物，不是局部 UI 操作。

可验证性，输出要么能确定性检查，要么绑定到可观察产物的明确评分标准。

团队刻意避开宽泛的“LLM 当裁判”，优先用可哈希值、结构化数值容差、几何距离、行为状态轨迹这类客观指标，只在视频片段、游戏截图等少数场景用窄口径、证据锚定的是非探针。

造题走五阶段流水线：专家征集、提交门户（专家上传自己完成过的真实项目）、初审（类似会议审稿的修订循环）、工程实现与工程师干跑、最终专家委员会同行评审。这套流程保证了任务的真实性和复杂度，靠众包普通工人做不出来。

为了防止数据污染和过拟合，ALE 采用公私分离：只有约 10% 的任务公开，其余放进私有池。私有任务定期轮换进公开集，退役的公开任务被替换，跨模型代际的评估面始终干净。

这套设计对企业的启发在于，真正有价值的评估得来自真实专家的真实项目，而不是合成数据或简化场景。

企业采购或自研智能体时，如果只盯着公开排行榜或供应商演示，很容易掉进“基准幻觉”。

五层能力，最难一档几乎零通过

ALE 把评估对象锁定为通用计算机使用智能体（GCUA）。这类智能体要在单一行动循环里同时具备视觉感知、代码执行、工具调用和长周期规划。

论文把能力拆成五个功能层：Brain（推理与规划）、Eyes（GUI 截图感知）、Body（编排与控制流）、Hands（结构化工具调用）、Feet（运行时基底）。

传统的 CLI 智能体缺 Eyes，纯 GUI 智能体在 Body、Hands、Feet 上又太浅，ALE 的任务要求五层全覆盖。

主流的 harness，比如 Claude Code、Codex、Cursor、OpenClaw，通过“GUI 当工具”或“GUI 当子智能体”两种模式，被扩展到 GCUA 的能力边界。

评估环境用远程虚拟机，标准四目录结构 input、software、output、reference，任务规范写成可执行的 main.py，定义 load、start、evaluate 三个阶段的生命周期，让任务、智能体、环境彼此解耦，任意合规智能体都能在任意任务上跑。

评分采用“门控加分数”或检查表平均。任务的输出五花八门，有 CAM 刀路、财务工作簿、三维网格、游戏世界状态、结构化申报文件，但都会被尽量转成可自动比对的结果。

对企业来说，这个五层模型本身就是一份能力盘点清单。现在不少企业部署的“智能体”，只覆盖了 Brain 和一部分 Hands，Eyes 和 Body 的深度不够，一到真实软件环境就频繁失败。

企业可以对照自己的流程，看现有系统在五个维度上分别缺在哪，再据此规划技术路线和供应商选择。

论文报告的初步结果，是 ALE 远没有饱和。任务分成三档难度：Near-Term 较易，Full-Spectrum 中等，Last-Exam 最难。

在主流 harness 加骨干模型的配置下，最难档的平均完整通过率低于 1%。目前最强的配置 Codex 加 GPT-5.5，整体通过率约 24%，最易档约 38%，最难档接近 0%。Claude Code 等主流系统在最难档同样几乎为零。

对比之下，同一批系统在 Terminal-Bench 上已经能拿到 82% 的高分。这个反差说明，ALE 确实抓到了现有基准没覆盖的能力缺口。

即便在合成或短周期任务上表现优异的智能体，面对要跨 GUI 和 CLI、持续数小时到数天、还要产出可验证专业交付物的真实工作流，仍然差得远。

企业如果把现在最强的智能体直接投进核心业务流程，失败概率极高。用 ALE 的数据来说，智能体的“生产就绪”还远没有到来。

对企业意味着什么

ALE 的价值，是它改变了企业评估、采购、部署和管理智能体的方式，而不只是多了一个排行榜。

首先是重新定义“生产就绪”。过去企业判断智能体能不能用，靠的是供应商演示、公开基准成绩或内部小范围试点。ALE 点破了这些办法的系统性偏差：演示挑的是高成功率场景，公开基准偏向短周期任务，试点环境往往被人为清理过。

真正的生产环境充满长周期依赖、软件状态的不确定、专业判断的要求和交付验收的压力。ALE 把“完整通过率”当作核心指标，等于逼着企业承认一件事：智能体得在真实工作流里稳定产出可验证结果，才谈得上生产就绪。

其次，ROI 测算有了更接近真实的输入。智能体投资的回报计算，长期卡在“能力边界模糊”上。ALE 按难度分层给出可验证的通过率，企业就能更准地估算自动化潜力。

Near-Term 档可能已经具备较高的自动化可行性，适合先试点；Last-Exam 档还需要大量人工介入，更适合当作人机协作场景。企业可以根据自己业务里不同难度任务的占比，更合理地预测效率提升幅度和成本节约空间，避免商业计划过度乐观。

第三，技术选型有了框架。很多企业买的“智能体平台”只强化了 Brain 和部分 Hands，在 Eyes 和 Body 上严重不足。ALE 的结果表明，缺了完整五层能力的系统，在真实专业软件环境里几乎完不成端到端任务。

企业评估供应商时，可以直接要求对方提供在类似 ALE 任务上的表现数据，或自己搭一套内部对标测试，绕开演示驱动的销售话术。

再往深一层，智能体要创造价值，常常需要工作流本身的重构。ALE 的任务都来自真实专家项目，暴露了不少“人做起来顺手、机器做起来困难”的环节。

企业可以对照 ALE 的任务类型，识别哪些工作流适合拆成可验证的里程碑，哪些环节得保留人工判断，哪些软件接口需要标准化。这种用评估倒逼流程优化的思路，比单纯让智能体去适应现有流程更有长期价值。

风险管理和人才策略也能从中借力。企业部署智能体最大的风险之一，是能力被高估导致错误决策。ALE 的低通过率给风控和合规团队提供了依据：在核心业务流程里必须设人工复核节点，尤其在财务、法律、工程安全这些高风险领域。

同时，ALE 强调可验证交付物而非过程描述，也贴合企业审计和合规对“结果可追溯”的要求。

人才这边，最难档的极低通过率说明，现在的智能体更适合当高能力助手，而不是独立执行者。企业该重新想岗位设计：哪些活让智能体出初稿或中间步骤，哪些必须由人类专家把关。

这不算替代，更像能力重新分配。能指挥、监督、纠错智能体的专业人才，价值会更高。

边界与建议

ALE 值得借鉴，但需要看清它的边界。

它目前聚焦非物理行业的数字化工作流，对需要物理交互、高度非结构化人际协作或强监管的场景覆盖有限，金融交易执行、医疗诊断决策、现场工程运维这些还得靠额外的评估体系。

评估成本也不低，完整跑一轮要消耗可观的计算、时间和专家资源，中小企业很难照搬。更现实的做法，是抽取和自己业务高度相关的子领域，搭一套内部轻量对标集。

还要注意，最难档的极低通过率，可能部分反映了当前 harness 与模型在长周期稳定性上的系统不足，而不只是能力上限。

随着上下文管理、错误恢复、多智能体协作的进步，这个数字会变化很快，企业该把它当成动态基准，而不是静态天花板。

任务来源虽然经过严格质检，仍可能带着专家个人习惯和特定软件版本的烙印，迁移时要结合自己的软件栈和流程规范做本地化调整。

对于正在做智能体产品的团队，ALE 给出了清晰的优先级：先补 Eyes 和 Body，实现真正的 GUI 与 CLI 统一编排；强化长周期上下文管理和错误恢复；把“可验证交付物生成”做成核心能力，而不是只优化对话体验；产品路线图里明确对标 ALE 这类真实工作流基准的阶段目标。

给采购方，建议在供应商评估里加一条“真实工作流完整通过率”，并要求提供可复现的测试环境和评分逻辑，内部再建一套轻量评估集，别完全依赖外部排行榜。

Agents’ Last Exam 和那些刷分排行榜不是一回事。它要做的是把 AI 评估重新锚定到真实经济价值上。它靠职业分类学的严谨、专家协作的深度、可验证交付物的设计，以及公私分离和滚动更新的机制，架起一座连接实验室能力与产业落地的桥。

所以，当智能体真的通过这“最后一考”，我们才有底气说，AI 的进步开始变成可感知的生产力和 GDP 贡献。

对正在定 AI 战略、评估投资优先级、规划下一代智能体产品的决策者和研究者，这篇论文值得持续跟踪。它量的是今天的能力边界，也在塑造明天研究和部署的方向。

对企业来说，ALE 真正的价值，是帮你诚实回答一个问题：“它离真正为业务创造可靠价值还有多远？”想清楚这个，才能做出更理性的资源分配和组织设计。

在智能体从演示走向生产的关键阶段，这种诚实和严谨，比任何乐观的预测都更有用。

看到这里了，如果觉得不错，随手点个赞、在看、转发三连吧，也可以给个星标，你的支持就是我的动力。

全文完

王吉伟频道图书《一本书讲透Agentic AI》已出版，完整构建Agentic AI在企业应用中的全景式知识体系，内容跨越 “基础认知-技术原理-业务应用-组织战略-实操指南” 五大板块，为读者提供从认知共识、技术解构、业务对接到组织变革的端到端路线图，欢迎大家关注。

【赠书福利进行中】

感谢大家的长期关注与支持。欢迎小伙伴们在文末留言与转发，王吉伟频道会随机选取读者，《一本书讲透Agentic AI》包邮到家。

【 文末福利1 】：后台发消息研报2026，获取15篇 2026年 AI Agent研报 。

【文末福利2】： 后台发消息Workflow，获取 Agentic Workflow 相关25篇论文。

【文末福利3】：后 台发消息agentic，获取Agentic AI相关资源 。

1、

2、

3、

4、

5、

6、

7、

8、

9、

10、

【王吉伟频道，关注 AIGC 与Agentic AI，专注数字化转型、业务流程自动化与 AI Agent，欢迎关注与交流。】