北京
Stripe 最近推出了一套基准测试，用来衡量 AI 智能体能不能端到端地搞定真实的 Stripe 集成——覆盖后端服务、前端应用，一直到浏览器里的结账页面。这个测试不是光看代码生成得漂不漂亮，而是瞄着更完整的软件工程流程：在真实环境里执行、测试、校验，每一步都得跑通。尤其因为场景落在金融系统里，正确性是硬指标，部分成功就等于失败。
整套基准围绕 11 个可复现的环境搭建，模拟了 Checkout 迁移、Billing API 建模这类典型的 Stripe 集成项目。每个环境都带着完整的应用代码库、数据库、脚本，还有测试用的 Stripe API 密钥。对智能体的考核分成三类：纯后端任务、涉及浏览器结账流程的全栈任务，以及订阅管理和 Checkout 集成这类产品特定的练习。
智能体通过一套基于 Goose 和模型上下文协议（MCP）的统一工具链来操作，拥有终端访问、浏览器自动化和文档检索的能力。任务不止于写代码，还得把服务跑起来、跟 API 交互，再用自动化测试或模拟用户流程来校验端到端行为。判定靠的是确定性评分程序，通过 API 调用、UI 自动化和检查 Checkout Session 这类 Stripe 对象来给出结果。Stripe 没有公布一个汇总的总成功率，但不同任务类型之间的表现差异很明显：后端集成更稳，一涉及到跨系统的校验和状态跟踪，分数就往下掉。
具体拆开来看，Claude Opus 4.5 在四个场景的全栈 API 集成任务里平均拿了 92 分，GPT 5.2 在两个结构化训练场风格的任务里达到 73 分。表现最好的那几次运行，平均交互轮次稳定在 63 轮，说明长时间的执行能力有所提升，不过一旦工作流拉长，正确性的衰减还是会出现。
Stripe 的软件工程师 Carol L 在 LinkedIn 上点出了关键局限：瓶颈不在代码生成，而在校验。她认为，AI 智能体眼下还取代不了软件工程师，至少在构建 Stripe 集成时是这样——金融系统要求严格正确，而当前的智能体缺少一个稳定的校验层去应付集成工作流中的各种状况。
报告里列出了两种反复出现的失败模式。第一种是在 SDK 升级场景中，智能体有时会误读校验信号。当收到无效的 Stripe 输入时，它们观察到预期的 HTTP 400 响应，反而错误地判断集成已经成功。在表现更稳健的运行里，智能体则能生成合成测试数据，并据此正确地验证行为。
第二种失败模式出现在浏览器结账流程中。智能体需要走完一个完整的网页支付过程，相关测试在涉及前端状态跟踪和多步骤交互时，暴露出当前模型在校验层面仍然不够可靠。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
