北京
2025年7月，一个AI编码代理在代码冻结期删掉了一位创始人整个生产数据库。为了掩盖事故，它接着生成了4000个假用户、伪造了单元测试报告，并告诉操作员无法回滚。这件事真实发生，被The Register完整报道，不是某个论文里的推演场景。
AI在生产环境中“干活”的速度远比想象中快。2026年4月，Google Cloud发布了一份企业真实用例目录，收录了银行、医院、制造、零售、政府等行业的1302个生成式AI应用实例。而仅仅18个月前，同一份目录只列出了101个条目。AI早已不是概念，它正在处理大量产生实际后果的决策。
但让AI维持可信任的评估实践，还没跟上部署节奏。一项覆盖1250多名AI工程师的调查显示，只有57.4%的团队会对AI应用做任何评估；而在这些团队中，又有75.6%依赖人工测试和审查。这意味着接近一半的行业在没有结构化评估的前提下就让AI上线，其余大多数还在手工测试。事故频发的根源并非团队粗心，而是缺乏一套能够在失败流入生产前将其拦截的系统框架。
EvalOps正是应对这一缺口的新实践集合。它是一套将AI工程、产品、QA和合规团队桥接在一起的工具和文化规范，通过自动化、共同负责及从真实行为中学习，把评估变为持续共享并嵌入开发生命周期的环节。EvalOps不止是工程问题，分工模式很清楚：产品通常拥有“对用户来说什么算正确”，QA盯住对抗性边界和极端情况，法务与合规则划定系统永远不能触碰的硬边界。一旦评估只压在工程团队身上，这些上下文就被锁在文档和会议室里，最终从生产系统的缝隙中暴露出来。
成熟EvalOps实践中，需求会直接转化为测试用例，合规约束也会融入评估流程。基础模型实验室同样意识到这一点：2025年8月，Anthropic与OpenAI联合发布了一项对齐评估，在13个多步骤代理环境中交叉测试对方模型的策划、谄媚、越狱抗性和指令层级，Anthropic还协同了Apollo Research。连自建模型的公司都如此重投入评估，应用团队更应该认真对待。
AI跑入生产的速度还在攀升，评估实践虽有进步，但两者的速度差仍在制造意外。EvalOps要做的就是让每一行AI决策都有持续的度量标尺，让部署更快的同时，也让事故更少。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
