从原型到生产：AgentOps 加速字节 AI 应用落地实践｜QCon 北京

2025 年 4 月 10 - 12 日，QCon 全球软件开发大会 将在北京盛大召开。此次大会以 “智能融合，引领未来” 为主题，将汇聚各领域技术先锋与创新者，共同探讨行业发展新趋势。

字节跳动 AI 应用 DevOps 平台后端技术负责人杨晨已确认出席，并将发表题为《从原型到生产：AgentOps 加速字节 AI 应用落地实践》的主题分享。随着 LLM 的发展，越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革，AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践，讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。

杨晨作为字节跳动 Dev Platform 部门技术专家，AI 应用 DevOps 平台后端技术负责人。持续关注 AI 应用开发者工具平台的前沿动态及创新，从 0-1 落地字节 AI 应用 DevOps 平台，对 AI 应用落地及效果调优有深入的理解与洞见。本次会议中，他的详细演讲内容如下：

演讲提纲

1. 大模型时代的应用开发范式变革

• 微服务应用架构 VS AI 应用架构

• AI 应用开发范式

• AI Agent 的演进

2. AI 应用开发中的问题与挑战

• 基于大模型的应用开发迭代方式有何不同？如何高效开发？

• 面对大模型的不确定性，如何高效评测 AI 应用以达到上生产要求？

• 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维？

• 效果不及预期，如何进行推理结果的优化提升？

3. 字节 AgentOps 落地实践

3.1 AgentOps 平台的整体架构

• AI 应用开发的全生命周期

3.2 Prompt 开发：从设计、调优到应用

• Prompt 调试优化工具与实践

• Prompt 版本化管理与生产应用

3.3 效果评测：AI 应用的生存之道

• 评测标准与流程的建立

• 评测集与评估器

• • LLM-as-a-Judge

  • Code Evaluator

  • Human-in-the-loop

• 业务实践

• • 基于 Golden Set 的效果准出评测

  • 基于线上数据回流的在线评测

3.4 可观测：洞察 AI 应用的全链路

• Tracing 数据的采集与消费

• 开箱即用的会话聚合与指标分析

• 业务实践

• • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮：AI 应用效果提升的闭环

3.6 落地情况与经验总结

• 在字节内场的落地情况

• 实践难点与经验总结

4. 未来展望

• AI 应用开发者的核心诉求

• Agent 元年对 AgentOps 平台的机会与挑战

您认为，这样的技术在实践过程中有哪些痛点？

• AI 应用开发的范式不断创新与变革，如何寻求 AgentOps 的最佳实践

演讲亮点

• 字节跳动 AgentOps 的全流程实践

• AI 应用效果评测、问题定位、效果迭代优化的一手经验

听众收益

• 深入理解 AI 应用开发过程中会遇到的问题及解法

• AI 应用落地及效果调优的实践经验及最新认知

除此之外，本次大会还策划了多模态大模型及应用、AI 驱动的工程生产力、面向 AI 的研发基础设施、不被 AI 取代的工程师、大模型赋能 AIOps、云成本优化、Lakehouse 架构演进、越挫越勇的大前端等专题，届时将有来自不同行业、不同领域、不同企业的 100+ 资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 680 元，详情可扫码或联系票务经理 18514549229 咨询。