网易首页 > 网易号 > 正文 申请入驻

Airflow里跑AI代理,沙箱只是子进程,敢用吗?

0
分享至

Apache Airflow 发布了 AI Provider 1.0,把代理编排的基础能力塞进了一个已经在成千上万条生产数据管道里跑的调度引擎。它不是一个新代理框架,而是一组 DAG 任务:让你在现有 Airflow 工作流里跑大模型代理,带上沙箱、人工审批和能区分"模型挂了"还是"工具挂了"的重试逻辑。

这个 Provider 装在 Airflow 2.11 及以上版本,还留在 Airflow 2 的团队不用升级整个平台就能用上代理。核心原语有三个:代理任务、沙箱化代码执行、以及接入 XCom 系统传递上下文的人工审批门。

它到底往 DAG 里加了什么

Common AI Provider(apache-airflow-providers-common-ai)给 DAG 补了三样能力:

  • 代理任务:在一个 DAG 步骤里跑带工具调用的大模型循环
  • 沙箱执行:把代理生成的代码和 Airflow 进程隔开
  • 人工审批门(需 Airflow 3.3+):暂停代理执行,等人批准某次工具调用

代理任务本质是一个在循环里干活的模型:调用 DAG 作者允许的工具、读结果、决定下一步,直到给出答案。Provider 把这个循环包进 TaskFlow API,所以它表现得和普通 DAG 任务一样,有重试、有日志、能通过 XCom 传数据。模型侧通过一个叫 pydanticai 的统一连接类型支持 OpenAI、Anthropic、Google 和 Bedrock,模型和 API Key 配在 Airflow 连接里,任务运行时读取。

沙箱的边界,比你想的窄

传统 Airflow 任务跑一次函数就完事,代理任务跑的是循环:模型拿到提示词和可用工具,调用工具(SQL 查询、API 请求、代码执行),结果回流给模型,模型再决定继续调工具还是收尾,直到返回最终结果或撞上重试条件。最终答案通过 XCom 交给下游任务。

代理写代码时,Provider 把它丢进沙箱而不是 Airflow worker 进程,目的是挡住几件事:碰 Airflow 的凭据和连接、改 DAG 状态或任务元数据、读沙箱目录之外的文件、访问内部服务的网络调用(除非显式放行)。

关键点在这里:沙箱不用容器也不用虚拟机,就是一个限制了导入和文件系统访问的 Python 子进程。开销低,代价是你得信任这套沙箱实现真能守住边界。要更强的隔离,得把代理任务包进 KubernetesPodOperator 之类的东西里。

人工审批门在 Airflow 3.3 及以上可用。代理想发 Slack、发邮件、跑写查询时,可以把工具标记为需要审批,任务随即暂停并生成审批请求,人在 Airflow UI 里看请求、批或拒,代理任务再继续。审批请求里带着工具名和参数、模型调用该工具的理由、循环里此前工具调用的上下文、以及代理当前计划的状​​态。拒绝则任务失败并按配置决定是否重试,批准则工具执行、结果回流给模型。审批请求和审批决定都是 XCom 值,下游任务读得到。

重试:模型超时和 SQL 写错不是一回事

Airflow 本来就会自动重试失败任务,但代理任务需要更聪明的判断:模型超时是暂时性的,一条非法 SQL 不是。Provider 给了两种重试模式:

  • 自动重试:把所有失败都当暂时性故障,模型超时、工具调用失败、沙箱崩溃一律重跑整个代理任务。适合不稳定的 API 或限流,但遇到持续性错误就是白烧 token。
  • 模型决定重试:工具调用失败时错误信息回流给模型,由模型决定换参数重试、换个工具、把错误返回给 DAG 作者,还是先请求人工审批。省 token,但多了一层延迟。

重试模式按代理任务单独配置,默认是带最大重试次数的自动重试。

可观测性方面,每个代理任务暴露这些指标:总 token 用量(提示词加补全)、工具调用次数、单次工具调用延迟、沙箱执行时间、审批等待时间。这些指标进 Airflow 现有的观测栈,可以走 REST API 查、导出到 Prometheus、或在任务日志里看。每次工具调用的参数和结果也会记日志,包括模型推理过程(如果模型暴露的话)、参数、结果或错误、循环每一步的耗时。token 数从模型 API 响应里读,模型不暴露就用分词器估算。

什么时候该用,什么时候别用

Airflow 自带调度开销。代理工作流对延迟敏感(亚秒级响应)就不该用它;按计划跑、或者作为更大数据管道的一环,才合适。沙箱隔离弱于容器和虚拟机,面对不可信代码或合规要求,得套 KubernetesPodOperator 或另起集群。人工审批门适合高风险动作,但会增加延迟,全自动流程就关掉它。

几个已知失败模式:模型调用默认超时 60 秒,超时任务失败并重试,可在任务配置里调大;工具参数非法时,自动重试模式重跑整个任务,模型决定模式则把错误交回模型;沙箱崩溃后重试不保留状态,代理从头开始;人工审批默认 1 小时超时,超时任务失败,可按任务配置;token 用量超限时模型 API 报错,而 Provider 不跨重试累计 token,得自己另外盯。

兼容性上有个坑:Provider 能装在 Airflow 2.11,但人工审批门要 3.3+,模型决定重试和沙箱执行在 2.11+ 可用。在 2.11 上,导入路径要从 airflow.decorators 换成 airflow.operators.python,agent_task 装饰器本身不变。

结论很直接:已经在跑 Airflow、想把代理任务塞进现有 DAG、需要人工审批门、想复用 Airflow 的重试与凭据管理,就用它;延迟敏感、需要强隔离、本来就没跑 Airflow、或者代理工作流完全独立于数据管道,就别用。它不是 LangGraph 或 CrewAI 这类独立代理框架的替代品,填的是"在现有工作流编排里跑代理"这个空档。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
友情版《再见爱人》首播,许飞厉娜差点打起来,看得我脑瓜子嗡嗡的

友情版《再见爱人》首播,许飞厉娜差点打起来,看得我脑瓜子嗡嗡的

八卦南风
2026-10-22 17:20:01
恭喜!赖亚文新帮手亮相,排管中心副主任增加一人

恭喜!赖亚文新帮手亮相,排管中心副主任增加一人

跑者排球视角
2026-10-22 17:35:11
欧冠小组赛/联赛阶段主场不败场次排行:拜仁40场居首

欧冠小组赛/联赛阶段主场不败场次排行:拜仁40场居首

懂球帝
2026-10-23 01:00:16
升降级压迫感!CBA排名:北京3连胜第1 广东艰难首胜山东暂居倒数

升降级压迫感!CBA排名:北京3连胜第1 广东艰难首胜山东暂居倒数

狼叔评论
2026-10-23 00:08:27
连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

连续投喂大量白糖30天,再断供!国外网红扮“蚂蚁天神”整蛊野生蚁群

怪罗
2026-10-21 17:42:19
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
签了大合同演都不演了!训练营拒绝对抗,现在想退役,勇士亏麻了

签了大合同演都不演了!训练营拒绝对抗,现在想退役,勇士亏麻了

你的篮球频道
2026-10-22 07:49:31
50岁李小冉刚官宣离婚就忙挣钱!11年婚姻无娃,和前男友两次流产

50岁李小冉刚官宣离婚就忙挣钱!11年婚姻无娃,和前男友两次流产

头号电影院
2026-10-23 00:43:09
看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

看了一半,才发现主角是反派,难怪金庸的这本书冷门到几乎没人看

耳东文史
2026-10-21 00:00:58
000333,已回购1.38亿股,将全部注销!多家A股龙头也出手!

000333,已回购1.38亿股,将全部注销!多家A股龙头也出手!

证券时报
2026-10-22 21:23:02
35分10助攻仍输球,杜克校友对决他赢了7分

35分10助攻仍输球,杜克校友对决他赢了7分

温柔且自由
2026-10-23 00:35:31
金泰熙久违出席活动,竟戴了假发套,面对镜头也非常的拘谨不自信

金泰熙久违出席活动,竟戴了假发套,面对镜头也非常的拘谨不自信

老吴教育课堂
2026-10-23 00:16:01
苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

苍井空公开承认南京大屠杀:我在上学时学到过,一切的根源都在于战争

不掉线电波
2026-10-21 12:22:08
沪指失守3700点,江浙地区有私募爆仓?

沪指失守3700点,江浙地区有私募爆仓?

都市快报橙柿互动
2026-10-22 16:44:57
全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

全红婵不对劲,不是她以后不比赛了,而是她今年19岁了,居然开始了自己的精致路线

LULU生活家
2026-09-30 20:32:43
太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

太扎心了!25岁女子和前男友酒店发生关系,事后仍被拒绝复合,女子不甘心,从此前男友就消失不见了

丫头舫
2026-10-19 20:19:42
不受耿同学打假影响,南开大学陈佺被免职、撤稿后,其团队再发Nature

不受耿同学打假影响,南开大学陈佺被免职、撤稿后,其团队再发Nature

东东趣谈
2026-10-22 15:20:39
知名博主易梦玲称“巴黎出差行李在机场被盗”:登机箱和随身包一转身就没了,相机设备、旧护照全部丢失,后续的工作也耽误了

知名博主易梦玲称“巴黎出差行李在机场被盗”:登机箱和随身包一转身就没了,相机设备、旧护照全部丢失,后续的工作也耽误了

极目新闻
2026-10-21 00:44:51
突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用

突然收到山姆召回短信,网友傻眼:已全部吃完;品牌方:立即停止食用

扬子晚报
2026-10-22 12:57:39
惊天反转!红利曼防线一夜崩盘,乌军全新战术重创俄军精锐

惊天反转!红利曼防线一夜崩盘,乌军全新战术重创俄军精锐

冷眼看尽世间繁华
2026-10-06 01:09:00
2026-10-23 01:31:00
Ping值焦虑
Ping值焦虑
有态度网友ytd
189文章数 109关注度
往期回顾 全部

科技要闻

腾讯云谷歌紧急行动!互联网安全出大事

头条要闻

大火逼近中国 日本道歉只道一半:未对中国有任何表示

头条要闻

大火逼近中国 日本道歉只道一半:未对中国有任何表示

体育要闻

卢卡:伦德伯格,欢迎来到NBA

娱乐要闻

芭莎盛典,张小斐因救场实现口碑暴涨

财经要闻

宁德,跌成了一只红利股?

汽车要闻

搭城市NOA/续航555KM 捷达M6上市售7.98万起

态度原创

时尚
本地
房产
亲子
健康

装绿茶钓权贵,她这么坏,却被全网爱惨了?

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

房产要闻

租金大跳水!荒了6年,海口这个地标商业,开始急了!

亲子要闻

一件“彩色补丁裤子”,让宝妈的手工被全网嫌弃:这都什么时代了

痘痘能根治吗?皮肤科医生说实话

无障碍浏览 进入关怀版