网易首页 > 网易号 > 正文 申请入驻

Cloudflare把冷启动干到0毫秒,AI代理成本砍了80%

0
分享至


2026年3月,Cloudflare工程师博客更新了一条技术公告:Dynamic Workers正式上线。这不是常规的功能迭代——他们要把AI生成代码的执行延迟,从"喝杯咖啡等结果"压到"眨眼的功夫"。

数据很直白:传统AI代理架构里,大模型每步推理都要走网络往返,token费用像漏水的水龙头。Cloudflare的新方案直接让LLM一次性写完执行脚本,推理成本最高砍掉80%。

ReAct模式:AI代理的"挤牙膏"困境

现在主流的AI代理都在用ReAct范式(推理-行动循环)。LLM发现需要调用工具,就停下来发请求,等后端执行完再把结果塞回上下文窗口,接着推理下一步。循环往复。

这套流程的问题在于网络延迟会叠加。每一步都要重新发送完整对话历史,token账单跟着步骤数线性膨胀。你的AI代理不是在思考,是在刷你的信用卡刷得很慢。

Cloudflare和前沿AI研究者盯上了另一个思路:让LLM直接写执行逻辑。给模型API schema,让它生成一段TypeScript或JavaScript函数,把所需操作串成管道。Cloudflare内部管这叫"Code Mode"。

一次性生成执行脚本,LLM只 invoked(调用)一次,而非反复 invoked 来推进计划。

容器方案的"穿帮时刻"

Code Mode理论上很干净,但执行未经验证的AI生成代码是颗雷。传统做法是用Linux容器或微虚拟机做沙箱隔离,这里暴露了老架构的致命伤。

容器启动以秒计,冷启动成本直接吃掉延迟优势。安全沙箱本身就成了性能瓶颈——你为了安全付出的代价,恰好抵消了让LLM写代码省下来的时间。

Cloudflare Dynamic Workers的解法是把Linux容器换成即时创建的轻量V8 isolate。V8 isolate是Chrome同款JavaScript引擎的隔离单元,启动时间在毫秒级,内存占用只有容器的零头。

Dynamic Workers的三张底牌

零冷启动。 V8 isolate的创建和销毁速度让容器看起来像蒸汽机车。AI代理收到用户请求的瞬间,执行环境已经就绪。

成本结构重构。 省下的不只是token费用。容器编排的复杂度、安全补丁的维护成本、预置环境的闲置开销,全部被打包进Cloudflare的边缘网络托管。

攻击面收缩。 V8 isolate的设计初衷就是跑不可信代码。每个isolate有独立的堆内存和全局对象,逃逸漏洞的历史记录比容器少一个数量级。

Cloudflare在公告里放了一个对比:同样执行AI生成的数据处理脚本,Dynamic Workers的P99延迟比AWS Lambda容器方案低两个数量级。具体数字没公布,但"两个数量级"在工程师语境里通常是100倍起步。

动手搭建:从schema到沙箱

实际部署比想象的要轻。核心流程三步:定义API schema,写prompt让LLM生成符合schema的函数,把函数丢进Dynamic Worker执行。

schema设计是关键。你需要让LLM明确知道哪些端点可用、参数类型、返回值结构。Cloudflare的示例用了Zod做运行时校验,生成代码先过类型检查再进isolate。

安全层不能省。即便V8 isolate本身有隔离性,Cloudflare还是加了代码静态分析和执行超时熔断。AI生成的代码可能死循环,也可能试图访问未声明的API——这些都要在进沙箱前拦住。

一个细节:Dynamic Workers支持把执行结果直接流回LLM做后续处理,或者缓存到Workers KV供其他服务消费。这意味着你可以把"生成代码-执行-存结果"整条链挂在边缘节点,离用户物理距离最近的地方跑完全程。

Cloudflare工程师在博客评论区回复了一个用户问题:如果LLM生成的代码有bug怎么办?回答是"和调试普通TypeScript一样,日志和堆栈追踪全给你"。这暗示了另一个设计选择——Dynamic Workers的执行环境和标准Workers共享同一套可观测性工具,没有额外的学习成本。

现在的问题是:当你的竞争对手还在用ReAct模式数着token账单时,你愿意把AI代理的执行逻辑交给LLM一次性写完吗?

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
官方:CCTV16转播U23国足vs朝鲜U23

官方:CCTV16转播U23国足vs朝鲜U23

懂球帝
2026-03-27 11:49:27
这三个生肖人不能养猫,普贤菩萨:不是养不起,是相生相克,因果相撞

这三个生肖人不能养猫,普贤菩萨:不是养不起,是相生相克,因果相撞

古怪奇谈录
2025-09-26 13:03:13
谁赢,他们帮谁,伊朗等来最大强援,美陷入死局,后悔也来不及了

谁赢,他们帮谁,伊朗等来最大强援,美陷入死局,后悔也来不及了

阿伧说事
2026-03-28 01:58:57
认清六合彩违法本质:涉赌必追责,广东多地判例敲响警钟

认清六合彩违法本质:涉赌必追责,广东多地判例敲响警钟

花小猫的美食日常
2026-03-27 18:37:58
国企老总收法国间谍18亿贿赂,大肆出卖国家利益,后来如何

国企老总收法国间谍18亿贿赂,大肆出卖国家利益,后来如何

老黄有话
2024-04-09 08:00:03
我自驾西藏,遇徒步女大学生搭车,同行3天后,才知自己躲过一劫

我自驾西藏,遇徒步女大学生搭车,同行3天后,才知自己躲过一劫

千秋文化
2026-03-09 20:53:50
钟楚曦马尔代夫度假,大尺度泳衣大秀好身材,大长腿太吸睛!

钟楚曦马尔代夫度假,大尺度泳衣大秀好身材,大长腿太吸睛!

圆梦的小老头
2026-03-02 22:32:57
记者:卢卡库拒绝回到那不勒斯进行恢复,他将遭到俱乐部罚款

记者:卢卡库拒绝回到那不勒斯进行恢复,他将遭到俱乐部罚款

懂球帝
2026-03-27 20:42:22
贾康重磅发声!3月25日北京传来大消息,房地产真的止跌回暖了?

贾康重磅发声!3月25日北京传来大消息,房地产真的止跌回暖了?

林子说事
2026-03-28 04:43:11
国产笔记本CPU偷梁换柱翻车!官方终于回应:生产失误、全额退款

国产笔记本CPU偷梁换柱翻车!官方终于回应:生产失误、全额退款

快科技
2026-03-25 10:14:04
大批美国游客涌入中国,回国后坦言:客观对比,中国比美国强多了

大批美国游客涌入中国,回国后坦言:客观对比,中国比美国强多了

灿若银烂
2026-02-27 20:11:39
这种成熟女人的打扮,比起网红小姐姐的穿搭,显得更有韵味

这种成熟女人的打扮,比起网红小姐姐的穿搭,显得更有韵味

美女穿搭分享
2026-03-20 19:00:03
年终盘点:速腾L连续十年细分市场销冠,品牌护城河深不可测?

年终盘点:速腾L连续十年细分市场销冠,品牌护城河深不可测?

汽车网评
2025-12-29 15:42:26
高龄老人不用吃他汀?权威研究:70岁以上高危者吃了更长寿

高龄老人不用吃他汀?权威研究:70岁以上高危者吃了更长寿

医学科普汇
2026-02-26 21:15:04
别再用现金行贿受贿了!大数据一查就现形,全程 “裸奔” 藏不住

别再用现金行贿受贿了!大数据一查就现形,全程 “裸奔” 藏不住

复转这些年
2026-02-09 23:45:54
赖清德还在窃喜?柯文哲判17年、蔡正元入狱,国防部当场撂下硬话

赖清德还在窃喜?柯文哲判17年、蔡正元入狱,国防部当场撂下硬话

奇思妙想生活家
2026-03-28 03:55:42
张雪峰6年前已离婚,独女张姩菡只能分16.5%遗产,现任妻子占大头

张雪峰6年前已离婚,独女张姩菡只能分16.5%遗产,现任妻子占大头

枫红染山径
2026-03-25 16:56:22
女子被触摸隐私部位后续!衣服全被脱光,商家只开除,拒绝赔偿

女子被触摸隐私部位后续!衣服全被脱光,商家只开除,拒绝赔偿

潮鹿逐梦
2026-03-18 10:26:41
秘密曝光了!欧尔班政府的飞机从俄罗斯运回大量的资金和贵重物品

秘密曝光了!欧尔班政府的飞机从俄罗斯运回大量的资金和贵重物品

蓝色海边
2026-03-28 04:02:59
朱芳雨和杜锋产生了意见分歧!

朱芳雨和杜锋产生了意见分歧!

体育哲人
2026-03-27 18:33:05
2026-03-28 05:47:00
碳基打工人
碳基打工人
坐标北京,靠咖啡续命,靠小红书下饭的普通人类。
327文章数 4关注度
往期回顾 全部

科技要闻

杨植麟张鹏夏立雪罗福莉,聊龙虾、聊涨价

头条要闻

伊朗:正制定战争结束条件 美以将被迫接受现实

头条要闻

伊朗:正制定战争结束条件 美以将被迫接受现实

体育要闻

邵佳一:足球就像一场马拉松

娱乐要闻

范玮琪加盟,官宣《浪姐7》遭全网抵制

财经要闻

我在小吃培训机构学习“科技与狠活”

汽车要闻

与众08,金标大众不能输的一战

态度原创

数码
艺术
时尚
本地
军事航空

数码要闻

洛斐QQ音乐联名外设泄露:极地苔原色,瞬间激活432Hz自然声

艺术要闻

一位好“色”的摄影师

推广中奖名单-更新至2026年3月11日推广

本地新闻

在潍坊待了三天,没遇到一个“潍坊人”

军事要闻

伊朗:已组织超100万人为地面战斗做准备

无障碍浏览 进入关怀版