网易首页 > 网易号 > 正文 申请入驻

100个工作流跑到一半换代码,92个撞上不确定性错误

0
分享至

一个Temporal工作流可以跑几分钟、几天甚至几个月,而它背后的代码在这期间会变。Temporal给出的约束是工作流代码必须保持确定性:每当worker接手一个工作流,它都会拿记录下来的历史重放代码,代码必须做出和第一次相同的决策。


有人把这个问题做成了可操作的实验版本:如果在一百个工作流跑到一半时部署新代码,哪些会坏、什么时候发现、坏掉的工作流长什么样、常用的补救手段里哪个真的管用?

实验全部跑在Temporal CLI的本地开发服务器上,版本1.10.1,Server 1.32.2,Python SDK 1.36.1。工作流共八个步骤,每一步是一个activity,每步之后工作流休眠15秒,单次运行约两分钟。每个activity返回前会往日志文件追加一行,用来精确统计到底跑了什么。

新版本只加了一样东西:在第4步之后插入一个audit activity。这是很常见的一类改动——在既有流程中间加一次调用。每个场景都在60秒内启动100个工作流,让它们分布在各個阶段,然后在第一个工作流启动70秒后更换worker。

直接重启:越过改动点的工作流全坏

停掉旧worker、启动新worker,工作流按进度被干净地分成两拨:

  • 58个还没走到第4步,它们用新代码继续跑,执行了一次audit并完成。
  • 42个已经跑完第4步,这42个全部坏掉。

42个报的是同一个错:[TMPRL1100] Nondeterminism error: Activity machine does not handle this event: HistoryEvent(id: 44, TimerStarted)。历史记录显示第4步之后工作流启动了一个定时器,而新代码重放这段历史时想调度audit activity,两者无法调和,worker拒绝继续。

这些失败没有发生在部署那一刻。每个工作流是在下一次定时器触发、新worker不得不重放它时才失败的,时间落在切换后0.2到14.6秒之间。

坏掉的工作流看起来不像坏了

42个工作流全部停留在Running状态,直到这次运行结束,大约六分钟,而且会一直停在那里。Temporal把不确定性错误当作失败的工作流任务,而不是失败的工作流,会持续重试这个任务,指望有修好的worker出现。到结束时,每个工作流都重试到了第9或第10次。

历史记录里也不明显。每个坏掉的工作流只有一个WorkflowTaskFailed事件,无论后面重试了多少次。重试只体现在待处理任务的尝试计数和worker日志的警告里。一个统计失败工作流的看板,会显示零。

滚动部署更糟

接着让新旧worker并行跑一分钟再停掉旧的,模拟滚动部署。预期是新worker逐步接手,结果它什么都没跑——没有一个工作流任务,也没有一个activity。

工作流会留在已经把它载入内存的那个worker上,所以旧worker继续用旧代码跑着所有工作流,径直越过第4步。等它停下,新worker必须重放所有仍在运行的工作流,其中83个坏了,时间在新worker启动后60到75秒之间。只有重叠期间跑完的17个完成了。

重叠没有起到缓冲作用,只是让更多工作流越过了新代码产生差异的那个点。

patched()才是管用的那个

Temporal文档给出的办法是给改动加保护:if n == 4 and workflow.patched("audit-after-4"): await audit()。工作流第一次跑到这段代码时,patched()返回true并在历史里记下一个标记;worker重放没有标记的历史时它返回false,工作流走旧路径。

同样的重启方式,100个全部完成。没到第4步的58个执行了audit,已经越过第4步的42个按历史记录跳过,没有一个工作流任务失败。

回滚会让另一批卡住

假设没打补丁就发布了,看到报错再回滚。在错误部署80秒后切回旧代码:那42个卡住的工作流恢复了,历史重新与旧代码匹配,它们完成。但此时已有58个工作流跑过新的audit步骤,其中8个已经结束,另外50个的历史里多了一个旧代码不认识的audit,轮到它们坏掉:[TMPRL1100] Nondeterminism error: Timer machine does not handle this event: HistoryEvent(id: 44, ActivityTaskScheduled)。

部署加回滚,100个工作流里有92个在某个时刻撞上了不确定性错误。

事后打补丁也救不回来

更自然的下一步是向前修复:在坏版本之上部署打了补丁的版本。同样在80秒后替换,结果与回滚逐项一致。42个旧形态的工作流没有标记,patched()让它们走旧路径并完成;跑过未打补丁audit的那50个也没有标记,因为未打补丁的代码从不写标记,patched()对它们同样返回false,代码跳过了一次历史里说发生过的audit,于是它们坏了。

没有任何一个代码版本能同时满足这两组工作流。两份历史都没说明自己是哪份代码产生的,而patched()只认打补丁的代码写下的标记。

重置能救出来,但会重跑

那50个工作流的出路是重置。Temporal可以把工作流回退到更早的一个工作流任务,丢弃之后的一切,用当前代码重跑剩下的部分。把每个工作流重置到调度那次未打补丁audit的任务,由打了补丁的worker执行,50个全部在80秒内完成。

但重置意味着重跑,日志证实了这一点:50次audit跑了第二遍,第4步之后的步骤也重跑了一遍,175次步骤执行是已经发生过的重复。只有重置点之后的一切都能安全跑两次,重置才是安全的。

在其他所有场景里,没有任何东西跑两遍。卡住的工作流就是停住,这是整件事里唯一让人安心的地方。

几条可以带走的结论

  • 工作流步骤序列的每一次改动,从第一次部署起就需要workflow.patched()。它是这里唯一既不丢东西也不重复的选项。
  • 不要指望回滚或事后补丁来撤销一次未打补丁的部署,两者都是救下一组、弄坏另一组。
  • 告警要盯工作流任务失败或不确定性警告,而不是失败的工作流——坏掉的工作流一直显示Running。
  • 新旧worker并行不会把工作流迁到新代码,只会让它们沿旧路径走得更远。
  • 如果必须重置,就假定重置点之后的一切都会再跑一遍。

实验者也记录了自己判断失误的地方:本以为滚动部署是温和选项,结果新worker在重叠期间一个任务都没跑;本以为回滚是安全的撤销,但它只在期间没有任何东西跑在新代码上时才成立,而定时器每15秒触发一次,80秒里跑过的东西足够多。另外他最初的分析报告说工作流在部署前两小时就失败了,原因是把事件时间戳按本地时间转换,而他的笔记本比UTC快两小时,改读原始秒数后修正。

需要说明的边界:这是Python SDK在本地开发服务器上的结果,只测了一种改动——在中间加一个activity。删掉一个步骤会以它自己的方式坏掉,而早前的文章显示,调整activity顺序或修改超时根本不会触发这项检查。每个场景只跑了一次,也没有尝试Temporal的worker版本管理功能——它把运行中的工作流固定在其启动时的构建上,正是为这个问题设计的。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

1979年,翁美玲与男友罗柏前往威尼斯出游,1米58的她穿吊带裙与罗柏牵手漫步,镜头下甜蜜画面却藏着不为人知的结局

磊子讲史
2026-11-04 15:53:33
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
以为是十年真爱,其实是资本做局!波帅上位,藏着格雷泽最冷的算盘

以为是十年真爱,其实是资本做局!波帅上位,藏着格雷泽最冷的算盘

曹老师评球
2026-11-16 20:00:39
为啥说中国军力吓不倒日本?石破茂说得很透彻:日本会重走老路的

为啥说中国军力吓不倒日本?石破茂说得很透彻:日本会重走老路的

乌克兰小静
2026-09-16 08:21:19
中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国

中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国

凉湫瑾言
2026-11-17 00:31:22
凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

凯恩客场7连斩,贝林献精妙助攻,英格兰3-2破西班牙43场不败金身

钉钉陌上花开
2026-11-16 05:47:06
许绍雄遗作爆冷,内地上映9天,累计票房6751元;导演王晶连夜发文:临时上映,没有宣发费,随缘看看,不合口味,也多谢各位直言

许绍雄遗作爆冷,内地上映9天,累计票房6751元;导演王晶连夜发文:临时上映,没有宣发费,随缘看看,不合口味,也多谢各位直言

南方都市报
2026-11-14 21:07:32
她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

妙知
2026-10-24 15:54:28
蒸苹果火了!医生提醒:补气血是误会,这三类人越吃越伤身

蒸苹果火了!医生提醒:补气血是误会,这三类人越吃越伤身

王二哥老搞笑
2026-11-14 06:02:50
三位NBA年轻人被点名:场均超20分,三分却不足30%

三位NBA年轻人被点名:场均超20分,三分却不足30%

林间小温柔
2026-11-17 01:20:36
浙江兄弟翻修老屋,卧室底下挖出两米长鲜红棺材,老爹当场腿软

浙江兄弟翻修老屋,卧室底下挖出两米长鲜红棺材,老爹当场腿软

江启
2026-11-16 13:24:47
北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

北科大一26级博士生退学,导师多次劝说无果,本人回应:这辈子都不再搞科研

育学笔谈
2026-11-13 13:50:55
打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

打起来了,5年来最大规模!乌克兰不宣而战,出动1200架无人机

巷北楠猫本尊
2026-11-16 15:15:06
山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

山姆20元一包"泡面"上热搜:你气的不是贵,是它不叫泡面

食评社
2026-11-12 09:44:59
吃他汀不能碰燕麦?注意:不止燕麦,这5种食物也建议少碰

吃他汀不能碰燕麦?注意:不止燕麦,这5种食物也建议少碰

侯医生谈健康
2026-11-14 00:35:03
华尔街日报直接定性:特朗普所有动作,都是在讨好普京?

华尔街日报直接定性:特朗普所有动作,都是在讨好普京?

老马拉车莫少装
2026-11-17 00:03:50
伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

伊朗革命卫队指挥官称,伊朗已经研制出等离子导弹,可迅速摧毁敌方电子通讯系统

以色列飛飛
2026-11-16 08:30:21
前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

念洲
2026-11-16 09:38:40
于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

于东来英国考察归来后谈感受:胖东来跟世界优秀企业差距还非常大;年盈利超1亿的生活广场店12月闭店,“早知道这样,就不会干这个店”

极目新闻
2026-11-16 19:06:52
两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

两性关系:发现了没,寿命长的男人,大多都有这五个好习惯

荔子言
2026-09-08 14:55:50
2026-11-17 01:44:49
固件更新中
固件更新中
有态度网友ytd
260文章数 88关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

教育
数码
健康
游戏
手机

教育要闻

放假时间推迟了10天!南京大中小学寒假时间出炉!

数码要闻

OPPO Enco Clip2新配色粉黛海发布:到手719.1元 浪漫灵动

情绪真能让健康人"伤心至死"?

小伙表示连玩7天《GTA6》 这下PS5可惨了

手机要闻

OPPO Reno17 系列发布,全品类新品齐亮相!

无障碍浏览 进入关怀版