网易首页 > 网易号 > 正文 申请入驻

消息都到了,顺序错了:你的账本还准吗?

0
分享至

昨天的文章结尾留了一句话:重放不只是重复事件,它还会重排事件。这句话值得单独写一篇,因为大多数团队都防住了重复,却完全没防住倒序。

重复是你能叫得出名字的故障。倒序不一样,它几乎不留痕迹,只留下一个本不该存在的状态。发货先于付款到账,没人会收到告警;三周后客服工单来了,问为什么发票号和物流单号对不上。

每条业务不变量,都是一条顺序主张

把业务规则当成关于先后的句子来读,大部分都会露出真面目:它们其实是换了件衣服的顺序约束。

  • 付款前不发货
  • 审批前不开权限
  • 通知前不披露
  • 备份验证前不删除
  • 取消后不再扣款

每一条说的都是同一件事:事件A必须先于事件B被观察到,否则状态就是错的。

我们在应用代码里把它们写成 if——如果付款已捕获,就发货——然后在两半之间塞进一个队列。队列保证分区内有序,而分区是按某个键选的,这个键和业务不变量毫无关系。同一笔订单的两条消息可能落到不同分区,剩下的唯一顺序保证,是消费者碰巧实现的那一个。

序列号量错了流

常见的安慰是“消息带序列号”。先问一句:这个号的作用域是什么?在多数系统里,它属于生产者、分区或主题,而不属于业务真正关心的那个实体。

主题上的序列号只告诉你,broker 收到某个生产者消息的先后。它说不出两个不同生产者关于同一个客户的消息是按什么顺序被应用的,也说不出某个生产者重启、计数器归零之后发生了什么。

你真正需要的是按实体编号:这笔订单、这个账户、这份文档。几乎没人发这个号,因为发它就得先决定哪个实体拥有这条不变量——这个决定通常被拖到第一次事故之后。

时间戳是一段关于时钟的故事

退而求其次用时间戳,比序列号更糟。理由说起来简单、记起来很难:你在比较自己不拥有的时钟。

两个服务、两台主机各写一个创建时间。一台的 NTP 漂移了四十毫秒;另一台在事故期间被人修时间同步,时钟往回跳了一下。于是那条“谁先发生”的记录,排的是哪台机器错得更少。

更糟的是时间戳由客户端生成。一个离线十二小时后重试的移动应用,会理直气壮地把一个十二小时前的请求连同匹配的时间戳递给服务器,而服务器早已越过那个状态。服务器只有两个选择:拒绝,丢掉用户以为已保存的工作;或者接受,把状态往回推。

这不是假设。任何离线优先客户端、任何长重试窗口、任何对历史数据跑的回填脚本,都是这个行为。顺序故障总是跟着最无辜的输入一起到来。

倒序实际出现在哪

四种模式覆盖了大部分情况,而且画在图上全都看着没问题。

  1. 补偿动作超车原动作。先退款,扣款重试后到,客户在被退款之后又被扣了一次,账上出现一笔业务认为已冲正的付款。对账一个月后才发现,也可能发现不了。
  2. 授权先于校验。权限从一个队列下发,撤销从另一个队列处理。在几秒钟的窗口里,用户拥有他不该有的访问权。什么都没失败,两条消息都恰好投递一次。
  3. 删除跑赢写入。客服删了账户,一条更早写入的重试又把行建了回来,而那张表本该是空的。删除回执在开出那一刻是真的,一小时后是假的。客户的请求被执行了,然后被悄悄撤销。
  4. 通知先于变更。一封邮件宣布套餐变更,其实还没生效;第二封邮件宣布回滚。对收件人来说,两封都是关于一个闪烁系统的真话。对审计来说,记录显示一个承诺先于支撑它的状态存在。

这些都不需要任何单个服务出 bug。只需要两条各自有序的路径,和一条横跨两者的不变量。

唯一能救你的,是决定在哪里强制顺序

有两种诚实的架构,和一种不诚实的默认。

第一种,把不变量变成本地约束:两个事件按实体键进同一个分区,串行处理。这能work,代价是吞吐量,以及一个以后不能改的键设计。

第二种,让消费者容忍任意顺序:每个处理器都检查当前状态,拒绝往回走。这也能work,代价是每个实体一台状态机,以及永远在每个处理器里写这个检查的纪律。

不诚实的默认,是假设队列给了你顺序,然后写“来什么应用什么”的处理器。大多数系统实际就是这个架构,在两条路径赛跑那天之前,它和前两种看不出区别。

该问的不是“我们的队列有序吗”,而是:对每条不变量,哪个组件负责拒绝乱序事件,它看到乱序时做什么?如果答案是“什么都不做,这不可能发生”,那是对你拓扑结构的一个主张,不是代码里的保证。

这首先是证据问题,然后才是工程问题

对任何留存记录的人来说,重点在这里:一个按到达顺序存事件的只追加账本,不是因果记录。它是“这个系统听到了什么、按听到的顺序”的日志。

我们架子上每一本登记簿都假设一行一个事件、一个事件一行且有序。更正账假设更正在错误之后;撤回账假设撤回在声明之后;删除回执假设删除在写入之后、验证之前。如果底层流可以倒序,那么登记簿可以内部自洽,却描述了一段从未发生过的顺序。

这比“我们可能有重复”是更强的主张。重复让一行变成两行;倒序让整张表的顺序失去意义,而每一行单独看仍然准确。

该产出的东西是一张顺序回执:五行,每条不变量一行,靠读代码填,而不是问人“你觉得会发生什么”。最后一列通常是空的,而空列不是健康证明,它意味着两条路径同时跑的时候,没人看过。

最后得出的数字是一个计数:多少条不变量靠消费者里的拒绝保护,多少条依赖生产者或 broker 维持顺序。后一个数字就是你的暴露面,它不出现在任何仪表盘上。

周五练习

挑一条你被违反会很难堪的不变量——钱、权限,或者对客户的披露。找到实现它两半的两条代码路径,然后书面回答三个问题:

  • 哪个键决定每个事件落到哪个分区?如果两个事件可能落到不同分区,顺序就没有保住,不管图上怎么画。
  • 第二个处理器如果先看到自己的事件,会做什么?不是它“应该”做什么,是代码在那个分支上实际做什么,包括错误路径。
  • 两条路径上一次同时跑是什么时候?如果答案是“从没有,我们是分开测的”,那你测的是两半,不是连接它们的那句话。

如果第二个问题你不打开文件就答不上来,那就是发现本身。倒序不是罕见的边缘情况,它是队列一忙起来,你的系统默认就会做的事。

如果你有一条横跨两个队列的不变量,又不确定它们赛跑时谁赢,可以在评论里说。我们维护一张五列的顺序工作表——不变量、两个事件、假设的顺序、什么拒绝错误顺序、你观察到了什么——我会发给你。不用填表,不用留邮箱。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
王毅和夫人钱韦罕见同框,不怒自威与和蔼可亲,和老丈人一脉相承

王毅和夫人钱韦罕见同框,不怒自威与和蔼可亲,和老丈人一脉相承

李昕言温度空间
2026-06-06 20:57:13
篮球女神官宣离婚!千字长文控诉丈夫,无出轨无家暴是扎心的地方

篮球女神官宣离婚!千字长文控诉丈夫,无出轨无家暴是扎心的地方

手工制作阿歼
2026-11-19 07:38:05
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
22岁女大学生嫁60岁沙特王子,每天雷打不动5次夫妻生活,陪他走过11年,临终前他却把457亿家产留初恋,她平静一笑:有个秘密我藏了11年

22岁女大学生嫁60岁沙特王子,每天雷打不动5次夫妻生活,陪他走过11年,临终前他却把457亿家产留初恋,她平静一笑:有个秘密我藏了11年

温柔记事簿
2026-11-18 19:12:38
阿卡晋级:不能怪梅总“梦游”,无敌的阿卡太强,医暂留下隐忧

阿卡晋级:不能怪梅总“梦游”,无敌的阿卡太强,医暂留下隐忧

网球之家
2026-11-18 23:18:23
《GTA6》首个地区正式上线!全球首发 见证历史

《GTA6》首个地区正式上线!全球首发 见证历史

游民星空
2026-11-18 19:11:14
道指跌幅扩大至1%

道指跌幅扩大至1%

每日经济新闻
2026-11-18 22:55:04
新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社消息|外交部:中俄美元首将就事关全球和平的重要问题深入交换意见

新华社
2026-11-18 15:44:19
事出诡异!加拿大中国领馆外反常集会,一群人高喊"中国收复藏南"

事出诡异!加拿大中国领馆外反常集会,一群人高喊"中国收复藏南"

锅锅爱历史
2026-11-04 09:43:53
抢在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空

抢在中美俄会晤前!高市堵特朗普,白宫一句没必要,日本要跑空

漫步独行侠
2026-11-18 09:55:01
事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

事关台湾问题,特朗普与高市早苗都表态了,俄外长猛批西方一立场

鸟儿太能吃
2026-11-18 22:51:00
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
闯王来了不纳粮?那几十万大军的饭,到底是谁在买单?

闯王来了不纳粮?那几十万大军的饭,到底是谁在买单?

迷世书童
2026-11-16 09:34:31
8万亿,一个人说了算

8万亿,一个人说了算

价值罗盘
2026-10-28 22:55:13
皇马欧冠功臣因伤缺阵超1000天,本季0出场

皇马欧冠功臣因伤缺阵超1000天,本季0出场

寒律
2026-11-18 16:52:15
目前,全球还存在着7个流亡政府,他们还有希望复国吗?

目前,全球还存在着7个流亡政府,他们还有希望复国吗?

七号说三国
2026-11-05 19:09:34
美特使警告俄:和平协议抓紧签,明年民主党掌控国会,条件恐生变

美特使警告俄:和平协议抓紧签,明年民主党掌控国会,条件恐生变

桂系007
2026-11-19 02:57:38
此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

此人主政中国最大省长达20年,晚年升任副主席掌权中枢,8个子女都是栋梁之才

磊子讲史
2026-11-18 14:30:02
日本人发现中国一个规律:中国人可以低头学技术但不会安心附庸。

日本人发现中国一个规律:中国人可以低头学技术但不会安心附庸。

江启
2026-11-10 11:57:30
消失已久的赖昌星侄子赖文峰又露面,这次不是带货,而是为杨钰莹

消失已久的赖昌星侄子赖文峰又露面,这次不是带货,而是为杨钰莹

侦姐有料
2025-06-08 12:07:04
2026-11-19 08:12:49
我是一个养虾人
我是一个养虾人
有态度网友ytd
227文章数 92关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

头条要闻

欢迎晚宴合影期间 普京与特朗普握手交流

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
艺术
数码
亲子
游戏

教育要闻

今年的秋假结束了,今晚!南京又要有多少娃熬夜通宵了?

艺术要闻

洛阳发现唐代墓志,将魏碑、唐楷精髓融于一体,比欧颜柳赵的字更耐看!

数码要闻

1499元 AOC新款27寸显示器上市:2K 120Hz屏、内置双扬

亲子要闻

这个小面迟早要在两岁之前,测评完沈阳所有商场啊

美国议员称让孩子玩《GTA6》的家长不称职

无障碍浏览 进入关怀版