昨天的文章结尾留了一句话:重放不只是重复事件,它还会重排事件。这句话值得单独写一篇,因为大多数团队都防住了重复,却完全没防住倒序。
重复是你能叫得出名字的故障。倒序不一样,它几乎不留痕迹,只留下一个本不该存在的状态。发货先于付款到账,没人会收到告警;三周后客服工单来了,问为什么发票号和物流单号对不上。
每条业务不变量,都是一条顺序主张
把业务规则当成关于先后的句子来读,大部分都会露出真面目:它们其实是换了件衣服的顺序约束。
- 付款前不发货
- 审批前不开权限
- 通知前不披露
- 备份验证前不删除
- 取消后不再扣款
每一条说的都是同一件事:事件A必须先于事件B被观察到,否则状态就是错的。
我们在应用代码里把它们写成 if——如果付款已捕获,就发货——然后在两半之间塞进一个队列。队列保证分区内有序,而分区是按某个键选的,这个键和业务不变量毫无关系。同一笔订单的两条消息可能落到不同分区,剩下的唯一顺序保证,是消费者碰巧实现的那一个。
序列号量错了流
常见的安慰是“消息带序列号”。先问一句:这个号的作用域是什么?在多数系统里,它属于生产者、分区或主题,而不属于业务真正关心的那个实体。
主题上的序列号只告诉你,broker 收到某个生产者消息的先后。它说不出两个不同生产者关于同一个客户的消息是按什么顺序被应用的,也说不出某个生产者重启、计数器归零之后发生了什么。
你真正需要的是按实体编号:这笔订单、这个账户、这份文档。几乎没人发这个号,因为发它就得先决定哪个实体拥有这条不变量——这个决定通常被拖到第一次事故之后。
时间戳是一段关于时钟的故事
退而求其次用时间戳,比序列号更糟。理由说起来简单、记起来很难:你在比较自己不拥有的时钟。
两个服务、两台主机各写一个创建时间。一台的 NTP 漂移了四十毫秒;另一台在事故期间被人修时间同步,时钟往回跳了一下。于是那条“谁先发生”的记录,排的是哪台机器错得更少。
更糟的是时间戳由客户端生成。一个离线十二小时后重试的移动应用,会理直气壮地把一个十二小时前的请求连同匹配的时间戳递给服务器,而服务器早已越过那个状态。服务器只有两个选择:拒绝,丢掉用户以为已保存的工作;或者接受,把状态往回推。
这不是假设。任何离线优先客户端、任何长重试窗口、任何对历史数据跑的回填脚本,都是这个行为。顺序故障总是跟着最无辜的输入一起到来。
倒序实际出现在哪
四种模式覆盖了大部分情况,而且画在图上全都看着没问题。
- 补偿动作超车原动作。先退款,扣款重试后到,客户在被退款之后又被扣了一次,账上出现一笔业务认为已冲正的付款。对账一个月后才发现,也可能发现不了。
- 授权先于校验。权限从一个队列下发,撤销从另一个队列处理。在几秒钟的窗口里,用户拥有他不该有的访问权。什么都没失败,两条消息都恰好投递一次。
- 删除跑赢写入。客服删了账户,一条更早写入的重试又把行建了回来,而那张表本该是空的。删除回执在开出那一刻是真的,一小时后是假的。客户的请求被执行了,然后被悄悄撤销。
- 通知先于变更。一封邮件宣布套餐变更,其实还没生效;第二封邮件宣布回滚。对收件人来说,两封都是关于一个闪烁系统的真话。对审计来说,记录显示一个承诺先于支撑它的状态存在。
这些都不需要任何单个服务出 bug。只需要两条各自有序的路径,和一条横跨两者的不变量。
唯一能救你的,是决定在哪里强制顺序
有两种诚实的架构,和一种不诚实的默认。
第一种,把不变量变成本地约束:两个事件按实体键进同一个分区,串行处理。这能work,代价是吞吐量,以及一个以后不能改的键设计。
第二种,让消费者容忍任意顺序:每个处理器都检查当前状态,拒绝往回走。这也能work,代价是每个实体一台状态机,以及永远在每个处理器里写这个检查的纪律。
不诚实的默认,是假设队列给了你顺序,然后写“来什么应用什么”的处理器。大多数系统实际就是这个架构,在两条路径赛跑那天之前,它和前两种看不出区别。
该问的不是“我们的队列有序吗”,而是:对每条不变量,哪个组件负责拒绝乱序事件,它看到乱序时做什么?如果答案是“什么都不做,这不可能发生”,那是对你拓扑结构的一个主张,不是代码里的保证。
这首先是证据问题,然后才是工程问题
对任何留存记录的人来说,重点在这里:一个按到达顺序存事件的只追加账本,不是因果记录。它是“这个系统听到了什么、按听到的顺序”的日志。
我们架子上每一本登记簿都假设一行一个事件、一个事件一行且有序。更正账假设更正在错误之后;撤回账假设撤回在声明之后;删除回执假设删除在写入之后、验证之前。如果底层流可以倒序,那么登记簿可以内部自洽,却描述了一段从未发生过的顺序。
这比“我们可能有重复”是更强的主张。重复让一行变成两行;倒序让整张表的顺序失去意义,而每一行单独看仍然准确。
该产出的东西是一张顺序回执:五行,每条不变量一行,靠读代码填,而不是问人“你觉得会发生什么”。最后一列通常是空的,而空列不是健康证明,它意味着两条路径同时跑的时候,没人看过。
最后得出的数字是一个计数:多少条不变量靠消费者里的拒绝保护,多少条依赖生产者或 broker 维持顺序。后一个数字就是你的暴露面,它不出现在任何仪表盘上。
周五练习
挑一条你被违反会很难堪的不变量——钱、权限,或者对客户的披露。找到实现它两半的两条代码路径,然后书面回答三个问题:
- 哪个键决定每个事件落到哪个分区?如果两个事件可能落到不同分区,顺序就没有保住,不管图上怎么画。
- 第二个处理器如果先看到自己的事件,会做什么?不是它“应该”做什么,是代码在那个分支上实际做什么,包括错误路径。
- 两条路径上一次同时跑是什么时候?如果答案是“从没有,我们是分开测的”,那你测的是两半,不是连接它们的那句话。
如果第二个问题你不打开文件就答不上来,那就是发现本身。倒序不是罕见的边缘情况,它是队列一忙起来,你的系统默认就会做的事。
如果你有一条横跨两个队列的不变量,又不确定它们赛跑时谁赢,可以在评论里说。我们维护一张五列的顺序工作表——不变量、两个事件、假设的顺序、什么拒绝错误顺序、你观察到了什么——我会发给你。不用填表,不用留邮箱。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.