网易首页 > 网易号 > 正文 申请入驻

1200条账单并发同步,1199条写入成了孤儿

0
分享至

凌晨2点14分,一个定时账单任务执行了 await Promise.all(invoices.map(syncInvoice)),一次性覆盖1200条客户记录。400毫秒之内,支付网关返回429 Too Many Requests,PostgreSQL抛出连接池超时,而由于最后一个promise被拒绝,1199条已完成的写入变成了孤儿。


大多数JavaScript和TypeScript开发者在需要让一组异步任务跑得更快时,第一反应就是Promise.all,默认运行时会负责任地调度这些任务。它不会。

把慢速的顺序 for...of 循环换掉时,标准反射动作是把ID数组直接映射进 Promise.all(ids.map(fetchUser))。本地开发只有5条mock记录,这个写法干净利落,测试全过。生产环境5000条记录,它就变成了一场自己对自己发动的拒绝服务攻击。

问题的根源在于把"同步"和"调度"混为一谈。Promise.all 不做限流,也不排队。因为 Array.prototype.map() 是同步的,Node.js 会在事件循环的同一个tick上调用每一个异步回调。在 Promise.all 真正拿到promise数组之前,运行时已经发起了5000个并发DNS查询、TLS握手、socket缓冲和数据库查询。

三种把生产环境打穿的失败模式

  • 下游惊群:外部API有严格限流,关系型数据库连接池通常上限在10到50之间。1000个并发请求瞬间打满连接池,把无关接口一起饿死。
  • 快速失败留下的孤儿副作用:Promise.all 在某个promise失败的瞬间就拒绝,但JavaScript的promise不会自动取消。剩下999个HTTP调用和数据库变更继续在后台改状态,没有任何东西等待它们完成。
  • V8堆与GC停顿:同时缓冲成千上万个原始响应流和解析后的JSON负载,内存急剧飙升,触发stop-the-world垃圾回收停顿,或者容器被OOM杀掉。

用有界工作池给活跃promise设上限

为了在可复现的基准里量化差异,对下游服务跑了200个模拟的50毫秒请求,该服务并发上限为10(超过10返回HTTP 429)。无界 Promise.all 在52毫秒内崩溃,完成任务数为零;有界工作池用1045毫秒跑完全部200个任务,比顺序循环快近10倍,且没有丢弃任何一个请求。

做法不是一次发射所有任务,而是启动N个轻量worker从共享索引里取活,并接上 AbortController,在致命错误时停掉排队中的工作。核心结构是一个 mapWithConcurrency 函数:接收items、limit和workerFn,内部维护cursor和controller,用 Array.from 生成 min(limit, items.length) 个worker,每个worker在 signal 未中止时不断取下一个索引执行,出错就 abort 并抛出,最后 await Promise.all(workers) 收口。

当同步的是相互独立的记录、单个失败不该中止整批时,把错误捕获在 workerFn 内部,返回 { status: "fulfilled" | "rejected" } 对象——效果对齐 Promise.allSettled,同时仍然守住并发上限。

切成固定批次照样浪费吞吐

把数组切成每10个一批、循环 await Promise.all(chunk),确实能避免429,但引入了队头阻塞:9个20毫秒的快请求干等着1个900毫秒的慢请求,下一批才能开始。共享工作池能让10个槽位持续饱和,直到队列排空。

Promise.all 适合等待一个小的、已知的异构调用元组,比如在一次API请求里加载用户资料、权限和功能开关。一旦输入变成长度未知的动态数组,把 .map() 包进 Promise.all 就成了可靠性隐患。显式限制并发,吞吐才能既高又不压垮下游服务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中美元首会晤,特朗普:请中国继续保持强大

中美元首会晤,特朗普:请中国继续保持强大

澎湃新闻
2026-11-19 18:17:23
APEC“全家福”的围巾里,藏着一个数字

APEC“全家福”的围巾里,藏着一个数字

极目新闻
2026-11-19 21:21:29
预售飙到10亿,没上映就要破沈腾的纪录?2026年票房冠军要易主了

预售飙到10亿,没上映就要破沈腾的纪录?2026年票房冠军要易主了

靠谱电影君
2026-11-18 20:02:46
腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

腾讯:元宝不及预期,已大幅削减投入;WorkBuddy已是“中国使用量最高的AI产品”,有用户每月花4万买token

大风新闻
2026-11-19 10:40:03
2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

2013年,金正哲联手张成泽发动朝鲜兵变,因一细节败露,双遭反杀

阿胡
2025-03-11 13:28:03
网传樊振东已于今年8月退役?上海体育局回应,已采取相应措施

网传樊振东已于今年8月退役?上海体育局回应,已采取相应措施

米修体育
2026-11-19 16:55:10
厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

厚颜无耻!世间怎会有如此无耻之人!自己申办2036年奥运会没底气

果妈聊娱乐
2026-11-19 11:16:39
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

叶檀已在选择“临终关怀病房”,还透露一个好消息,老公将在夏天探望她

裕丰娱间说
2026-11-19 07:19:30
“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

“74岁老人拆墙让路被质疑”,真相大白!网络“吃瓜”的底线在哪里?

新民周刊
2026-11-19 21:09:03
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

日本彻底撕破脸!中日关系不可能回头,日本明确表示:中国是日本“前所未有的最大战略挑战”!

扶苏聊历史
2026-11-17 14:55:44
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

扶苏聊历史
2026-11-19 15:51:44
恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

恶劣!球员拿石头猛砸边裁致口鼻流血面部骨折被迫手术 被禁赛八年

狍子歪解体坛
2026-11-19 12:08:05
我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

我国出口的7吨出口大闸蟹被退运,检出 “世纪之毒”?啥情况?

狸猫之一的动物圈
2026-11-19 09:00:33
特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

特朗普进入欢迎晚宴现场,几个动作让人感动,赢得了中国网友尊重

读鬼笔记
2026-11-19 17:39:10
和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

和合共生|“敞开让你看”:外国政要们在深圳沉浸式感受中国

澎湃新闻
2026-11-19 18:20:41
大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

大爆冷!湖人负爵士终结9连胜 东契奇29+7+9失误乔治30+10

醉卧浮生
2026-11-19 13:31:32
广东“化妆女孩”石芷蔓去世!年仅29岁,前后才一年半,最后聊天记录让人泪目

广东“化妆女孩”石芷蔓去世!年仅29岁,前后才一年半,最后聊天记录让人泪目

裕丰娱间说
2026-11-19 12:39:08
2026-11-20 00:56:49
报错免疫体
报错免疫体
一名在需求评审和数据异常中反复横跳的产品运营。
251文章数 87关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

头条要闻

74岁老人拆墙让路1米多反遭网暴 女儿崩溃哭泣去报警

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

房产
游戏
健康
旅游
公开课

房产要闻

2.5亿!丁村侨中,新动作来了!

《GTA6》智能手机太强太沉浸!R星官方解释原因

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

深圳游客打卡山城!重庆文旅集团秋假专属礼包获好评,大家感叹不虚此行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版