网易首页 > 网易号 > 正文 申请入驻

一张消息表五千万行,为什么改个字段能把产品搞挂?

0
分享至

AI功能落进数据库,留下的痕迹和普通功能不太一样。对话要存、消息要存、每条消息触发的工具调用要存、用户留下的反馈也要存。单看每一张表都很普通,合在一起却是整个schema里增长最快的那部分——一个用户会话就能写入几十行,而普通功能通常只写一行。

增长速度快,迁移的难度就跟着变。在用户表上瞬间完成的schema变更,放到一张五千万行的消息表上,可能锁表锁到产品直接挂掉。

第一步:把消息设计成只追加

越早决定越好——消息行按不可变来处理。只追加的表迁移起来轻松得多:没有原地更新要处理,回填可以按区间跑而不和线上写入抢,归档旧分区也不用动应用逻辑。

模型里那个 [conversationId, createdAt] 复合索引,对应的正是这张表真正要服务的唯一查询:按顺序取出一段对话的消息。只在conversationId上建单列索引,取完还得再排一次序,对话一长,快读和慢读的差别就出来了。

第二步:扩展再收缩,别重命名

Prisma会很乐意生成一条重命名或改字段类型的迁移。在一张有负载的大表上,这就是制造故障的方式。安全的做法是把它拆成几步,每一步单独看都无害。

假设Message.content要变成结构化JSON:

  • 扩展:新增contentJson,可空。加可空列不会重写表。
  • 双写:部署同时写两列、读旧列的代码。
  • 回填:分批把已有行的contentJson填上。
  • 切读:部署读新列、仍然双写的代码。
  • 收缩:确认没人读旧列后,删掉content。

每一步都能单独回滚,任何一次部署都不要求schema和代码同时变更。最后这一点才是真正的收获:回滚之后,不会出现代码还在等一个已经不存在的列。

回填要按有界批次跑,而不是一条语句打到底。一条UPDATE扫过五千万行,会一直持锁,产生的WAL多到本身就成了问题。分批能让每个事务保持短小,中途停下也不丢已做的工作。

第三步:当心建索引时的那把锁

给一张正在增长的表加索引,是另一种常见故障。默认情况下Postgres会取一把锁,在建索引期间阻塞写入。Prisma Migrate生成的是普通CREATE INDEX,大表上需要的是并发形式,得手动改生成的SQL:

CREATE INDEX CONCURRENTLY "Message_conversationId_createdAt_idx" ON "Message" ("conversationId", "createdAt");

CONCURRENTLY不能在事务里跑,所以迁移文件里的事务包装也要一并去掉。它更慢,中途还可能失败,留下一个无效索引需要删掉重试。这两点都比阻塞最忙那张表的写入要好。

这也是要读生成SQL、而不是看都不看就执行的最强理由。Prisma schema是个好抽象,而它产出的SQL,才是运维后果真正待着的地方。

第四步:保留策略要提前想

对话数据会无界增长,其中大部分再也不会被读到。早点决定拿它怎么办,因为等表上挂了一堆外键再补删除逻辑,难度要高得多。

关系上带onDelete: Cascade,意味着删掉一段对话会自动删掉它的消息。这很方便,但如果对话很长,它同时也是一个巨大的事务,所以删除要按对话分批,而不是按日期范围横扫整张表。

保留策略经常是合规要求,而不只是日常清理。如果用户可以请求删除自己的数据,工具调用日志很容易被忘掉:它里面往往就存着提示词原文,而那正是用户要求删掉的东西。

最后一条:读一遍SQL

能挡住上面大部分问题的实用规则只有一条:没有经过人读SQL的迁移,不进生产。

现在schema变更经常由助手起草,这条就更重要了。生成的迁移通常是"正确"的——它确实产出了所描述的schema。但它是否在不锁表四分钟的前提下做到,是另一个问题,也不是生成器在考虑的问题。

读那个文件,检查有没有表重写、索引构建、以及在已有列上加NOT NULL,确认每一项在当前行数下是安全的。这一分钟的审查,是能买到的最便宜的保险。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

台湾飞行员黄植诚起义后娶了空姐,8年后她前往美国再也没回来,安全部门半夜围了住处,谁也没想到最后在卧室搜出了这个

磊子讲史
2026-11-16 14:38:55
1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

1980年,落魄庄则栋食堂打饭,没想到却被掌勺师傅当众质问,结局看哭无数人,感慨万千......

回京历史梦
2026-11-17 14:23:17
79岁格伦·克洛斯自曝:7岁起被邪教控制15年,不许照镜子

79岁格伦·克洛斯自曝:7岁起被邪教控制15年,不许照镜子

浅遇时光
2026-11-17 00:51:23
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
多所高校要求师生在论文发表前完成备案,否则不纳入科研成果

多所高校要求师生在论文发表前完成备案,否则不纳入科研成果

澎湃新闻
2026-11-18 12:14:07
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
又一个“铁头”诞生了!

又一个“铁头”诞生了!

胖胖说他不胖
2026-11-18 07:55:17
高市差点出洋相,想见的人没见到,主动找中方搭话,差距一目了然

高市差点出洋相,想见的人没见到,主动找中方搭话,差距一目了然

牛锅巴小钒
2026-11-18 12:38:41
人人喊打?国足和U19主教练在新闻发布会,异口同声批评中超

人人喊打?国足和U19主教练在新闻发布会,异口同声批评中超

真理是我亲戚
2026-11-18 13:02:47
“老手死在抄底路上”!散户加杠杆160万抄底科技股仅剩5.9万,大佬却谈AI长线,结局天差地别

“老手死在抄底路上”!散户加杠杆160万抄底科技股仅剩5.9万,大佬却谈AI长线,结局天差地别

王老师你还好吗
2026-11-18 12:56:15
“结婚22年两儿子均非亲生”,女方独家回应:我没出轨

“结婚22年两儿子均非亲生”,女方独家回应:我没出轨

中国新闻周刊
2026-11-17 20:47:24
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
在菲律宾只待了不到一天,特朗普便直奔中国,随行阵容相当豪华

在菲律宾只待了不到一天,特朗普便直奔中国,随行阵容相当豪华

生活魔术专家
2026-11-18 14:57:23
法国民调惊人:若亲华的梅朗雄当选总统,近七成犹太人将出走法国

法国民调惊人:若亲华的梅朗雄当选总统,近七成犹太人将出走法国

影孖看世界
2026-11-17 23:51:09
格莱姆斯47+6+10记3分刷爆纪录,湖人9连胜升至联盟第1!东契奇36+6+7创3大神迹

格莱姆斯47+6+10记3分刷爆纪录,湖人9连胜升至联盟第1!东契奇36+6+7创3大神迹

一将篮球
2026-11-18 15:55:45
美军袭击伊朗格什姆岛导弹设施

美军袭击伊朗格什姆岛导弹设施

财联社
2026-11-18 04:23:07
中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

中国客机在温州瑞安坠毁,造成机上61人全部遇难,真是历史事件

健康快乐丁
2025-08-05 16:01:39
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
法国总统候选人梅朗雄11日晚表示:“中国从地图上被抹去,因为我们欧洲人对中国人发动了战争,摧毁了他们...而现在他们回来了”

法国总统候选人梅朗雄11日晚表示:“中国从地图上被抹去,因为我们欧洲人对中国人发动了战争,摧毁了他们...而现在他们回来了”

扶苏聊历史
2026-11-17 16:26:33
2026-11-18 16:39:00
固件更新中
固件更新中
有态度网友ytd
226文章数 89关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

旅游
数码
手机
游戏
艺术

旅游要闻

枣庄九星山“换秋装” 色彩斑斓美如画

数码要闻

消息称黄仁勋曾力推RTX 5080 24GB显卡安抚游戏玩家,如今英伟达或将其取消

手机要闻

设计巨变!苹果20周年iPhone开发四款机型 四曲面版几乎无边框

《KALA》登陆Steam 在异变日常中追查主角过去

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

无障碍浏览 进入关怀版