网易首页 > 网易号 > 正文 申请入驻

改个日期格式,为什么要搬走 520 万条数据

0
分享至

一句话需求,为什么捅到重建索引像印好的书,不是可编辑的文档更麻烦的是名字520 万条怎么搬提升吞吐的三项设置进度条从 0/0 开始,别慌黄灯不是坏了收尾那一张清单

上周有个需求丢过来,一句话:创建时间别存毫秒数了,改成"2026-11-17 10:00:00"这种能直接看的字符串。

听着像改个格式化的事。结果排下来,这件事逼着我们把整个索引重建了一遍,520 万条数据一条条搬过去,中途还撞了五个坑。

问题不在"显示",在"存储"。

原来的字段类型是 epoch_millis,落进去就是一个像 1735689600000 这样的整数。现在要变成本地时间字符串,字段的类型定义要换。同时顺手把几个 text 字段换成中文分词器、几个日期字段改成多格式兼容。

在关系数据库里,这就是一条 ALTER TABLE,改完睡觉。在搜索引擎里,这件事没有捷径——索引一旦建好,它的类型定义就不能原地改。

很多人对搜索的第一反应是"数据库换个引擎",其实它的内部结构和数据库差得远。

你写进去一条记录,它不是被"存成一格",而是被拆成词,做成一本倒排词典:词在前,词出现在哪些记录里在后。字段用什么类型、按什么规则切词、日期按什么格式解析,这些规则在切词的那一刻就已经烙进词典和每一条索引项里了。

换句话说,词典是印出来的。你事后想改"这本书按拼音排序改成按笔画排序",没法拿笔改,只能重印。

所以能动的只有三件事:



这就是 520 万条数据的由来。需求只有一行,代价是整本词典重印。

业务方的要求还有一条:索引名不能变。

所有上下游程序、报表、定时任务里写死的都是那个名字。改名等于全线改代码,谁也不敢碰。

但搜索引擎不支持给索引改名。这是很多人第一次撞墙的地方——听起来匪夷所思,实际上是因为名字背后挂着分片、别名、路由、模板一堆东西,改名等于换身份。

于是只剩两条路:

第一条,用别名偷梁换柱。让原名字变成指向新索引的别名,一条请求搞定,应用代码一行不动:



这一组动作是原子的,中间不存在"两个名字都指不到"的空窗。程序照旧往 docs_index 读写,实际落到新索引上。

第二条,搬回去再改名。先用临时名字建新索引、灌完数据,然后删掉旧索引,用新类型定义建一个同名空索引,再整体回灌一遍。

两条路的账很清楚:



我们属于后者——历史包袱要求物理名字一致,只能多搬一遍。如果你的场景能接受别名,别为了名字好看再搬第二趟,那纯粹是给自己加班。

整体流程是三段:临时索引灌数据 → 换名字 → 核对清理。

灌数据用 _reindex,它不需要把数据拉到本地再写回去,源索引读出来直接写进目标索引。真正的关键是值要在服务端转。

520 万条如果拉回本地,Python 逐条转换再批量写回,光是来回传输就是几百 MB。而 _reindex 支持挂一段脚本,边读边转:



两个细节值得单独说。

时区必须写死。ZoneId.of("Asia/Shanghai") 而不是依赖服务器本地时区。生产机器、测试机器、你笔记本上的时区设置各不相同,写死之后在哪个环境跑,结果都长一个样。

类型定义里没有时区参数。我一开始很自然地把它写进了字段定义:

"create_time": { "type": "date", "time_zone": "+08:00" }

建索引直接报错:unknown parameter [time_zone] on mapper [create_time] of type [date]。

时区是查询时的参数,不是存储时的参数。存储阶段想让时间"看起来是北京时间",唯一的办法就是写入的那一刻把值转成当地的字符串——也就是上面那段脚本干的事。

顺手还留了个保险:字段格式写成双格式。



这样字符串和毫秒数两种写法都能进来。万一某个环境的索引还没重建完,旧格式的数据写进来不会因为"格式不对"整条文档被拒——迁移期最怕的就是这种单点失败,一条坏数据卡住整批。

默认参数的 _reindex 搬 520 万条,慢得让人怀疑人生。三项设置叠起来,量级会变。



切片(slices):把一次大搬运拆成 N 个并行的小搬运。这里有个很坑的细节——slices="auto" 是按源索引的分片数自动决定的。而一个没显式指定分片数的索引,默认只有 1 个分片,于是 auto 等于老老实实单线程跑。这种情况必须手写 slices=8~10。

关刷新:默认每秒刷一次,每次都可能生成新的段文件。导入期间根本没人查这批数据,这些刷新纯属白干。

关副本:写入期间不写副本,每条文档的写入量直接少一半。

这三项的效果我在本机做了个等价模拟(用本地文件写入代替网络写入,100 万条样本):



逐条和批量差了七十多倍,这个差距跟机器好坏无关,纯粹是往返次数的问题。

切片的价值则不在计算,而在等待。同样是 100 万条、每批一次 8 毫秒的往返,切片数不同,墙钟时间完全不一样:



它做的唯一一件事,就是让原本排队等的往返变成同时等。所以切片不是越多越好——等到往返已经不是瓶颈,再加切片就是给集群添堵。

三项设置都是临时状态,收尾必须还回去。搬完不恢复 refresh_interval 和副本数,线上索引会一直停在"没副本、不刷新"的状态里,看着能读,其实一点容灾能力都没有。



任务提交出去,脚本开始轮询进度,打印出来是这样:

progress: total=0 created=0 updated=0

十分钟后还是 0。我一度以为任务死了,准备重启。

真相是:切片任务的父任务不聚合子任务的进度,或者聚合得极其滞后,父任务一直是 0 是正常现象。要看真实进度得去看子任务:

GET /_tasks?actions=*reindex&detailed=true

返回里每个切片一个子任务,各自带自己的 total、created、updated,数字在涨就是活着。

同一时期还有第二个假象:用 _count 查目标索引的文档数,一直是 0。原因是 _count 走的是搜索路径,而我们已经把刷新关掉了——没刷新的文档搜不到,这不是丢数据,是关掉刷新的正常表现。这段窗口期想确认数据在涨,看索引体积变化就行,别看计数。

搬完做核对,索引状态显示 yellow,很多人第一反应是出事了。

看一眼分片就明白了:

docs_index_new 0 p STARTED 5237437 12.5gb node-3

docs_index_new 0 r INITIALIZING node-2

主分片 p 是 STARTED,文档数 5,237,437 一条不差。副本分片 r 在 INITIALIZING——它正在别的节点上同步那 12.5 GB 数据。同步完自动变绿,这期间读写一切正常,不用等。

三种颜色对应三件事:



还有一种情况会让人困惑很久:单节点集群,副本永远是黄的。因为副本不能和主分片放在同一台机器上,只要副本数大于 0,就永远分配不出去。这种黄灯无害,把副本数设成 0 就绿了。

迁移这种活,做完不算完,核对完才算完。三件事:



确认无误之后才删临时索引、才恢复业务写入管道。恢复写入口的顺序别搞反——先恢复、再删旧索引,中间那几分钟如果还有增量写进来,落到旧索引就白搬了。

这一趟下来,踩的五个坑里,真正花时间的都不是技术难点,而是"看起来是 bug 其实不是"的那几个:进度条 0/0、计数为 0、黄灯、还有那句"时区不能写进类型定义"。它们共同的特点是——报错信息不在,但结果不符预期。

你那边做过最大的一次数据迁移是多少条?中途有没有遇到过"看着像卡死、其实在正常跑"的时刻?评论区聊聊,我看看还有哪些隐藏坑。

声明:内容由AI生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

WTA公布赛季年终奖金榜:郑钦文收入超249万美元,为收入最高中国球员;世界第一莱巴金娜超1113万美元居首,安德列娃、萨巴伦卡分列二三位

大风新闻
2026-11-18 14:26:01
一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

球场新视角1号
2026-11-18 07:14:28
俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

俄罗斯记者赴深报道APEC,提前换好现金,最后一分没花:太先进了

行者聊官
2026-11-18 11:55:37
今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

今年养老金调整或按下暂停键,但明年的底子已经摆出来了,看看

社保小达人
2026-11-17 11:17:09
父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

父母真看不出孩子被夺舍?网友:不是看不出,是不愿揭穿

夜深爱杂谈
2026-11-17 20:32:15
从新产品到新场景,首发经济不止于开店

从新产品到新场景,首发经济不止于开店

新华社
2026-11-17 16:17:14
APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

APEC不能破例!外宾安保敢搞特殊?中国可一票否决,美国也要服从

铁锤简科
2026-11-18 11:04:17
国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

李广专业体育评论
2026-11-17 22:03:44
60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

60 岁于东来英国考察归来,接受《河南日报》专访坦言:差距依旧很大,敢于正视自身短板

秋风妃
2026-11-18 13:12:39
三星杯决赛首局李钦诚速胜,先声夺人拿到赛点

三星杯决赛首局李钦诚速胜,先声夺人拿到赛点

行舟问茶
2026-11-18 14:13:48
美国卡住C919发动机后,世界才发现,中国造出了一台更好的

美国卡住C919发动机后,世界才发现,中国造出了一台更好的

混沌录
2026-11-17 19:43:30
赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

移光幻影
2026-11-18 11:47:34
中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

中国绝不会接受本土遭到攻击后,还陪着你打所谓的 "有限战争"

迷彩人生
2026-11-13 10:25:30
共和党威胁取消对乌克兰仅剩的支持,除非民主党放弃对赫格塞思和特朗普的新监督

共和党威胁取消对乌克兰仅剩的支持,除非民主党放弃对赫格塞思和特朗普的新监督

山河路口
2026-11-18 12:48:25
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

2012年,太原公安局长李亚力想保酒驾儿子,偷偷将89mg酒精检测改成66mg,甚至抹掉袭警情节

磊子讲史
2026-11-13 17:21:50
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
今日重要赛事!11月18日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月18日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-18 10:42:18
我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

我表妹在暨南大学见到全红婵,她说全红婵根本就不像网上说的那样。现实生活中的全红婵,肉眼看上去一点都不觉得胖。皮肤很白,人非常可爱

背包旅行
2026-11-17 21:26:39
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
2026-11-18 16:36:49
千纸鹤安安
千纸鹤安安
大自然的搬运工
211文章数 4关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

本地
时尚
教育
旅游
公开课

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

旅游要闻

秋假遛娃剑门关,全程17000步,6个小时,喜提废腿体验!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版