一句话需求,为什么捅到重建索引像印好的书,不是可编辑的文档更麻烦的是名字520 万条怎么搬提升吞吐的三项设置进度条从 0/0 开始,别慌黄灯不是坏了收尾那一张清单
上周有个需求丢过来,一句话:创建时间别存毫秒数了,改成"2026-11-17 10:00:00"这种能直接看的字符串。
听着像改个格式化的事。结果排下来,这件事逼着我们把整个索引重建了一遍,520 万条数据一条条搬过去,中途还撞了五个坑。
问题不在"显示",在"存储"。
原来的字段类型是 epoch_millis,落进去就是一个像 1735689600000 这样的整数。现在要变成本地时间字符串,字段的类型定义要换。同时顺手把几个 text 字段换成中文分词器、几个日期字段改成多格式兼容。
在关系数据库里,这就是一条 ALTER TABLE,改完睡觉。在搜索引擎里,这件事没有捷径——索引一旦建好,它的类型定义就不能原地改。
很多人对搜索的第一反应是"数据库换个引擎",其实它的内部结构和数据库差得远。
你写进去一条记录,它不是被"存成一格",而是被拆成词,做成一本倒排词典:词在前,词出现在哪些记录里在后。字段用什么类型、按什么规则切词、日期按什么格式解析,这些规则在切词的那一刻就已经烙进词典和每一条索引项里了。
换句话说,词典是印出来的。你事后想改"这本书按拼音排序改成按笔画排序",没法拿笔改,只能重印。
所以能动的只有三件事:
![]()
这就是 520 万条数据的由来。需求只有一行,代价是整本词典重印。
业务方的要求还有一条:索引名不能变。
所有上下游程序、报表、定时任务里写死的都是那个名字。改名等于全线改代码,谁也不敢碰。
但搜索引擎不支持给索引改名。这是很多人第一次撞墙的地方——听起来匪夷所思,实际上是因为名字背后挂着分片、别名、路由、模板一堆东西,改名等于换身份。
于是只剩两条路:
第一条,用别名偷梁换柱。让原名字变成指向新索引的别名,一条请求搞定,应用代码一行不动:
![]()
这一组动作是原子的,中间不存在"两个名字都指不到"的空窗。程序照旧往 docs_index 读写,实际落到新索引上。
第二条,搬回去再改名。先用临时名字建新索引、灌完数据,然后删掉旧索引,用新类型定义建一个同名空索引,再整体回灌一遍。
两条路的账很清楚:
![]()
我们属于后者——历史包袱要求物理名字一致,只能多搬一遍。如果你的场景能接受别名,别为了名字好看再搬第二趟,那纯粹是给自己加班。
整体流程是三段:临时索引灌数据 → 换名字 → 核对清理。
灌数据用 _reindex,它不需要把数据拉到本地再写回去,源索引读出来直接写进目标索引。真正的关键是值要在服务端转。
520 万条如果拉回本地,Python 逐条转换再批量写回,光是来回传输就是几百 MB。而 _reindex 支持挂一段脚本,边读边转:
![]()
两个细节值得单独说。
时区必须写死。ZoneId.of("Asia/Shanghai") 而不是依赖服务器本地时区。生产机器、测试机器、你笔记本上的时区设置各不相同,写死之后在哪个环境跑,结果都长一个样。
类型定义里没有时区参数。我一开始很自然地把它写进了字段定义:
"create_time": { "type": "date", "time_zone": "+08:00" }
建索引直接报错:unknown parameter [time_zone] on mapper [create_time] of type [date]。
时区是查询时的参数,不是存储时的参数。存储阶段想让时间"看起来是北京时间",唯一的办法就是写入的那一刻把值转成当地的字符串——也就是上面那段脚本干的事。
顺手还留了个保险:字段格式写成双格式。
![]()
这样字符串和毫秒数两种写法都能进来。万一某个环境的索引还没重建完,旧格式的数据写进来不会因为"格式不对"整条文档被拒——迁移期最怕的就是这种单点失败,一条坏数据卡住整批。
默认参数的 _reindex 搬 520 万条,慢得让人怀疑人生。三项设置叠起来,量级会变。
![]()
切片(slices):把一次大搬运拆成 N 个并行的小搬运。这里有个很坑的细节——slices="auto" 是按源索引的分片数自动决定的。而一个没显式指定分片数的索引,默认只有 1 个分片,于是 auto 等于老老实实单线程跑。这种情况必须手写 slices=8~10。
关刷新:默认每秒刷一次,每次都可能生成新的段文件。导入期间根本没人查这批数据,这些刷新纯属白干。
关副本:写入期间不写副本,每条文档的写入量直接少一半。
这三项的效果我在本机做了个等价模拟(用本地文件写入代替网络写入,100 万条样本):
![]()
逐条和批量差了七十多倍,这个差距跟机器好坏无关,纯粹是往返次数的问题。
切片的价值则不在计算,而在等待。同样是 100 万条、每批一次 8 毫秒的往返,切片数不同,墙钟时间完全不一样:
![]()
它做的唯一一件事,就是让原本排队等的往返变成同时等。所以切片不是越多越好——等到往返已经不是瓶颈,再加切片就是给集群添堵。
三项设置都是临时状态,收尾必须还回去。搬完不恢复 refresh_interval 和副本数,线上索引会一直停在"没副本、不刷新"的状态里,看着能读,其实一点容灾能力都没有。
![]()
任务提交出去,脚本开始轮询进度,打印出来是这样:
progress: total=0 created=0 updated=0
十分钟后还是 0。我一度以为任务死了,准备重启。
真相是:切片任务的父任务不聚合子任务的进度,或者聚合得极其滞后,父任务一直是 0 是正常现象。要看真实进度得去看子任务:
GET /_tasks?actions=*reindex&detailed=true
返回里每个切片一个子任务,各自带自己的 total、created、updated,数字在涨就是活着。
同一时期还有第二个假象:用 _count 查目标索引的文档数,一直是 0。原因是 _count 走的是搜索路径,而我们已经把刷新关掉了——没刷新的文档搜不到,这不是丢数据,是关掉刷新的正常表现。这段窗口期想确认数据在涨,看索引体积变化就行,别看计数。
搬完做核对,索引状态显示 yellow,很多人第一反应是出事了。
看一眼分片就明白了:
docs_index_new 0 p STARTED 5237437 12.5gb node-3
docs_index_new 0 r INITIALIZING node-2
主分片 p 是 STARTED,文档数 5,237,437 一条不差。副本分片 r 在 INITIALIZING——它正在别的节点上同步那 12.5 GB 数据。同步完自动变绿,这期间读写一切正常,不用等。
三种颜色对应三件事:
![]()
还有一种情况会让人困惑很久:单节点集群,副本永远是黄的。因为副本不能和主分片放在同一台机器上,只要副本数大于 0,就永远分配不出去。这种黄灯无害,把副本数设成 0 就绿了。
迁移这种活,做完不算完,核对完才算完。三件事:
![]()
确认无误之后才删临时索引、才恢复业务写入管道。恢复写入口的顺序别搞反——先恢复、再删旧索引,中间那几分钟如果还有增量写进来,落到旧索引就白搬了。
这一趟下来,踩的五个坑里,真正花时间的都不是技术难点,而是"看起来是 bug 其实不是"的那几个:进度条 0/0、计数为 0、黄灯、还有那句"时区不能写进类型定义"。它们共同的特点是——报错信息不在,但结果不符预期。
你那边做过最大的一次数据迁移是多少条?中途有没有遇到过"看着像卡死、其实在正常跑"的时刻?评论区聊聊,我看看还有哪些隐藏坑。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.