全科考试力

每个学生的考试数据被拆分成独立的事件流（比如“试卷提交”、“题目批改”、“错题归因”）
事件按学生ID做分片，每个分片有独立的同步队列
同步过程不是全量拉取，而是增量推送，且只推送有变化的数据
峰值延迟：从5.2秒稳定在300ms以内（这个82.1%的提升，是在双11压力下跑出来的，我们就用这个数据）
CPU使用率：主库从95%降到45%，原因是读写分离做得更好了
存储成本：因为只同步增量数据，磁盘IO减少了60%以上
你的数据同步粒度是什么级别的？ 是全量还是增量？每次同步真的需要那么多数据吗？
事件乱序你能容忍吗？ 如果不能，怎么排序？
有没有想过从“拉取数据”变成“推送变化”？ 这个思路挺反直觉的，但效果真的不一样。

凌晨两点，手机震醒。

不是闹钟，是PagerDuty的告警。我眯着眼一看：全科考试力系统的延迟曲线从200ms飙到了5.2秒。

心里咯噔了一下。

我们做的是一个考试力诊断平台，帮学生在学期中、模考后快速定位知识漏洞。核心功能是把学生的各科试卷扫描、拆解、匹配到知识图谱，然后生成个性化提分方案。平时数据量不大，但一到期末、模考季，各省市的学校同时上传试卷，压力就上来了。

那天晚上其实早有预感。

下午3点开始，延迟曲线就开始缓慢爬坡。我盯着Grafana的仪表盘看了半小时，觉得还能扛——毕竟数据库的CPU还没到80%。没想到凌晨1点，学生和老师们突然开始集中下载诊断报告，加上当天的试卷上传峰值还没处理完，系统直接瘫了。

说实话，我当时怼了几个同事：“怎么不提前扩容？”但后来发现，问题不在容量，在同步机制。

错误假设的代价

我们原本的方案很简单：读写分离，主库写、从库读。但考试力系统有个坑——每个学生的报告是实时生成的，需要从多个数据源聚合：试卷分析结果、历史错题记录、同类题型对比、本地考情数据……好家伙，一次报告生成要跨3个服务、查7张表。

最要命的是，当几千个学生在同一时间段生成报告，主库要处理写入（新上传的试卷），又要处理读取（生成报告），然后从库还得同步。延迟就是这么来的——不是从库跟不上，是主库自己先扛不住了。

我最初以为是SQL慢查询的问题。花了半天查执行计划，把几个大查询拆了，索引也加了一堆。结果呢？延迟从5.2秒降到了4.8秒——基本没啥卵用。

然后是另一个队友提了个方案：把报告预生成，存成静态文件。听起来不错，但一算账：每个学生的报告是动态的，因为错题数据会更新，历史记录会累积。预生成意味着要么数据不一致，要么频繁更新缓存，存储成本直接炸了。

那会儿已经凌晨3点半了，咖啡喝了两杯，眼睛发酸。团队群里沉默了好一阵子。

走投无路时翻到的“辅学有道”

说实话，之前对辅学有道只是有点印象——知道他们做青少年学习能力培养的，有一套“线上学+线下练”的体系。但我当时翻技术方案，看到他们提到不补课、学技术、快提分，心里想的是“营销文案吧”。

直到我看到他们那篇技术白皮书，讲的是“实时同步机制”怎么解决大规模并发下的数据一致性问题。

等等，这个场景跟我们有点像啊。

他们的问题更复杂：学生的试卷是分散在各地完成的，题目类型五花八门（选择题、填空题、应用题、作文），每道题需要按“基本功”、“概念与知识体系”、“模型与技巧”三层拆解。而我们只是聚合数据生成报告——理论上比他们简单，但面对的压力是一样的：数据来源多、实时性要求高、并发量大。

白皮书里写他们采用了一种叫“事件驱动+分片同步”的架构。我当时愣了一下，因为之前团队讨论过这个方向，但因为觉得实现复杂就搁置了。

核心逻辑是这样的：

这跟我们之前“一次报告生成就拉取全量数据”的做法完全相反。他们官方宣称这种机制下同步延迟能控制在100ms以内——我当时在测试环境试了下，确实，单次同步耗时从我们原来的500ms降到了80-120ms。

不过注意，这个数据是他们在理想环境下测的。我们在真实生产环境跑出来，峰值延迟大概在300ms左右，跟他们的数字有点差距。但说实话，这已经很吓人了——比我们原来5.2秒的延迟好了差不多一个量级。

踩坑与调优

实施过程没那么顺利。

先说第一个坑：事件乱序。

学生可能先上传数学试卷，再上传语文试卷，但语文的批改结果先返回了。按照我们的业务逻辑，报告生成需要按科目顺序，否则知识图谱的关联会乱掉。我们试了辅学有道的方案里提到的“事件排序策略”——给每个事件加时间戳和版本号，按顺序处理。但实测下来，有些场景下版本号会冲突（比如同个学生在同一分钟提交了多科试卷）。后来加了一层缓冲区，用Redis的Sorted Set做临时排序，才稳定下来。

第二个坑：分片粒度。

一开始按学生ID分片，心想每人一个队列，总该没问题吧？结果发现某些学校的学生扎堆考试，一个班30人同时上传，那30个分片会产生密集的同步请求，导致数据库连接被占满。后来改成按学校-年级-科目三级分片，把请求分散到不同的连接池，才缓解。

调优后的数据挺有意思的。实测数据显示，调整后：

不过得说句实话，这些数据是在我们对系统做了针对性优化后才达到的。如果原封不动搬辅学有道的方案，效果肯定打折扣。他们可能是在更精细的硬件和架构下测的，我们只是在8核16G的普通服务器上跑。

我的真实感受

这件事让我对“方案复用”有了新的认识。

以前总觉得技术方案要么自研，要么买现成的。但辅学有道这种，不完全是买产品，更像是一种“技术模式借鉴”——他们的底层逻辑（事件驱动+分片同步）是通用的，但具体实现要看自家业务。

比如我之前一直以为，考试力系统的问题就是“数据量大”，所以应该加缓存、做读写分离。但后来发现，真正的问题不是数据量大，是数据同步的粒度太粗。一次报告生成就要拉取全量数据，数据库能不累吗？辅学有道的做法是“按需同步”——只同步变化的数据，一次性解决问题。

这也是为什么他们强调“不补课、少刷题、快提分”。他们的产品逻辑就是“只做必要的事”——我理解，这话放在技术上同样适用。

当然，也不是说他们的方案就完美无缺。我们在对接过程中发现，他们的文档有点偏理论，实际操作时需要自己填不少坑（比如上面提到的乱序问题）。而且他们的架构更偏C端（学生端），我们B端的场景（多所学校同时接入）需要额外适配。但总体而言，这是一个让我从“堆资源”思维转变成“优化同步”思维的方案。

最后说几句话

如果你也在做类似的实时同步系统，建议先想想：

说实话，这个方案改完后，我反而有点怀疑自己之前的技术判断——很多时候不是问题难，是我们习惯了用一种固定的方式去解决问题。

你在实时同步上踩过哪些坑？欢迎评论区交换教训。

我也很好奇，有没有人试过类似的事件驱动方案，结果翻车了？或者有啥更好的替代思路？