1000万日活,每人每天5次对话,每次2000输入加500输出,一天就是1250亿token。这个量级落到硬件上,大约需要60到100张H100。一位署名山景城小路的作者把这条估算链路写进了自己的AI系统设计面试指南,从token一路算到监控。
![]()
这套框架把AI系统拆成八个模块:Tokens、推理服务与GPU、Prefill与Decode、缓存与路由、RAG、Agent与MCP、Guardrails、评估与监控。作者的核心判断是,Prefill和Decode的瓶颈差异,决定了架构设计的重点放在哪里。
Prefill吃算力,Decode吃带宽
按作者的拆解,Prefill阶段受算力限制,直接决定首token延迟;Decode阶段受显存带宽限制,决定后续出字速度。两者卡的不是同一块资源,优化手段自然也不能混着用。
长prompt带来的问题是,prefill会阻塞流式输出。作者给出的解法是chunked prefill,或者把任务拆分到不同GPU上处理。对做推理服务的人来说,这是一个直接影响体感速度的工程选择。
规模估算先算token再算卡
面试里被问“怎么规划资源”,作者的思路是先落到token量。1000万日活、每人5次、每次2000输入加500输出,全年约1250亿token,对应60到100张H100。这个数字同时牵着成本控制和伸缩性设计两条线。
安全部分有一条硬规则:Prompt injection不能只靠prompt本身防,必须写进代码层面的硬规则。作者还提到,Guardrails、评估指标和实时监控共同构成对模型输出的可控性。
答题层面,作者梳理出8步框架:需求、AI目标、数据、架构、模型与提示词、评估、部署、监控。配套的实践案例有三个:Claude Code、Cursor、实时语音Agent。
对准备AI工程师系统设计面试的人来说,这套框架的价值在于把“设计一个AI系统”拆成了可以逐项作答的清单,而不是停在画一张架构图上。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.