网易首页 > 网易号 > 正文 申请入驻

1000万日活要60到100张H100,AI系统设计怎么算这笔账

0
分享至

1000万日活,每人每天5次对话,每次2000输入加500输出,一天就是1250亿token。这个量级落到硬件上,大约需要60到100张H100。一位署名山景城小路的作者把这条估算链路写进了自己的AI系统设计面试指南,从token一路算到监控。


这套框架把AI系统拆成八个模块:Tokens、推理服务与GPU、Prefill与Decode、缓存与路由、RAG、Agent与MCP、Guardrails、评估与监控。作者的核心判断是,Prefill和Decode的瓶颈差异,决定了架构设计的重点放在哪里。

Prefill吃算力,Decode吃带宽

按作者的拆解,Prefill阶段受算力限制,直接决定首token延迟;Decode阶段受显存带宽限制,决定后续出字速度。两者卡的不是同一块资源,优化手段自然也不能混着用。

长prompt带来的问题是,prefill会阻塞流式输出。作者给出的解法是chunked prefill,或者把任务拆分到不同GPU上处理。对做推理服务的人来说,这是一个直接影响体感速度的工程选择。

规模估算先算token再算卡

面试里被问“怎么规划资源”,作者的思路是先落到token量。1000万日活、每人5次、每次2000输入加500输出,全年约1250亿token,对应60到100张H100。这个数字同时牵着成本控制和伸缩性设计两条线。

安全部分有一条硬规则:Prompt injection不能只靠prompt本身防,必须写进代码层面的硬规则。作者还提到,Guardrails、评估指标和实时监控共同构成对模型输出的可控性。

答题层面,作者梳理出8步框架:需求、AI目标、数据、架构、模型与提示词、评估、部署、监控。配套的实践案例有三个:Claude Code、Cursor、实时语音Agent。

对准备AI工程师系统设计面试的人来说,这套框架的价值在于把“设计一个AI系统”拆成了可以逐项作答的清单,而不是停在画一张架构图上。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
多家品牌宣布:下调金饰克价

多家品牌宣布:下调金饰克价

财联社
2026-11-21 18:33:59
女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

女演员孙芮宣布结婚怀孕,晒背影合照并透露老公身处纪律岗位

都市快报橙柿互动
2026-11-21 10:19:12
复星18.9亿出售上海地标商厦

复星18.9亿出售上海地标商厦

新浪财经
2026-11-21 18:58:09
连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

连遭三轮袭击,克里米亚大桥已很难修复,俄军开始疯狂报复

兵国大事
2026-11-20 16:37:56
历史上令人无比头痛的匈奴,如今演变成了哪个民族?令人唏嘘不已

历史上令人无比头痛的匈奴,如今演变成了哪个民族?令人唏嘘不已

文史达观
2025-05-01 22:50:28
A股:股民要做好准备,若无意外,下周一,11月23日,大概率这样走

A股:股民要做好准备,若无意外,下周一,11月23日,大概率这样走

风风顺
2026-11-22 01:00:04
27年首次!切尔西主场1比4惨败利兹联,阿隆索11轮已输5场

27年首次!切尔西主场1比4惨败利兹联,阿隆索11轮已输5场

甜份超标的我
2026-11-22 01:28:03
恭喜!香港女星晒二胎孕照,年初才办婚礼,曾与TVB男星拍拖五年

恭喜!香港女星晒二胎孕照,年初才办婚礼,曾与TVB男星拍拖五年

圆梦的小老头
2026-11-21 22:42:14
知名电商平台突然倒闭

知名电商平台突然倒闭

跨境派Pro
2026-11-20 14:29:21
飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

飞了60.4公里就落地,国产电动飞机被骂惨!真正看点根本不是航程

老娱记啊
2026-11-19 15:31:44
金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

金价连续跳水,记者走访北京菜百:有人一次买200克,现货售罄后消费者排队办理延期提货

大众网
2026-11-21 12:23:05
西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

西药直达病灶,联邦通信委员会禁止三大运运商获取美国电话号码

凡人学电脑
2026-11-20 23:39:35
A股:股民坐稳扶好,信号很强烈,下周A股熊市冰冻三尺即将开始吗?

A股:股民坐稳扶好,信号很强烈,下周A股熊市冰冻三尺即将开始吗?

趋势清风侠
2026-11-21 14:08:20
大家是怎么判断一个孩子聪不聪明,网友:聪明和美貌都无法被隐藏

大家是怎么判断一个孩子聪不聪明,网友:聪明和美貌都无法被隐藏

另子维爱读史
2026-11-21 22:07:39
M4 iPad Air全系直降100美元,649美元起

M4 iPad Air全系直降100美元,649美元起

报错免疫体
2026-11-20 23:55:30
晚清最残忍的午宴:8位大将满心欢喜赴宴,还没动筷就人头落地

晚清最残忍的午宴:8位大将满心欢喜赴宴,还没动筷就人头落地

纪实文录
2025-07-18 10:37:56
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
阿媒:尼科-帕斯替补33分钟,科莫升至意甲第四

阿媒:尼科-帕斯替补33分钟,科莫升至意甲第四

懂球帝
2026-11-22 00:26:00
16进8赛程出炉!山东再斗浙江,辽篮碰上新疆,NBL两大黑马冲8强

16进8赛程出炉!山东再斗浙江,辽篮碰上新疆,NBL两大黑马冲8强

萌兰聊个球
2026-11-21 23:15:52
潘蔚近况曝光!孙楠离婚也真相大白,难怪离开北京甘愿住农村大院

潘蔚近况曝光!孙楠离婚也真相大白,难怪离开北京甘愿住农村大院

別甾虛僞
2026-11-22 00:47:31
2026-11-22 02:04:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
266文章数 84关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
健康
亲子
家居
游戏

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

医生眼里"很伤腰"的椅子,很多人天天坐

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

家居要闻

2026建博会(广州) 公装联探展交流活动

PC Gamer试玩GTA6百小时:双主角出色但任务重复

无障碍浏览 进入关怀版