北京
分享至
每个AI项目都有个甜蜜时刻：demo跑通，老板鼓掌，群里发庆祝表情包。然后财务把账单拍桌上，空气突然安静。
我做过一个给月活10亿+事件做决策的LLM系统。不是聊天机器人那种轻量活，是真要读上下文、推理边界情况、做"几乎像人"的判断。听起来很性感，对吧？
直到我算了笔账。LLM调用成本按token计价，而生产环境的请求量是demo的千倍万级。一个请求几美分，乘10亿？这账不用Excel，心算就能让人失眠。
「我设计的系统，90%的请求最终撤掉了LLM。」
撤掉之后怎么办？用规则引擎、缓存、甚至简单的if-else填上那90%。剩下10%留给真正需要"像人思考"的复杂场景。成本砍到脚踝，延迟从秒级压到毫秒。
现在团队复盘时有个新仪式：每次想加LLM，先问"这真的需要推理吗，还是我们只是懒得写规则？"大部分时候，答案是后者。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
