去年7月,Manash Pratim的SSH连接第三次中断时,他正在阿萨姆邦的出租屋里盯着黑掉的终端。14小时的模型微调,₹8000(约96美元)的云计算费用,随着一场季风降雨蒸发殆尽。没有自动保存的检查点,没有本地备份,只有湿热的空气和一根被雨水泡坏的光纤。
这位在印度东北部长大的AI研究员后来写道:「bug不是互联网,是我一直在按旧金山教我的方式造AI。」
一个被默认的假设:你的网络永远在线
YC demo day上没人会告诉你这件事:整个AI生态——每个框架、每份教程、每个「生产级」架构——都建立在同一个隐形前提上。你的网络必须完美、永远在线、低延迟。云优先,API优先,从12000公里外的服务器流式传输token,然后祈祷连接别断。
Manash算过一笔账。按这个标准,全球大约40-50亿人被自动排除在「合格用户」名单之外。不是因为他们不想用AI,是因为他们的基础设施被硅谷的默认设置判了死刑。
这有点像早期的汽车设计。亨利·福特从没想过要在说明书里写「道路必须平整」,因为底特律的路就是平的。直到有人想把车卖到印度农村,才发现悬挂系统和轮胎需要重新发明。
「断网优先」架构:把离线当作特性而非bug
Manash的解决方案粗暴但有效:假设网络会断,然后围绕这个假设重建一切。
他开始用量化后的7B模型跑本地推理,在树莓派级别的设备上部署。延迟从依赖云端时的数百毫秒降到几十毫秒。更重要的是,账单从「按token计费」变成「一次性硬件成本」——这对月可支配收入低于200美元的市场是生死之别。
「我跑了30天本地LLM,电费涨了23美元。」他在另一篇文章里记录。这个数字没有出现在任何benchmark里,却解释了为什么印度、东南亚、非洲的开发者正在批量抛弃OpenAI的API。
有个细节很能说明问题。Manash把自家路由器的「大脑」换成了本地LLM,拦截分析所有DNS请求。他的电视一天发起了11437次查询,大部分是在向谁汇报观看习惯,他之前完全不知道。当数据不必出境就能处理,隐私从「合规成本」变成了免费附赠。
被忽视的战场:模型小型化不是妥协,是刚需
硅谷的叙事里,模型越大越好。GPT-4不够用,等GPT-5。但在网络时断时续、电力供应不稳、进口硬件被关税推高40%的地区,7B不是「退而求其次」,是唯一可行的起点。
Manash用7B模型做了7天实验,替代日常任务。结果出乎意料:邮件起草、代码补全、简单数据分析都能胜任。失败场景集中在需要深度推理的复杂任务——但这类任务在普通用户的工作流里占比不到20%。
这引出一个被刻意模糊的事实。模型能力的「代差」在benchmark上很明显,在真实使用场景里常被网络延迟和设备成本抹平。一个能在本地秒回的7B模型,用户体验可能好过需要等3秒才能连上的云端GPT-4——尤其是那3秒里还穿插着两次连接超时。
阿里巴巴的Qwen团队似乎读懂了同一组信号。这个被Manash称为「最危险的开放模型家族」用比竞争对手更少的资源,拿下了全球最高下载量。他们的1.5B到110B全尺寸覆盖策略,本质上是在说:我们不替用户决定该用多大模型,我们只确保每个网络条件下都有选项。
新playbook:在基础设施断裂处寻找产品定义权
Manash的观察指向一个反直觉的结论。AI的下一个重大产品创新,可能不出现在算力最充裕的地方,而出现在算力最匮乏的地方——因为那里的开发者被迫重新发明「够用就好」的工程哲学。
他举了自己的例子:用失败过的考试题训练1B模型,现在这个模型考得比他当年还好。参数规模在这里是无关变量,数据质量和任务边界才是。这种「受限环境下的创造性压缩」,恰恰是资源无限时最难学习的技能。
YC的batch里现在挤满了做「AI基础设施」的创业公司,大部分在优化云端的token吞吐效率。同时,在达卡、拉各斯、河内,另一群开发者在优化「零token吞吐时的系统行为」——当最后一公里的连接彻底消失,应用该怎么优雅降级。
这两个问题没有交集,直到它们突然有了。Manash注意到,欧美企业现在开始采购「边缘AI」方案,用于工厂和船舶等网络不可控场景。那些在印度季风里磨练出的工程技巧,正在反向输出到硅谷认为「基础设施完善」的市场。
Palantir CEO Alex Karp最近说了一句话,被Manash的读者圈出来反复引用:只有两种公司,一种建造AI,一种购买AI。但这句话漏了第三种——那些在买和造之间,被迫发明「凑合用」方案的人。他们定义的产品形态,可能最终比前两种都更普适。
Manash的文章结尾没有总结,只有一个还在进行的实验。他的Wi-Fi上个月又断了两次,但模型训练没再中断。本地检查点每15分钟自动保存,电力来自新装的太阳能板,足够撑过4小时的停电。
「如果AI的真正普及需要等待全球基础设施升级,我们大概要等二十年。」他在评论区回复一位读者,「但如果接受断裂是常态,现在就能开始。」
你的最后一个云端API调用,是在网络稳定时完成的吗?
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.