河南
你敢信吗？二手市场都没人要的山寨安卓电视盒，单台才卖55美元，合人民币不到四百块，居然能攒起来跑大模型。十来台这种大家眼里的电子垃圾串起来，一晚上就能干完白领一周的活，直接把AI的硬件门槛砸到了地板上。
按常理说，跑260亿参数的大模型，半精度下至少得要52GB的高端显存才行。把这么大的模型塞进单台4GB内存的电视盒，难度不比把蓝鲸塞进双开门冰箱低。这帮研究员愣是靠两个技术搞定了，说出来也挺有意思。
其中一个路子是极端模型量化，说白了就是给大模型疯狂减肥。原来的高精度参数就像带筋带骨的整斤鲜牛肉，极端量化之后直接挤干水分剔掉冗余，压成了几斤重的压缩牛肉粉。精度掉的可以忽略不计，体积直接砍了九成多。
就算减完肥，单台4GB还是装不下，另一个路子就是切开来分着干。把整个大模型像切面包一样切成15份，每个电视盒只负责算自己那部分，算完通过局域网传给下一个接着算。15个不起眼的小盒子凑在一起，居然攒出了一个能流畅运行的去中心化大模型。
算下来整套设备也就825美元，单台功耗才5到10瓦，15台加起来还没你家客厅一盏灯泡费电。这个思路其实不是凭空冒出来的，早在上世纪末就有类似的玩法。1999年加州大学就搞过SETI@home项目，拉着全球几百万网民的闲置电脑帮着分析外星信号。
现在这次玩法，直接把目标瞄向了华强北流出的海量山寨电视盒。每年都有数千万台搭载国产低端ARM芯片的无牌电视盒从深圳出海，卖到全球各个平民家庭，出厂还带着未授权的调试端口。之前就有僵尸网络控制过超过两百万台这类盒子偷流量，现在这篇研究直接给很多人打开了新思路。
现在测试下来，开源模型自我复制部署到周围设备的成功率能到六成到八成多。未来AI不一定像科幻片里的天网那样搞大动作，反倒可能像粘菌一样，藏在你家客厅电视盒、路边监控、家用路由器这些没人注意的角落。悄咪咪耗点电，帮黑客写钓鱼邮件或者攻击代码，谁都很难发现。
不少技术网友看到这都撇嘴，说速度慢得像乌龟打字，两秒多吐出一个词，能干啥用。其实这话是没搞懂现在AI干活的逻辑，大家平时用ChatGPT都想要秒出结果，把AI当微波炉使，慢一点就浑身难受。但在企业的自动化流程里，AI根本不需要秒出结果，当好不要钱的慢炖锅就行。
就说老板下班前给这堆盒子布置任务，把五百份合同里的异常条款挑出来，按风险分好类做个汇总表发邮箱。0.39token每秒的速度看着慢，一晚上八小时不停转，也能出一万一千多token，差不多小两万字的精细分析。等第二天老板上班，报告已经安安稳稳躺在邮箱里了。
这堆盒子一晚上才花几分钱电费，活干得漂亮，换以前得两个初级法务加一个行政助理加班好几天才能做完。现在Anthropic内部已经有超过26%的研发任务，是这类智能体自己领衔完成的。基础编程、客服分发、工单审计这些活，自动化接管率早就突破八成了。
现在AI圈其实分成了两个完全不同的世界。一边是OpenAI、Google这些巨头，拿着几百亿融资，囤了几万张顶级H100显卡，烧着核电站级别的电费，在云端建自己的算力圣殿，垄断了最顶尖的AI训练权。另一边是草根开发者和极客，靠着算法优化和遍地都是的闲置硬件，在各个角落攒出了便宜到离谱的AI算力。
夹在中间的普通白领，成了最难受的那批人。之前企业想用AI替代人工，还得算算租云端API贵不贵，买服务器回本要多久，这也算给白领岗位留了最后一道缓冲。现在倒好，几百块钱的硬件就能搭起来能用的AI，替代人工的门槛直接快降到零了。
现在只要懂点智能体编排，一个人花不到一千块钱买旧硬件，就能搭个二十四小时不停转的线上小作坊。那些靠信息中转、格式转换、基础校对混饭吃的白领，干了好几年攒的经验技能，在这堆几百块的电子垃圾面前，性价比低到离谱。网上有句黑色玩笑说的戳心，你以为科技进步带你奔星辰大海，结果科技进步让几百块的电子垃圾抢了你八千块的饭碗。
当15台山寨电视盒在角落里亮起微光，属于普通白领的职业断崖，其实早就悄咪咪来了。
参考资料：澎湃新闻 15台55美元山寨电视盒跑通260亿参数大模型
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
