北京
分享至
DeepSeek正在测试一件事：把部分小模型的推理任务，放到便宜得多的游戏显卡上跑。据The Information报道，这家公司想验证的是，激进的模型优化到底能不能把推理成本压下来。
这不是实验室里的纸面推演。梁文锋已经把这个进展告诉了投资人——DeepSeek内部测试显示，它的小模型在专为游戏设计的图形芯片上跑得不错。
为什么盯上游戏显卡
推理和训练是两件事。训练大模型要的是极致算力，推理要的是单位成本够低。小模型如果能被优化到在游戏显卡上稳定运行，意味着不必挤在昂贵的数据中心算力里排队。
算力紧张是背景。把一部分推理负载分流到更便宜的硬件上，等于给紧张的算力腾出空间。
赌的是优化能力
这条路能不能走通，关键不在显卡本身，而在模型优化能做到多激进。同样的模型，优化程度不同，对硬件的要求可能差出一大截。
DeepSeek选择先拿小模型试水，逻辑也在这里：小模型对硬件的宽容度更高，更容易验证这条路是否成立。测试结果目前指向的是"能跑"，但能跑和能大规模跑之间，还有距离。
对行业来说，这个方向如果被验证，影响的不只是一家公司的成本表。推理算力的获取方式，可能会多出一个选项。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
