河南
在手机上跑1000亿参数的大模型？对，这不是开玩笑。
众所周知，手机跑更大参数的AI大模型，最大的瓶颈始终是内存容量。但从当前DRAM市场形势来看，手机主流内存短期内很难突破16GB门槛，毕竟内存成本太贵了。
不过，高通CEO斯蒂亚诺・阿蒙（Cristiano Amon）却认为，我们很快就会进入一个手机可以连续运行1000亿参数大模型的时代，并证实已经有AI公司正在研发实现这一目标的智能手机。
近日，阿蒙在接受接Fireside Alpha采访时透露，AI公司希望到2028年手机能持续运行1000亿参数模型，并确认有些公司正在研发这类手机。
“我必须小心不要透露名字，但一些AI公司，那些处于AI前沿的公司告诉高通，‘到2028年，我需要确保有能力在手机上运行至少一个1000亿参数的模型，而且我需要让这个东西几乎一直运行。’”
亚历克斯·希思：“所以你是说有一些AI公司正在谈论——”“嗯，AI公司开始制造手机了。”阿蒙说。
虽然阿蒙画了个大饼，但没有透露到底怎么做。
放在今天，这听起来多多少少有点痴人说梦。由于内存危机，很多手机厂商已经放弃了大内存型号，一年前我们还能看到24GB的安卓手机，现在很难再看到了。
简单算一下，1000亿参数FP32全精度大模型体积=1000亿 × 32bit ÷ 8=400GB。
运行一个4-bit特量化的1000亿参数模型，相当于用牺牲少量精度的代价，把全精度32-bit有损压缩到1/8，即FP4，仅模型本身就需要约50GB内存，还要预留足够空间给操作系统、应用进程和KV上下文缓存等开销，整体占用约70-90GB，对手机来说显然是做不到的。
RTX Spark在FP4精度下，也只有128GB内存才能跑1200亿参数，64GB版本都做不到。
就算极端一点，压缩到2-bit量化，仅模型占用也要25GB内存，依然远超当前手机的主流配置。而且量化精度低于4-bit后，大语言模型的生成质量会明显下降，尤其是逻辑推理能力会大幅缩水，无法达到可用标准。
这还只是容量层面的问题。就算DRAM的成本与供应障碍都能解决，持续运行大参数模型带来的严重发热，会触发芯片降频，导致实际性能大打折扣。
另一种方法是运行稀疏混合专家模型（MoE），每个token仅激活一小部分专家网络，这部分常驻内存，其余参数存放在闪存中。但UFS、NVMe 闪存的读写速度远低于DRAM，会直接拉低推理速度，让体验大打折扣。
此外，苹果曾研究过直接在机身存储上运行大语言模型（LLM in a flash），但同样受限于存储速度，Token生成太慢，根本没法用。
实际上，经过蒸馏优化的200亿-300亿参数模型，在手机端的实际表现已经可以接近1000亿参数模型的效果。这对厂商来说才是更具可行性，也更容易商业化落地的路线。
遗憾的是，高通CEO只放出了远期目标，却没有给出对应的技术路线图。
不过，想象一下，未来手机能拥有和工作站同级的AI能力，也是件一件值得期待的事。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
