北京
我花了很多年搭建理想中的游戏PC，迭代升级近十年，终于拥有了年轻时梦寐以求的配置——Nvidia RTX 5090配AMD Ryzen 7 9800X3D，任何游戏都能轻松驾驭。除此之外，我还用它跑机器学习、数据分析和开发等重负载任务。
但本地大语言模型（LLM）兴起后，情况变了。我每天都在跑这些模型，原以为RTX 5090会是速度怪兽，却很快意识到：快，不代表一切。
Qwen 3.6 27B确实出色，恰好能塞进RTX 5090的32GB显存。但还有更多我想尝试的模型，远超32GB的容量限制。讽刺的是，苹果芯片（Apple Silicon）反而成了跑大型本地LLM的主流最优解——其统一内存架构（Unified Memory Architecture）对这个场景的适配程度，恐怕连苹果2020年推出时都没预料到。
我不是说必须买苹果设备跑本地AI，也不是说只有这条路。但事实是，苹果"意外"选中的内存架构，让它在特定用途上超越了全球最强的消费级GPU。苹果也意识到了这点，推出了MLX机器学习框架。它虽不如CUDA成熟，很多工具仍直接用Metal，但这表明苹果清楚：统一内存已成其AI核心优势。
32GB的天花板比想象中低
RTX 5090搭载32GB GDDR7，512位显存位宽，带宽约1.79 TB/s——这是英伟达消费级显卡的显存容量和位宽之最。小模型上它确实飞快：量化后的7B、13B模型输出速度超过阅读速度，30B模型4-bit量化后仍有富余。
但带宽再快，前提是模型能装下。权重、KV缓存、上下文缓冲区一旦超32GB，速度断崖式下跌——模型开始往系统内存卸载，1.79 TB/s的带宽瞬间被DDR5瓶颈卡死。量化版Llama 3.3 70B勉强能塞进去（Q3精度、极小上下文窗口），但得费很大劲。
换成Qwen3-Coder-Next的FP8版本，存储占用85GB，
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
