北京
分享至
程序员们常被显存数字误导。标称24GB的显卡，实际可用空间往往远低于此，OOM崩溃总在不该发生时降临。
问题藏在内存碎片里。深度学习框架的分配策略并非最优，预留、缓存、对齐开销层层叠加，有效利用率有时不足七成。
更隐蔽的是"已分配"与"真正使用"的鸿沟。PyTorch的reserved memory和active memory差距可达数GB，监控工具却混为一谈。
厂商标称容量基于物理芯片，操作系统和驱动先切走一块。CUDA上下文、cuDNN工作区再占一层，用户能调度的只是残羹。
优化者开始手动管理显存池，用重计算换空间，或梯度检查点拆分前向传播。这些手段不增加硬件成本，只压榨被浪费的碎片。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
