北京
分享至
凤凰网科技讯 7月14日，腾讯混元团队宣布，针对开源社区需求，已将旗舰模型Hy3（295B参数）权重量化至1bit与4bit并打包为GGUF格式，配合llama.cpp生态，使该模型可单卡乃至在内存充足的本地机器上部署。
Hy3原始BF16权重接近600GB，需多卡服务器承载。量化后，1bit版本（IQ1_M）压缩至85.5GiB，缩小6.7倍，单张96GB推理显卡即可部署；4bit版本（Q4_K_M）体积169.9GiB，两张推理显卡即可承载。实测显示，4bit版本在Agent、多语言代码、工具调用等任务上贴近满血模型效果；1bit版本在长文理解、Agent与代码任务上保持良好，仅小幅回落。团队同步提供GPTQ Int4版本，支持vLLM部署。此外，团队还开发了llama.cpp补丁支持MTP投机解码，开启后1bit版本解码速度提升约50%，4bit版本提升近60%。相关量化模型与部署指引已在HuggingFace上线。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
