北京
分享至
腾讯混元发文表示，Hy3上线并开源后，社区一直在呼吁量化版本，希望单卡跑参数量达295B的Hy3。团队针对开源社区需求，把Hy3的权重量化到1bit与4bit并打包成GGUF，配合llama.cpp生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
本文源自：金融界AI电报
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
