北京
分享至
腾讯混元发布Hy4 preview，总参数达770B，激活参数49B，支持1M上下文。模型定位生产力场景，已开源并提供HuggingFace和GitHub入口，同时保持稳定低价策略。
作者补充称，Hy4 preview在AI研究中能自主发现推理瓶颈，通过算子融合与通信优化，将端到端吞吐提升31.8%。这一提升在不同上下文长度和并发条件下均保持稳定。
大参数模型通常面临推理成本高、吞吐受限的难题。Hy4 preview的优化思路在于让模型自己定位瓶颈，而非依赖人工调优，这为长上下文场景下的部署提供了更实际的路径。
开源加上低价，意味着开发者可以低成本接入测试。对于需要处理超长文本的生产环境，31.8%的吞吐提升可能直接影响单次推理的耗时和成本。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
