4月23日,腾讯混元Hy3 preview语言模型发布并开源。
这是一个快慢思考融合的混合专家模型,总参数295B,激活参数21B,最高支持256K上下文长度。
据介绍,这是混元迄今最智能的模型。
今年2月,腾讯混元重建了预训练和强化学习的基础设施。腾讯首席AI科学家姚顺雨表示,Hy3 preview是混元大模型重建的第一步,混元在继续扩大预训练和强化学习的规模并提升模型的智能上限。
记者|郑栩彤
编辑|瑜见
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.