4月2日讯,APUS与新旦智能联合训练、研发的千亿MoE(Mixture of Experts)架构大模型,在GitHub上正式开源。该模型在4090之类低端算力芯片上,综合性能达到GPT-4的90%。据钛媒体App了解,APUS-xDAN大模型4.0特点是多专家模型组合,实际运行效率对比传统Dense同尺寸模型效率提升200%,推理成本下降400%。在实际部署上,模型尺寸缩小500%,是国内首个可在消费级显卡运行的千亿MoE中英文大模型。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.