北京
IT时代网8月16日消息，小红书刚开源的大模型，华为昇腾这边就接上了。小红书 8 月 14 日发布 dots3-note preview 开源大模型，华为官方随后宣布，昇腾 Atlas 800 A3、Atlas 900 A3 SuperPoD 超节点已完成该模型的全量适配，并基于 vLLM Ascend 开源推理引擎提供完整部署与推理能力。
作为 dots3 系列的第一版，dots3-note preview 以 2800 亿总参数、160 亿激活参数搭建能力底座，同时具备文本、视觉、语音的全模态感知理解能力，在推理、Agent 与多模态感知等维度做了全面优化，多项任务上能比肩国内外更大尺寸的同类模型。
华为方面表示，模型发布当天昇腾就完成了 0 Day 推理部署适配与性能优化，在完整保留文本、视觉、语音一体化全模态理解的前提下，实现了稳定跑通与生成效率提升，为长程复杂任务的智能落地提供算力支撑。具体来看，昇腾基于 vLLM Ascend 打通了文本、图片、音频的全模态端到端适配，把视觉编码器、音频特征提取与 LLM 主干推理全链路连起来；FlashComm 通信优化通过数学等价变换把 AllReduce 拆成 ReduceScatter 加 AllGather，把列向独立算子前移，消除了多卡间的重复计算；FUSED_MC2 通算融合则把 MoE 层多段独立 Kernel 合并成单一大算子，减少 Kernel 启动次数、让通信与计算深度流水；针对增量推理阶段的 TPOT 瓶颈，还在框架中原生适配了 MTP 投机解码，单次前向并行生成多 token 候选并校验复用，从而降低时延、提升整体生成效率。
注：本文综合自IT之家等，文中包含AI辅助创作的内容。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
