网易首页 > 网易号 > 正文 申请入驻

寒武纪Day 0完成商汤SenseNova Loop-9B适配,打通新型循环计算架构推理链路

0
分享至

IT之家 11 月 18 日消息,商汤科技昨日晚间正式发布 SenseNova Loop-9B 模型。


寒武纪官方宣布,已完成对商汤新发布模型日日新 SenseNova Loop-9B 的 Day 0 适配。

据介绍,该模型通过 Loop 结构复用模型层的参数,并结合流形约束超连接(mHC),在有限的参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务,进一步优化模型在 Agent、代码与数据分析任务中的表现,持续探索循环计算的能力边界。

寒武纪表示,针对 SenseNova Loop-9B 的架构特点,寒武纪基于 vllm_mlu 完成 Day 0 适配,打通模型在 MLU 平台上的推理链路。本次适配主要围绕 Loop 循环结构、MLU 算子适配、mHC 路由优化三个方向展开。IT之家附三大方向具体适配内容如下:

1. Loop 循环层展开:静态展开计算,复用标准推理机制

Loop 循环结构是 SenseNova Loop-9B 模型适配的核心技术点之一。SenseNova Loop-9B 使用约 9B 的模型参数,通过循环执行共享的中间层,将 32 个物理解码层扩展为 56 次层计算。 正是得益于 Loop 的高效循环结构,模型官方 4bit 量化后权重仅约 4.9GB,部署显存需求低至 10 GB 内,能显著拓宽可部署的硬件范围,有助于降低本地与私有化部署门槛。 为了兼容 vLLM 现有的模型执行与调度机制,寒武纪采用静态展开方案,将循环计算转换为 56 个顺序执行的层,使模型能够复用 vLLM 标准调度和 KV cache 机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与 32 层模型相同。
2. MLU 算子适配:复用成熟算子实现,支持多模态推理
针对模型中的 Attention、Linear Attention 和 MLP 等核心计算模块,寒武纪将其替换为 vllm_mlu 中已有的 Qwen3-Next 系列 MLU 算子实现,复用现有算子能力,从而快速实现模型适配。 在多模态部分,复用 Qwen3.5-VL 的 MLUQwen3_VisionTransformer 和多模态 Processor,实现图像输入处理及视觉特征提取,打通文本与图像输入场景下的推理链路。
3. mHC 路由性能优化:融合归一化计算,降低 Kernel Launch 开销
mHC 是模型循环计算中的重要组成部分,其双流信息路由涉及归一化及 Sinkhorn 迭代计算,对算子执行效率提出了要求。 针对 mHC 路由计算,寒武纪进行了专项优化: 归一化优化: 通过 TMO 融合接口实现归一化计算,减少算子执行开销。 Sinkhorn 优化:使用 CNAgent Triton Skill 自动生成 Triton 融合算子,将 Sinkhorn 计算整合为单个 Triton Kernel,减少多次 Kernel Launch 带来的调度开销。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
3-2!10分钟连追三球 13亿卫冕冠军逆转上赛季第三 13轮狂轰51球

3-2!10分钟连追三球 13亿卫冕冠军逆转上赛季第三 13轮狂轰51球

狍子歪解体坛
2026-11-22 23:09:25
俄媒:伊辛巴耶娃已经堕落成国家叛徒 她曾是俄罗斯名片+陆军少校

俄媒:伊辛巴耶娃已经堕落成国家叛徒 她曾是俄罗斯名片+陆军少校

劲爆体坛
2026-11-22 11:14:03
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
俄导弹落入波兰,吕特强硬回应:北约将捍卫“波兰的每一寸领土”

俄导弹落入波兰,吕特强硬回应:北约将捍卫“波兰的每一寸领土”

扬子晚报
2026-11-22 20:36:44
金价持续大跌!紧急提醒

金价持续大跌!紧急提醒

环球网资讯
2026-11-22 16:52:09
还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

还有隐私吗?曝部分地区光猫里藏了一串代码,专门记用户看了哪些股票

可达鸭面面观
2026-11-22 09:42:31
今夜,集体拉升了!

今夜,集体拉升了!

中国基金报
2026-11-22 22:14:53
开场8分钟直红!内维尔痛批曼联两中卫:这已经烂到极点

开场8分钟直红!内维尔痛批曼联两中卫:这已经烂到极点

慢享生活集
2026-11-23 01:16:55
特朗普称不支持“台独”,民进党当局回应:假的,美方应给个说法

特朗普称不支持“台独”,民进党当局回应:假的,美方应给个说法

共工之锚
2026-11-22 20:18:22
经济危机的盖子捂不住了,放水的时刻越来越近

经济危机的盖子捂不住了,放水的时刻越来越近

荆棘阿甘
2026-11-21 18:07:54
不出意外,从 2027年起,个人存款超过100 万的,或将面临四个难题

不出意外,从 2027年起,个人存款超过100 万的,或将面临四个难题

巢客HOME
2026-11-22 05:55:06
64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

64岁女总统挤民航经济舱来开会,“寒酸”还是正常?

山间听雨
2026-11-20 19:27:54
被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

被荷兰法院裁定抄袭路虎卫士外观,比亚迪:强烈反对,将提起上诉

观察者网
2026-11-22 13:48:42
彻底翻车!ESPN头号名嘴闯下大祸,惨遭无限期停播!

彻底翻车!ESPN头号名嘴闯下大祸,惨遭无限期停播!

铿锵格斗
2026-11-22 20:59:14
恒大鼎盛时期想见许家印一面需要什么条件?

恒大鼎盛时期想见许家印一面需要什么条件?

阿胂是吃瓜群众
2026-11-21 23:25:01
AI集体翻车!“13个鸡蛋”为啥就那么难画?

AI集体翻车!“13个鸡蛋”为啥就那么难画?

上观新闻
2026-11-21 07:17:25
特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

特朗普:预计所有主要世界领导人将出席下个月在美举行的G20峰会

咸鱼金脑袋
2026-11-22 11:58:01
刚刚,A股利好!上交所、深交所、北交所,集体宣布!

刚刚,A股利好!上交所、深交所、北交所,集体宣布!

中国基金报
2026-11-22 18:59:11
美国要禁止中国运营商获得电话号码资源,意味着什么?

美国要禁止中国运营商获得电话号码资源,意味着什么?

点评校尉
2026-11-22 19:30:37
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
2026-11-23 02:03:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
380834文章数 607748关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

旅游
艺术
健康
家居
公开课

旅游要闻

西草市:一条卖柴草的胡同,变身为最美剧装一条街

艺术要闻

印度,一个盛产美女的国家:多元血脉与纱丽风情交织的独特之美

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版