网易首页 > 网易号 > 正文 申请入驻

昇腾生态加速器:TileLang模式降低80%算子开发门槛

0
分享至

大模型算力竞赛早就不是堆硬件的时代了,现在大家比的不光是谁家芯片算力强,更要看开发者用不用得顺手。

昇腾NPU的硬件性能确实能打,但不少开发者私下吐槽,想把GPU上跑的代码挪过来,要么得重写一大半,要么性能跑不满,简直是"抱着金砖找不着门"。

就在这个节骨眼上,TileLangAscendNPUIRDeveloper模式来了。



今天咱们就掰开揉碎了聊聊,这新模式到底能不能让昇腾NPU开发从"手动挡"变成"自动挡"。

搞AI开发的都知道,写算子就像搭积木。

以前用PyTorch这些上层框架,看着简单,真要追求极致性能还得往下走。

可底层语言编程那门槛,简直是给专家量身定做的光搞懂硬件架构就得啃半个月手册,更别说优化性能了。



TileLang-Ascend这次直接给了两个"工具箱",Expert模式是给那些追求极限性能的大神用的,能手动调各种底层参数。

但咱们普通开发者,怕是最需要的还是Developer模式。

这模式号称要让NPU算子开发进入"智能编译"时代,听着玄乎,实际用起来还真有点东西。

最让人惊喜的是跨架构迁移。

本来以为从GPU挪代码到昇腾NPU,怎么也得把Tiling策略、循环结构这些核心逻辑重写一遍。



后来发现TileLang居然能直接复用这些东西。

就拿矩阵乘(GEMM)算子来说,原来在GPU上用的Pythonic算子逻辑,搬到昇腾NPU上,改改接口就能跑。

这种"复制粘贴"式的迁移,简直是给开发者减负了。

这种低成本迁移的好处不用多说。

以前团队开发算子,得专门配个懂昇腾架构的专家,现在普通开发者稍微学一下就能上手。



开发周期能缩短不少,算力应用落地自然也快了。

昇腾NPU里面有Cube和Vector两种核心,就像厨房的两个灶台,一个适合炖大锅菜(大矩阵计算),一个适合炒小锅菜(向量计算)。

以前开发者得自己判断哪个任务用哪个核心,分核分不好,性能就掉链子。

Developer模式最贴心的一点,就是把这活儿给"自动化"了。



编译器会自动看任务类型,该用Cube核心的绝不塞给Vector,用户完全不用操心。

这种"零感知"分核,简直是手残党福音。

内存管理也是个老大难,NPU里的存储层级多,数据在不同存储间搬来搬去,同步还容易出问题。

以前写代码,光内存分配和数据搬运就得占一半篇幅。

TileLangAscendNPUIR现在能自动规划内存,什么时候搬数据、怎么同步,编译器全给包圆了。



这才是开发者真正需要的"省心"。

高性能算子讲究"流水并行",就像工厂流水线,上一道工序没完,下一道就能开始。

T.Pipelined原语就是干这个的,能自动实现DoubleBuffer和缓冲区重用,让计算和数据搬运overlap起来。

以前手动写流水并行,调试半天还容易出错,现在编译器直接搞定,效率高多了。

还有向量化计算,T.Parallel原语能把通用数学符号和内置函数高效映射到Vector核心上。



不用再写那些硬件相关的向量指令,开发者用熟悉的方式写代码,编译器自动给优化成向量化执行。

如此看来,开发者终于能把精力放在算法逻辑上,而不是硬件细节了。

拿个实际例子说吧,矩阵乘法加Softmax的融合算子。

以前写这个,分核、内存搬运、流水并行都得手动调,代码又长又容易出错。

现在用Developer模式,这些全交给编译器,开发者就写核心计算逻辑。



跑起来性能还不差,这才是智能编译该有的样子。

TileLang这次是真的抓住了开发者的痛点。

它没像有些工具那样,为了易用性牺牲性能,而是通过智能编译,把"易用"和"高性能"捏到了一起。

这种"硬件可感知"的路线,比那些纯上层封装的工具实在多了性能红利一点没浪费。

基于MLIR框架也让它很灵活。

开发者想加个自定义算子,改改中间表示层就行,不用动底层架构。



这种设计思路,确实比一刀切的工具更有生命力。

昇腾生态这些年一直在补工具链的短板。

从底层的Expert模式到现在的Developer模式,不同层级的开发者都能找到适合自己的工具。

这种分层抽象,其实是给昇腾生态铺了条"多车道高速",不管是专家还是新手,都能在上面跑起来。

更难得的是TileLang从第一行代码就坚持开源。



北京大学那个"鲲鹏昇腾科教创新卓越中心"还提供算力支持,开发者能直接上手试。

现在社区里已经有人实现了不少核心算子,跟PyTorch、vLLM这些开源社区的协同也在加深。

生态这东西,就得靠大家一起搭积木,光靠一家企业推,很难走远。

Developer模式基础特性马上就要开源了。

这步棋走得挺关键,意味着更多开发者能参与进来,发现问题、贡献代码。

国产NPU算子开发,怕是要从"手动挡"全面进入"自动挡"时代了。



以后开发者可能不用再死磕硬件手册,写算子就像写Python代码一样简单。

算力应用落地速度会更快,咱们用的大模型响应速度、智能设备的AI功能,说不定都会因为这个小小的开发模式而变得更好。

算力这东西,最终还是要服务于人。

TileLangAscendNPUIRDeveloper模式做的,就是把复杂的硬件细节藏起来,让开发者能更专注于创造价值。

如果你也是搞AI开发的,不妨去看看这个项目,说不定能让你的工作效率翻倍。



毕竟,好工具就像好帮手,能让你在算力竞赛里跑得更快、更稳。



声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邓兆尊持香港地皮市值逾4.8亿,出售多年卖不掉,已荒废杂草丛生

邓兆尊持香港地皮市值逾4.8亿,出售多年卖不掉,已荒废杂草丛生

娱说瑜悦
2026-01-23 14:25:54
“不要自我感动!”老师在试卷上装订小零食,被家长狠狠上了一课

“不要自我感动!”老师在试卷上装订小零食,被家长狠狠上了一课

知晓科普
2026-01-19 13:27:00
央媒痛批,沉寂七十年,从同志到戏子,资本的獠牙终于露出来了

央媒痛批,沉寂七十年,从同志到戏子,资本的獠牙终于露出来了

锋哥与八卦哥
2026-01-24 11:50:17
辽宁多地有雪!降温随后就到,幅度不小……

辽宁多地有雪!降温随后就到,幅度不小……

环球网资讯
2026-01-24 16:26:16
日本羽毛球界再次诞生超级美少女,韩媒疯狂报道

日本羽毛球界再次诞生超级美少女,韩媒疯狂报道

随波荡漾的漂流瓶
2026-01-22 12:00:14
8分钟丢2球!中国队防守漏人+停球送礼,被日本压着打,夺冠难了

8分钟丢2球!中国队防守漏人+停球送礼,被日本压着打,夺冠难了

侃球熊弟
2026-01-24 23:26:45
中国人寿HR讥讽本科求职者不配有双休,公司该学历员工达7.17万人

中国人寿HR讥讽本科求职者不配有双休,公司该学历员工达7.17万人

商业透镜
2026-01-22 15:55:59
韩媒:安东尼奥很像希丁克,大概率执教中国男足,带队冲击世预赛

韩媒:安东尼奥很像希丁克,大概率执教中国男足,带队冲击世预赛

国足风云
2026-01-24 06:52:36
【2026.1.24】扒酱料不停:那些你不知道的八卦一二三

【2026.1.24】扒酱料不停:那些你不知道的八卦一二三

娱乐真爆姐
2026-01-24 23:50:57
“大傻”去世15年后,儿子入狱孙子身亡,王晶曝他旧事:是狠角色

“大傻”去世15年后,儿子入狱孙子身亡,王晶曝他旧事:是狠角色

胡一舸南游y
2026-01-24 13:31:25
1月25日举办仪式!罗斯提前参观公牛球衣退役旗帜 三大前队友现身

1月25日举办仪式!罗斯提前参观公牛球衣退役旗帜 三大前队友现身

罗说NBA
2026-01-24 08:29:59
0-0!国安完成新赛季首场热身赛,球队进攻乏力,冬训质量遭质疑

0-0!国安完成新赛季首场热身赛,球队进攻乏力,冬训质量遭质疑

体坛鉴春秋
2026-01-24 22:02:19
记者:马兹拉维将重返曼联阵容,参加对阵阿森纳的比赛

记者:马兹拉维将重返曼联阵容,参加对阵阿森纳的比赛

懂球帝
2026-01-25 00:06:09
情绪管理有待提高!迪亚洛12中7空砍23分 不满吹罚吃T险与球迷冲突

情绪管理有待提高!迪亚洛12中7空砍23分 不满吹罚吃T险与球迷冲突

狼叔评论
2026-01-24 23:02:10
外网网友太有才!这 P 图简直是维多利亚 “本色出演”

外网网友太有才!这 P 图简直是维多利亚 “本色出演”

述家娱记
2026-01-23 10:04:59
振奋!中国男足逼平身价十亿豪门,天才中锋爆发,给U23做出榜样

振奋!中国男足逼平身价十亿豪门,天才中锋爆发,给U23做出榜样

国足风云
2026-01-24 07:41:07
造成毛岸英牺牲的罪魁祸首,让毛主席痛恨得罪人,他们下场如何?

造成毛岸英牺牲的罪魁祸首,让毛主席痛恨得罪人,他们下场如何?

风笛悠扬声
2025-12-04 10:08:06
口碑反转!王菲没想到,负债累累的李亚鹏,如今却让自己“难堪”

口碑反转!王菲没想到,负债累累的李亚鹏,如今却让自己“难堪”

白面书誏
2026-01-19 17:22:22
公募新进重仓股动向曝光!所有人都注意了,大盘下周或将这样走!

公募新进重仓股动向曝光!所有人都注意了,大盘下周或将这样走!

春江财富
2026-01-24 10:05:05
唉!43岁少帅上轮雪藏4主力输球,本轮又盲目轻敌,败给平民球队

唉!43岁少帅上轮雪藏4主力输球,本轮又盲目轻敌,败给平民球队

金山话体育
2026-01-24 07:44:34
2026-01-25 00:51:00
天生是美女
天生是美女
天生是美女
228文章数 81关注度
往期回顾 全部

科技要闻

黄仁勋现身上海菜市场

头条要闻

张又侠、刘振立被查 解放军报发布社论

头条要闻

张又侠、刘振立被查 解放军报发布社论

体育要闻

当家球星打替补,他们在故意摆烂?

娱乐要闻

回归还是顶流 凤凰传奇将现身马年春晚

财经要闻

“百年老字号”张小泉遭60亿债务压顶

汽车要闻

有增程和纯电版可选 日产NX8或于3-4月间上市

态度原创

游戏
本地
房产
教育
公开课

梦幻西游珍宝阁拿下新出第一化生神衣,毅力帝300万帮贡求超越?

本地新闻

云游中国|格尔木的四季朋友圈,张张值得你点赞

房产要闻

正式官宣!三亚又一所名校要来了!

教育要闻

高考地理中的赛事经济

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版