网易首页 > 网易号 > 正文 申请入驻

趋境开源框架 KTransformers 成主流大模型首选,Qwen、Kimi、智谱 AI 推荐,单卡跑万亿模型

0
分享至

全球头部开源模型方的共同选择,印证了一款底层框架的硬实力。趋境科技与清华共同开源的KTransformers,已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎,其工程实践与兼容性也被多家一体机产品线采纳,成为被开发者、厂商与开源社区广泛复用的共建式底层框架。

技术与生态双认可:成功入选 “计算机系统领域奥斯卡” SOSP 2025

KTransformers 是一个高性能异构推理框架,专注于高效利用底层 GPU、CPU、内存等多样化算力,让大模型在更低算力、更灵活的硬件架构上高效运行。其论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入选 “计算机系统领域奥斯卡” SOSP 2025,该顶会过去几十年间见证了虚拟化、分布式文件系统等无数里程碑式技术成果的首次亮相,此次入选标志着 KTransformers 的技术实力获得全球顶尖认可。

11月6日,月之暗面发布Kimi-K2-Thinking 模型后,KTransformers迅速完成全面适配,支持用户在单卡环境下完成推理任务,2卡环境下完成LoRA微调任务,大幅降低部署与定制化门槛。同时,趋境科技也已完成该模型在昇腾NPU上的全面适配,提供完善的全国产化推理解决方案,进一步拓宽其应用场景。

推理与微调双高效:KTransformers+SGLang实现高性能推理部署

在推理部署层面,KTransformers与主流推理框架SGLang于10月达成合作,双方架构合入同一分支。在Kimi-K2-1TB的模型推理任务中,用户仅需简单安装SGLang与KTransformers CPU内核,下载官方模型及量化权重,即可通过一条命令启动服务,且仅需单张消费级 GPU+CPU。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式,推动大模型推理向更高性能、更低成本演进,迈向更广泛的产业落地。

在微调部署层面,KTransformers与LLaMA-Factory深度集成,支持LoRA等轻量级微调方法,仅占用约41 GB显存+2T内存,就能实现46.55 token/s的微调吞吐量。传统上,LoRA 微调千亿模型成本高达数百万,而趋境的异构微调能力将资源需求降低到单个消费级 GPU(如 RTX 4090)起,让高校、中小型实验室、初创公司甚至个人开发者都能参与大模型定制。该方案在 DeepSeek-14B 模型上展现了超过传统方案 1.8 倍的吞吐、显存占用降低 82%,是消费级显卡上微调超大参数 MoE 模型的唯一可行方案。

对趋境科技而言,KTransformers承载的是 “普惠顶尖AI智能与隐私” 的价值理念。大模型时代需要更广谱的推理基础设施路线,趋境已与多个国产 CPU、GPU硬件平台合作,推进全国产高性价比方案;为数十家行业开发伙伴提供算力底座,让更多团队用得起、调得动大模型。今天的KTransformers,已让大模型推理脱离高端算力垄断;未来,趋境将继续推动 AI 能力普惠,让大模型真正融入各类业务场景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

约中年女人出来玩,大胆一点,女人不论多大,这3招都可以搞定

千秋文化
2026-11-21 21:19:47
中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

中国第二轮“严打”来了,这次查的更严,一旦查到谁都跑不了!

职场资深秘书
2026-11-21 12:48:52
刘诗诗和吴奇隆一同现身机场,两人大方牵手,一路上有说有笑

刘诗诗和吴奇隆一同现身机场,两人大方牵手,一路上有说有笑

情感大头说说
2026-11-21 11:48:59
1胜15负的雄鹿客场挑战东部第一,76人迎来刷胜场良机

1胜15负的雄鹿客场挑战东部第一,76人迎来刷胜场良机

甜份超标的我
2026-11-22 00:50:01
特朗普明确表态不支持“台独”,引发岛内震动

特朗普明确表态不支持“台独”,引发岛内震动

政知新媒体
2026-11-21 11:41:22
APEC 封神!别家啃冷三明治,深圳直接上现炒热菜,老外记者看呆,深圳媒体中心这顿饭,把老外 CPU 干烧了

APEC 封神!别家啃冷三明治,深圳直接上现炒热菜,老外记者看呆,深圳媒体中心这顿饭,把老外 CPU 干烧了

魔都姐姐杂谈
2026-11-19 10:30:45
家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

家里兔子怀孕,一口气生了27只!!妹子天塌了:别再生了我害怕

铲屎官阿伟
2026-11-10 18:40:10
乌克兰再袭克里米亚大桥后,布鲁塞尔北约总部会议上出现戏剧性一幕

乌克兰再袭克里米亚大桥后,布鲁塞尔北约总部会议上出现戏剧性一幕

枫叶君评
2026-11-19 22:07:03
马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

马科斯万万没想到!亲手送杜特尔特去海牙,如今美国却要拆ICC!

唠叨说历史
2026-11-18 09:46:20
太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

太心酸!23 岁姑娘豪掷 40 万开舞蹈室,苦苦撑大半年,竟一名学员都没招来

川渝视觉
2026-11-19 15:46:15
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
伊朗称击伤F-16战机,美军否认

伊朗称击伤F-16战机,美军否认

澎湃新闻
2026-11-21 23:49:03
软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

界面新闻
2026-11-21 10:40:18
曝三星未来三年大部分存储芯片产能已被锁定,有客户希望供货保障至2031年

曝三星未来三年大部分存储芯片产能已被锁定,有客户希望供货保障至2031年

IT之家
2026-11-21 21:03:24
杨紫在美国拿奖仅10天,又曝一个好消息,这下地位又不一样了

杨紫在美国拿奖仅10天,又曝一个好消息,这下地位又不一样了

阿废冷眼观察所
2026-11-22 00:01:02
NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

NBA最新消息!哈登轰51+6+6!登顶历史首位,阿特金森赛后说:这就是我们交易得到他的原因

体育闲话说
2026-11-21 18:44:36
全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

全球也就20例!巴西一名19岁女子,在同一个夜晚与两位男性有过亲密接触,怀孕生下双胞胎后,竟意外发现两个孩子的生父并非同一人

扶苏聊历史
2026-10-10 11:04:50
社保最低缴费年限要涨到20年,中年打工人的退路被谁改了

社保最低缴费年限要涨到20年,中年打工人的退路被谁改了

砼话里都是骗人的
2026-10-13 18:03:11
日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

日媒记者“逐帧解析”高市早苗被特朗普无视:非常耻辱,根本没有人理她,这就是现实

台州交通广播
2026-11-21 23:09:45
近两万亿缺口,补不上了?

近两万亿缺口,补不上了?

中国新闻周刊
2026-11-21 19:45:22
2026-11-22 01:04:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71748文章数 656270关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

头条要闻

男子遭女友报案强奸获刑出狱后复合 女方重提旧事被杀

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
家居
亲子
手机
公开课

教育要闻

“这就是富养的下场”,女儿上学十天请假四次,网友们讥讽:后面一直受着就行

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

手机要闻

iPhone Air 2最新机模曝光!后置双摄 新增4800万像素超广角

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版