网易首页 > 网易号 > 正文 申请入驻

趋境开源框架 KTransformers 成主流大模型首选,Qwen、Kimi、智谱 AI 推荐,单卡跑万亿模型

0
分享至

全球头部开源模型方的共同选择,印证了一款底层框架的硬实力。趋境科技与清华共同开源的KTransformers,已成为Qwen、Kimi、智谱AI等多个主流大模型发布首日的推荐推理引擎,其工程实践与兼容性也被多家一体机产品线采纳,成为被开发者、厂商与开源社区广泛复用的共建式底层框架。

技术与生态双认可:成功入选 “计算机系统领域奥斯卡” SOSP 2025

KTransformers 是一个高性能异构推理框架,专注于高效利用底层 GPU、CPU、内存等多样化算力,让大模型在更低算力、更灵活的硬件架构上高效运行。其论文《KTransformers: Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》成功入选 “计算机系统领域奥斯卡” SOSP 2025,该顶会过去几十年间见证了虚拟化、分布式文件系统等无数里程碑式技术成果的首次亮相,此次入选标志着 KTransformers 的技术实力获得全球顶尖认可。

11月6日,月之暗面发布Kimi-K2-Thinking 模型后,KTransformers迅速完成全面适配,支持用户在单卡环境下完成推理任务,2卡环境下完成LoRA微调任务,大幅降低部署与定制化门槛。同时,趋境科技也已完成该模型在昇腾NPU上的全面适配,提供完善的全国产化推理解决方案,进一步拓宽其应用场景。

推理与微调双高效:KTransformers+SGLang实现高性能推理部署

在推理部署层面,KTransformers与主流推理框架SGLang于10月达成合作,双方架构合入同一分支。在Kimi-K2-1TB的模型推理任务中,用户仅需简单安装SGLang与KTransformers CPU内核,下载官方模型及量化权重,即可通过一条命令启动服务,且仅需单张消费级 GPU+CPU。这一合作融合了GPU+CPU异构推理创新模式与全GPU传统推理模式,推动大模型推理向更高性能、更低成本演进,迈向更广泛的产业落地。

在微调部署层面,KTransformers与LLaMA-Factory深度集成,支持LoRA等轻量级微调方法,仅占用约41 GB显存+2T内存,就能实现46.55 token/s的微调吞吐量。传统上,LoRA 微调千亿模型成本高达数百万,而趋境的异构微调能力将资源需求降低到单个消费级 GPU(如 RTX 4090)起,让高校、中小型实验室、初创公司甚至个人开发者都能参与大模型定制。该方案在 DeepSeek-14B 模型上展现了超过传统方案 1.8 倍的吞吐、显存占用降低 82%,是消费级显卡上微调超大参数 MoE 模型的唯一可行方案。

对趋境科技而言,KTransformers承载的是 “普惠顶尖AI智能与隐私” 的价值理念。大模型时代需要更广谱的推理基础设施路线,趋境已与多个国产 CPU、GPU硬件平台合作,推进全国产高性价比方案;为数十家行业开发伙伴提供算力底座,让更多团队用得起、调得动大模型。今天的KTransformers,已让大模型推理脱离高端算力垄断;未来,趋境将继续推动 AI 能力普惠,让大模型真正融入各类业务场景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

磊子讲史
2026-11-16 16:23:07
黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

黄仁勋走了,英伟达中国4000人没人管,有人已在投简历,会变成贾跃亭走后的乐视网吗?

王新喜
2026-11-20 21:53:34
AI集体翻车!“13个鸡蛋”为啥就那么难画?

AI集体翻车!“13个鸡蛋”为啥就那么难画?

上观新闻
2026-11-21 07:17:25
伏明霞48岁熬出头,老公资产百亿衣食无忧,女儿哈佛毕业颜值惊艳

伏明霞48岁熬出头,老公资产百亿衣食无忧,女儿哈佛毕业颜值惊艳

全球时尚号
2026-11-20 17:07:35
发明陶瓷菜刀的意义在哪里?从使用意义来讲,有什么特殊吗?

发明陶瓷菜刀的意义在哪里?从使用意义来讲,有什么特殊吗?

向航说
2026-11-18 13:43:36
孩子的压岁钱,发到几岁合适?建议别超过这年龄,以免双方尴尬!

孩子的压岁钱,发到几岁合适?建议别超过这年龄,以免双方尴尬!

兴趣知识
2026-11-21 04:32:12
突然,集体拉升!两则好消息传来

突然,集体拉升!两则好消息传来

券商中国
2026-11-21 14:00:36
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
"上海解放后惩腐第一枪":军代表收四枚银元胁迫国民党军官之妻,陈毅批了四个字

"上海解放后惩腐第一枪":军代表收四枚银元胁迫国民党军官之妻,陈毅批了四个字

花开无田
2026-11-21 21:57:22
十大元帅中真正拉起一支队伍的,只有两个半,都被毛主席称为老总

十大元帅中真正拉起一支队伍的,只有两个半,都被毛主席称为老总

健康快乐丁
2025-05-23 19:39:23
“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

“难怪说穷父母会亏待孩子”,一个4000元的儿童发箍,让家长开智了

熙熙说教
2026-11-20 14:16:44
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
GDP全国第一的广东,为什么“养不活”一家顶奢商场?

GDP全国第一的广东,为什么“养不活”一家顶奢商场?

江启
2026-11-07 14:05:57
成都混团世界杯来了!王楚钦孙颖莎领衔国乒冲4连冠,含赛程

成都混团世界杯来了!王楚钦孙颖莎领衔国乒冲4连冠,含赛程

乒乓球球
2026-11-21 18:02:23
宗馥莉,48小时调整247人

宗馥莉,48小时调整247人

21世纪经济报道
2026-11-21 00:11:02
民心从来不是靠嘴皮子!谁让老百姓吃饱穿暖看起病,谁就是真本事

民心从来不是靠嘴皮子!谁让老百姓吃饱穿暖看起病,谁就是真本事

爱下厨的阿酾
2026-11-20 17:09:57
人均寿命79岁,健康却只到69?活到60岁,已是普通人顶配

人均寿命79岁,健康却只到69?活到60岁,已是普通人顶配

牛锅巴小钒
2026-11-21 12:59:58
特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

新京报政事儿
2026-11-21 15:08:14
投票结束,呼日勒苏赫同意交权,蒙古国代总统已定,对华态度明朗

投票结束,呼日勒苏赫同意交权,蒙古国代总统已定,对华态度明朗

墨策史
2026-11-21 21:34:12
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
2026-11-21 22:44:49
雷峰网 incentive-icons
雷峰网
关注智能与未来!
71748文章数 656269关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

头条要闻

于东来:胖东来保洁工资6千元 保安每天只需工作8小时

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

李连杰回应抛妻弃女传闻,透露四个女儿关系

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
家居
亲子
艺术
公开课

教育要闻

Nature 问了 107 个国家的 3785 名博士生:如果能重来,你想对刚读博的自己说什么?

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

萍萍六个月做四维,哥哥不开心原因竟是…

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版