网易首页 > 网易号 > 正文 申请入驻

推理成本降78%,API成本降97%,北大系创企开源4B上下文压缩模型

0
分享至


智东西
作者 杨京丽
编辑 李水青

智东西11月11日报道,今日,孵化自北京大学软件工程研究所的AI编程创企硅心科技(aiXcoder)开源上下文压缩专用模型aiXcompact-4B。该模型主要面向编程Agent的长程复杂研发任务场景,参数量仅4B,支持单张A100-40GB显卡私有化部署。

aiXcompact-4B进行上下文压缩时,能够针对编程Agent的历史轨迹进行结构化处理:保留关键原始信息,精简文件读取、代码搜索和测试运行等工具返回结果,删除重复或失去参考价值的中间记录,并生成结构化任务摘要,以较低成本减少后续重复输入带来的Token开销。

根据aiXcoder公布的数据,在Terminal-Bench基准测试中,将aiXcompact-4B接入OpenCode进行上下文压缩测试后,整体任务完成准确率与DeepSeek-V4-Pro持平。在私有化部署场景下,针对特定任务的单次GPU推理成本较DeepSeek-V4-Pro降低78%。


采用API调用方式时,根据公开API费用估算,aiXcompact-4B单次上下文压缩请求的Token费用约为0.019元,相比DeepSeek-V4-Pro、GLM-5.3和Qwen3.8-Max的参考费用,分别降低97.30%、97.08%和97.98%。aiXcompact-4B以单次API调用费用降低97%的成本优势,为高频上下文压缩提供了轻量化且经济的选择。


上下文压缩后,Agent需要反复读取的历史上下文也随之减少。在目标任务场景下,aiXcompact-4B可将历史上下文平均压缩至原长度的25.89%,为下一轮Agent调用腾出足量的上下文空间。


开源地址:

https://github.com/aixcoder-plugin/aiXcompact-4B

一、智能体编程任务平均Token消耗417万,上下文压缩是成本控制关键

随着Claude Code、Codex等AI编程工具被用于更复杂的研发任务,Agent需要持续读取代码、调用工具、执行测试,Token开销也随之增长。

一项基于OpenHands框架、覆盖8个前沿模型的研究发现,在SWE-bench Verified实验中,一个完整的智能体编程任务平均Token消耗约417万,是单轮代码推理的3500倍、多轮代码对话的1200倍,其中输入Token占据绝大部分消耗。

这与Agent的工作方式密切相关。例如,给企业现有系统增加用户注册功能时,Agent需要先了解项目结构,查找用户管理和鉴权逻辑,再修改文件、运行测试,并根据报错继续调整。这一过程中,代码、检索结果和执行日志不断进入上下文,成为后续工作的依据。同一批历史信息可能在多轮推理中被反复输入,随着执行步骤增加,重复输入带来的Token开销也持续累积。

成本之外,早期需求、关键约束和已确认的技术决策混杂在大量中间记录中,也可能增加Agent遗漏重要信息、丢失调试线索的风险。

因此,上下文压缩成为控制Agent运行成本、支撑长任务持续执行的重要工程环节。其核心是从持续增长的Agent运行轨迹中保留关键信息、精简冗余内容,减少重复输入的Token消耗,将更多上下文空间留给当前代码、最新反馈和后续决策。

二、依靠结构化判别机制,信息筛选后形成摘要

编程Agent的工作流程中,开发者先提出需求,Agent分析问题、调用工具,工具再返回文件内容或执行结果。对于需要持续执行任务的Agent而言,上下文压缩需要在节省Token和保留关键信息之间取得平衡:压缩过少,难以有效减少上下文开销;压缩过多,则可能丢失历史关键步骤,破坏代码信息和工具调用之间的结构关系。

aiXcoder认为,有效的压缩既要理解信息内容,也要保留上下文之间的关系。aiXcompact-4B采用结构化判别机制,对历史轨迹生成三类处理决策。


第一类,保留关键原始信息。对于开发者的核心需求、关键约束和重要决策等可能影响后续代码修改方向的信息,aiXcompact-4B会完整保留原始消息,减少关键限定条件在改写过程中被弱化的风险。

第二类,精简工具返回结果。文件读取、代码搜索和测试运行往往会返回大量内容,但下一步工作可能只需要其中一部分。aiXcompact-4B会保留工具调用,用精简文本替换冗长的原始输出,既减少输入Token,也能留下继续定位问题、修改代码所需的线索。

第三类,删除失去参考价值的记录。对于重复内容或不再需要的中间输出,aiXcompact-4B会选择删除,并配套校验动作,检查其中的关键业务信息和调试信息是否已经保留在任务摘要中。

完成信息筛选后,模型还会生成结构化任务摘要,记录用户意图、关键技术信息、错误与修复过程,以及当前工作和待办事项。最终输出是一套可供Agent继续执行的消息序列,并维持工具调用与返回结果的配对关系。

从工作原理来看,aiXcompact-4B具备信息价值的判断能力,能够区分哪些信息不能丢、哪些信息可以精简、哪些信息已经没有必要,在减少重复Token消耗的同时,保留后续Agent完成任务所需的必要上下文与结构。

三、基于真实研发轨迹训练,4B模型上下文压缩评测接近DeepSeek-V4-Pro

aiXcompact-4B判断能力,来自教师大模型蒸馏、4B学生模型LoRA微调与结构化压缩决策相结合的训练技术路径。

aiXcoder称,其训练数据全部来自真实研发场景下的Agent运行轨迹。团队先对轨迹进行归一化处理、过滤筛选和压缩触发点采样,再由教师模型生成参考压缩决策。

这些参考结果经过样本校验与筛选后,用于学生模型的专项训练,使其学习如何结合研发进度处理历史上下文,以及如何在任务摘要中保留后续工作的依据。

从技术分工来看,蒸馏将教师大模型在这一任务上的处理能力迁移到专用学生模型中,LoRA微调则围绕压缩场景进行适配。结构化决策进一步约束模型的输出形式,使其能够对接Agent的消息与执行流程。

在aiXcoder公布的上下文压缩专项评测结果中,aiXcompact-4B的规则综合分为0.7012,接近DeepSeek-V4-Pro的0.7332;信息保留规则分为0.4981,与DeepSeek-V4-Pro的0.4968基本相当。评测还显示,aiXcompact-4B的平均保留率为25.89%,高于DeepSeek-V4-Pro的18.46%。


四、大小模型分工细化,适配企业级私有部署和工程落地

随着AI逐步深入企业软件研发流程,不同研发环节对模型能力的需求开始分化,也为模型分工进一步细化提供了空间。如何让不同模型承担更适合的任务,在保证任务完成质量的同时减少Token消耗、提高算力利用效率,成为企业落地AI研发需要持续解决的问题。

对此,aiXcoder推出“大模型+小模型”协同方案:让大模型聚焦需求拆解、复杂逻辑推演和架构设计,将边界相对清晰、调用频次较高的专项工作交给专用小模型,以降低企业算力使用成本。

在aiXcompact-4B之外,aiXcoder已推出多款参数规模较小的模型。在软件研发领域,aiXcoder已推出面向代码生成与补全的aiXcoder-7B、面向代码变更应用的aiXapply-4B,以及面向Token消耗优化的aiXpruner-4B等模型。此外,aiXcoder即将推出面向Agent决策环节的aiXdecision模型,专注于智能体执行过程中的判断与决策支持。

结语:上下文压缩模型拓宽复杂Agent任务边界

aiXcompact-4B通过保留关键原始信息、精简工具返回结果、删除无参考价值记录,压缩持续累积的历史上下文,并生成结构化任务摘要,降低上下文压缩成本。

随着Agent进入更长链路、更复杂的研发任务,上下文管理将直接影响Token成本和执行连续性。上下文压缩模型如果能够在减少冗余信息的同时保留需求、决策和调试线索,就有机会帮助Agent突破上下文开销带来的限制,承接更多复杂场景的任务。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
创业板利好也来了

创业板利好也来了

量子熊猫
2026-11-22 19:31:47
罕见!单日蒸发超1万亿美元

罕见!单日蒸发超1万亿美元

格隆汇
2026-11-22 19:56:08
皇马部分更衣室球员认为:贝林厄姆优于法国10号,是当世最佳

皇马部分更衣室球员认为:贝林厄姆优于法国10号,是当世最佳

墨策讲历史
2026-11-22 20:03:11
德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

德媒:德国太天真了,我们最大的幻想,就是信了中国是个现代强国

你是我心中最美星空
2026-11-22 05:46:42
二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

二战时,日军给女性强行注射“606药剂”,注射完,士兵就露出了邪恶的笑容,“606药剂”究竟是啥?

回京历史梦
2026-11-10 17:49:16
不装了?特朗普竟呼吁停止军援乌克兰!西方援乌1600亿

不装了?特朗普竟呼吁停止军援乌克兰!西方援乌1600亿

项鹏飞
2026-11-20 18:18:25
曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

曾仅存13只!佛山男子买甲鱼苗竟混进4只,科学家花40年培育926只

云居历史
2026-11-21 03:29:16
5.31米车长、3.14米轴距,奥迪Q9中国首秀定档11月27日

5.31米车长、3.14米轴距,奥迪Q9中国首秀定档11月27日

报错免疫体
2026-11-21 20:07:38
泰王苏提达参观博物馆,玛哈新给了王后礼节特许,是心意也是恩赐

泰王苏提达参观博物馆,玛哈新给了王后礼节特许,是心意也是恩赐

东方不败然多多
2026-11-22 01:58:03
中文主场绝不能丢!人民日报定调:在中国,绝不允许英文取代中文

中文主场绝不能丢!人民日报定调:在中国,绝不允许英文取代中文

寻墨阁
2026-11-06 22:54:32
战火外溢!俄方猛烈还击,海量导弹扑向乌克兰,波兰芬兰跟着遭殃

战火外溢!俄方猛烈还击,海量导弹扑向乌克兰,波兰芬兰跟着遭殃

春之韵
2026-11-22 19:37:56
上海老破小正在被人成片扫走

上海老破小正在被人成片扫走

老覃讲历史
2026-11-22 11:47:16
禁止全部中方外交官入境,不准中国统一,这个国家比美国还嚣张?

禁止全部中方外交官入境,不准中国统一,这个国家比美国还嚣张?

隔壁灵妹妹
2026-11-22 18:28:14
猪肉大局已定?没有意外的话,2027 年猪肉市场或将迎来 3 大变化

猪肉大局已定?没有意外的话,2027 年猪肉市场或将迎来 3 大变化

历史的烟火
2026-11-22 07:20:12
此人是台湾政坛四公子之一,父亲为国民党一把手,晚年绝望投身佛学!

此人是台湾政坛四公子之一,父亲为国民党一把手,晚年绝望投身佛学!

历史龙元阁
2026-11-21 13:54:01
湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

湖南出现历史上最荒唐法官!判男方净身出户,然后跟拿到全部资产的女方结婚

爆角追踪
2025-11-23 11:25:00
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
余承东称“开车能睡觉”上热搜,跟特斯拉比,我们遥遥领先!

余承东称“开车能睡觉”上热搜,跟特斯拉比,我们遥遥领先!

大厂财经社
2026-11-21 01:30:22
300500,将被ST

300500,将被ST

中国基金报
2026-11-22 18:18:52
亚洲杯夺冠概率出炉:日本33.2%领跑国足仅0.1% 卫冕冠军0.7%

亚洲杯夺冠概率出炉:日本33.2%领跑国足仅0.1% 卫冕冠军0.7%

新英体育
2026-11-22 10:14:48
2026-11-22 20:36:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12994文章数 117197关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

本地
旅游
亲子
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

旅游要闻

山西临汾洪洞:一树藏千年文脉,一域系万家根魂

亲子要闻

幼儿园开学萌娃状态,哈哈哈太真实了,这看着又好笑又心疼!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版