网易首页 > 网易号 > 正文 申请入驻

字节开源全栈AI编程基准,不小心曝光豆包代码大模型

0
分享至

允中 发自 凹非寺
量子位 | 公众号 QbitAI

豆包代码大模型,不小心给曝光了!

在字节开源的代码大模型评估基准FullStack Bench里面,出现了此前字节未披露过的Doubao-Coder。

不过目前还只是Preview版,还并没有上线。

它在多种编程语言上的性能表现如下,可以看到在闭源模型中排名第五。

今年6月,字节还发布了AI编程助手豆包MarsCode。据传即由Doubao-Coder模型支撑。

目前,豆包MarsCode每月为用户贡献百万量级代码。

而回到这个评估基准,据介绍FullStack Bench是目前最全面的代码评估数据集。

团队还同步开源了可随时测评代码大模型的沙盒执行环境SandBox Fusion,单服务器即可部署,也可直接在线体验。

全新代码大模型评估基准FullStack Bench

既然如此,那就先来了解一下这个最新评估基准。

有一说一,现在代码大模型越来越卷,评估AI编程水平的“考卷”也被迫升级~

代码评估基准可以帮助代码大模型不断优化。不过,当前的主流基准越来越难以反映代码大模型的真实水平了。

主要体现在题目类型相对单调,覆盖的应用领域和编程语言少,模型即便在考试中拿了高分,现实中可能还是难以应对复杂的编程问题。

为了更真实地评估AI编程水平,字节豆包大模型团队联合M-A-P社区,开源了全新代码大模型评估基准FullStack Bench。

这是一个专注于全栈编程和多语言编程的代码评估数据集,它首次囊括了编程全栈技术中超过11类真实场景,覆盖16种编程语言,包含3374个问题。

FullStack Bench的应用领域抽取自全球最大的程序员技术问答社区Stack Overflow,相比HumanEval等基准覆盖的编程领域扩大了一倍以上。

此前业界基准难以反映真实世界代码开发的多样性和复杂性。

例如,HumanEval和MBPP中近80%数据只聚焦于基础编程和高级编程问题;DS-1000中超过95%数据集中于数据分析和机器学习,且仅对Python语言进行评测;xCodeEval虽覆盖多项任务,但基本局限于高级编程和数学领域;McEval和MDEval扩展了支持的编程语言,但应用领域仍局限于基础编程和高级编程,未涉及更广泛的场景。

为模拟全栈开发的实际应用场景,字节豆包大模型和M-A-P研究团队分析了全球最大的程序员技术问答社区Stack Overflow上的问题分布,从中提炼出常见的真实编程应用领域。

团队从Stack Overflow上随机抽取了50万个问题,并使用大模型为每个问题标注应用领域类型。

研究团队筛选出占总问题数前88.1%的主要应用领域,其余领域归类为“其他”。再通过对领域分布做适当调整来保证鲁棒性,最终形成了FullStack Bench关注的超过11种应用场景及分布比例。

FullStack Bench包含3374个问题(中文及英文问题各占一半),每个问题均包括题目描述、参考解决方案、单元测试用例及标签,总计15168个单元测试。

为保证评估准确性,每个问题内容均由相关领域的编程专家设计,并经AI和人工验证进行质量复核。例如,数据分析相关问题,由数据工程专家提出并把关配套内容。

在初始数据集构建后,团队根据主流代码大模型测试结果,按问题难度、模糊性和可解性对数据质量进行了交叉评估和进一步完善。

FullStack Bench数据构成情况如下图所示。

为方便开发者对大模型代码能力进行系统性测试,豆包大模型团队还开源了一款高效的代码沙盒执行工具——SandboxFusion,用于评估来自不同语言的不同编程任务。

除了FullStack Bench,SandboxFusion还兼容超过10种广泛使用的代码评估数据集,支持23种编程语言。开发者在单服务器上即可轻松部署SandboxFusion,也可直接在GitHub上进行体验。

评测结果:解决难题,闭源模型仍优于开源模型

发布评测基准及沙盒的同时,研究团队也基于FullStack Bench测评了全球20余款代码大模型及语言大模型的编程表现。

模型包括Qwen2.5-Coder、DeepSeek-Coder-v2、CodeLlama等开源模型,以及GPT-4o、OpenAI-o1、Doubao-Coder-Preview等闭源模型。对于开源模型,根据模型大小,分为五个组别:1B+、6B+、13B+、20B+和70B+。

跨领域表现:数学编程领域差异最大

得益于强大的推理能力,OpenAI o1-preview不出所料地领先。

不过,一些开源模型也有不错的表现。如DeepSeekCoderv2-Instruct,在AP(高级编程)、OS(操作系统)和其他类别中得到高分,拉开了与其他开源模型的差距。

OpenCoder-1.5B-Instruct、Qwen2.5-Coder-7B-Instruct、Qwen2.5-Coder-14B-Instruct在其各自开源组别中拔得头筹,并超越了一些更高参数级别的模型。

为了全面评估现有大语言模型在不同场景下的表现,研究团队可视化了模型在FullStack Bench各领域的表现。

在BP(基础编程)、AP(高级编程)、MA(数学编程)、ML(机器学习)和MM(多媒体)等领域中,模型表现差异显著,其中以MA领域的差距最大。

MA最佳表现者为OpenAI o1-preview(得分80.42),而最差的是CodeLlama-34B-Instruct(得分14.34)。数学编程要求模型同时具备数学和编程能力,那些在高度专业化代码语料库上训练的模型,在MA领域往往表现较差。

这一结果进一步证明,FullStack Bench能够更全面地评估模型的综合编程能力。

跨语言表现:C++、C和Ruby上存较大差异

研究团队对不同模型在多种编程语言上的性能表现进行了分析。

大多数模型在Bash编程任务中表现良好。然而,在C++、C和Ruby的表现上存在较大差异,这表明模型设计者可能在训练语料库中对这些语言进行了选择性采样。部分1B+的小型模型在D、R和Scala语言上的表现较差,其通过率低于10%,这表明它们的多语言处理能力都较弱。

由于SandboxFusion提供了来自编译器的反馈,研究人员评估了模型在部分编程语言上的编译通过率。实验结果表明,编译通过率与测试通过率之间存在正相关关系,但编译通过并不意味着测试一定通过。同时,研究还探讨了中英文表达对模型性能的影响。

解决难题,闭源模型普遍优于开源模型

不同模型在不同难度问题上的表现存在明显差异。总体而言,1B+模型和CodeLlama系列在所有难度级别上的表现均不尽如人意。其余模型在解决简单问题时表现相似,但在中等难度问题上存在一定差距。对于难度较大的问题,闭源模型普遍优于开源模型。

使用SandboxFusion,可提升模型表现

研究人员对比了“反思策略(Reflection)”和“N次推断策略(BoN)”两种策略。在Reflection策略中,通过利用SandboxFusion的反馈上下文对答案进行N次精炼,复现了自我精炼策略 [Madaan et al., 2024]。而在BoN策略中,仅进行N次推断以获得结果。

结果如图所示,“Reflection”策略明显优于“BoN”,这表明SandboxFusion提供的反馈上下文具有较高的有效性。

了解这篇研究的详情,可见文内Arxiv链接,或关注「豆包大模型团队」公众号,查阅更详细解读。

参考链接:
[1]论文链接:https://arxiv.org/pdf/2412.00535v2
[2]数据集开源地址:https://huggingface.co/datasets/ByteDance/FullStackBench
[3]沙盒开源地址:https://github.com/bytedance/SandboxFusion
[4]沙盒体验入口:https://bytedance.github.io/SandboxFusion/playground/datasets

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中山大学司徒尚纪教授逝世

中山大学司徒尚纪教授逝世

双一流高校
2026-11-17 01:12:32
官宣!罗伯特·帕丁森拿下新一代007!网友:从霍格沃茨到军情六处,这哥的事业运简直开挂!

官宣!罗伯特·帕丁森拿下新一代007!网友:从霍格沃茨到军情六处,这哥的事业运简直开挂!

悦居英国
2026-11-17 06:52:50
官宣了!罗伯特・帕丁森成为新一任007

官宣了!罗伯特・帕丁森成为新一任007

齐鲁壹点
2026-11-17 07:20:15
松岛辉空父亲:中国和日本不是敌人!没有中国就没有今天的辉空,感谢

松岛辉空父亲:中国和日本不是敌人!没有中国就没有今天的辉空,感谢

念洲
2026-11-17 11:25:08
黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

云头条
2026-11-17 05:07:23
莫斯科吸烟角的独白:前线归来的俄罗斯士兵懊悔不已,告诫旁人切勿签合同去前线,坦言人人都盼望冲突早日结束

莫斯科吸烟角的独白:前线归来的俄罗斯士兵懊悔不已,告诫旁人切勿签合同去前线,坦言人人都盼望冲突早日结束

14号观星辰
2026-11-15 17:49:40
太难了!油价上涨引发群众出行方式转变,部分车主计划不再购车,网友:已经对油价涨跌麻木,不再关心

太难了!油价上涨引发群众出行方式转变,部分车主计划不再购车,网友:已经对油价涨跌麻木,不再关心

火山詩话
2026-11-15 07:02:07
佛山最新人事任免发布

佛山最新人事任免发布

珠江时报
2026-11-17 12:32:55
如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

如今的股票市场成了一个天大的笑话,现在买中国股票的人可笑到什么程度?

星语者056
2026-11-17 08:45:38
贴息都贴不动了,居民贷款负增长创下新高

贴息都贴不动了,居民贷款负增长创下新高

大川东山再起
2026-11-16 21:12:29
广西一高校饲养的鸭子遭送货面包车碾压死亡,司机贴出长文向鸭子道歉,校方:已要求商家更换配送公司,并禁止该车辆进入校园

广西一高校饲养的鸭子遭送货面包车碾压死亡,司机贴出长文向鸭子道歉,校方:已要求商家更换配送公司,并禁止该车辆进入校园

扬子晚报
2026-11-17 07:52:21
黄仁勋被指在办公室多次暴怒失控,曾在会议上羞辱公司高层并向高管扔水瓶

黄仁勋被指在办公室多次暴怒失控,曾在会议上羞辱公司高层并向高管扔水瓶

忧郁天空
2026-11-16 17:23:15
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
名单没日本,高市早苗不来深圳APEC?别误会

名单没日本,高市早苗不来深圳APEC?别误会

爱下厨的阿酾
2026-11-17 06:16:19
浙江省委十五届十次全体会议在杭州举行

浙江省委十五届十次全体会议在杭州举行

台州发布
2026-11-17 00:42:23
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

球迷展示侮辱性标语横幅,大喊“出门遛狗请牵绳”,官方通报:刘某某、王某被处以行政拘留五日

南方都市报
2026-11-16 10:56:40
技术有突破,产业见跃迁—上汽的新质实践

技术有突破,产业见跃迁—上汽的新质实践

Autolab
2026-10-30 14:28:28
536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

536分捡漏上北大考生被公派瑞士读博,他曾凭“国家专项计划”被北大提档,又以专业第一的成绩考研

极目新闻
2026-11-16 22:53:06
2026-11-17 12:59:00
量子位 incentive-icons
量子位
追踪人工智能动态
13687文章数 176600关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

健康
家居
游戏
数码
公开课

情绪真能让健康人"伤心至死"?

家居要闻

2026建博会(广州) 公装联探展交流活动

小伙表示连玩7天《GTA6》 这下PS5可惨了

数码要闻

满电开躁!11月16日,航嘉满电青年计划约你西南交大见!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版