网易首页 > 网易号 > 正文 申请入驻

字节开源最全面代码大模型基准FullStack Bench

0
分享至

代码大模型越来越卷,评估AI编程水平的“考卷”也被迫升级。12月5日,字节豆包大模型团队开源最新代码大模型评估基准FullStack Bench,在业界首次囊括编程全栈技术中超11类真实场景,覆盖16种编程语言,包含3374个问题,相比此前基准,可以更有效地评估大模型在现实世界中的代码开发能力。

代码评估基准是衡量大模型编程能力的标准工具,也是推动模型优化的关键驱动力。不过,当前的代码评估基准覆盖的应用类型和编程语言较为有限,难以反映真实世界中代码开发场景的多样性和复杂性。

比如,主流代码评测集HumanEval和MBPP中近80%数据只聚焦基础编程和高级编程问题;DS-1000中95%数据都集中于数据分析和机器学习任务,且仅对Python语言进行评测;xCodeEval虽覆盖多项任务,但基本局限于高级编程和数学领域。

因此,字节豆包大模型团队与M-A-P开源社区联合提出FullStack Bench,一个专注于全栈编程和多语言编程的代码评估数据集。为囊括在真实全栈开发中涉及的各类应用场景,研究团队从全球最大的程序员技术问答社区Stack Overflow中随机抽取了50万个问题进行分析,筛选出占总问题数前88.1%的应用领域,并对其分布做了适当调整来保证每个领域的鲁棒性,最终形成了FullStack Bench关注的超过11种应用场景及分布比例。

FullStack Bench包含3374个问题,每个问题均包括题目描述、参考解决方案及单元测试用例,总计15168个单元测试。为保证评估准确性,问题内容均由相关领域的编程专家设计,并经AI和人工验证进行质量复核。在初始数据集构建后,团队根据主流代码大模型测试结果,按问题难度、模糊性和可解性对数据质量进行了交叉评估和进一步完善。

FullStack Bench数据集构成情况

为方便开发者对大模型代码能力进行系统性测试,豆包大模型团队还开源了一款高效的代码沙盒执行工具——SandboxFusion,用于评估来自不同语言的不同编程任务。除了FullStack Bench,SandboxFusion还兼容超过10种广泛使用的代码评估数据集,支持23种编程语言。开发者在单服务器上即可轻松部署SandboxFusion,也可直接在GitHub上进行体验。

发布评测基准及沙盒的同时,字节代码大模型也首次曝光。研究中,豆包大模型团队对全球20余款代码大模型及语言大模型的编程表现进行了评测(详见论文),其中包括未披露过的豆包代码大模型Doubao-Coder。

近半年,字节在代码大模型领域进展迅速,今年6月字节发布了由自研代码基座模型支撑的AI编程助手豆包MarsCode,目前每月为用户贡献百万量级代码。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

篮球盛世
2026-11-17 13:03:08
DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

Mr王的饭后茶
2026-11-16 16:31:00
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
刘欢的膀胱癌本可以保住命,他为何选择放弃?

刘欢的膀胱癌本可以保住命,他为何选择放弃?

葱哥说
2026-11-16 20:33:14
欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

体育知多少
2026-11-17 06:02:49
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理观察局
2026-07-23 06:05:08
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

雾岛夜话
2025-05-13 14:17:25
发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

疯狂的小历史
2026-11-17 11:55:25
派出所、民政部门联合入户排查,上门主要核查这五项内容

派出所、民政部门联合入户排查,上门主要核查这五项内容

江启
2026-11-17 10:57:26
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

麓谷隐士
2026-11-17 00:05:04
他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

不写散文诗
2026-11-16 16:35:03
全国统一!建议所有退休人员福利一视同仁,全部并入养老金发放

全国统一!建议所有退休人员福利一视同仁,全部并入养老金发放

江启
2026-11-17 08:39:46
陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

牛锅巴小钒
2026-11-15 19:14:34
2026-11-17 13:56:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12951文章数 117195关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

亲子
时尚
本地
教育
游戏

亲子要闻

4岁女儿嗓子有点发炎,又在家不上学了,可把她给高兴坏了

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

初中生回报率最高的五件事,全都不用花钱

LPL夺冠玄学!《人生一串》更新就夺冠:刚好一串四

无障碍浏览 进入关怀版