网易首页 > 网易号 > 正文 申请入驻

研究人员在离线学习加入多样性激励,减轻创意写作“AI味”

0
分享至

自 2025 年起,AI 业内先后推出了 Cursor、Gemini CLI、Qwen CLI、GPT-codex 等基于大模型的自动化代码生成工具,展现了 AI 发展的下一个风口——即利用大模型调用各种分析工具,更好地完成自动化代码生成或辅助人类更快速地进行代码工作。

基于此,上海交通大学本科校友、美国西北大学博士生郁家豪和所在团队研究了如何提高大模型在代码生成这项复杂任务上的性能。

经调研,测试时拓展(TTS,Testing Time Scaling)被广泛应用在代码生成上,即先是生成多个候补答案,并通过对比选取最好的方案,来取得相对较好的结果。同时,离线学习(offline learning),即提前生成好数据再让大模型进行学习也是 AI 社区中一种主流的做法。相比在线学习(online learning)需要同时采集数据和训练模型的做法,离线学习所需要的计算资源更低,更方便人们开展算法实验。

但是,研究团队发现离线学习会在一定程度上损失大模型生成回答的多样性,从而会降低测试时拓展时所带来的性能提升。在代码生成任务中,如果生成的多个候补回答非常相近就会造成冗余,以至于并不能很好地提升性能。因此,如何在离线学习的场景下,解决模型生成回答多样性不足的问题,是研究团队的工作重点。

为了解决这一问题,他们提出一种新型训练方法,即在离线学习的损失项中加入了鼓励多样性这一项,通过控制多样性的做法,使得模型在离线学习之后能够生成不一样的候补回答,而不是生成相似的单一回答。这样一来,在后续的测试时拓展时,最终的模型准确率相比常规的离线学习算法有着很高提升。

最终,研究团队在开源数据集 SWE-Bench 上验证了相关结果,证明其所训练的模型取得了 SWE-Bench-Verified 开源榜单第四、SWE-Bench-Lite 开源榜单第一的好成绩,证明了这一算法的合理性。

通过和其他团队的在线学习训练模型方案加以对比,研究团队发现本次方法可以在一定程度上弥补离线学习相比在线学习的天然多样性不足,为在需要测试时拓展的复杂问题上引申出了“除在线学习以外”的新思路,即引入了鼓励多样性的离线学习的新思路。

在应用前景上:

首先,在一些需要多轮交互以及调用工具的复杂任务比如代码生成、数学竞赛、网络攻防夺旗赛(CTF,Capture The Flag)中,可以使用类似技术更高效地进行模型训练。另外,对于一些复杂的数学竞赛题目来说,当使用那些鼓励生成多样性训练的模型的时候,在多次尝试之中可以给出不同的解题思路,从而提高最终的解题率。

其次,在创意写作方面,大模型的创意写作一直被诟病“AI 味很重”,AI 经常被吐槽喜欢使用一些固定句式。而通过鼓励多样性,本次方法也能在某种程度上减轻模型的固化回答,使得创意写作更加优质和更加多样化,从而更好地启发人类的写作思路。

研究团队表示,研究中最难忘的事情便是离线学习数据采集的模型选择。他们最初计划使用 Anthropic 的商业模型 Claude Sonnet 4 进行采集,采集一小部分数据之后发现课题组开销竟然达到五百多美元。评估一下之后他们发现,要完整地进行数据采集可能需要高达上万美元的开销,这超出了课题组的预算。于是,他们开始寻求替代模型,同时替代模型必须具备较好的智能体代码生成能力。

在此期间,恰逢国产模型(国模)出现了一波井喷式爆发。从 Kimi-K2 到 Qwen3-coder-480B、再到 GLM-4.5,这些国模的价格都远比 Anthropic 的模型要便宜。研究团队进行了几次小样本采集实验,结果发现这三个国模的性能都接近 Claude Sonnet 4,完全可以作为实验代替模型。更巧的是,GLM-4.5 在发布之后,其背后公司推出了一个月内试用 1 万亿 token 的套餐,这正好与研究团队的实验节奏相吻合。于是,他们使用 GLM-4.5 提供的套餐完成了离线数据采集,采集数据的开销从预期的上万美元压缩到 50 元人民币。“并且在后学的模型微调中,这些数据的质量也很高,这具体反应在了微调之后的模型性能上。”研究团队告诉 DeepTech。

同时,研究团队用于微调的模型也是 Qwen3-coder-30B,这也是一款国模。当前,大模型研究社区也在普遍采用最新 Qwen 模型作为微调任务。“这些经历让我们感慨:在 2023 年,开源领域几乎只有 Llama,大家进行模型微调研究都只基于 Llama2 进行;在 2025 年,国模已经完成了接力棒的交接,代替 Llama 成为了开源领域的主流,并且和闭源模型的差距也在不断缩小。”研究团队表示。

后续,他们打算针对回答多样性和测试时拓展的性能加以进一步研究。之所以开展这一方向是因为:通过评估其他使用闭源模型的研究团队在 SWE-Bench 上的提交结果,该团队发现当人们尝试使用不同模型进行测试时拓展,人们会认为不同模型产生回答的多样性更高,也会认为最后的效果会更加好。

但是,这些都只是经验之谈。截至目前,没有任何一个研究团队进行过定量研究。到底多少个不同模型参与测试时拓展最好?如果这些模型之间的性能差距很大,会不会影响最后的效果?“这些问题还没有人探索过,因此是我们打算后续探索的目标。”研究团队表示。

参考资料:

https://arxiv.org/pdf/2509.12434

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
连法院都认为是「远洋捕捞」,但公检坚持要干,那就全判缓刑吧

连法院都认为是「远洋捕捞」,但公检坚持要干,那就全判缓刑吧

家传编辑部
2026-11-19 11:47:20
小伙在工地和开店的寡妇搭伙5年,小伙回家相亲,见到相亲对象傻眼了

小伙在工地和开店的寡妇搭伙5年,小伙回家相亲,见到相亲对象傻眼了

麦子情感故事
2026-11-19 15:02:11
这是从海昏侯刘贺的肛门处取出的玉石肛塞,名为九窍塞葬玉。有人可能要问这古人是什么癖好啊,为何要在死后的刘贺肛门插上这么一块玉呢?

这是从海昏侯刘贺的肛门处取出的玉石肛塞,名为九窍塞葬玉。有人可能要问这古人是什么癖好啊,为何要在死后的刘贺肛门插上这么一块玉呢?

扶苏聊历史
2026-11-12 11:13:18
美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

文史达观
2025-03-27 12:59:20
3-0 击败日本老将!国乒 17 岁黑马炸场:WTT 球星赛连赢 2 场外战

3-0 击败日本老将!国乒 17 岁黑马炸场:WTT 球星赛连赢 2 场外战

刘哥谈体育
2026-11-19 16:04:57
八国联军中,有七国主动退还赔款,唯独一国分文不退,是哪个?

八国联军中,有七国主动退还赔款,唯独一国分文不退,是哪个?

千秋文化
2025-03-28 10:37:53
底牌亮了!诗妮娜贵妃一双儿女都到人前了,王后独子却连影儿都没

底牌亮了!诗妮娜贵妃一双儿女都到人前了,王后独子却连影儿都没

乡野小珥
2026-11-19 14:28:56
正式谢幕!37岁巴图姆宣布退役,18年 NBA 生涯画上句号

正式谢幕!37岁巴图姆宣布退役,18年 NBA 生涯画上句号

夜白侃球
2026-09-22 20:43:54
1000人里面有多少能活过70岁?答案出人意料,早了解才能早受益!

1000人里面有多少能活过70岁?答案出人意料,早了解才能早受益!

荷兰豆爱健康
2026-11-19 09:11:24
广东哪个市驻军多

广东哪个市驻军多

战域笔墨
2026-11-19 06:13:20
花两千多元“云认养”的东北虎去世两月才告知认养人,最新进展:认养人象征性索赔1元求真相,法院已正式立案

花两千多元“云认养”的东北虎去世两月才告知认养人,最新进展:认养人象征性索赔1元求真相,法院已正式立案

上观新闻
2026-11-18 17:48:33
女儿花20万定制AI机器人陪护母亲,2月后它开口:妈,我想你了

女儿花20万定制AI机器人陪护母亲,2月后它开口:妈,我想你了

林林故事揭秘
2025-06-23 15:06:39
以为东西不好用,原来是自己不会用,你有这种尴尬吗?

以为东西不好用,原来是自己不会用,你有这种尴尬吗?

艺魅哈哈
2026-11-05 21:35:14
出场时间管够,依然刷不出好数据,能救亨德森的只有杨瀚森

出场时间管够,依然刷不出好数据,能救亨德森的只有杨瀚森

兵哥篮球故事
2026-11-19 15:24:51
特朗普说美国不支持“台独”

特朗普说美国不支持“台独”

界面新闻
2026-11-19 16:17:05
58犯+75罚比赛接近失控!威尔逊不满裁判遭夺权 外教盖伊2T被驱

58犯+75罚比赛接近失控!威尔逊不满裁判遭夺权 外教盖伊2T被驱

狼叔评论
2026-11-19 18:08:04
广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

广州同学聚会吃了16万6,请客的人付完钱先走,剩下的人却翻脸了

诡谲怪谈
2025-06-09 08:45:42
你以为是累了,其实是病了!脸上有这些变化,千万别大意

你以为是累了,其实是病了!脸上有这些变化,千万别大意

齐鲁壹点
2026-11-03 06:35:10
太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

火山詩话
2026-11-18 12:29:50
深圳APEC峰会三个核心场馆,你更喜欢哪个?

深圳APEC峰会三个核心场馆,你更喜欢哪个?

良有方
2026-11-19 06:29:36
2026-11-19 18:23:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17505文章数 515380关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

APEC宴会桌惊艳:如画卷齐聚上海、北京、深圳三地地标

头条要闻

APEC宴会桌惊艳:如画卷齐聚上海、北京、深圳三地地标

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

北京环球影城,亏损难题待解

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

家居
教育
旅游
亲子
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

六年级的学生说简单,五年级的学生说难

旅游要闻

北欧旅游业集体喊话中国游客:请多停留几天!

亲子要闻

越来越多的幼儿园要关停了,这后面…

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版