网易首页 > 网易号 > 正文 申请入驻

研究人员在离线学习加入多样性激励,减轻创意写作“AI味”

0
分享至

来源:市场资讯

(来源:DeepTech深科技)

自 2025 年起,AI 业内先后推出了 Cursor、Gemini CLI、Qwen CLI、GPT-codex 等基于大模型的自动化代码生成工具,展现了 AI 发展的下一个风口——即利用大模型调用各种分析工具,更好地完成自动化代码生成或辅助人类更快速地进行代码工作。

基于此,上海交通大学本科校友、美国西北大学博士生郁家豪和所在团队研究了如何提高大模型在代码生成这项复杂任务上的性能。

经调研,测试时拓展(TTS,Testing Time Scaling)被广泛应用在代码生成上,即先是生成多个候补答案,并通过对比选取最好的方案,来取得相对较好的结果。同时,离线学习(offline learning),即提前生成好数据再让大模型进行学习也是 AI 社区中一种主流的做法。相比在线学习(online learning)需要同时采集数据和训练模型的做法,离线学习所需要的计算资源更低,更方便人们开展算法实验。

但是,研究团队发现离线学习会在一定程度上损失大模型生成回答的多样性,从而会降低测试时拓展时所带来的性能提升。在代码生成任务中,如果生成的多个候补回答非常相近就会造成冗余,以至于并不能很好地提升性能。因此,如何在离线学习的场景下,解决模型生成回答多样性不足的问题,是研究团队的工作重点。

为了解决这一问题,他们提出一种新型训练方法,即在离线学习的损失项中加入了鼓励多样性这一项,通过控制多样性的做法,使得模型在离线学习之后能够生成不一样的候补回答,而不是生成相似的单一回答。这样一来,在后续的测试时拓展时,最终的模型准确率相比常规的离线学习算法有着很高提升。

最终,研究团队在开源数据集 SWE-Bench 上验证了相关结果,证明其所训练的模型取得了 SWE-Bench-Verified 开源榜单第四、SWE-Bench-Lite 开源榜单第一的好成绩,证明了这一算法的合理性。

通过和其他团队的在线学习训练模型方案加以对比,研究团队发现本次方法可以在一定程度上弥补离线学习相比在线学习的天然多样性不足,为在需要测试时拓展的复杂问题上引申出了“除在线学习以外”的新思路,即引入了鼓励多样性的离线学习的新思路。

在应用前景上:

首先,在一些需要多轮交互以及调用工具的复杂任务比如代码生成、数学竞赛、网络攻防夺旗赛(CTF,Capture The Flag)中,可以使用类似技术更高效地进行模型训练。另外,对于一些复杂的数学竞赛题目来说,当使用那些鼓励生成多样性训练的模型的时候,在多次尝试之中可以给出不同的解题思路,从而提高最终的解题率。

其次,在创意写作方面,大模型的创意写作一直被诟病“AI 味很重”,AI 经常被吐槽喜欢使用一些固定句式。而通过鼓励多样性,本次方法也能在某种程度上减轻模型的固化回答,使得创意写作更加优质和更加多样化,从而更好地启发人类的写作思路。

研究团队表示,研究中最难忘的事情便是离线学习数据采集的模型选择。他们最初计划使用 Anthropic 的商业模型 Claude Sonnet 4 进行采集,采集一小部分数据之后发现课题组开销竟然达到五百多美元。评估一下之后他们发现,要完整地进行数据采集可能需要高达上万美元的开销,这超出了课题组的预算。于是,他们开始寻求替代模型,同时替代模型必须具备较好的智能体代码生成能力。

在此期间,恰逢国产模型(国模)出现了一波井喷式爆发。从 Kimi-K2 到 Qwen3-coder-480B、再到 GLM-4.5,这些国模的价格都远比 Anthropic 的模型要便宜。研究团队进行了几次小样本采集实验,结果发现这三个国模的性能都接近 Claude Sonnet 4,完全可以作为实验代替模型。更巧的是,GLM-4.5 在发布之后,其背后公司推出了一个月内试用 1 万亿 token 的套餐,这正好与研究团队的实验节奏相吻合。于是,他们使用 GLM-4.5 提供的套餐完成了离线数据采集,采集数据的开销从预期的上万美元压缩到 50 元人民币。“并且在后学的模型微调中,这些数据的质量也很高,这具体反应在了微调之后的模型性能上。”研究团队告诉 DeepTech。

同时,研究团队用于微调的模型也是 Qwen3-coder-30B,这也是一款国模。当前,大模型研究社区也在普遍采用最新 Qwen 模型作为微调任务。“这些经历让我们感慨:在 2023 年,开源领域几乎只有 Llama,大家进行模型微调研究都只基于 Llama2 进行;在 2025 年,国模已经完成了接力棒的交接,代替 Llama 成为了开源领域的主流,并且和闭源模型的差距也在不断缩小。”研究团队表示。

后续,他们打算针对回答多样性和测试时拓展的性能加以进一步研究。之所以开展这一方向是因为:通过评估其他使用闭源模型的研究团队在 SWE-Bench 上的提交结果,该团队发现当人们尝试使用不同模型进行测试时拓展,人们会认为不同模型产生回答的多样性更高,也会认为最后的效果会更加好。

但是,这些都只是经验之谈。截至目前,没有任何一个研究团队进行过定量研究。到底多少个不同模型参与测试时拓展最好?如果这些模型之间的性能差距很大,会不会影响最后的效果?“这些问题还没有人探索过,因此是我们打算后续探索的目标。”研究团队表示。

参考资料:

https://arxiv.org/pdf/2509.12434

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

特朗普面对中国,有三个“不敢相信”。第一个不敢相信,是中国的“反常理性”,其次是中国的“扩张性”,而最难以置信的,就是稳定性了

扶苏聊历史
2026-11-19 15:51:44
中方紧急通知!死亡人数已有5505人,无特效药,中国人务必小心

中方紧急通知!死亡人数已有5505人,无特效药,中国人务必小心

米果说识
2026-11-19 10:11:07
APEC火出圈!李在明下专机时,中方高规格接待,韩媒给予高度评价

APEC火出圈!李在明下专机时,中方高规格接待,韩媒给予高度评价

麓谷隐士
2026-11-19 09:19:56
突发!黄仁勋败了,一切都结束了!

突发!黄仁勋败了,一切都结束了!

财经要参
2026-11-19 14:10:40
震惊!西班牙一女子称丈夫年收入7万欧元,每年缴税2.2万欧元,怒斥税款用于供养不愿工作的移民,引发争议

震惊!西班牙一女子称丈夫年收入7万欧元,每年缴税2.2万欧元,怒斥税款用于供养不愿工作的移民,引发争议

火山詩话
2026-11-19 11:43:59
不得不说,这个画面拍得非常好,特朗普新飞机和解放军仪仗队同框

不得不说,这个画面拍得非常好,特朗普新飞机和解放军仪仗队同框

三叔的装备空间
2026-11-19 13:55:23
突发,沙特第一高楼遭胡塞导弹袭击受损!

突发,沙特第一高楼遭胡塞导弹袭击受损!

胜研集
2026-11-19 15:25:55
震惊!美调查显示,14%受访者押注做空中国股票,该交易半年来首次上榜,引发热议

震惊!美调查显示,14%受访者押注做空中国股票,该交易半年来首次上榜,引发热议

火山詩话
2026-11-19 06:30:57
保利集团紧急声明:如有发现,请尽快报案

保利集团紧急声明:如有发现,请尽快报案

南方都市报
2026-11-18 08:31:03
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

巷北楠猫本尊
2026-11-19 12:30:32
真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

真的没救了!浙江穿搭博主吐槽女装吊牌前置太大,看不清上身效果,10件衣服全退

火山詩话
2026-11-19 08:41:25
赵本山一觉醒来天塌了!唱《慌啥子嘛》翻车,200万博主撕开真相——有钱人的“别慌”,是普通人的何不食肉糜

赵本山一觉醒来天塌了!唱《慌啥子嘛》翻车,200万博主撕开真相——有钱人的“别慌”,是普通人的何不食肉糜

秋风妃
2026-11-19 13:18:20
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
放弃千球!!C罗决定赛季末退役,仪式留沙特

放弃千球!!C罗决定赛季末退役,仪式留沙特

中场阴谋家
2026-11-19 13:45:26
马斯克再带小儿子来中国,笑称他的玩具都是“中国造”:“我是中国的超级粉丝,中国很酷。”

马斯克再带小儿子来中国,笑称他的玩具都是“中国造”:“我是中国的超级粉丝,中国很酷。”

都市快报橙柿互动
2026-11-19 13:37:19
活窖生生 何以经典 中国白酒的时间答卷

活窖生生 何以经典 中国白酒的时间答卷

糖烟酒热点
2026-11-19 14:57:06
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
胖东来撤走后,房东降到四百万依然没有人接盘!

胖东来撤走后,房东降到四百万依然没有人接盘!

城事堂
2026-11-19 14:03:31
《GTA6》脱衣舞实机演示!细枝硕果 还得是大洋马

《GTA6》脱衣舞实机演示!细枝硕果 还得是大洋马

游民星空
2026-11-19 15:43:30
难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

难以置信!上海网友分享闺蜜每周六独自开钟点房休息做手工,还鼓励丈夫独自“开钟点房”,引发热议

火山詩话
2026-11-19 06:50:50
2026-11-19 19:12:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5550778文章数 10036关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

赖清德表侄爆发大丑闻 基隆市长选举绿营直接被"KO"

头条要闻

赖清德表侄爆发大丑闻 基隆市长选举绿营直接被"KO"

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

华境S五座版亮相 标配华为乾崑科技和宁德时代电芯

态度原创

家居
亲子
数码
手机
公开课

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

这大冤种一天毛毛躁躁的,又让闺女和老妈心疼了

数码要闻

摩尔线程MDC 2026海报暗藏玄机,暗示“庐山”显卡即将亮相

手机要闻

韩媒实锤!iPhone18、18e、Air2 春季登场,苹果告别 9 月统一发新机

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版