网易首页 > 网易号 > 正文 申请入驻

蚂蚁集团发布LLaDA2.1:让AI文本生成既快又准的新技术

0
分享至

这项由蚂蚁集团、浙江大学、西湖大学等机构联合完成的研究发表于2026年2月,研究编号为arXiv:2602.08676v1。想要深入了解技术细节的读者可以通过这个编号查询完整论文。

在人工智能快速发展的今天,让机器像人一样写作已经不再是天方夜谭。不过,就像人类写作时会遇到"要么写得快但质量不高,要么写得好但速度太慢"的困扰一样,AI文本生成也面临同样的难题。蚂蚁集团的研究团队最近提出了一个巧妙的解决方案:让AI学会"边写边改",就像我们用Word写文档时可以随时修改已经写好的内容一样。

传统的AI文本生成就像用老式打字机写文章,一旦敲下某个字母就无法修改,只能继续往下写。而新的扩散语言模型虽然可以"并行写作"(同时考虑多个位置该写什么),但就像多个人同时在不同段落写作却无法互相沟通一样,经常出现前后不一致的问题。研究团队的创新在于给这种并行写作系统加上了"实时编辑"功能,让AI不仅能快速起草内容,还能在发现错误时及时修正。

这个技术突破的核心在于创造了一套"双重标准"的生成机制。简单来说,AI在生成文本时会设定两个不同的信心阈值:一个用于决定什么时候从空白填入新词(从掩码到词语),另一个用于决定什么时候替换已经写好但可能有问题的词语(从词语到词语)。这样的设计让AI可以在"快速模式"下大胆地快速起草,然后通过"编辑修正"来保证质量,也可以在"质量模式"下更加谨慎地生成,同时保持一定的编辑灵活性。

为了让AI学会这种"边写边改"的技能,研究团队设计了一套特殊的训练方法。他们不仅让AI学习如何填空(传统的掩码语言建模),还特意让AI练习如何从含有错误的文本中恢复出正确内容。这就像让学生既练习写作文,又练习改错别字和语法问题,最终培养出既能创作又能编辑的综合能力。

在训练的最后阶段,研究团队还引入了强化学习技术。由于扩散模型的特殊性质,传统的强化学习方法很难直接应用,就像给一个复杂的乐队指挥打分比给单个歌手打分要困难得多。研究团队巧妙地运用了"证据下界"这一数学工具,将复杂的序列评估问题转化为可以高效处理的块级别评估问题,成功实现了大规模的强化学习训练。

实验结果相当令人振奋。在编程任务中,LLaDA2.1-Flash(1000亿参数模型)在HumanEval+基准测试中达到了惊人的892 TPS(每秒生成892个词元),在BigCodeBench上达到801 TPS,在LiveCodeBench上也有663 TPS的表现。要知道,传统的自回归模型每秒只能生成一个词元,这意味着新方法在速度上有数百倍的提升。

更令人惊喜的是,这种速度提升并没有以牺牲质量为代价。通过引入编辑机制,模型在快速生成的同时还能保持相当高的准确性。研究团队通过33个不同的基准测试验证了模型的性能,涵盖了知识问答、逻辑推理、代码生成、数学问题求解以及指令跟随等各个方面。

在技术架构方面,这项研究最大的创新在于打破了传统扩散模型"吸收态"的限制。以前的扩散语言模型只允许从掩码状态转换到具体词语,就像只能在空白处填词而不能修改已写内容。新的方法引入了"可编辑状态演化"机制,允许在已生成的词语之间进行转换,大大增加了生成过程的灵活性。

为了确保这种编辑能力的有效性,研究团队还开发了多轮前向传播技术,通过在训练数据中加入各种编辑场景,让模型能够适应不同类型的修正需求。这就像让学生不仅练习写新文章,还要练习修改各种类型的文章错误,从拼写错误到逻辑问题都要涵盖。

在实际应用中,这项技术展现出了极强的适应性。用户可以根据具体需求选择不同的工作模式:需要快速生成大量内容时可以选择"极速模式",需要高质量输出时可以选择"质量模式"。这种灵活性使得同一个模型可以适应不同场景的需求,从快速原型制作到精品内容创作都能胜任。

值得注意的是,这种编辑能力不仅限于单个文本块内部的修正,还扩展到了多个文本块之间的协调。研究团队开发的"多块编辑"机制允许模型在生成新内容时回头修正之前的部分,确保整个文本的连贯性和一致性。这种全局优化能力是传统生成方法难以实现的。

在基础设施支持方面,研究团队也做了大量优化工作。他们使用了定制版本的SGLang推理框架,集成了Alpha-MoE优化技术和FP8量化技术,进一步提升了推理效率。同时,通过块级因果掩码注意力机制,模型能够在长文本生成时保持高效的计算性能。

从技术发展的角度来看,LLaDA2.1代表了扩散语言模型发展的一个重要里程碑。它不仅解决了并行生成中的一致性问题,还为未来的文本生成研究开辟了新的方向。这种"生成-编辑"结合的范式可能会影响未来AI写作工具的设计思路。

当然,这项技术也还有一些需要改进的地方。研究团队诚实地指出,在某些对话场景中,过于激进的生成设置可能会产生不理想的输出。此外,不同应用领域对速度和质量的平衡要求不同,需要针对性地调整参数设置。在结构化内容(如代码和数学公式)生成中表现更好,而在开放性对话中还需要更细致的参数调优。

尽管存在这些挑战,LLaDA2.1的出现标志着AI文本生成技术迈入了一个新阶段。通过巧妙地结合快速并行生成和智能编辑修正,这项技术为解决长期困扰该领域的速度-质量权衡问题提供了一条可行的路径。随着技术的进一步完善和应用场景的扩展,我们有理由期待更加智能、高效的AI写作助手很快就会进入我们的日常生活。

对于普通用户而言,这项技术的成熟意味着未来的AI写作工具将能够更好地理解我们的需求,既能在需要时快速产出大量内容,又能在关键时刻提供高质量的精品输出。无论是学生写作业、职场人士准备报告,还是内容创作者生产文章,都将从这种技术进步中受益。说到底,这项研究让我们看到了AI写作的美好前景:不再是简单的文字堆砌,而是真正具备了类似人类的思考、创作和修改能力的智能助手。

Q&A

Q1:LLaDA2.1的核心创新是什么?

A:LLaDA2.1的核心创新是引入了"边写边改"的文本生成机制,也就是Token-to-Token编辑功能。传统AI只能从空白填入新词,而LLaDA2.1还能修改已经生成的词语,通过双重信心阈值实现快速起草和质量修正的平衡。

Q2:LLaDA2.1在速度上有多大提升?

A:LLaDA2.1在代码生成任务中表现尤其出色,1000亿参数的Flash版本在HumanEval+测试中达到892 TPS,在BigCodeBench上达到801 TPS。相比传统自回归模型每秒只能生成1个词元,这是数百倍的速度提升。

Q3:为什么LLaDA2.1能做到既快又准?

A:LLaDA2.1采用了"先快速起草,再编辑修正"的策略。它可以在"极速模式"下降低生成阈值快速产出内容,然后通过编辑机制纠正错误。同时在"质量模式"下采用保守阈值确保输出质量,这种灵活的双模式设计实现了速度与质量的平衡。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不少商品价格跌回10年前,大家的日子却越来越紧,钱到底去哪了?

不少商品价格跌回10年前,大家的日子却越来越紧,钱到底去哪了?

帝都观日记
2026-11-16 14:05:09
5季丧尸剧把"找安全屋"套路扔了,脑洞大到离谱

5季丧尸剧把"找安全屋"套路扔了,脑洞大到离谱

时光慢旅人
2026-11-17 03:41:26
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
百度李彦宏:AI时代,只剩下两类岗位 | 你的工作正在被重新分类

百度李彦宏:AI时代,只剩下两类岗位 | 你的工作正在被重新分类

一刻talks丨硬科技新商业
2026-11-16 21:29:52
Nike 突然发布了一大堆新鞋!除了 Free 回归,还有这些...

Nike 突然发布了一大堆新鞋!除了 Free 回归,还有这些...

FLIGHTCLUB中文站
2026-11-17 12:06:36
某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

某市政府办公室干部为领导起草发言材料时,引用涉密文件,认为“引用一两句话不至于涉密”,将材料发至微信群征求意见,被政务警告处分

政知新媒体
2026-11-17 07:39:52
刚刚!苹果新品突然上架,真的心动啊

刚刚!苹果新品突然上架,真的心动啊

科技堡垒
2026-11-18 08:00:35
成都一男子入职不到两月被辞,公司在微信群通报其“破坏团结”“职业道德缺失”;男子起诉公司侵犯名誉权并索赔5万余元,法院:驳回诉求

成都一男子入职不到两月被辞,公司在微信群通报其“破坏团结”“职业道德缺失”;男子起诉公司侵犯名誉权并索赔5万余元,法院:驳回诉求

极目新闻
2026-11-17 22:50:39
76人为争冠拼了!梭哈10个选秀签补强,詹姆斯或联手昔日状元队友

76人为争冠拼了!梭哈10个选秀签补强,詹姆斯或联手昔日状元队友

你的篮球频道
2026-11-18 07:37:13
前门将谈迈尼昂和多纳鲁马:一个是真正球员,另一个是守门员

前门将谈迈尼昂和多纳鲁马:一个是真正球员,另一个是守门员

懂球帝
2026-11-17 23:54:26
魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

魏莹“陪睡”案新进展:案件细节太颠覆,三方口述揭露更多内幕!

莫地方
2026-10-22 10:22:36
胡歌陈龙宁波夜市合体,拍新戏被偶遇!实景拍摄,满满的烟火气!

胡歌陈龙宁波夜市合体,拍新戏被偶遇!实景拍摄,满满的烟火气!

动物奇奇怪怪
2026-11-18 04:26:44
崔英杰出狱了,但那个被一刀刺死的城管队长,永远留在了2006年

崔英杰出狱了,但那个被一刀刺死的城管队长,永远留在了2006年

禁止读书
2026-11-13 09:59:44
喜讯井喷!社保传来重要消息,2026 年11月起,参保人员一定要注意

喜讯井喷!社保传来重要消息,2026 年11月起,参保人员一定要注意

混沌录
2026-11-17 22:55:06
高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

高市拒不道歉,还想受到中方礼遇?日官员恳求,峰会上别降级对待

靓仔情感
2026-11-17 04:36:22
1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡起来,路过通房丫头房间时与之发生关系,也就是这一次,这个丫头生下了一位国民政府主席

饭小妹说历史
2026-10-20 15:47:54
A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

A股:今天精准收跌在3584点,信号非常强烈!明日将迎来关键转折

云鹏叙事
2026-11-18 00:00:04
曝台湾演员刘德凯云南定居,出行开奔驰老S,72岁状态好仍很帅气

曝台湾演员刘德凯云南定居,出行开奔驰老S,72岁状态好仍很帅气

一盅情怀
2026-07-19 20:30:52
早上起床有这6种表现,说明你可太健康了!占1条都值得恭喜!

早上起床有这6种表现,说明你可太健康了!占1条都值得恭喜!

白宸侃片
2026-11-18 04:03:58
19年我国军费1.19万亿,烟草税收仅1.18万亿,时隔7年却令我意外

19年我国军费1.19万亿,烟草税收仅1.18万亿,时隔7年却令我意外

浩渺青史
2026-11-17 04:00:05
2026-11-18 09:39:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10593文章数 572关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

雷军在深圳发言被调侃"有点社恐" 小米:紧张太正常啦

头条要闻

雷军在深圳发言被调侃"有点社恐" 小米:紧张太正常啦

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

回归英伟达,黄仁勋要先“干掉董事会”

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

家居
艺术
本地
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

本地新闻

乌兰察布:以前种土豆,现在种Token

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版