VALSE Webinar 26-19期 总第424期 循序不回归：扩散语言模型

来源：市场资讯

（来源：VALSE）

报告时间

2026年7月22日 (星期三)

晚上20:00 (北京时间)

主 题

循序不回归：扩散语言模型

主持人

刘峰 (The University of Melbourne)

姚江超 (上海交通大学)

直播地址

https://live.bilibili.com/22300737

报告嘉宾：李崇轩 (中国人民大学)

报告题目：推敲之间、渐成其文：扩散大语言模型

报告嘉宾：龚珊三 (香港大学)

报告题目：扩散语言模型中的灵活生成顺序与推理

报告嘉宾：李崇轩 (中国人民大学)

报告时间：2026年7月22日 (星期三)晚上20:00 (北京时间)

报告题目：推敲之间、渐成其文：扩散大语言模型

报告人简介：

李崇轩，中国人民大学高瓴人工智能学院副教授、博士生导师。致力于生成模型基础理论、建模范式、大规模训练策略和高效采样算法的研究，带领团队研制了扩散语言模型 LLaDA，开源模型下载量破600万次，多项成果部署于 DALL·E 2、Stable Diffusion、Vidu等行业领先大模型。成果发表于NeurIPS、ICML、ICLR、TPAMI、Nature Communications等，谷歌学术引用1.4万余次。获机器学习领域顶级国际会议 ICLR 2022 杰出论文奖；北京市自然科学一等奖 (排名2)；吴文俊人工智能自然科学一等奖 (排名5)。主持国家自然科学基金青年基金B类、重大研究计划培育项目等，入选智源学者、吴文俊优秀青年奖、北京市科技新星。担任IEEE TPAMI/TMLR/MLJ编委和ICLR/ICML/NeurIPS等国际会议领域主席；作为主编出版《大模型十讲》教材，指导博士生入选国家自然科学基金青年学生基础研究项目、字节跳动奖学金计划等。

个人主页：

https://zhenxuan00.github.io/

报告摘要：

本次报告聚焦一个问题：自回归是否是通向当前乃至更高水平的生成式智能的唯一范式？本次报告首先从直觉和计算的角度探讨非自回归语言生成的可能性。基于这些洞察，介绍扩散大语言模型LLaDA系列工作，包括基础理论、大规模训练与推理、多模态理解和生成等。LLaDA通过非自回归的方式，展示了令人惊讶的可扩展性和生成能力。这些结果不仅挑战了自回归模型的统治地位，更加深了我们对生成式人工智能的理解。

参考文献：

[1] Your Absorbing Discrete Diffusion Secretly Models the Conditional Distributions of Clean Data. Jingyang Ou, Shen Nie, Kaiwen Xue, Fengqi Zhu, Jiacheng Sun, Zhenguo Li, Chongxuan Li†. International Conference on Learning Representations (ICLR), 2025

[2] Large Language Diffusion Models. Shen Nie, Fengqi Zhu, Zebin You, Xiaolu Zhang, Jingyang Ou, Jun Hu, Jun Zhou, Yankai Lin, Ji-Rong Wen, Chongxuan Li†. Annual Conference on Neural Information Processing Systems (NeurIPS), 2025

报告嘉宾：龚珊三 (香港大学)

报告时间：2026年7月22日 (星期三)晚上20:45 (北京时间)

报告题目：扩散语言模型中的灵活生成顺序与推理

报告人简介：

龚珊三，香港大学计算机科学系博士生，主要研究方向为扩散语言模型与推理。近年来围绕扩散模型在文本生成、代码生成与推理中的应用开展研究，代表性工作包括 DiffuSeq、Diffusion of Thought、DiffuLLaMA、DiffuCoder、DreamOn 等，相关成果发表于 ICLR、NeurIPS 等国际会议。其研究重点关注如何突破自回归语言模型严格从左到右的生成范式，探索更加灵活、可控和高效的语言生成与推理方法。

个人主页：

https://summmeer.github.io/

报告摘要：

当前主流的大语言模型大多采用自回归方式，按照严格的从左到右顺序逐词生成文本。这一生成范式取得了巨大成功，但也在双向上下文建模、灵活生成顺序、迭代式修改以及复杂推理等场景中存在一定局限。扩散语言模型提供了一种不同的生成范式，通过逐步去噪与非因果建模，能够放松固定生成顺序的约束，并为语言模型带来更加灵活的生成过程。本报告将结合近期在扩散语言模型上的系列研究，介绍如何将“生成顺序”本身作为语言模型设计中的一个重要维度，并讨论扩散语言模型在代码生成、灵活文本填充和复杂推理等任务中的潜力。

参考文献：

[1] Shansan Gong, Ruixiang Zhang, Huangjie Zheng, Jiatao Gu, Navdeep Jaitly, Lingpeng Kong, Yizhe Zhang. DiffuCoder: Understanding and Improving Masked Diffusion Models for Code Generation. ICLR, 2026

[2] Shansan Gong∗, Shivam Agarwal∗, Yizhe Zhang, Jiacheng Ye, Lin Zheng, Mukai Li, Chenxin An, Peilin Zhao, Wei Bi, Jiawei Han, Hao Peng, Lingpeng Kong. Scaling Diffusion Language Models via Adaptation from Autoregressive Models. ICLR, 2025

[3] Jiacheng Ye, Jiahui Gao, Shansan Gong, Lin Zheng, Xin Jiang, Zhenguo Li, Lingpeng Kong. Beyond Autoregression: Discrete Diffusion for Complex Reasoning and Planning. ICLR, 2025

[4] Jiacheng Ye∗, Shansan Gong∗, Liheng Chen, Lin Zheng, Jiahui Gao, Han Shi, Chuan Wu, Zhenguo Li, Wei Bi, Lingpeng Kong. Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language Models (DoT). NeurIPS, 2024

主持人：刘峰 (The University of Melbourne)

主持人简介：

Feng Liu is a Senior Lecturer (US Associate Professor equivalent) and an ARC DECRA Fellow at the School of Computing and Information Systems, The University of Melbourne. He leads the Trustworthy Machine Learning and Reasoning Lab in Melbourne, developing trustworthy machine learning methodologies that aim to reform existing machine learning technologies and make them more reliable and safe in real-world applications. Feng is the Communications Chair of NeurIPS 2026. He has served as an Area Chair and/or Senior Program Committee member for NeurIPS, ICML, ICLR, AISTATS, ACMMM, and AAAI. He also serves as an editor for Transactions on Machine Learning Research, Neural Networks, International Journal of Machine Learning and Cybernetics, and ACM Transactions on Probabilistic Machine Learning. Feng has received, e.g., the NeurIPS 2022 Outstanding Paper Award, the FUZZ-IEEE 2019 Outstanding Paper Award, the NeurIPS 2025 Top Area Chair Award, and the ACMMM 2024 Outstanding Area Chair Award.

个人主页：

https://fengliu90.github.io/index.html

主持人：姚江超 (上海交通大学)

主持人简介：

Jiangchao Yao is currently an Associate professor at Cooperative Medianet Innovation Center, and also affiliated to School of Artificial Intelligence, Shanghai Jiao Tong University. He was a part-time research scientist at Shanghai Artificial Intelligence Laboratory. Before taking the faculty job, he was an algorithm expert in Data Analytics and Intelligence Lab, DAMO Academy, Alibaba Group, and received the dual PhD degree in Shanghai Jiao Tong University and University of Technology Sydney in 2019. His research mainly focuses on trustworthy machine learning and reasoning with the applications towards AI4Science. He has more than 100 publications in top-tier conferences and journals (e.g., ICML, NeurIPS, ICLR and TPAMI), and one monograph about trustworthy machine learning. He is area chairs of ICML, NeurIPS and ICLR, action editors of Transactions on Machine Learning Research and the journal Neural Networks, and an IEEE Senior Member. He has received the First Prize of MoE Science and Technology in 2023, and has been selected as a MSRA Startrack Scholar in 2025.

个人主页：

https://sunarker.github.io/

特别鸣谢本次Webinar主要组织者：

主办AC：刘峰 (The University of Melbourne)、姚江超 (上海交通大学)

活动参与方式

1、VALSE每周举行的Webinar活动依托B站直播平台进行，欢迎在B站搜索VALSE_Webinar关注我们！

直播地址：

https://live.bilibili.com/22300737；

历史视频观看地址：

https://space.bilibili.com/562085182/

3、VALSE微信公众号一般会在每周四发布下一周Webinar报告的通知。

4、您也可以通过访问VALSE主页：http://valser.org/ 直接查看Webinar活动信息。Webinar报告的PPT（经讲者允许后），会在VALSE官网更新。

看到这了，确定不关注下吗？关注下再走吧～