因果强化学习丨周日直播·因果科学与大语言模型读书会

导语

本次是的第九期。近年来因果强化学习领域取得了诸多进展，因果科学与强化学习的结合展现了提升强化学习求解效率、可解释性和泛化能力的可能性。本次直播分享，来自南京大学的博士陈雄辉将会与大家一同讨论因果强化学习领域的新进展以及在结合过程中遇到的挑战。

集智俱乐部联合北京大学大数据科学研究中心博士研究生李昊轩、伦敦大学学院计算机博士研究生杨梦月，卡耐基梅隆大学和穆罕默德·本·扎耶德人工智能大学博士后研究员陈广义共同发起。这是我们因果科学系列读书会的第五季，旨在探讨在大模型之后为何仍需“因果科学”？大模型如何推动因果科学的研究进展？因果科学能否在推理能力、可解释性和可信性等方面启发更优大模型的设计？以及因果科学的最新进展如何在实际领域中应用和落地？希望汇聚相关领域的学者，共同探讨因果科学的发展和挑战，推动学科发展。

背景

近年来，因果推断领域取得了诸多进展，引起了机器学习领域研究人员的广泛关注。最近的一项重要进展便是因果强化学习。强化学习是一项讨论在给定状态下如何寻找最优动作的技术，研究人员期待通过在强化学习中引入因果科学技术，提高强化学习的求解效率、可解释性和泛化能力。本次直播分享将围绕因果科学与强化学习的交叉领域——因果强化学习展开，重点关注因果科学的关键技术，包括因果结构学习、表征学习和动作效用估计等，以及因果科学与强化学习中环境模型（世界模型）结合的最新进展，并分享未来的潜在挑战。

大纲

• 强化学习和因果相关背景介绍

• 基于因果结构的强化学习方法

• 基于因果表征的强化学习方法

• 基于因果效用估计的强化学习方法

• 因果科学技术与强化学习结合的未来研究方向

主讲人简介

陈雄辉，南京大学LAMDA组博士生，导师是俞扬教授。研究重点在于解决强化学习在在线交互成本敏感的真实应用场景中的挑战和基于大模型的决策研究，涉及技术包括离线强化学习，世界模型学习，sim2real 迁移，因果推断，基于大语言模型的决策和决策大模型等。目前有10+篇论文发表在NeurIPS，ICML，ICLR，TPAMI等顶会上。其研究成果也在互联网，化工和军工等多行业成功落地。

主持人介绍

李昊轩， 北京大学大数据科学研究中心，数据科学（统计学）博士，CCF会员、IEEE会员、ACM会员。研究兴趣为因果机器学习理论、反事实公平性、推荐系统去偏、分布外泛化、多源数据融合、生物信息学和大语言模型等。已在ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个CCF-A顶尖会议以第一作者发表多篇论文，其中5篇论文被评选为Spotlight或Oral，现为ICML、NeurIPS、ICLR、KDD、WWW、AAAI、IJCAI等多个顶会PC member或Area Chair，以及TKDE、TOIS、TKDD、The Innovation、《中国科学：信息科学》等多个顶级期刊审稿人，14项发明专利。连续两年获得北京大学博士最高研究奖“校长奖学金”，获国家奖学金，九坤（人工智能方向）奖学金，北京大学三好学生，两项成果获北京大学“挑战杯”五四青年科学奖特等奖，并获得首批国家自然科学基金青年学生基础研究项目（博士研究生）30万资助。

直播信息

9月29日20:00-22:00（周日），直播报名入口见后文。

集智俱乐部 B站和视频号免费直播，扫码可预约：

扫码预约本次直播

若需要观看视频回放，文末扫码付费参加可加入腾讯会议，可提问交流、加入群聊、获取视频回放及更多学习资料，成为因果科学社区种子用户，与一线科研工作者沟通交流，共同推动因果科学社区的发展。

参考文献

• Xiong-Hui Chen, Yang Yu, Zhengmao Zhu, Zhihua Yu, Zhenjun Chen, Chenghe Wang, Yinan Wu, Rong-Jun Qin, Hongqiu Wu, Ruijin Ding, Fangsheng Huang: Adversarial Counterfactual Environment Model Learning. NeurIPS 2023
  

• Zheng-Mao Zhu, Xiong-Hui Chen, Hong-Long Tian, Kun Zhang, Yang Yu: Offline Reinforcement Learning with Causal Structured World Models. FCS.

• Yu-Ren Liu, Biwei Huang, Zheng-Mao Zhu, Hong-Long Tian, Mingming Gong, Yang Yu, Kun Zhang: Learning World Models with Identifiable Factorization. NeurIPS 2023

因果科学社区

“因果”并不是一个新概念，而是一个已经在多个学科中使用了数十年的分析技术。集智俱乐部在过去4年期间围绕研究人员的不同角度的需求，举办了4季相关主题的读书会，形成了数千人规模的社区。

【】基于《Elements of Causal Inference》，探讨因果科学在机器学习方面的应用，如强化学习和迁移学习等，并分享工业应用。

【】聚焦实操和基础，深入学习《Causal inference in statistics: A primer》和《Elements of causal inference: foundations and learning algorithms》。

【】回顾社会学、经济学、医学，计算机等领域的因果模型和范式，尝试用现代模型提供新思路。

【】探讨因果表征学习的理论、技术和最新应用，涉及因果生成模型、可解释性、公平性及工业落地。

主要围绕因果科学的最新进展，包括因果科学与大模型的结合等方面进行深度的探讨和梳理，希望给在这个领域的研究者提供一个全面的研究图景。共同探讨因果科学的未来发展以及面临的挑战。

详情请见：