多模态基础模型关系推理能力概述丨图神经网络与组合优化读书会·周三直播

导语

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

分享内容简介

近年来，采用深度学习对图结构数据建模的方法取得了巨大进展，并改变了模型理解关系结构的能力。在本次分享中，主讲人将展示利用图结构在多种机器学习场景中实现复杂而高效推理的探索，并聚焦其在基础模型中的应用。本次分享主要关注基础模型的 3 个方面：架构、学习目标和推理能力。其中，我们将利用图和关系学习进行智能和高效的推理。特别地，主讲人将讨论稀疏高效的Transformer架构主干、高效的自监督预训练模型实现方案，以及在大语言模型中关系推理的应用。

分享内容大纲

• 基础模型概述

• 图与关系推理

• 基础模型的架构

• 基础模型的学习目标

• 基础模型的推理能力

前置学习资料

1. 算法与深度学习融合之路：神经推理解系列论文解读

这次分享探讨了将算法与深度学习方法结合的几种实现途径，包括使用神经网络学习经典算法执行过程、使用Transformer解决推理任务以及算法求解器的神经求解等。

主讲人介绍

应智韬（Rex Ying），耶鲁大学计算机科学系的助理教授。研究重点包括图神经网络算法、几何嵌入、可解释模型，以及最近涉及关系推理的多模态基础模型。Rex是许多广泛使用的GNN算法的作者，如GraphSAGE，PinSAGE和GNNExplainer。此外，Rex还致力于图形学习在物理模拟、社交网络、知识图谱、神经科学和生物技术中的各种应用。Rex在Pinterest开发了第一个十亿规模的图嵌入服务，在亚马逊开发了基于图的异常检测算法。

个人主页：https://www.cs.yale.edu/homes/ying-rex/

学者主页：https://pattern.swarma.org/user/124029

主持嘉宾介绍

范长俊，国防科技大学系统工程学院副教授，硕士生导师。加州大学洛杉矶分校（UCLA）访问学者。研究方向包括图深度学习、组合优化、强化学习及其在智能决策、复杂系统和指挥控制中的应用。以第一及通讯作者在Nature Machine Intelligence、Nature Communications、AAAI等国际顶级期刊和会议20余篇。先后获吴文俊人工智能科技进步一等奖、世界人工智能大会青年优秀论文奖、中国指挥与控制学会优博论文奖和国防科技大学青年创新奖一等奖。目前主持与参与10余项国家重大项目，同时也是中国指挥与控制学会信息融合专委会副总干事和湖湘青年英才。

直播信息

时间：

2023年10月11日（本周三）上午10:00-12:00

扫码参与图神经网络与组合优化读书会，加入群聊，获取系列读书会回看权限，成为图神经网络社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动图神经网络社区的发展。

集智学园最新AI课程，

张江教授亲授：第三代人工智能技术基础

——从可微分编程到因果推理

自1956年“人工智能”诞生于达特茅斯会议以来，已经经历了从早期的以符号推理为主体的第一代人工智能，和以深度神经网络、机器学习为主体的第二代人工智能。ChatGPT的横空出世、生成式AI的普及、AI for Science等新领域的突破，标志着第三代人工智能的呼之欲出。可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断，基于世界模型的强化学习……，所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。

本课程试图系统梳理从机器学习到大语言模型，从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素，为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。

https://campus.swarma.org/course/5084?from=wechat

AI+Science 读书会

AI+Science 是近年兴起的将人工智能和科学相结合的一种趋势。 一方面是 AI for Science，机器学习和其他 AI 技术可以用来解决科学研究中的问题，从预测天气和蛋白质结构，到模拟星系碰撞、设计优化核聚变反应堆，甚至像科学家一样进行科学发现，被称为科学发现的“第五范式”。 另一方面是 Science for AI，科学尤其是物理学中的规律和思想启发机器学习理论，为人工智能的发展提供全新的视角和方法。

集智俱乐部联合斯坦福大学计算机科学系博士后研究员吴泰霖（Jure Leskovec 教授指导）、哈佛量子计划研究员扈鸿业、麻省理工学院物理系博士生刘子鸣（Max Tegmark 教授指导），共同发起以”为主题的读书会，探讨该领域的重要问题，共学共研相关文献。 读书会从2023年3月26日开始，每周日早上 9:00-11:00 线上举行，持续时间预计10周。 欢迎对探索这个激动人心的前沿领域有兴趣的朋友报名参与。

详情请见：

图神经网络与组合优化读书会启动

现实世界中大量问题的解决依赖于算法的设计与求解。传统算法由人类专家设计，而随着人工智能技术不断发展，算法自动学习算法的案例日益增多，如以神经网络为代表的的人工智能算法，这是算法神经化求解的缘由。在算法神经化求解方向上，图神经网络是一个强有力的工具，能够充分利用图结构的特性，实现对高复杂度算法的高效近似求解。基于图神经网络的复杂系统优化与控制将会是大模型热潮之后新的未来方向。

为了探讨图神经网络在算法神经化求解的发展与现实应用，集智俱乐部联合国防科技大学系统工程学院副教授范长俊、中国人民大学高瓴人工智能学院助理教授黄文炳，共同发起「图神经网络与组合优化」读书会。读书会将聚焦于图神经网络与算法神经化求解的相关领域，包括神经算法推理、组合优化问题求解、几何图神经网络，以及算法神经化求解在 AI for Science 中的应用等方面，希望为参与者提供一个学术交流平台，激发参与者的学术兴趣，进一步推动相关领域的研究和应用发展。读书会从2023年6月14日开始，每周三晚 19:00-21:00 举行，持续时间预计8周。欢迎感兴趣的朋友报名参与！

详情请见：