深度神经网络中的拓扑斯与叠｜周一直播·范畴论与机器学习系列课程

第八课“深度神经网络中的拓扑斯与叠”简介

本节是「范畴论与机器学习」系列课程的最后一课，将主要介绍Jean-Claude Belfiore、Daniel Bennequin在2021年arXiv:2106.14587文章的主要思想。这篇论文从现代数学的角度深入探讨了神经网络中蕴含的结构及其“涌现”特性背后的数学思想。简言之，每个已知的深度神经网络都对应于一个Grothendieck Topology中的对象，而层中的不变性结构对应于 Giraud stack。本次分享将用大家易于理解的方式建立相应数学概念和机器学习的对应。

关键词：#拓扑斯 #叠 #深度神经网络 #Grothendieck Topology #Giraud Stack

Poset of a DNN

Grothendieck site representing a LSTM cell

参考资料：

1. Belfiore, Jean-Claude, and Daniel Bennequin. "Topos and stacks of deep neural networks." arXiv preprint arXiv:2106.14587 (2021). https://arxiv.org/abs/2106.14587

主讲老师

贾伊阳，日本女子大学助理教授，前日本成蹊大学助理教授。研究重点是计算复杂性，算法，以及范畴相关理论。

分享信息

分享时间：2024年5月6日 20:00-22:00

分享方式：

1. 腾讯会议（报名可见）

2. 集智学园视频号直播

「范畴论与机器学习」系列课程

等你加入

为了帮助大家对范畴论与机器学习这一交叉领域有深入的了解，理解机器学习方法背后的范畴意义，集智学园联合日本成蹊大学助理教授贾伊阳，推出了「范畴论与机器学习」系列课程，旨在面向机器学习领域并且希望深入到理论思想层面、身在数学领域想要利用人工智能解决问题的、以及希望了解一些范畴论应用前景（例如和人工智能、量子计算融合的可能）的研究者，科普机器学习前沿领域论文中出现的范畴论知识。

本系列课程将以机器学习与范畴论的报告、论文和教材为课程材料，介绍其中的重要概念，以及更重要的是在这些概念背后隐藏的思想。从范畴观点切入机器学习，包括对机器学习的某些方法论建立背景的具体范畴的研究方法，以及从神经网络架构等出发研究在范畴上的某些结构，例如“层”，“纤维”，“topos”等的研究方法。这些繁琐的术语，复杂的概念如果从纯粹数学的角度出发，全然理解要耗费数年时间。本课程的主要目的是引导大家在避免过度消耗精力的同时快速了解这些概念和范畴架构在机器学习理论及应用中的意义。

如果你对此主题感兴趣，欢迎加入课程与老师同学共同学习探讨。

1. 课程链接：https://campus.swarma.org/course/5305

2. 系列课程详细信息：

加入VIP，解锁集智课程&读书会

集智长期深耕复杂系统与跨学科研究，在网络科学、系统理论、混沌科学等经典领域持续策划精品课程，同时也追踪因果科学、深度学习、复杂经济学、生命复杂性、社会计算、AI+Science、大模型、神经科学、城市科学等交叉前沿。汇集了大量的探索者，包括教授、硕博、工程师、创业者等等。

为了帮助有学习需求的朋友夯实学科基础，帮有科研需求的朋友深入前沿交流，我们开放了1年制和2年制的集智学园VIP计划。VIP用户可以深度参与集智俱乐部社区，并在会员期内解锁集智学园全站课程权限。

更多关于VIP介绍，请点击查看：

1. Grothendieck topology：https://ncatlab.org/nlab/show/Grothendieck+topology（nLab）

2. Stack：https://ncatlab.org/nlab/show/stack（nLab）