Talk预告 | 新加坡国立大学阳行意：Kolmogorov–Arnold Transformer：变革中的新架构

本期为TechBeat人工智能社区第684期线上Talk。

北京时间5月15日(周三)20:00，新加坡国立大学博士生阳行意的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:“Kolmogorov–Arnold Transformer：变革中的新架构”，届时他将介绍一种全新的架构——Kolmogorov–Arnold Transformer (KAT)，并提出三项解决方案克服KAN在硬件兼容性、计算效率以及权重初始化上的挑战。

Talk·信息

主题：Kolmogorov–Arnold Transformer：变革中的新架构

嘉宾：新加坡国立大学 · 博士生 - 阳行意

时间：北京时间5月15日(周四)20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

在现代深度学习中，Transformer 已经成为核心模型。然而，传统的 Transformer 依赖多层感知机（MLP）来混合通道之间的信息。为了解决其局限性，我在这次讲座中将为大家介绍一种全新的架构——Kolmogorov–Arnold Transformer (KAT)，它通过引入 Kolmogorov–Arnold 网络（KAN）来替代 MLP，从而提升模型的表达能力和性能。为了克服 KAN 在硬件兼容性、计算效率以及权重初始化上的挑战，我们提出了三项解决方案：使用理性函数加速计算、通过分组共享权重减少计算量、并采用方差保持的初始化方法提高模型收敛性。KAT 在图像识别、目标检测和语义分割等任务中表现优越，显著超越传统 Transformer。

Talk大纲

1. 介绍 Kolmogorov–Arnold Network（KAN）

因 MLP 的局限性而提出，其理论上拥有通用近似能力，并以 B-spline 作为边上的可学习函数KAN 的优点是理论上出色、在符号任务上表现出色且可解释性好，但缺点是速度慢、难以优化，在其他任务上表现不如 MLP。 Kolmogorov–Arnold Transformer（KAT）

2. 开发 KAT 的原因

KAN 存在问题，如基础函数（B-spline 不利于 GPU 计算）、重复计算和初始化问题，直接替换 KAN 到 Transformer 中行不通。

3. 提出的解决方案

S1 理性基础函数：用 Safe Padé 激活单元（PAU）替代 B-spline，其 CUDA 实现加速效果显著。

S2 分组 KAN：提取公共项，优化计算。

S3 保持方差的初始化：先初始化 a 和 b，再初始化 w，以保持范数稳定。

4. 实验与结果

展示 KAT 在 IN-1k 分类、MS-COCO 目标检测和 ADE-20k 语义分割任务上的性能。 消融实验表明 KAT 优于其他激活函数，并且运行速度提升。

5. 核心启示

可学习的non-linear functions

Talk·预习资料

论文链接： https://arxiv.org/abs/2409.10594 代码链接： https://github.com/Adamdad/kat

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

阳行意‍‍‍‍‍‍‍‍‍‍‍

新加坡国立大学 · 博士生‍‍‍

阳行意是新加坡国立大学电子计算机工程系xML实验室的第四年博士生，专注于机器学习和计算机视觉领域。他的研究致力于提高深度学习模型的效率，扩展模型功能及其可组合性，以减少模型重训练的需求。通过深度模型重用和优化，他在2D、3D以及视频扩散生成模型领域取得了显著成就。他已在顶尖学术会议上发表了20余篇论文，谷歌学术引用次数超过3400次。他因在模型重用与生成模型方面的创新研究，荣获了2022年NeurIPS最佳论文提名奖、2023年国家优秀自费留学生奖学金，以及2024年世界人工智能大会青年优秀论文提名奖。

个人主页: https://www.techbeat.net/grzytrkj?id=44712 ‍‍‍‍

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk