《线性代数：一名合格科研人的筑基课》第三课丨Transformer如何计算注意力？

导语

为何AI领域的Transformer模型（如GPT、BERT），能实现文本生成、图像识别、多模态对齐等复杂任务？其核心并非复杂的神经网络结构，而是一连串矩阵乘法。以注意力机制为例，模型通过Query、Key矩阵计算不同单词的关联权重，再通过Value矩阵聚合信息——这一过程本质是用矩阵表示“信息关联”，用矩阵乘法实现“信息编织”。矩阵已成为AI系统处理关系、传递信息的通用工具。

矩阵可以理解为线性映射的数值表示——当两个线性空间的基确定后，每个线性映射都唯一对应一个矩阵，线性映射的的运算则对应的矩阵对应的运算。本讲将从注意力机制出发，展示矩阵如何表示用户偏好、多模态对齐乃至社交网络，并深入探讨坐标变换背后的哲学——同一系统在不同视角下呈现不同面貌，而矩阵正是连接这些视角的桥梁。理解这一点，你就掌握了现代数据科学的通用语法。

集智学园联合清华大学数学博士诸葛昌靖老师推出「」，并邀请武汉大学数学与统计学院周进教授于1月20日、1月27日就特征值与特征向量在复杂网络中的应用做特别加餐分享。课程已于12月20日开启，欢迎加入课程群交流。

主题：线性映射的表示：矩阵与坐标变换

课程简介

Transformer 模型如何实现多模态对齐？其背后的注意力机制（Attention Mechanism）其实是一个优雅的线性代数过程：模型通过 Query、Key 矩阵计算不同单词的关联权重，再通过 Value 矩阵聚合信息。在这里，矩阵不再仅仅是数字的方阵，而是承载“关注点”、“标签”与“信息内容”的容器，矩阵乘法则是将这些分散信息“编织”在一起的算子。

如果说前两讲我们构建了“向量空间”这一舞台，讨论了线性映射这一连接两个空间的桥梁，随后又引入“内积”赋予了其几何度量，那么本讲将聚焦于舞台上的具体表演——线性映射的矩阵表示。矩阵的本质是线性映射的具体表示——当两个线性空间的基（坐标系）确定后，每个抽象的线性映射都唯一对应一个具体的矩阵。这意味着，矩阵是我们通过特定坐标系观察世界的结果。

围绕“矩阵运算与坐标变换”这一核心，课程将深入探讨变换背后的哲学：同一系统在不同视角（基底）下会呈现不同的矩阵面貌，但其内在性质不变。矩阵乘法通过行与列的运作，在代数上实现了线性映射的复合；而逆矩阵、行列式等特殊运算，则分别对应着变换的可逆性与体积的缩放，构成了我们理解空间变形与刻画的几何直觉。

从 Transformer 的注意力计算到物理学中的参考系变换，本讲将展示矩阵语言的普适性。通过学习，学习者将理解为何“坐标变换”是数据科学与物理学中描述不变性的核心手段，并掌握如何利用矩阵运算，在复杂系统中实现从局部视角到全局关系的精确转换。

课程大纲

1. 线性映射的表示：矩阵

• 实际应用：网络 (图) 的表示、计算机图形学中的世界坐标、局部坐标和观察者坐标及其相互转换

• 数学应用：线性方程组与矩阵的相等

• 向量组与矩阵的关系、用矩阵表示线性映射

• 线性变换与坐标变换：不同基下同一个线性映射的不同表示形式、物理中的坐标系

• 单位矩阵的几何意义

2、矩阵运算

• 实际应用：生物信息学中的解卷积、图的连通性分析

• 矩阵乘法的定义

• 核心逻辑：矩阵乘法即线性映射的复合

3、方阵的特殊运算

• 逆矩阵的存在性与意义

• 行列式与积分换元公式

• 三维空间中的叉乘与几何解释

课程关键词

Transformer、注意力机制、矩阵乘法、线性映射、坐标变换、逆矩阵、行列式、基底变换

概念解析｜注意力机制（Attention Mechanism）

注意力机制的 Query–Key–Value 结构本质是一组线性映射：Query 表示“我在关注什么”Key 表示“每个信息点携带的标签”，Value 表示“信息本身”。通过矩阵乘法QK⊤，模型计算Query与Key的相似度，得到注意力权重；再通过权重与 Value 线性组合达到“信息提取”的效果。这整个过程是严格的线性代数操作，不涉及复杂非线性。

课程信息

• 课程主题：Transformer如何计算注意力？——矩阵乘法如何编码信息关联与变换

• 课程时间：1月10日（周六）晚 18:30–21:30（⚠️特别提示：为弥补元旦停更一周的遗憾，诸葛老师本周“加量不加价”，请大家提前一小时上线～下周恢复19:30开始）

• 课程形式：

• • 腾讯会议（会议信息见群内通知）

  • 集智学园网站录播（3 个工作日内上线）

课程主讲人

北京工业大学数学统计学与力学学院副研究员，清华大学数学博士，研究方向：计算系统生物学。致力于数学与生物医学的交叉研究，聚焦癌症的演化机制及放化疗、血液病、网络药理学及传染病等复杂生物医学问题的多尺度动力学建模与分析。

特别加餐预告

课程简介：

在复杂网络的量化分析与结构解析中，矩阵是刻画网络拓扑特征的核心工具，而由矩阵衍生的特征值与特征向量，更是解锁网络内在规律的关键钥匙。那么，究竟有哪些矩阵与特征值、特征向量与复杂网络紧密相关？这些核心数学元素又如何为网络节点与边的重要性排序提供科学依据，进而帮助我们精准识别网络中的关键核心与薄弱环节？特别加餐将围绕上述问题展开探讨，深入剖析复杂网络语境下矩阵、特征值与特征向量的内涵，及其在网络重要性排序中的核心作用。

加餐时间：1 月 20 日、1 月 27 日19:30-21:30（具体安排见群内通知）

形式：腾讯会议（会议信息见课程群内通知）

面向对象：本课程学员

主讲人：周进

武汉大学数学与统计学院教授，博士生导师。二十年来，开展数学、复杂性科学、智能科学交叉研究，聚焦于复杂系统的集群控制和动力学分析。曾获国家自然科学二等奖，教育部自然科学一等奖，湖北省自然科学一等奖，获全国优秀博士论文提名及湖北省优秀博士论文。共发表学术论文71篇，其中第一作者/独立通讯作者论文65篇，全部为SCI或EI收录，包括物理学顶刊Physical Review Letters, 控制学三大顶刊IEEE Transactions on Automatic Control (长文和短文)、Automatica及SIAM Journal on Control and Optimization。所发表论文被国内国际引用总计近四千次。主持国家自然科学基金项目5项；参与专项研究项目1项，面上项目多项。指导的博士生获得国家自然科学基金青年学生基础研究项目 (博士研究生) 1项。作为骨干成员参与科技部国家重点研发计划1项。受邀在2024年第二十届全国复杂网络大会、2021年第十七届中国网络科学论坛及2016年第十二届全国复杂网络大会上做大会特邀报告；2021年在“集智俱乐部”组织的第二期和第三期复杂网络课程中，分别作了题为“复杂网络的同步”和“多层网络及其动力学”的专题讲座。

• 加餐主题：透视复杂网络的核心——特征值与特征向量初探

• 加餐大纲：

• • 复杂网络与矩阵特征。从网络的邻接矩阵与Laplacian矩阵出发，理解网络结构如何通过矩阵形式被刻画。介绍特征值与特征向量在描述网络整体结构、连通性与稳定性中的基本作用。

  • 复杂网络动力学与矩阵特征。讨论网络动力学过程（如同步、扩散、稳定性）与矩阵特征之间的关系，重点说明关键特征值及特征向量如何影响系统演化行为，以及特征值谱在动力学分析中的解释意义。

  • 透视复杂网络“核心边”：讨论与网络结构和动力学有关的边中心性，展示如何利用矩阵特征刻画网络中对信息传播与动力学过程起关键作用的边，帮助理解网络中“重要连接”的形成机制。

  • 透视复杂网络“核心节点”：从点中心性的角度出发，介绍基于特征向量的中心性指标，如PageRank、LeaderRank等，说明这些方法如何揭示网络中具有全局影响力的关键节点。

课程适用对象

• 数学基础扎实，希望理解线性代数本质及系统应用的学生

• 对生物信息学、系统生物学、复杂网络与复杂系统科学感兴趣的跨学科学习者

• 希望在数据科学、机器学习、网络分析、系统建模领域深入应用线性代数的人

• 对逻辑、抽象思维和系统性分析有长期兴趣的公众学习者

报名须知

• 课程形式：腾讯会议，前两课线上同步直播；集智学园网站录播；部分课程设置线下课

• 课程周期：2025年12月20日—2026年2月，每周六 19:30–21:30

• 课程定价：

• 全部课程原价 599 元(注：早鸟优惠已于第二讲结束时截止)

可开发票

https://campus.swarma.org/course/5657

付费流程

1. 扫码付费；

2. 课程页面添加学员登记表，添加助教微信入群；

3. 课程可开发票。

线性代数：一名合格科研人的筑基课

在科研世界中，无论你研究的是人工智能、生物信息、网络科学，还是物理与工程，几乎所有复杂系统的建模与推理，最终都会指向同一种底层语言——线性代数。

它不仅是一组计算公式，更是一名科研人理解“结构”、刻画“变换”、判断“稳定性”、提取“有效信息”的基本思维框架。本课程以系统科学的视角重新解构线性代数，带你越过技巧，直达本质，在跨学科的真实问题中建立起坚实而可迁移的数学基础。

详情请见：