师丽丨视觉脑机制与类脑智能算法

1958 年Hubel、Wessle 在猫的初级视觉皮层发现神经元具有朝向选择性，为视觉神经研究奠定了重要基础。之后的几十年里，对哺乳类初级视觉皮层-颞叶这一离丘脑视觉通路的信息处理机制解析的生物、神经科学研究，与利用各种数理方法对相关神经机制进行描述和建模的信息科学研究的交互，极大地促进了各自领域的进展，同时给机器视觉中的目标识别任务带来了巨大的启示，其代表就是近年来出现的具有深远影响的深度学习，卷积神经网络等算法。鸟类具有卓越的高空高速下视感知能力，其发达程度超过哺乳类动物的离顶盖视觉通路是实现这一视感知能力的神经基础。解析鸟类离顶盖通路的神经信息处理机制，构建信息处理的编码模型，有望形成不同于现有深度学习的新型类脑计算体系。因此，从神经元、神经环路及工作机理、神经系统信息处理机制、编解码模型和类脑算法及应用等层面，系统阐述了脑的视觉信息处理机制与机器视觉的类脑算法，对推动该领域的发展具有重要作用。

传统机器智能以数学和逻辑为基础，凭借计算速度、精度及海量的存储能力等优势，在现代信息处理与计算技术方面有极其广泛的应用。但其图灵机计算的本质需要人们对现实世界进行形式化的定义，模型能力取决于人对物理世界的认知程度，因此限定了机器描述问题、解决问题的程度。这使得目前的智能系统在感知、认知、控制等多方面都存在巨大瓶颈。而生物脑经过亿万年的进化所具有的对新环境新挑战的自适应能力、新信息与新技能的自动获取能力、在复杂环境下进行有效决策并稳定工作直至几十年的能力，多处损伤的情况下的鲁棒性，都是当前机器智能技术所无法比拟的。因此，从信息处理与智能本质角度审视生物脑信息处理，借鉴其原理产生新型类脑智能计算技术，是实现人工智能创新的重要源泉。

图1　哺乳类初级视觉皮层简单细胞感受野（左）与利用稀疏性训练得到的滤波器（右）

近几十年来，机器视觉领域很多里程碑式的进展都从哺乳类视感知神经机制中获得启发。早期人工神经网络研究主要是借鉴神经元、突触连接等基本概念，而细节实现上与脑神经网络存在巨大差异。1996 年，Field 以稀疏性为规则化项，对图像块进行表征学习，获得类似于哺乳类初级视觉皮层(V1 区)简单细胞感受野的滤波器，引起了当时的轰动，同时也为稀疏编码在压缩感知、信息表征、信号处理等领域得到了广泛应用奠定了理论基础。1980 年， Fukushima 等人基于局部感受野机制和分层表征机制提出了Neocognitron 算法，它就是卷积神经网络(CNN)的雏形；Lecun 等人在1998 年正式提出CNN 算法，但是由于当时数据量和计算能力的限制，该算法并没有表现出很好的性能；直至2012 年，具有更深和更宽结构的AlexNet 取得了当年Imagenet 比赛冠军，一举确立了CNN在机器视觉中的统治地位；同样借鉴哺乳类动物局部感受野、分层表征机制和稀疏性的模型还有Poggio 等人的在模式识别领域获得成功的HMAX 模型。2015 年Alpha Go5:0 击败欧洲围棋冠军樊麾二段，2016 年4:1 击败世界冠军李世石九段, 它的成功很大程度上归因于基于CNN 的估值网络，这在原理上很有可能是受脑的功能模块划分的影响。

图2　哺乳类视觉通路分层处理的信息架构（左），借鉴视皮层分层机构的CNN架构（右）

鸟类具有高空高速下卓越的视感知能力，能快速识别大场景、复杂背景下的弱隐目标，而这些正是当前机器视觉的瓶颈。鹰能够在几千米高空能快速识别隐藏在草丛中的野鼠。白头海雕能够在复杂多变的海洋环境中快速识别鲑鱼和鳟鱼。鸟类和哺乳类均有离顶盖和离丘脑视觉通路，当前在类脑感知中获得巨大成功的深度学习(CNN)算法主要借鉴了离丘脑通路信息处理机制。鸟类的离顶盖通路在视觉中起重要作用，且其发达程度远远超过哺乳类。这意味着鸟类发达的离顶盖通路是实现其优于哺乳类的高空高速下快速、准确视感知能力的神经基础。因此借鉴鸟类机制构建新型类脑计算模型，有望产生新型类脑计算体系。

基于以上背景，清华大学师丽教授总结了其研究团队过去十年来，以及近二十项国家级项目牵引下科研方法和成果的积累，并结合国内外最新的研究进展与技术。《视觉脑机制与类脑智能》共分7章。第1 章介绍了脑的视觉系统解剖结构和生理学基础；在第2 章介绍了视觉神经机制解析与建模基础；第3、第4 章综合了国际上最新最顶尖团队研究成果，结合本团队研究成果介绍了鸟类和哺乳类动物视觉系统工作机理和信息处理机制；5、6章重点介绍了鸟类视顶盖快速显著神经编码模型、鸟类视顶盖神经解码；在第7 章首先阐述了类脑智能和算法的认识和创新思路，然后结合生物视觉信息处理机制，介绍了具有典型意义和标志最新进展的几种类脑算法，并给出实际应用例子。作者期望通过本书内容，对神经科学与信息科学的未来重点发展方向及面临的重要问题有所启发，同时为相关领域学者、研究生提供有价值的学术参考。

作者简介

内容简介

经过亿万年进化，生物具有超强视感知能力，尤其是鸟类具有卓越的高空高速下的视感知能力。因此，研究鸟类和哺乳类动物视感知通路的神经信息处理机制，构建信息处理的编解码模型，并以此建立类脑算法，已经被证明是为视觉脑机制研究提供理论指引、提高机器视觉系统性能的有效途径。在此思路指引下，本书首先介绍了鸟类脑和哺乳类脑的视觉系统解剖结构和生理学基础，以及视觉神经机制解析与建模基础；然后阐述了鸟类和哺乳类动物视觉系统工作机理与信息处理机制，重点研究了鸟类视顶盖快速、显著感知神经编码模型，以及鸟类视顶盖神经解码；最后，阐述了类脑智能和算法的认识和创新思路，结合生物视觉信息处理机制，介绍了具有典型意义和标志最新进展的几种类脑算法，并初步构建了基于鸟类离顶盖-离丘脑-副视系统协同信息处理机制的大视场小目标检测模型。

目录速览

前言

第1章 脑的视觉系统解剖结构和生理学基础 1
1.1 鸟类视觉系统的解剖结构与生理学基础 1
1.1.1 鸟类视觉系统的解剖结构 1
1.1.2 鸟类视觉系统的生理学基础 3
1.2 哺乳类视觉系统的解剖结构与生理学基础 4
1.2.1 哺乳类视觉系统的解剖结构 4
1.2.2 哺乳类视觉系统的生理学基础 5
1.3 总结 6
参考文献 6
第2章 视觉神经机制解析与建模基础 12
2.1 神经信号检测及预处理 13
2.1.1 神经信号的产生 13
2.1.2 神经信号检测 14
2.1.3 神经信号预处理 17
2.2 神经编/解码理论基础 23
2.2.1 神经编码—发放率与Spike统计特性 24
2.2.2 逆相关与视觉感受野 30
2.2.3 其他编码分析方法 32
2.2.4 神经解码 36
2.3 神经元建模基础 38
2.3.1 线性-非线性-泊松模型 38
2.3.2 广义线性模型的理论框架 39
2.3.3 神经元建模软件 41
2.4 总结 48
参考文献 48
第3章 鸟类视觉系统工作机理与信息处理机制 52
3.1 鸟类视觉系统的工作原理 52
3.2 离顶盖通路中的信息传递机理 54
3.2.1 视网膜-顶盖-圆核信息传递机理 54
3.2.2 顶盖与峡核的信息传递机理 57
3.2.3 峡核与视网膜-顶盖-圆核通路的交互 60
3.3 鸟类的显著注意机制 62
3.3.1 生物的视觉显著性 62
3.3.2 自下而上的刺激竞争机制 63
3.3.3 前脑介导的自上而下最高优先级选择 75
3.4 其他机制 78
3.4.1 SGC神经元的运动检测机制 79
3.4.2 SGC独立于定义运动目标的各种提示信息的运动感知 82
3.5 总结 84
参考文献 84
第4章 哺乳类视觉系统工作机理与信息处理机制 91
4.1 哺乳类视觉系统的工作原理 91
4.1.1 皮层下通路 92
4.1.2 皮层视觉通路 93
4.2 视觉信息处理机制 94
4.2.1 视觉注意机制 95
4.2.2 稀疏编码机制 98
4.2.3 目标不变性表征机制 100
4.3 初级视皮层小世界连接的神经元集群响应机制及量化框架 104
4.3.1 小世界连接的集群响应量化框架构建原理 104
4.3.2 典型视觉刺激的电生理实验设计 110
4.3.3 小世界框架在V1区集群信息表征上的有效性验证 111
4.4 初级视皮层“广义线性-动态小世界”集群编码模型 119
4.4.1 “广义线性-动态小世界”集群编码模型的构建原理 120
4.4.2 模型的实现步骤 124
4.4.3 模型参数的确定 128
4.4.4 模型的有效性验证 133
4.5 总结 138
参考文献 138
第5章 鸟类视顶盖快速、显著感知神经编码模型 143
5.1 信鸽视顶盖神经元的空间模式信息快速编码机制 143
5.1.1 神经元响应的信息论分析 145
5.1.2 FSL的建模 146
5.1.3 结果分析 150
5.1.4 讨论 156
5.2 信鸽视顶盖神经元的快速显著感知编码机制 157
5.2.1 双高斯差模型 159
5.2.2 基于极大似然函数的GLM模型 160
5.2.3 实验结果分析 163
5.2.4 讨论 172
5.3 总结 173
参考文献 174
第6章 鸟类视顶盖神经解码 177
6.1 视觉刺激模式设计 177
6.2 基于局部场电位的神经信息解码 179
6.2.1 局部场电位特征提取 179
6.2.2 局部场电位神经信息解码模型的建立 181
6.2.3 自然图像重建参数的选择 182
6.2.4 基于局部场电位的自然图像信息解码 184
6.3 基于动作电位的神经信息解码 185
6.3.1 动作电位特征提取 185
6.3.2 解码模型的建立 186
6.3.3 图像重建参数的选取 188
6.3.4 基于动作电位的自然图像信息解码 194
6.4 总结 197
参考文献 198
第7章 生物视觉机制启发的类脑算法及应用 199
7.1 类脑智能和算法引论 199
7.2 脉冲神经网络及应用 202
7.2.1 脉冲神经元模型 203
7.2.2 基于脉冲的神经编码 204
7.2.3 脉冲神经网络学习算法 206
7.2.4 脉冲神经网络应用举例 212
7.3 经典哺乳类动物脑启发算法及应用 215
7.3.1 稀疏编码网络 215
7.3.2 卷积神经网络 220
7.3.3 循环神经网络 224
7.4 鸟类离顶盖机制启发下的运动检测算法 228
7.4.1 运动物体的局部速度计算模型 229
7.4.2 鸟类离顶盖通路启发下的全局运动检测算法 230
7.5 基于鸟类离顶盖-离丘脑-副视系统协同信息处理机制的大视场小目标检测模型 237
7.5.1 基于鸟类离顶盖、离丘脑、副视系统信息处理机制的目标识别框架 237
7.5.2 大场景小目标实验和结果 243
7.5.3 结论 249
7.6 总结 250
参考文献 250

一起阅读科学!

科学出版社│微信ID：sciencepress-cspm

专业品质 学术价值

原创好读 科学品味

科学出版社视频号

硬核有料 视听科学