上海
实现自正交化吸引子神经网络Self-orthogonalizing attractor neural networks
描述了一类特殊的、直接从 FEP 中涌现的、适应性自组织的吸引子网络，而无需显式设定的学习或推理规则。首先，我们展示了一个特定划分的层级化表述——这一概念适用于任何复杂动力系统——可以产生与众所周知的人工吸引子网络架构具有相同功能形式的系统。其次，我们展示，针对此类系统的内部状态最小化变分自由能（VFE），可得到一种类似玻尔兹曼机的随机更新机制，其中连续状态的随机霍普菲尔德网络是一个特例。第三，我们展示，针对系统的内部毯层或边界状态（耦合）最小化 VFE，会引发一种基于广义预测编码的学习过程。关键的是，这一适应性过程不仅仅是加强具体的感官模式；它学会覆盖整个关键模式的子空间，通过建立近似正交化的吸引子表征，系统可以在推理过程中组合这些表征。我们通过仿真识别出准正交吸引子涌现的必要条件，并展示了所提出的吸引子网络对未见数据进行泛化的能力。最后，我们强调，所提出的吸引子网络可以自然地生成序列吸引子（如果输入数据以清晰的顺序呈现），并通过自发活动举例说明其持续学习能力和抵抗灾难性遗忘的潜力。最后我们讨论了该框架的可检验预测，并探讨这些发现对自然智能和人工智能系统的广泛意义。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
