冲绳科学技术大学院大学研究者们找到了让AI视觉学习更聪明的秘密

这项由冲绳科学技术大学院大学（OIST）主导的研究，以预印本形式发布于2026年7月，论文编号为arXiv:2607.04044，有兴趣深入了解技术细节的读者可以通过该编号检索完整原文。

教一个孩子认识世界，有两种截然不同的方式。第一种方式是让他盯着一幅被遮住大半的图画，然后要求他把消失的部分原模原样地画回来——这需要他记住大量细节，精确到每一根线条的走向。第二种方式则截然不同：给他看同一张图画的两个局部剪裁，然后问他："这两块碎片是同一张图的一部分吗？它们在描述什么？"后者不需要他复原像素，只需要他理解语义——这张图讲的是什么故事。

这两种教学哲学之间的差异，正是当今人工智能视觉学习领域最核心的争论。第一种方式对应的是目前广泛使用的"掩码自动编码器"（简称MAE），它让AI从被遮住的图像中重建像素；第二种方式则对应着近年来迅速崛起的"联合嵌入预测架构"（JEPA），它让AI在更抽象的语义层面上去理解和预测图像内容。而OIST的这项研究，则在JEPA的基础上又向前走了一步，提出了一种叫做SiamJEPA的新框架——给AI装上了一对"孪生大脑"，让它同时从两个角度理解同一张图像。

**一、像素重建与语义预测：两种截然不同的学习哲学**

要理解这项研究的意义，得先从AI是怎么"自学"图像说起。在没有人类标注的情况下，AI需要自己发现图像中的规律，这种学习方式叫做自监督学习（SSL）。几年前，Facebook AI研究院推出了MAE模型，它的做法就像一道填空题：随机遮住图像75%的区域，然后训练AI把被遮住的像素原封不动地还原出来。这种方法确实有效，但代价高昂——AI需要学会记忆大量低层次的视觉细节，比如草地的纹理、天空的渐变色，而这些细节对于"理解一张图讲的是什么"其实并不那么重要。

JEPA框架的诞生正是为了解决这个问题。它的核心思路是：与其让AI重建被遮住的像素，不如让AI在更高层次的"概念空间"中预测被遮住区域的含义。打个比方，MAE像是让一个学生看到"桌子上有一只__（空格）"之后，要求他把空格里的每一根毛发都画出来；而JEPA则只是要求他回答"那个空格里是什么东西"——哪怕他只回答"是一只橘色的猫"，没有精确描述每根胡须，也算完成了任务。这种更高层次的语义预测，往往能让AI学到更有用、更通用的视觉概念。

目前最具代表性的JEPA模型是I-JEPA（处理图像）和V-JEPA（处理视频），它们都依赖一个核心设计：学生网络负责从可见区域中提取信息，教师网络（通过指数移动平均机制缓慢更新，是学生网络的"慢速版本"）提供预测目标，学生需要预测教师看到的被遮住区域的表示。这套机制运作良好，但有一个共同特点——学生只有"一个大脑"，也就是单一的编码器。

OIST的研究者们提出了一个问题：如果学生有两个大脑，同时处理同一张图像的不同局部，会发生什么？

**二、孪生大脑的灵感：从海马体到人工神经网络**

这个"两个大脑"的想法并非空穴来风，它源自一个名为PhiNet的脑启发学习框架。神经科学研究表明，人类大脑中的海马体和新皮层承担着截然不同却又相互配合的学习功能：海马体负责快速记忆新鲜信息，新皮层则负责缓慢整合长期知识。更有趣的是，有研究者提出了"时序预测假说"——大脑的一个重要工作方式，是用当前观察到的信息去预测即将发生的事情，而不仅仅是被动地记录眼前所见。

PhiNet正是把这套神经科学理论翻译成了机器学习语言。它使用一对"孪生学生编码器"（Siamese encoders，意思是两个共享权重的编码器，就像一对同卵双胞胎，长得一模一样但各自独立工作），再配合一个缓慢更新的教师网络。孪生编码器模拟的是大脑用两个视角同时观察世界，教师网络模拟的是慢速学习的新皮层。

之前的PhiNet工作和一些用于视频学习的孪生掩码方法（比如SiamMAE、CropMAE等）已经证明，孪生编码器在视频理解任务中很有用。但它们大多还是基于像素重建，而非语义预测。更关键的是，孪生编码器在JEPA这种纯语义预测框架中究竟扮演什么角色，此前从未有人系统研究过。这正是SiamJEPA要填补的空白。

**三、SiamJEPA的工作方式：两只眼睛看不同角落**

SiamJEPA的基本架构可以用一个侦探故事来理解。案发现场（一张完整图像）被警戒线封锁了大部分区域，只留下少数可以观察的窗口。现在有两位侦探（孪生编码器）同时进入现场，但他们被分配到了不同的区域——侦探A只能观察现场的左半部分，侦探B只能观察右半部分，而且两人的观察区域完全不重叠。与此同时，还有一位经验丰富的老侦探（教师网络，通过指数移动平均机制更新，积累了大量"慢学习"经验）可以观察整个现场。

两位年轻侦探的任务，是联手推断出整个案发现场发生了什么——特别是那些他们各自都没有直接看到的区域。他们不需要画出现场的每一粒灰尘，只需要推断出事件的语义：这里发生了什么，有哪些关键线索。

在技术层面，SiamJEPA使用的是Vision Transformer（ViT，视觉变换器，一种擅长处理图像的深度神经网络架构）作为编码器。将图像切割成小块（patch），然后对其中一部分进行遮掩。两个孪生编码器分别接收不重叠的可见区域，各自提取特征表示。

这套架构包含两个预测器网络，功能各异。第一个预测器h负责让两个孪生编码器的全局理解趋向一致——就像两位侦探需要交流信息、统一案情认识一样；第二个预测器g则负责具体预测——根据两个编码器的联合信息，预测出那些被遮住区域在教师网络"眼中"应该是什么样的语义表示。

第二个预测器g的设计引入了一个概率论的巧思：它区分"后验分布"和"先验分布"两种预测模式。"后验"预测利用两个编码器的全部信息来猜测被遮住区域（两位侦探合作推断），而"先验"预测只用一个编码器的信息（单个侦探单独推断）。训练的目标之一，就是让单独推断的结论尽量接近合作推断的结论——这迫使每个编码器都尽可能提取足够丰富的信息，而不能依赖另一个编码器来补充。

**四、两个损失函数的协同作战**

SiamJEPA的训练目标由两个互补的损失函数构成，理解它们的作用对于理解孪生编码器为何有效至关重要。

第一个损失函数叫做Sim-1，它的任务是让两个孪生编码器对图像的整体理解尽可能一致。技术上它通过KL散度（一种衡量两个概率分布差异的数学工具）来实现。可以把它理解为：两位侦探各自看了不同区域之后，需要写一份关于整个案件的综合报告；Sim-1就是确保两份报告的结论高度吻合。研究者还发现，在训练时对其中一个分支停止梯度（stop-gradient，意思是不让这个分支的误差反向传播），可以稳定训练过程，这是一个从经验中得来的实用技巧。

这个Sim-1损失函数还可以通过一个叫做λKL的参数（读作"lambda KL"）来控制其强度。当λKL设为0时，Sim-1消失，SiamJEPA退化为一个普通的单编码器JEPA模型。这个设计非常巧妙——它让研究者可以像调节音量旋钮一样，精确控制孪生编码器对整体训练的影响程度，从而系统研究孪生结构究竟贡献了多少。

第二个损失函数叫做Sim-2，这才是JEPA的核心预测任务。它衡量的是：预测器g预测出来的被遮区域语义表示，与教师网络实际提取的被遮区域语义表示，两者之间的均方误差（可以理解为预测与实际答案之间的平均偏差）。就像侦探推断出"案发时凶器是一把椅子"，而老侦探（教师）说"确实是椅子"，误差就很小；如果推断出"是一把枪"，误差就很大。

两个损失函数的加权组合就是SiamJEPA的最终训练目标：总损失 = Sim-2 + λKL × Sim-1。研究者通过调整λKL，发现了孪生结构在JEPA中扮演的真实角色。

**五、关键实验：孪生编码器究竟贡献了什么**

为了弄清孪生编码器的作用，研究团队在ImageNet数据集（一个包含超过100万张图像、涵盖1000个类别的标准视觉基准数据集）上进行了大量实验。评估方式采用"线性探测"（linear probing）——预训练完成后，冻结模型权重，只在特征之上训练一个简单的线性分类器，这种方式最能反映模型学到的特征质量。

λKL参数的消融实验揭示了最核心的规律。当λKL非常小（0.0001，几乎等于关掉Sim-1）时，两个孪生编码器各自为政，KL散度高达40以上——它们学到了差异极大的表示，合作效果很差。在这种设置下，训练50个轮次后线性探测准确率只有47.25%，训练300轮次后达到66.78%。

当λKL调大到0.01时，情况发生了戏剧性变化。Sim-1损失很快收敛到接近零的水平（具体是设定的"自由比特"阈值0.1），两个编码器的理解高度一致。更重要的是，训练50轮次后准确率跳升到51.64%，训练100轮次后达到63.72%，训练300轮次后达到69.30%——在所有时间节点上都大幅领先λKL=0.0001的设置。这意味着孪生结构在训练早期的提速效果尤为显著：λKL=0.01在100轮次时的表现，相当于λKL=0.0001在200轮次时才能达到的水平。

λKL=0.03的结果与0.01非常接近（300轮次时达到69.05%），说明Sim-1损失超过一定强度后收益趋于饱和。研究者指出，主要的学习信号仍然来自Sim-2（遮掩预测任务），Sim-1更像是一种"加速剂"而非"驱动力"。过强的Sim-1可能会反过来约束优化过程，导致收敛变慢。

研究团队还测试了"自由比特"（free bits）参数的影响。自由比特机制的作用是：允许两个分布之间保留一定程度的差异，防止它们完全塌缩成同一个点（如果两个编码器完全一样了，孪生结构就失去了意义）。实验显示，自由比特设为0.05时效果略好于0.01和0.1，但差距非常小，说明SiamJEPA对这个参数的精确取值并不敏感。

学习曲线的对比图（图2）也提供了直观的视觉证据。λKL很小时，Sim-1损失（KL散度）从一开始就高达40以上，整个训练过程中都居高不下，总损失的下降速度也相对缓慢。λKL较大时，Sim-1损失在最初几十轮内就迅速降到阈值附近，之后整个训练过程更加稳定，总损失的下降路径也更平滑。

**六、遮掩策略与其他设计细节的影响**

除了核心的λKL参数，研究团队还系统研究了其他设计选择的影响。

遮掩策略方面，SiamJEPA对比了随机遮掩和块遮掩两种方式。随机遮掩就是从图像中随机选择一些小块加以遮掩，分布比较均匀；块遮掩则是选择一个连续的矩形区域作为主要遮掩目标，然后再从剩余可见区域中为两个孪生编码器各自分配不重叠的可见部分。块遮掩与I-JEPA的做法类似，强调连续区域的上下文预测。

实验结果显示，块遮掩在SiamJEPA中始终优于随机遮掩，特别是在训练早期阶段差距尤为明显（50轮次时块遮掩达到51.64%，而随机遮掩只有37.12%，均为0.75遮掩率）。不过，随机遮掩在遮掩率调高到0.80时表现已经相当不错，300轮次后能达到67.10%，与块遮掩0.70遮掩率的68.30%已经相差无几。这个发现很有实践价值：块遮掩需要更复杂的实现代码，而随机遮掩更简单，如果调好遮掩率，效果也能接近。

权重衰减（weight decay，一种防止模型过度拟合的正则化技术，可以理解为给模型参数加上一个"缩水"压力，防止任何参数变得过大）的实验显示，SiamJEPA对这个参数相对稳健。较小的权重衰减（0.05）在训练前300轮表现与较大值（0.1）相当，但到第400轮时出现了分化：权重衰减0.05的准确率停滞在69.33%，而权重衰减0.1的准确率继续提升到70.15%。说明更强的正则化更适合长期训练，这与其他方法（如PhiNet）的观察结论一致。

**七、用哪层特征做线性探测：深层不一定更好**

这项研究还触及了一个在JEPA框架中颇为微妙的问题：应该用编码器的哪一层输出作为线性探测的输入特征？

研究者对比了三种方案：CLS token（ViT中专门用于表示整张图像语义的特殊标记）、最终层（第12层）的均值池化（对所有图像块的输出取平均），以及中间层（第10层）的均值池化。

实验结果颇为出人意料：中间层（第10层）均值池化在训练早期（50至200轮次）始终优于另外两种方案，300轮次时最终层的均值池化才赶上并持平。这说明，随着训练的推进，ViT的最后几层逐渐"专业化"于JEPA的预测任务本身，而不再保留那么多适合下游分类的通用语义信息。中间层反而在通用性和任务特异性之间取得了更好的平衡。

此外，均值池化始终优于CLS token，这说明图像的语义信息并不集中在CLS token中，而是分布在各个图像块的特征里。对于使用SiamJEPA进行下游任务的用户，这是一个重要的实践指导。

**八、预测器深度：越浅越好的反直觉结论**

SiamJEPA还发现了一个与传统JEPA方法不同的特点：它在使用很浅的预测器时效果最好。传统JEPA方法通常使用较深（多层）的预测器网络，而SiamJEPA使用只有1至2层的浅层预测器就能达到最优表现。

研究者坦率地指出，这个现象的原因尚不完全清楚，也无法排除它与特定实验设置有关的可能性。但如果这个规律具有普遍性，则意味着SiamJEPA可以用更小的参数量实现有竞争力的性能——这在实际部署中是非常有吸引力的特性。

研究团队同时指出，最佳评估层（用哪一层的特征做线性探测效果最好）似乎也与预测器深度有关，预测器越深，最优特征层的位置可能越靠近中间层。系统研究这种关联需要大量计算资源，被留作未来工作。

**九、与其他方法的横向对比：少花时间，同样有效**

SiamJEPA在ImageNet线性探测上的完整对比结果充分展现了孪生编码器带来的效率提升。

采用官方MAE代码库重新实现的MAE基线，训练400个轮次后的线性探测准确率为61.9%。而SiamJEPA在训练100轮次时就已经达到63.4%，超过了MAE训练400轮次的成绩，所用训练时间不到四分之一。SiamJEPA训练200轮次后达到67.8%，300轮次时达到69.6%，400轮次时达到70.2%。

MAE的官方论文报告版本（训练1600轮次）能达到68.0%，SiamJEPA在200轮次时就已经持平。另一个基于MAE改进的方法CAE（Context Autoencoder，上下文自动编码器），训练1600轮次后达到70.4%，SiamJEPA在400轮次时达到70.2%，已经非常接近——但训练时间只需要四分之一。

与I-JEPA的比较需要特别说明：I-JEPA训练600轮次后达到72.9%，高于SiamJEPA的400轮次的70.2%。但两者的训练设置不同（SiamJEPA基于MAE代码库实现，而非I-JEPA的官方实现），因此无法直接比较。研究者也明确表示，SiamJEPA的目标并不是超越I-JEPA，而是系统研究孪生编码器在JEPA框架中的作用。他们相信通过更充分的超参数调优和更长的训练，SiamJEPA的性能还有相当大的提升空间。

**十、孪生编码器是"正则化器"：研究的核心发现**

把上述所有实验结果综合起来，研究团队得出了一个清晰的结论：在JEPA框架中，孪生学生编码器的主要作用是充当一个正则化器。

"正则化"这个词在机器学习中指的是一类防止模型走捷径、逼迫模型学到更通用特征的手段。孪生编码器通过以下机制实现正则化：当两个编码器被要求从不重叠的区域提取特征、却又必须对图像整体的语义达成一致时，它们无法依赖任何局部捷径——任何只在局部有效的特征提取策略都无法同时满足两个视角的一致性要求。这迫使编码器去学习真正跨越局部视角的全局语义特征，也就是更"高层次"、更有迁移价值的表示。

这个正则化效果在训练早期尤为显著。早期训练时模型还没有形成稳定的表示，孪生结构提供的跨视角一致性约束极大地加速了有意义特征的形成，使模型用更少的训练轮次就能学到高质量的表示。随着训练的推进，主要的学习信号逐渐由Sim-2（遮掩预测任务）主导，孪生结构的边际贡献有所减小，但始终保持正向效果。

研究者还特别指出，这个发现有更广泛的意涵：孪生学生编码器并不只是一个工程技巧，而是一种归纳偏置（inductive bias）。归纳偏置指的是设计者通过架构选择给模型施加的先验假设。孪生结构的归纳偏置是：有用的视觉表示应该对从不同视角、不同局部看到的同一个物体保持一致。这个假设在自然图像中通常是成立的，因此给模型带来了学习上的优势。

研究者认为，这种设计哲学可以自然地迁移到I-JEPA、V-JEPA等其他JEPA变体中，通过在这些模型中引入孪生编码器来改善训练效率和表示质量，而不必从头设计全新的框架。

归根结底，这项研究讲的是一个直觉上很容易理解的道理：用两只眼睛从不同角度看同一件事，然后要求两个视角达成一致——这比用一只眼睛看，往往能逼迫你理解得更深刻。对AI来说同样如此，孪生编码器就是在架构层面实现了这种双眼协同学习的机制，而研究者首次用系统实验证明了这个机制在语义预测框架中真实有效。

随着JEPA类方法逐渐成为视觉自监督学习的主流选择，孪生编码器这个此前被忽视的设计细节，或许会在视频理解、世界模型构建等更广阔的应用场景中发挥越来越重要的作用。冲绳的研究者们种下了这颗种子，接下来的故事，将由整个领域的研究者共同书写。

Q&A

Q1：SiamJEPA和普通JEPA模型的最大区别是什么？

A：SiamJEPA在学生网络中使用了两个共享权重的孪生编码器，而普通JEPA只有一个学生编码器。两个编码器分别接收同一张图像的不同、不重叠的局部区域，同时需要对图像整体语义达成一致，这种设计迫使模型学到更通用的视觉特征，同时大幅加速早期训练过程。

Q2：SiamJEPA比MAE快多少？

A：SiamJEPA训练100个轮次（epoch）时的ImageNet线性探测准确率就已达到63.4%，超过MAE训练400轮次的61.9%，也就是说用不到四分之一的训练时间就超越了MAE的最终表现。训练200轮次时SiamJEPA达到67.8%，而MAE官方版本需要训练1600轮次才能达到68.0%。

Q3：KL正则化参数λKL应该设多大？

A：根据实验结果，λKL设为0.01时综合表现最好，在训练效率和最终准确率上都优于0.0001（约等于关掉孪生约束）和0.03。过小的值无法发挥孪生结构的优势，过大的值会不必要地约束优化过程并拖慢收敛速度。研究者建议将自由比特参数设为0.05，但该参数对结果的影响整体较小。