无识别的识别：基于事件匿名化的隐私保护行人再识别技术解析

在无处不在的监控摄像头时代，我们的隐私正面临前所未有的挑战。事件相机曾被认为是保护隐私的理想选择，因为它们只捕捉场景的动态变化而非完整视觉细节。然而，随着深度学习技术的发展，研究人员发现从事件流中重建高质量图像已成为可能，这使事件相机的隐私保护优势荡然无存。本文介绍了一项突破性技术——事件匿名化网络，它能在保持行人再识别功能的同时，有效阻止图像重建攻击。这种技术通过扰乱事件流，使重建的图像无法泄露身份信息，同时保留足够的特征用于再识别任务。这一平衡技术开创了隐私保护与监控功能并行的新时代。

隐私与监控的双刃剑

我们生活在一个充满监控摄像头的世界。从家庭安防到城市街道，从医院到银行，从商场到机场，这些永不眨眼的电子哨兵无时无刻不在记录着周围的一切。这种广泛部署的视觉监控系统带来了安全保障，但同时也引发了三个严峻问题：

安全需求与个人隐私之间的伦理平衡问题日益突出。人们希望通过监控系统增强安全感，但又不愿意自己的一举一动都被详细记录。在欧洲，《通用数据保护条例》（GDPR）的实施就是对这一矛盾的回应，它要求对个人数据（包括视觉数据）的采集和处理必须获得明确许可。

监控系统存在未授权访问的风险。2019年，研究人员发现超过10万个监控摄像头可以通过互联网直接访问，没有任何有效的密码保护。这意味着任何人都可能窥视他人的生活空间，这种风险令人担忧。

大规模传感器网络需要消耗大量资源。以英国伦敦为例，据估计该市拥有约50万个监控摄像头。这些设备每天产生的数据量高达数十太字节，需要庞大的存储空间、传输带宽和计算资源来处理。

神经形态视觉传感器（也称为事件相机）作为一种革命性技术应运而生。与传统RGB相机不同，事件相机不会捕捉完整的场景画面，而只记录像素亮度变化超过特定阈值时产生的＂事件＂。这些事件以（x， y， t， p）的形式表示，其中x和y是像素坐标，t是时间戳，p是极性（亮度增加或减少）。

事件相机最初被认为是天然的隐私保护设备。以行人为例，传统相机会记录一个人的完整外观，包括面部特征、穿着细节等可识别信息。而事件相机只会记录轮廓边缘和运动信息，看起来就像是一些分散的点，很难从中识别出个人身份信息。

事件相机的另一优势是资源消耗极低。由于只在发生变化时才产生数据，事件相机的数据量比传统相机少10-100倍。在一个静止的场景中，事件相机几乎不产生任何数据。此外，事件相机的动态范围可达120分贝，远高于普通相机的60-70分贝，这意味着它们在极端光照条件下（如强光或低光）仍能正常工作。

这些特性使事件相机看似成为监控系统的理想选择：它们既能执行必要的视觉任务，如人员检测、跟踪、行为分析和再识别，又能保护隐私并节省资源。

然而，近年来的研究显示，事件流中包含的信息远比想象的丰富。多个研究团队开发出了事件到图像的转换算法，能够从事件数据中重建高质量的灰度图像。这些方法包括基于字典的方法、变分模型和深度学习方法。

2019年，瑞士苏黎世联邦理工学院的Rebecq等人提出的E2VID网络，能够从事件流中重建出细节丰富的灰度图像。这些重建的图像清晰度足以识别人脸、阅读文本，甚至分辨衣物纹理。这意味着事件相机不再能被视为天然的隐私保护设备，因为任何拥有这些算法的攻击者都可能从事件数据中恢复出可识别的视觉信息。

2021年，中国科学院的Du等人认识到这一问题，提出了一种基于混沌加密的事件流保护框架。该方法使用混沌映射打乱事件的空间位置并翻转极性，使得加密后的事件流无法被用于重建有意义的图像。尽管这种方法有效阻止了隐私攻击，但它也阻碍了下游视觉任务的执行。加密后的事件流必须先解密才能用于人员检测或再识别等任务，这在实际应用中是不便的，也可能引入新的安全风险。

匿名保护新思路

针对上述问题，一种全新的解决方案应运而生——事件流匿名化网络。这种方法不同于传统的加密方式，它采用深度学习的方法来＂扰乱＂事件流，使其既能防止隐私泄露，又能保留足够的信息用于执行下游任务，如行人再识别。

事件流匿名化网络是一个端到端的框架，包含三个主要模块：事件匿名化模块、图像重建模块（作为隐私攻击者）和行人再识别模块。整个系统通过联合优化方式训练，以达到隐私保护和任务执行的双重目标。

事件匿名化模块的核心是一个卷积自编码器网络，它接收原始事件体素（voxel-grid）作为输入，输出匿名化后的事件体素。体素网格是一种三维空间-时间直方图，它将连续的事件流离散化为固定的时间窗口和空间分辨率，便于神经网络处理。使用自编码器结构的原因是，在最坏情况下，该模块应能复制原始事件流，以保证下游任务的执行。

该自编码器由4个卷积层组成，每层使用33的滤波器和步长为1的操作。网络被训练来改变事件流的特性，使得从中重建图像变得困难，同时保留行人再识别所需的空间和时间信息。

图像重建模块采用预训练的E2VID网络，它是一种循环神经网络，能够从事件流重建高质量灰度图像。在训练过程中，该模块充当＂隐私攻击者＂的角色，试图从匿名化的事件流中恢复图像。匿名化模块则被训练来抵抗这种攻击，使重建的图像质量大幅下降。值得注意的是，图像重建模块的权重在训练过程中保持固定，不参与更新。

行人再识别模块基于预训练的ResNet-50架构，经过修改以接受匿名化事件体素作为输入。该模块输出256维的特征向量，用于行人再识别任务。它使用分类损失（交叉熵）和三元组损失进行训练，与匿名化模块一起端到端优化。

整个系统的训练采用联合优化方式，同时考虑三个目标：

第一个目标是使图像重建质量下降。系统使用结构相似性指数（SSIM）来评估重建图像与真实图像的相似度，目标是最小化这种相似度，使重建图像尽可能与原始图像不同。

第二个目标是保持事件流的结构信息。尽管需要扰乱事件流以防止图像重建，但也需要保留足够的结构信息以执行行人再识别。系统使用SSIM来衡量匿名化前后事件体素的结构相似性，目标是最大化这种相似性。

第三个目标是优化行人再识别性能。系统使用标准的身份损失函数（交叉熵和三元组损失）来训练再识别模块，目标是使相同身份的不同样本在特征空间中靠近，不同身份的样本远离。

这三个目标看似矛盾：一方面需要扰乱事件流以防止图像重建，另一方面又需要保留足够的信息用于行人再识别。事件流匿名化网络通过精心设计的损失函数和训练策略，成功地在这两个目标之间找到了平衡点。

在实际应用中，匿名化后的事件流可以直接用于行人再识别，无需任何解密步骤。即使攻击者获取了匿名化的事件流，也无法从中重建出可识别的图像。这一特性使得事件流匿名化网络成为隐私保护监控系统的理想选择。

具体实现上，该系统采用体素网格表示事件数据，时间跨度设为约40毫秒（合成数据）或33.3毫秒（真实数据），以与对应的RGB帧同步。体素网格的时间箱数设为5，训练时将事件体素调整为5392192的大小。系统使用批量大小为24，基础学习率为0.001，训练60个周期。动量参数设为0.9，权重衰减设为510^-4。在损失函数中，三个组成部分的权重都设为1，即保持结构信息、降低图像重建质量和优化再识别性能同等重要。

数据筑基石

要评估一个新技术的效果，离不开真实数据的支撑。事件相机在行人再识别领域的应用研究长期以来受到一个关键限制：缺乏一个专为此目的而设计的真实事件相机数据集。以往的研究主要依赖从RGB视频模拟生成的事件数据，这种方法虽然可行，但无法完全捕捉真实事件相机的特性和噪声特征。

为了填补这一空白，研究团队创建了世界上第一个专为行人再识别设计的真实事件相机数据集——Event-ReId。这个数据集的收集过程相当繁琐，需要精心设计实验场景和采集流程。研究团队招募了33名志愿者，让他们在4台事件相机的非重叠视野中行走。这些相机采用不同的位置和倾斜角度，模拟真实监控环境中的多视角采集。

每台事件相机都与一台RGB相机固定在同一位置，形成立体配置，两者捕捉大致相同的场景，并通过网络时钟实现同步。RGB相机以30帧每秒的速率，640480像素的分辨率记录画面，总共采集了约16，000张图像，平均每人每台相机约120帧。事件相机的分辨率与RGB相机相同，每段事件流的记录时间约为4秒，与RGB视频的长度一致。

数据集的多样性也是其价值所在。33名受试者中，有9人佩戴口罩，每个人都出现在全部四台相机对的视野中。数据集还包含了照明变化、姿态变化和视角变化等多种情况，使其更接近实际应用场景。研究团队还手动标注了人体和面部边界框，并确保事件流和RGB流中的边界框保持同步。

与其他事件相机数据集相比，Event-ReId在规模上具有明显优势。现有的事件相机数据集主要关注活动识别（如n-HAR和DailyAction-DVS）或人体姿态估计（如DHP19），受试者数量通常在15-30人之间。而Event-ReId包含33名受试者，专为行人再识别设计的特点使其成为该领域研究的宝贵资源。

这个数据集的创建解决了事件相机行人再识别研究的一个根本问题：真实数据的缺乏。它为研究人员提供了一个标准测试平台，使不同方法的比较和评估成为可能。该数据集已经公开发布，任何研究人员都可以通过Zenodo平台获取，其DOI为10.5281/zenodo.8256439。

除了Event-ReId，研究人员还使用了从SoftBio数据集模拟生成的事件数据。SoftBio是一个基于视频的行人再识别数据集，包含152个身份，总计64，472帧，由8台监控相机在不受控环境中采集。研究团队使用开源事件模拟器从SoftBio视频生成了相应的事件数据，用于训练和测试他们的匿名化方法。

数据的处理也是一个技术难点。事件相机输出的是异步事件流，需要转换为网格形式才能输入到神经网络中。研究团队采用了体素网格表示法，这是一种时空三维直方图，通过离散化时间域来生成，每个体素代表特定像素和时间间隔。在实际实验中，他们为合成事件数据设置了约40毫秒的时间跨度，为真实事件数据设置了约33.3毫秒的时间跨度，以与相应的RGB帧保持同步。体素网格的时间维度设为5，这与E2VID图像重建方法的设置一致。

数据集的划分也经过精心设计。对于SoftBio，研究团队随机将152个身份分为两部分，76个用于训练，76个用于测试。对于Event-ReId，则从33个身份中随机选择22个用于训练，11个用于测试。这种划分确保了测试数据中的身份在训练过程中从未被模型见过，从而公平评估模型的泛化能力。

攻防实战

任何一项新技术的价值都需要通过严格测试来验证。研究团队设计了一系列实验来评估他们提出的事件流匿名化方法在防御隐私攻击的同时保持行人再识别性能的能力。

实验分为两大类：重建攻击和逆转攻击。在重建攻击中，假设攻击者可以访问匿名化的事件流，并尝试使用事件到图像的转换技术（如E2VID）重建原始图像，从而揭示隐私信息。在逆转攻击中，假设攻击者不仅可以访问匿名化的事件流，还可以收集大量匿名化前后的事件数据配对，并尝试训练一个网络来逆转匿名化的效果。

评估匿名化效果的指标包括结构相似性指数（SSIM）和峰值信噪比（PSNR）。这两个指标越低，表示重建图像质量越差，匿名化效果越好。实验结果显示，对于Event-ReId数据集，使用原始事件流重建的图像SSIM为0.548，PSNR为11.617，而使用匿名化事件流重建的图像SSIM仅为0.384，PSNR仅为8.943，表明匿名化有效降低了图像重建质量。类似地，对于SoftBio数据集，匿名化将SSIM从0.530降至0.368，将PSNR从11.284降至8.071。

图像检索实验更直接地测试了匿名化的有效性。研究团队假设攻击者持有一张查询图像（可能是RGB图像或从非匿名化事件流重建的灰度图像），并尝试在包含匿名化图像的库中找到对应的目标。他们使用最先进的行人再识别模型BOT来评估检索性能。结果显示，对于Event-ReId数据集，在匿名化图像库上的检索性能接近随机猜测，Rank1准确率仅为8.9%，远低于在非匿名化图像库上的67.8%。

面部识别实验进一步证实了匿名化的有效性。研究团队使用预训练的ArcFace模型来测量匿名化系统对面部识别攻击的抵抗力。结果显示，使用匿名化事件流重建的面部图像上，ArcFace模型的ROC曲线下面积（AUC）仅为0.53，接近随机猜测的水平（0.5）。这表明即使有先进的面部识别技术，攻击者也无法从匿名化事件流中提取有效的面部特征。

在保证隐私的同时，匿名化方法对行人再识别性能的影响也是关键考量。实验结果令人鼓舞：对于Event-ReId数据集，从非隐私保护到隐私保护，Rank1准确率仅下降了3.5%（从63.7%降至59.2%），平均精度仅下降了3.6%。对于SoftBio数据集，Rank1下降了3.8%，平均精度下降了2.1%。这表明匿名化方法在保护隐私的同时，对行人再识别性能的影响较小。

研究团队还将他们的方法与现有的事件加密方法进行了比较。他们实现了Du等人提出的基于混沌加密的事件保护框架，包括部分（75%）丢弃和部分（75%）混乱两种变体。结果显示，在Event-ReId数据集上，他们提出的匿名化方法在图像质量降低和行人再识别性能保持方面都优于这两种加密方法。具体来说，丢弃加密的SSIM为0.486，Rank1为38.2%；混乱加密的SSIM为0.451，Rank1为29.4%；而他们的方法SSIM为0.384，Rank1为59.2%。

此外，研究团队还与基线事件驱动的ReId方法（Ed-ReId）进行了比较。结果显示，即使在应用了匿名化之后，他们的方法在Event-ReId数据集上的性能仍优于Ed-ReId。具体而言，Ed-ReId的Rank1为57.9%，而他们的匿名化方法达到了59.2%。

损失函数的消融实验揭示了不同组件的重要性。在没有隐私保护（α=β=0）的情况下，Rank1准确率为63.7%；在有隐私保护但没有结构保留损失（α=0，β=1）的情况下，Rank1准确率显著下降至54.5%；而当包含结构保留损失（α=β=1）时，Rank1准确率回升至59.2%。这表明结构保留损失对于在保护隐私的同时维持行人再识别性能至关重要。

对逆转攻击的实验结果也很有说服力。研究团队训练了一个自编码器网络，尝试逆转匿名化的效果，并在重建的图像上评估了图像检索性能。结果显示，逆转攻击后的图像检索Rank1准确率仅为9.1%，与直接使用匿名化事件流的8.9%基本相当，表明匿名化网络对逆转攻击具有很强的抵抗力。

视觉结果更直观地展示了匿名化的效果。从Event-ReId和SoftBio数据集中选取的示例显示，从匿名化事件流重建的图像明显降级，与原始RGB图像和从非匿名化事件流重建的灰度图像相比，几乎无法识别。特别是面部重建结果显示，从匿名化事件流中无法重建可识别的面部特征，而从非匿名化事件流中仍能重建相对清晰的面部。

这一系列实验充分证明了提出的事件流匿名化方法在防御重建攻击和逆转攻击方面的有效性，同时在行人再识别性能方面的损失可以接受。这种方法的主要局限性在于下游任务性能的轻微下降和匿名化网络引入的计算开销。

实际应用中，这种方法可以集成到需要隐私保护的行人再识别系统中。由于该方法旨在执行再识别任务而不泄露人类身份信息，未来可能扩展到其他基于事件的计算机视觉任务，实现更广泛的隐私保护。

参考资料

1. Ahmad， S.， Morerio， P.， &； Del Bue， A. （2023）. Person Re-Identification without Identification via Event Anonymization. ICCV 2023.

2. Du， C.， et al. （2021）. Event camera privacy framework based on chaotic encryption. IEEE.

3. Rebecq， H.， et al. （2019）. High Speed and High Dynamic Range Video with an Event Camera. E2VID.