如果每个传感器都“看起来正常”,系统就一定正常吗?
在这项工作中,我们关注多变量时序中的通道依赖:变量之间如何协同,以及这些依赖关系如何随时间连续演化。
在服务器集群、水处理系统等场景中,异常不仅表现为某条曲线突然越界,也可能藏在多个变量的配合关系里。以直观的水处理场景为例,泵的运行状态、流量和水位通常存在联系;即使单项读数没有明显超出范围,彼此关系出现偏离,也可能提示系统状态发生变化。
针对动态通道依赖建模中的挑战,我们提出 LatentFlow:一个基于潜在连续动力学的多变量时序异常检测框架。我们通过连续结构演化刻画依赖变化,并设计自盲机制,显式分离自依赖与跨通道依赖。
![]()
论文题目:
LatentFlow: Discovering Latent Continuous Dynamics across Channels for Multivariate Time Series Anomaly Detection
论文链接:
https://dl.acm.org/doi/10.1145/3770855.3818034
![]()
图1|主实验结果概览。雷达图展示七个数据集上的检测性能;完整八数据集结果见论文表1。
一、研究动机:粒度困境与自相关偏置 1.1 挑战一:离散依赖建模的粒度困境
现有方法通常在窗口级、点级或片段级估计通道依赖。窗口级建模将一个窗口内的依赖概括为相对稳定的结构,容易忽略局部变化;更细粒度的建模虽然提高了时间分辨率,但缺少连续性约束时,结构估计也更容易受到瞬时噪声干扰。
因此,我们希望在保留细粒度变化的同时,为相邻时刻的结构更新引入连续性约束,使模型兼顾对真实变化的响应能力与对短期扰动的稳定性。
![]()
图2|粒度困境:粗粒度估计遗漏局部变化,细粒度估计可能随噪声振荡。
1.2 挑战二:自相关主导跨通道依赖学习
另一个关键问题是自相关偏置。通道与自身的相关性通常较强,当自相关和跨通道相关共同参与归一化时,对角线信号容易占据主导,从而削弱模型对细微跨通道变化的感知。在重构任务中,这还可能使模型依赖自身输入完成重构,降低异常片段与正常片段的可分性。
我们从依赖建模方式出发比较了四类策略:通道独立策略忽略变量间关系;通道依赖策略引入交互,但可能受到自相关主导;通道软聚类能够缓解部分问题,却可能损失细粒度交互。为此,我们提出 Self-Blind-Dependent 策略,在跨通道依赖图中屏蔽自环,使该分支专注于学习其他通道提供的信息。
![]()
图3|依赖建模策略对比。自盲机制在跨通道图中屏蔽自环,自身时间信息仍由独立路径保留。
二、方法设计:
让时间特征与依赖结构共同演化
我们将 LatentFlow 设计为基于重构的无监督异常检测框架:利用正常观测学习时空规律,并在测试阶段根据重构误差计算异常分数。整体流程如下:
序列分块 → 各通道时间编码 → 递归结构演化 → 跨通道聚合 → 序列重构
![]()
图4|LatentFlow 整体架构。时间特征 h 与依赖结构 A 递归更新,联合生成用于重构的时空表示。
第一步:独立时间编码与隐藏状态更新
我们首先将输入序列切分为多个 patch,并通过门控 TCN 独立提取各通道的时间特征,避免在时间编码阶段过早混合通道信息。随后,我们使用 GRU 融合当前片段表示与历史隐藏状态,更新特征状态 hₖ。
第二步:基于连续动力学的结构演化
我们从 Ornstein-Uhlenbeck(O-U)过程出发,将通道依赖建模为向输入驱动的目标结构逐步演化的动态过程。该目标随当前输入变化,因而能够在引入结构惯性的同时,保留对时变依赖的适应能力。
![]()
连续动力学|Θ 调节向目标依赖的演化速率;漂移项描述结构惯性,扩散项描述随机扰动。
理论模型包含确定性漂移与随机扩散两部分。在实际实现中,我们省略显式扩散噪声,保留确定性漂移更新,以获得稳定的重构结果。离散化后的核心更新可表示为:
结构更新|αₖ 为自适应门控,⊙ 表示逐元素乘法;融合后的依赖矩阵还需施加零对角线约束。
我们使用当前特征与历史结构共同生成可学习门控 α,自适应调节当前候选依赖与历史依赖的权重。较小的 α 保留更多历史信息,较大的 α 则允许结构更快响应当前输入。通过这一设计,相邻片段的依赖估计在递归更新中保持连续。
第三步:自盲约束与稀疏依赖构建
我们由隐藏状态生成通道间相关性分数,屏蔽对角线后,通过 Top-K 筛选与 Softmax 构建稀疏候选图。在融合历史图与候选图后,我们再次施加零对角线约束,确保递归更新过程始终保持自盲特性。
![]()
图5|结构演化单元。右侧生成稀疏候选图,左侧通过门控与历史图融合,两处对角线屏蔽保证跨通道图保持自盲。
屏蔽自环后,通道自身的时间信息仍然保存在隐藏状态 hₖ 中。我们将它与图聚合得到的跨通道信息通过残差相加和 LayerNorm 融合,再交给 MLP 解码器重构原序列。两条路径各有分工:一条保留自身的时间变化,另一条学习其他通道提供的关联信息。
第四步:联合优化与异常评分
训练时,我们同时优化重构损失和图稀疏正则项:前者让模型学习正常序列的时空规律,后者约束依赖结构,减少冗余连接。检测时,我们用每个时刻的重构误差作为异常分数,并通过 SPOT 估计阈值。
![]()
联合目标包含重构损失与稀疏正则,λ 控制正则强度,N 为片段数量。
三、实验分析:检测性能与设计有效性
我们在 PSM、MSL、SWaT、SMD、WADI、Creditcard、UNSW 和 Kitsune 八个真实数据集上评估 LatentFlow,并与 ScatterAD、CATCH、DualTF、D3R、DCdetector、Anomaly Transformer、TFAD 七种方法进行比较。评测指标采用 Affiliation-F1(Aff-F1),综合衡量预测异常事件与真实事件在时间上的对应关系,每组实验重复三次,报告均值与标准差。在八个数据集中,LatentFlow 在其中七个上取得最佳 Aff-F1。
![]()
表1|八个数据集上的主实验结果(均值 ± 标准差)。最佳 Aff-F1 以粗体标出,次优结果加下划线;最后一行为八个数据集的平均 Aff-F1。
3.1 消融实验:自盲机制为何重要?
为了确认性能提升来自哪些设计,我们在 PSM、MSL、SWaT、SMD 和 UNSW 五个数据集上进行了消融实验(论文表2)。完整模型在这组实验中的平均 Aff-F1 为 79.11%,移除任一模块都会带来性能下降。
其中,自盲机制的影响最为明显。去掉这一约束后,平均 Aff-F1 降至 73.70%,下降了 5.41 个百分点;在 UNSW 上,降幅尤为突出,从 77.43 %降至 56.72%。这与我们的研究动机相吻合:如果允许模型过度依赖自身通道,跨通道关系中的异常信号就容易被忽略。
连续更新也发挥了重要作用。当模型直接使用当前候选图、不再融合历史依赖时,平均 Aff-F1 降至 77.09%。这说明,仅提高依赖估计的时间分辨率还不够,相邻片段之间的连续性约束同样有助于检测。
稀疏正则带来的提升相对温和:移除后,平均 Aff-F1 为 78.43%,比完整模型低 0.68 个百分点。它为连续更新和自盲机制提供了补充,通过约束依赖结构,减少弱连接对学习过程的干扰。
3.2 案例分析:自盲机制如何改善异常区分
![]()
图6|MSL 异常案例。上方比较真实序列、重构曲线和异常分数,下方展示不同步骤的依赖热力图;红色阴影表示真实异常区间。
我们进一步在 MSL 数据集上分析重构结果与依赖结构。在图示异常片段中,移除自盲约束后,模型倾向于复现输入中的异常尖峰,使重构误差与异常分数保持较低水平。相比之下,LatentFlow 结合历史状态与其他通道的信息进行重构,在异常位置产生了更清晰的误差峰值。
这个案例解释了为什么自盲约束能够帮助检测:当模型可以直接依赖自身输入时,异常也可能被一并重构出来,难以在误差中显现。限制这条路径后,模型需要借助正常的时空关联完成重构,异常片段便更容易与重构结果产生偏差。下方的依赖热力图展示了两种设置下结构学习的差异。
3.3 参数敏感性与计算效率
参数实验中,我们发现窗口并非越长越好,patch 也需要选择合适的大小:过小容易受噪声干扰,过大则可能掩盖局部异常。步长会改变片段之间的重叠程度,邻居数量过多又可能引入无关关联。因此,时间分辨率和结构稀疏程度需要结合数据特征共同选择。
我们也比较了训练开销。在论文附录表4的实验设置下,LatentFlow 占用 4.96 GB 显存,每次迭代耗时 89.05 ms;CATCH 对应为 5.05 GB 和 101.63 ms,D3R 为 7.36 GB 和 142.25 ms。这意味着,相比这两种方法,LatentFlow 在提升检测性能的同时,也降低了训练开销。
四、总结与展望
通过 LatentFlow,我们尝试让模型更好地回答两个问题:通道之间的关系如何随时间变化,以及这些关系中哪些信息有助于发现异常。连续结构更新让依赖估计能够衔接历史,自盲机制则使跨通道交互摆脱强自相关的主导。实验结果表明,这两项设计能够共同改善多变量时序异常检测。
当前方法仍采用固定的稀疏程度,并基于 O-U 过程的线性动力学假设构建结构更新。未来,我们希望进一步探索动态稀疏控制与更灵活的非线性演化机制,使依赖建模能够适应更加复杂的动态系统。
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
![]()
点击右上角,把文章分享到朋友圈
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.