网易首页 > 网易号 > 正文 申请入驻

DistDF:时序预测需要分布对齐——从MSE到联合Wasserstein

0
分享至

目前,时间序列预测方法通常采用基于极大似然估计的 MSE 作为损失函数,但这类损失在标签序列具有自相关性时有偏

近期,北大林宙辰团队将时间序列预测转化为条件分布对齐问题。并提出一种新的损失函数,通过最小化预测序列与标签序列条件分布之间的 Wasserstein 距离训练预测模型;既能保证无偏训练,又能充分考虑标签序列内的几何结构(自相关性)。

这一工作为以最优传输为代表的分布对齐技术赋能预测问题提供了全新的研究思路和理论框架。

  • 论文标题:DistDF: Time-series Forecasting Needs Joint-distribution Wasserstein Alignment
  • 作者单位: 小红书、北京大学、浙江大学、上海财经大学、松鼠 AI 等
  • 代码链接:https://github.com/Master-PLC/DistDF

1. 问题分析:标签中的自相关性

构建一个有效的预测模型需要解决两个问题:用什么架构怎么训练。过去十年,研究者们在架构创新上投入了大量精力 ——Transformer、线性模型、图神经网络轮番登场。但很少有人质疑:我们使用的损失函数,真的适合时间序列数据吗?

目前主流的时间序列预测方法采用直接预测范式(Direct Forecast, DF):模型接收一段历史观测,通过神经网络提取特征,然后一次性并行预测未来 T 步。相比传统的迭代预测,DF 方法具有并行计算的优势,训练效率更高。

在损失函数的选择上,DF 方法几乎 "不约而同" 地选择了时序均方误差(TMSE)

2. DistDF:基于联合分布对齐的训练方法

DistDF 团队注意到:训练预测模型,本质上是让模型预测分布与真实标签的条件分布尽可能接近。受此启发,DistDF 不再依赖传统的极大似然估计,而是直接最小化预测分布与真实条件分布之间的距离,从而规避了标签自相关带来的似然估计偏差问题。

2.1 从条件分布对齐到联合分布对齐

因此,条件分布对齐问题可以转化为联合分布对齐问题。进一步,论文基于最优传输领域的 Wasserstein 距离,进行了理论推导,证明了联合分布的 Wasserstein 距离是条件分布 Wasserstein 距离期望的上界:

因此,最小化历史 - 预测联合分布与历史 - 标签联合分布的 Wasserstein 距离,可以有效实现条件分布的对齐,从而实现预测模型的无偏训练。此外,联合分布的样本可以直接从全体数据集采集,极大丰富了用于估计分布距离的样本数量,提高了距离估算的可靠性。

2.2 基于 Bures-Wasserstein 距离的损失函数

然而,直接计算前述的 Wasserstein 距离需要求解大规模的最优传输问题,在大批量训练时会带来较大的计算负担。幸运的是,在高斯分布假设下,联合分布间的 Wasserstein 距离可以被解析地表示为均值与协方差之间的距离之和:

DistDF 的具体实现步骤如下:

DistDF 是一种模型无关的损失函数,可以支持各类预测模型。

3. 实验结果

DistDF 可以显著提升预测性能。以 ECL 为例,DistDF 将 iTransformer 的 MSE 降低了 2.7%。这些改进归因于 DistDF 能够通过对齐条件分布来处理标签中的自相关性,从而提升预测性能。

DistDF 相比现有损失函数也取得了较大的性能提升。FreDF 和 Time-o1 虽然减少了似然估计的偏差并提升了性能,但残差偏差仍然存在,因此性能仍有改进空间;DistDF 通过最小化条件分布之间的距离,实现了无偏对齐,因此取得了最佳性能。

论文还进行了消融实验,研究均值对齐和协方差对齐对损失函数性能的贡献。结果表明:仅均值对齐或仅协方差对齐相比 DF 都有改进,而结合两者取得了最佳结果,展示了两者的协同效应。

通过可视化预测序列发现,DistDF 生成的预测序列与真实标签序列之间的拟合度更高,同时抑制明显的噪声和异常波动;对困难样本的外推能力更好。

论文还测试了 DistDF 在不同神经网络架构上的表现,包括 TimeBridge、FredFormer、iTransformer 和 FreTS 等,证明了其与模型无关的特性:可以切实有效提升大多数主流预测模型的精度。

4. 结论

本文深入剖析了基于极大似然估计的预测模型训练方法有偏的问题。针对这一痛点,作者提出了 DistDF 训练框架,直接通过对齐条件分布训练预测模型。考虑到有限样本下条件分布之间的距离难以直接估计,论文提出转向联合分布对齐,并理论证明该方法足以保证条件分布对齐。大量实验证明,DistDF 在不同数据集和模型中均带来显著提升。

本研究不仅强调了损失函数设计在时间序列预测中的重要性,还揭示了分布对齐技术在设计时间序列损失函数中的重要潜力。为迁移学习领域自适应生成模型等领域的分布对齐技术在时序任务中的落地应用提供了理论基础和实践思路。

5. 作者介绍

本文通讯作者李昊轩现任北京大学助理研究员,清华大学逻辑学研究中心、牛津大学研究员(Research Fellow)。研究兴趣是因果推断和大模型逻辑推理,以第一作者和通讯作者发表 CCF-A 类论文 50 余篇,谷歌学者引用超 1000 次,国家发明专利授权 17 项,研究成果被麻省理工科技评论、人民日报、中国人工智能学会等报道。

本文通讯作者林宙辰博士现任北京大学智能学院、通用人工智能全国重点实验室教授。他的研究领域包括机器学习和数值优化。他已发表论文 360 余篇,谷歌学术引用超过 42,000 次。他是 IAPR、IEEE、AAIA、CCF 和 CSIG 会士,多次担任 CVPR、NeurIPS、ICML 等会议的 Senior Area Chair,现任 ICML Board Member。本工作得到了北京市科学技术委员会、中关村科技园区管理委员会的大力支持,在此深表感谢。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红四方面军原总政委陈昌浩,1955年授衔时未获任何军衔,1967年吞药自尽;他的三个儿子,一个搞核潜艇,一个造汽车

红四方面军原总政委陈昌浩,1955年授衔时未获任何军衔,1967年吞药自尽;他的三个儿子,一个搞核潜艇,一个造汽车

人生录
2026-10-24 00:05:16
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
这两公婆是要打擂台啊

这两公婆是要打擂台啊

上官晚安
2026-11-19 21:55:14
中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

中俄通婚在不断增加,若不了解俄罗斯女性生理缺陷,婚后可能会很痛苦。

回京历史梦
2026-09-30 18:24:01
七名民主党进步派新人议员抱团倒戈,反对杰弗里斯议长提名,却算盘落空,反而暴露进步派力量虚弱

七名民主党进步派新人议员抱团倒戈,反对杰弗里斯议长提名,却算盘落空,反而暴露进步派力量虚弱

14号观星辰
2026-11-19 17:54:57
中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

中国这次真的要变天了!因为60后退休潮最大的影响,不是岗位空缺,也不是养老金吃紧,是彻底改写了经济模式和生活方式

扶苏聊历史
2026-10-30 14:34:51
《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

《后会友期》:不会点评就别来了,把机会留给伊能静、张泉灵会点评的人

八卦南风
2026-11-19 17:15:52
小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

小心!欧洲被打服了,中东也不闹了,美国的目标只剩下东亚

西府赵王爷
2025-03-22 15:47:18
APEC不能破例!外宾安保想搞特殊?中国可一票否决,美国也要服从

APEC不能破例!外宾安保想搞特殊?中国可一票否决,美国也要服从

铁锤侃侃而谈
2026-11-18 14:42:04
飞机上大妈霸占座位,空姐劝阻遭辱骂,机长一句话让她面红耳赤

飞机上大妈霸占座位,空姐劝阻遭辱骂,机长一句话让她面红耳赤

今天说故事
2025-08-07 16:14:09
《多喜一家人》结局:四个母亲五个孩子,赛多喜没等到团圆就走了

《多喜一家人》结局:四个母亲五个孩子,赛多喜没等到团圆就走了

天玑影视说
2026-11-18 12:32:07
“一堆人去吃预制菜,也配叫研学吗?”一张700人研学的合照,气到了家长 ,怒道

“一堆人去吃预制菜,也配叫研学吗?”一张700人研学的合照,气到了家长 ,怒道

蝴蝶花雨话教育
2026-11-19 01:25:04
乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

乌克兰:悔到肠子青,当年卖给中国3架"废铁",如今成大国重器?

唠叨说历史
2026-11-18 15:06:45
中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

中国造不出高端发动机?日企拆开红旗车,发现中国已走在时代前面

云居历史
2026-11-17 03:24:00
离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室盗贼

离谱!美国达拉斯一女警回家走错楼层,把四楼当自家三楼,推门看见26岁黑人男子简正吃冰淇淋,竟直接开枪射杀,辩称以为遇入室盗贼

扶苏聊历史
2026-10-05 16:42:03
内讧炸锅!巴萨彻底撕破脸!弗里克直接硬刚

内讧炸锅!巴萨彻底撕破脸!弗里克直接硬刚

澜归序
2026-11-19 09:31:59
中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

中国让李在明如愿,他从深圳带走的东西,足够给韩国人一个交代了

影孖看世界
2026-11-19 17:52:49
大瓜!曝30岁郭麒麟与25岁知名女星已经结婚,女方凌晨回四个字

大瓜!曝30岁郭麒麟与25岁知名女星已经结婚,女方凌晨回四个字

別甾虛僞
2026-11-19 11:05:48
浙江男子152万的保时捷,花7万多加装辅助驾驶系统却一直报错,女儿叫它“傻子车”,车主:我们是第一批小白鼠

浙江男子152万的保时捷,花7万多加装辅助驾驶系统却一直报错,女儿叫它“傻子车”,车主:我们是第一批小白鼠

台州交通广播
2026-11-19 02:34:26
泰山教练组调整!唐田出任中方教练兼领队,卢基奇金镇圭成绯闻外援,功勋张弛追随李霄鹏执掌清华附中足球队

泰山教练组调整!唐田出任中方教练兼领队,卢基奇金镇圭成绯闻外援,功勋张弛追随李霄鹏执掌清华附中足球队

老周观体育
2026-11-19 00:18:48
2026-11-19 23:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

提前三个月加薪!英伟达全员会稳军心

头条要闻

马斯克公开表示:黄仁勋像球队巅峰期的乔丹 没人可替代

头条要闻

马斯克公开表示:黄仁勋像球队巅峰期的乔丹 没人可替代

体育要闻

文班亚马也防不住这"巨兽" 无奈吐槽:悲哀

娱乐要闻

后会友期 文吉儿公然怼谈话老师陈晓楠

财经要闻

Anthropic的算力赌局

汽车要闻

方程豹钛9限时27.39万起 方向盘可折叠 方盒子也能当家用旗舰

态度原创

数码
亲子
教育
时尚
军事航空

数码要闻

消息称OLED iMac可能被砍,苹果正重新评估Mac的OLED计划

亲子要闻

人工耳蜗怎样让失聪的孩子第一次听见妈妈

教育要闻

解读世界上最神奇的 24 堂课 23-8

“针织衫”怎么才能穿出时髦感?照这么穿,配裤子裙子都好看

军事要闻

“华盛顿”号航空母舰离开中东地区

无障碍浏览 进入关怀版