网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | BiMotion:用 B 样条曲线重新定义 3D 角色运动生成

0
分享至





图 1:同一文本描述下,AnimateAnyMesh(上)与 BiMotion(下)的生成结果对比。离散帧采样导致动作语义中途断裂,而连续 B 样条曲线则将完整动作保留至序列末尾。



  • 论文标题:BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation
  • 论文:https://arxiv.org/abs/2602.18873
  • 项目主页:https://wangmiaowei.github.io/BiMotion.github.io/
  • 代码:https://github.com/wangmiaowei/BiMotion
  • 数据集(Hugging Face):https://huggingface.co/datasets/miaoweiwang/BiMotion
  • 第一作者主页:https://wangmiaowei.github.io/

当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。

来自爱丁堡大学、康奈尔大学和密歇根大学的研究团队提出了 BiMotion:一种基于 B 样条曲线的文本驱动 3D 角色运动生成框架,即将在 CVPR 2026 正式发表,三位审稿人均给出 5/6 的高分评价。其核心主张只有一句话:运动是连续的,就应该用连续的方式来表达。

离散帧的困境:

为什么现有方法总在 "丢情节"

目前主流 3D 运动生成方法大多采用 VAE–潜在扩散模型架构,该架构具有固定的输入窗口,每次只能处理固定帧数的运动序列。面对长度各异的真实运动数据,现有方法只有两条路:

  • 裁剪(Cropping):将长序列切割为短片段,模型仅能学到局部子动作,而非完整语义。如文本描述 "转圈后停步",模型最终只能生成 "向右转"。
  • 均匀降采样(Downsampling):将 200 帧压缩至 16 帧再复原,导致动作卡顿抖动,如同一份低帧率的 GIF。

问题的本质在于:帧数仅代表时间采样密度,与动作语义本身无关。一只龙扇翅膀的动作,用 24 帧记录还是 120 帧记录,语义始终是 "扇翅膀"。逐帧离散表示,是这一领域长期忽视的根本性瓶颈。

B 样条:用少数控制点,刻画完整轨迹

BiMotion 的核心思路是将每个顶点随时间的运动轨迹,用一条连续可微的 B 样条曲线来表达。B 样条是计算机图形学中的经典参数曲线,仅用少量 "控制点" 便可描述一条光滑连续的轨迹;修改其中一个控制点只影响局部区域,不会破坏整体形状。

具体实现上,BiMotion 将任意长度 T 的顶点位移序列,通过带 Laplacian 正则化的最小二乘拟合,压缩为固定数量(默认 16 个)控制点。该压缩具有闭合解,在普通消费级 CPU 上,对 5 万顶点、200 帧的网格,不到一秒即可完成。Laplacian 正则专门处理序列极短时的欠定义问题,相比 Ridge 正则,其生成的插值更自然、过渡更流畅,消融实验对此给出了明确验证。

模型架构:从控制点到可生成的运动潜空间



图 2:BiMotion 整体架构。训练时(红色箭头)顶点差异转化为 B 样条控制点后编码为运动潜码;推理时(黑色箭头)从噪声采样得到控制点,经 B 样条重投影还原为任意长度的动画序列。

BiMotion 整体采用 VAE 加 Rectified Flow Matching 的两阶段架构。

B 样条 VAE

编码器将初始网格形状与控制点一并压缩为紧凑的运动潜码,其中包含两项关键设计:

  • 法线融合(Normal Fusion):将顶点法线信息以余弦相似度加权的方式融入点特征,有效解决网格上空间相近但内在结构属于不同部位(如手指关节)难以区分的问题,且无需依赖网格特定的拓扑结构,对任意拓扑均表现稳健。
  • 多层级控制点嵌入(Multi-level Control Point Embedding):受小波包分解启发,将控制点逐层分解为从粗到细的多级残差并分别编码。相比标准频率位置编码,这种方式能同时捕捉运动的全局节奏与局部细节(如狮子尾巴的微小摆动),重建误差大幅降低。



图 3:B 样条 VAE 架构。编码器(橙色区域)将初始形状与控制点压缩为潜码;解码器(绿色区域)重建控制点后通过 B 样条重投影得到顶点差异序列。

损失函数设计

VAE 训练采用三项联合损失:拟合损失(直接对齐控制点)、对应损失(通过 B 样条重投影对齐原始轨迹,早期训练收敛更快)、局部刚性损失(约束相邻顶点间距在各帧保持一致,防止形变时产生表面 "融化" 的视觉伪影)。三项损失各司其职、互为补充,共同保证运动的精度、连续性与形状一致性。

运动生成(Flow Matching DiT)

生成阶段基于 Rectified Flow 与 Diffusion Transformer(DiT),以初始网格的潜码和 CLIP 文本嵌入为条件,从高斯噪声中逐步去噪并采样出运动潜码,再经 VAE 解码器还原为完整动画序列。由于 B 样条重投影对帧数完全自由,推理时可按需输出任意长度的动画,如慢动作或子弹时间镜头。单张 A100 上平均推理时间仅为 4.4 秒。

BIMO 数据集:约 3.9 万条带文本标注的动态网格序列

为训练 BiMotion,团队整理并将开放 BIMO 数据集,包含约 39,000 条动态网格运动序列、总计逾 368 万帧,涵盖动物、机器人、人体、道具等多种类别。每条序列配有 3 条高质量文本描述,全部展开为 16 个 B 样条控制点存储,便于直接使用。

DeformingThings4D 部分来自 OmniMotionGPT 的人工标注;Objaverse 部分则通过基于 GPT-5 的自动标注流水线生成,配备生成器与质检器两个环节,确保描述的准确性和风格一致性。

实验结果:全面领先,效率显著提升



图 4:定性对比。左列:机器人与鹿的动作对比;右列:老虎与行走机器人的动作对比。红圈标注基线方法产生的形变伪影,BiMotion 均表现清晰自然。

团队在 20 个静态网格上与三类代表性方法展开全面对比:前馈生成方法 AnimateAnyMesh、动态高斯生成方法 GVFDiffusion,以及基于视频优化重建的 V2M4。网格来源涵盖 Meshy 生成资产与现有 3D 内容库,属于所有基线中最为严格的评测设置之一。

在 VBench 自动评估的 5 项指标中,BiMotion 在整体一致性、时序稳定性、美学质量和动作丰富度四项均居最优。其主体一致性略低于 AnimateAnyMesh,但消融实验已揭示该差距为虚高:后者生成的动作幅度极小、近乎静止,相邻帧高度相似,致使该指标人为偏高。

20 位参与者的用户研究中,BiMotion 在 "文本与动作匹配度"、"动作合理性"、"动作表现力" 三个维度的平均得分均超过 4.0/5.0,远高于所有对比方法。效率方面,网格顶点规模从 9K 增至 24K 时,BiMotion 生成时间仅从 3.7 秒微增至 4.6 秒,峰值显存从 1.1 GB 小幅升至 1.3 GB;而 AnimateAnyMesh 在同等条件下时间与显存均翻倍以上,充分体现 BiMotion 面向大规模网格的更强可扩展性。

局限性与未来展望

BiMotion 目前固定使用 16 个控制点,对高频、极复杂运动细节的表达能力仍有提升空间;同时基于固定网格拓扑的假设,暂不支持拓扑变化(如角色分裂、融合)的动画生成。当前 BIMO 数据集规模(约 3.9 万条)相较于视频或图像领域仍偏小,引入更大规模数据有望进一步提升质量与泛化能力。代码与 BIMO 数据集现已全部开源,欢迎社区共同建设。

作者简介:

Miaowei Wang, 目前是爱丁堡大学信息学院的博士研究生(2023年10月入学),研究方向为计算机视觉与计算机图形学中的可控运动表征(controllable motion representation)。他的博士研究由Amir Vaxman教授和Oisin Mac Aodha教授共同指导。 在此之前,他曾就读于密歇根大学电气工程与计算机科学系,在Jason Corso教授的指导下完成研究生学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
伯恩茅斯成英超黑店,为3名球员标价3亿英镑,阿森纳冬窗有意身价1亿英镑20岁前锋

伯恩茅斯成英超黑店,为3名球员标价3亿英镑,阿森纳冬窗有意身价1亿英镑20岁前锋

福酱的小时光
2026-09-18 09:39:13
上海代表团抵台,台当局急了,公开与菲密谋计划,大陆早一锤定音

上海代表团抵台,台当局急了,公开与菲密谋计划,大陆早一锤定音

徐徐道史
2026-09-18 12:06:42
要知道什么样的女人绝对不能碰?不是看长相,而是看这几样特质

要知道什么样的女人绝对不能碰?不是看长相,而是看这几样特质

匹夫来搞笑
2026-09-18 00:11:08
敬一丹悼念会仅一天,荒唐一幕接连上演,洋女婿缺席仅是开胃菜

敬一丹悼念会仅一天,荒唐一幕接连上演,洋女婿缺席仅是开胃菜

不似少年游
2026-09-18 16:35:45
拿遍所有金牌只缺奥运冠军,28岁世界纪录保持者把目标锁死LA28

拿遍所有金牌只缺奥运冠军,28岁世界纪录保持者把目标锁死LA28

晚风知我意21
2026-09-17 15:14:49
中方向全球表明红线:只要日方触碰红线,我方可直接对日本动武?

中方向全球表明红线:只要日方触碰红线,我方可直接对日本动武?

蜉蝣说
2026-09-16 11:58:02
314公里一击命中!巴基斯坦间谍机折损空中,俄制S-400一战封神

314公里一击命中!巴基斯坦间谍机折损空中,俄制S-400一战封神

天天都是好日子
2026-09-17 16:57:30
财经聚焦|平陆运河何以改变西南出海的“经济账本”

财经聚焦|平陆运河何以改变西南出海的“经济账本”

新华社
2026-09-16 21:29:37
著名演员突发心梗!年仅49岁,每天健身打篮球,没去日本救了条命

著名演员突发心梗!年仅49岁,每天健身打篮球,没去日本救了条命

古事寻踪记
2026-09-16 14:21:40
中美外长级通话后,美国正式回应来了,提及台湾问题,不简单

中美外长级通话后,美国正式回应来了,提及台湾问题,不简单

DS北风
2026-09-18 11:06:03
4000万请来的欧洲名帅,三个月却带出史上最差,中国篮球水太深

4000万请来的欧洲名帅,三个月却带出史上最差,中国篮球水太深

寒士之言本尊
2026-09-18 18:18:39
阿德耶米7场3球3助攻,多特已后悔2200万欧放人?

阿德耶米7场3球3助攻,多特已后悔2200万欧放人?

足球推文C
2026-09-18 14:50:22
湖南一位炒股奇才,从2012年50万入市一直炒股至今赚得亿万身家!

湖南一位炒股奇才,从2012年50万入市一直炒股至今赚得亿万身家!

一方聊市
2026-09-11 20:00:03
重磅!勇士官宣最大引援!冠军教头沃格尔加盟,教练组直接拉满

重磅!勇士官宣最大引援!冠军教头沃格尔加盟,教练组直接拉满

独坐山巅前
2026-09-18 16:37:17
逆天!3少年轮奸女学生并笑着拍下了全程,结果法官:不用坐牢,他们还小

逆天!3少年轮奸女学生并笑着拍下了全程,结果法官:不用坐牢,他们还小

北美省钱快报
2026-06-02 04:45:28
2027年将会是中华人民共和国全党、全军、全国各族人民重要的一年

2027年将会是中华人民共和国全党、全军、全国各族人民重要的一年

铁锤侃侃而谈
2026-09-12 00:54:59
河南男子在县城买下127平房子,4年后回来结婚,打开房门他愣住了

河南男子在县城买下127平房子,4年后回来结婚,打开房门他愣住了

民间精选故事汇
2025-02-01 11:20:02
全球都在通胀,只有我们通缩?

全球都在通胀,只有我们通缩?

谭谈财经
2026-09-13 18:18:20
不抽烟、不喝酒,一个习惯害了他 陈建州鬼门关走了一趟终于明白

不抽烟、不喝酒,一个习惯害了他 陈建州鬼门关走了一趟终于明白

寻墨阁
2026-09-18 18:21:17
WTT战报,国乒17岁独苗3-1韩国小将,大三学生决战陈熠搭档

WTT战报,国乒17岁独苗3-1韩国小将,大三学生决战陈熠搭档

阅尽天下大事
2026-09-18 18:32:17
2026-09-18 19:23:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14021文章数 142733关注度
往期回顾 全部

科技要闻

直击iPhone 18新机发售:黄牛加价不如前代

头条要闻

日本亚运会又出乌龙 曲棍球赛前给韩国队演奏朝鲜国歌

头条要闻

日本亚运会又出乌龙 曲棍球赛前给韩国队演奏朝鲜国歌

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

陈思诚 佟丽娅不想让儿子知道两人离婚

财经要闻

研发0.25亿理财26亿,敷尔佳豪赌三类器械

汽车要闻

纯电/插混双动力+五座/六座双布局 海狮08应该怎么选?

态度原创

教育
房产
时尚
游戏
本地

教育要闻

六年级开学第一个月,比刷题重要三件事:时间表、错题本和习惯

房产要闻

海口房价,降不动了!

没想到这件事,对我的改变这么大!

赛博朋克露西联动形象太多样!多款游戏各有各味

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

无障碍浏览 进入关怀版