网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | BiMotion:用 B 样条曲线重新定义 3D 角色运动生成

0
分享至





图 1:同一文本描述下,AnimateAnyMesh(上)与 BiMotion(下)的生成结果对比。离散帧采样导致动作语义中途断裂,而连续 B 样条曲线则将完整动作保留至序列末尾。



  • 论文标题:BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation
  • 论文:https://arxiv.org/abs/2602.18873
  • 项目主页:https://wangmiaowei.github.io/BiMotion.github.io/
  • 代码:https://github.com/wangmiaowei/BiMotion
  • 数据集(Hugging Face):https://huggingface.co/datasets/miaoweiwang/BiMotion
  • 第一作者主页:https://wangmiaowei.github.io/

当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。

来自爱丁堡大学、康奈尔大学和密歇根大学的研究团队提出了 BiMotion:一种基于 B 样条曲线的文本驱动 3D 角色运动生成框架,即将在 CVPR 2026 正式发表,三位审稿人均给出 5/6 的高分评价。其核心主张只有一句话:运动是连续的,就应该用连续的方式来表达。

离散帧的困境:

为什么现有方法总在 "丢情节"

目前主流 3D 运动生成方法大多采用 VAE–潜在扩散模型架构,该架构具有固定的输入窗口,每次只能处理固定帧数的运动序列。面对长度各异的真实运动数据,现有方法只有两条路:

  • 裁剪(Cropping):将长序列切割为短片段,模型仅能学到局部子动作,而非完整语义。如文本描述 "转圈后停步",模型最终只能生成 "向右转"。
  • 均匀降采样(Downsampling):将 200 帧压缩至 16 帧再复原,导致动作卡顿抖动,如同一份低帧率的 GIF。

问题的本质在于:帧数仅代表时间采样密度,与动作语义本身无关。一只龙扇翅膀的动作,用 24 帧记录还是 120 帧记录,语义始终是 "扇翅膀"。逐帧离散表示,是这一领域长期忽视的根本性瓶颈。

B 样条:用少数控制点,刻画完整轨迹

BiMotion 的核心思路是将每个顶点随时间的运动轨迹,用一条连续可微的 B 样条曲线来表达。B 样条是计算机图形学中的经典参数曲线,仅用少量 "控制点" 便可描述一条光滑连续的轨迹;修改其中一个控制点只影响局部区域,不会破坏整体形状。

具体实现上,BiMotion 将任意长度 T 的顶点位移序列,通过带 Laplacian 正则化的最小二乘拟合,压缩为固定数量(默认 16 个)控制点。该压缩具有闭合解,在普通消费级 CPU 上,对 5 万顶点、200 帧的网格,不到一秒即可完成。Laplacian 正则专门处理序列极短时的欠定义问题,相比 Ridge 正则,其生成的插值更自然、过渡更流畅,消融实验对此给出了明确验证。

模型架构:从控制点到可生成的运动潜空间



图 2:BiMotion 整体架构。训练时(红色箭头)顶点差异转化为 B 样条控制点后编码为运动潜码;推理时(黑色箭头)从噪声采样得到控制点,经 B 样条重投影还原为任意长度的动画序列。

BiMotion 整体采用 VAE 加 Rectified Flow Matching 的两阶段架构。

B 样条 VAE

编码器将初始网格形状与控制点一并压缩为紧凑的运动潜码,其中包含两项关键设计:

  • 法线融合(Normal Fusion):将顶点法线信息以余弦相似度加权的方式融入点特征,有效解决网格上空间相近但内在结构属于不同部位(如手指关节)难以区分的问题,且无需依赖网格特定的拓扑结构,对任意拓扑均表现稳健。
  • 多层级控制点嵌入(Multi-level Control Point Embedding):受小波包分解启发,将控制点逐层分解为从粗到细的多级残差并分别编码。相比标准频率位置编码,这种方式能同时捕捉运动的全局节奏与局部细节(如狮子尾巴的微小摆动),重建误差大幅降低。



图 3:B 样条 VAE 架构。编码器(橙色区域)将初始形状与控制点压缩为潜码;解码器(绿色区域)重建控制点后通过 B 样条重投影得到顶点差异序列。

损失函数设计

VAE 训练采用三项联合损失:拟合损失(直接对齐控制点)、对应损失(通过 B 样条重投影对齐原始轨迹,早期训练收敛更快)、局部刚性损失(约束相邻顶点间距在各帧保持一致,防止形变时产生表面 "融化" 的视觉伪影)。三项损失各司其职、互为补充,共同保证运动的精度、连续性与形状一致性。

运动生成(Flow Matching DiT)

生成阶段基于 Rectified Flow 与 Diffusion Transformer(DiT),以初始网格的潜码和 CLIP 文本嵌入为条件,从高斯噪声中逐步去噪并采样出运动潜码,再经 VAE 解码器还原为完整动画序列。由于 B 样条重投影对帧数完全自由,推理时可按需输出任意长度的动画,如慢动作或子弹时间镜头。单张 A100 上平均推理时间仅为 4.4 秒。

BIMO 数据集:约 3.9 万条带文本标注的动态网格序列

为训练 BiMotion,团队整理并将开放 BIMO 数据集,包含约 39,000 条动态网格运动序列、总计逾 368 万帧,涵盖动物、机器人、人体、道具等多种类别。每条序列配有 3 条高质量文本描述,全部展开为 16 个 B 样条控制点存储,便于直接使用。

DeformingThings4D 部分来自 OmniMotionGPT 的人工标注;Objaverse 部分则通过基于 GPT-5 的自动标注流水线生成,配备生成器与质检器两个环节,确保描述的准确性和风格一致性。

实验结果:全面领先,效率显著提升



图 4:定性对比。左列:机器人与鹿的动作对比;右列:老虎与行走机器人的动作对比。红圈标注基线方法产生的形变伪影,BiMotion 均表现清晰自然。

团队在 20 个静态网格上与三类代表性方法展开全面对比:前馈生成方法 AnimateAnyMesh、动态高斯生成方法 GVFDiffusion,以及基于视频优化重建的 V2M4。网格来源涵盖 Meshy 生成资产与现有 3D 内容库,属于所有基线中最为严格的评测设置之一。

在 VBench 自动评估的 5 项指标中,BiMotion 在整体一致性、时序稳定性、美学质量和动作丰富度四项均居最优。其主体一致性略低于 AnimateAnyMesh,但消融实验已揭示该差距为虚高:后者生成的动作幅度极小、近乎静止,相邻帧高度相似,致使该指标人为偏高。

20 位参与者的用户研究中,BiMotion 在 "文本与动作匹配度"、"动作合理性"、"动作表现力" 三个维度的平均得分均超过 4.0/5.0,远高于所有对比方法。效率方面,网格顶点规模从 9K 增至 24K 时,BiMotion 生成时间仅从 3.7 秒微增至 4.6 秒,峰值显存从 1.1 GB 小幅升至 1.3 GB;而 AnimateAnyMesh 在同等条件下时间与显存均翻倍以上,充分体现 BiMotion 面向大规模网格的更强可扩展性。

局限性与未来展望

BiMotion 目前固定使用 16 个控制点,对高频、极复杂运动细节的表达能力仍有提升空间;同时基于固定网格拓扑的假设,暂不支持拓扑变化(如角色分裂、融合)的动画生成。当前 BIMO 数据集规模(约 3.9 万条)相较于视频或图像领域仍偏小,引入更大规模数据有望进一步提升质量与泛化能力。代码与 BIMO 数据集现已全部开源,欢迎社区共同建设。

作者简介:

Miaowei Wang, 目前是爱丁堡大学信息学院的博士研究生(2023年10月入学),研究方向为计算机视觉与计算机图形学中的可控运动表征(controllable motion representation)。他的博士研究由Amir Vaxman教授和Oisin Mac Aodha教授共同指导。 在此之前,他曾就读于密歇根大学电气工程与计算机科学系,在Jason Corso教授的指导下完成研究生学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄晓明回应考博失利今年再战:希望自己有一天能成功,因为我们家没有博士,想做家里第一个博士

黄晓明回应考博失利今年再战:希望自己有一天能成功,因为我们家没有博士,想做家里第一个博士

台州交通广播
2026-03-26 19:49:12
一夜间!天津女排2大消息,冠军自由人宣布退役,王媛媛拦网封神

一夜间!天津女排2大消息,冠军自由人宣布退役,王媛媛拦网封神

陈秣爱钓鱼
2026-03-29 12:21:28
直-21高清试飞照曝光:列装在即,3大突破领先,中国重武迎来巅峰

直-21高清试飞照曝光:列装在即,3大突破领先,中国重武迎来巅峰

小祁谈历史
2026-03-27 22:50:56
即将43岁的4娃妈米兰达·可儿登新刊封面!岁月真的饶过她了吧?

即将43岁的4娃妈米兰达·可儿登新刊封面!岁月真的饶过她了吧?

东方不败然多多
2026-03-29 09:46:18
赖清德收到“参会通知”,身份一栏的标注让其直接破防:不去了!

赖清德收到“参会通知”,身份一栏的标注让其直接破防:不去了!

乐享人生风雨
2026-03-28 16:22:15
太逆天了!约基奇!MVP最新排行榜公布

太逆天了!约基奇!MVP最新排行榜公布

技巧君侃球
2026-03-29 00:07:10
电影《功夫》时隔多年演员今昔对比,有的变化不小,你知道他们吗

电影《功夫》时隔多年演员今昔对比,有的变化不小,你知道他们吗

老吴教育课堂
2026-03-29 11:53:26
明星章若楠也买不起房?片酬500万仍租房,省钱帮助三妹妹一弟弟

明星章若楠也买不起房?片酬500万仍租房,省钱帮助三妹妹一弟弟

捣蛋窝
2026-03-28 18:20:39
把iPad mini 7当手机用一天,我人都麻了

把iPad mini 7当手机用一天,我人都麻了

雷科技
2026-03-29 14:15:04
苹果用户7年不换机,电池崩了后ChatGPT给了个反常识解法

苹果用户7年不换机,电池崩了后ChatGPT给了个反常识解法

硬核玩家2哈
2026-03-26 14:27:05
炮火一响,义乌慌了!再次爆单全球

炮火一响,义乌慌了!再次爆单全球

贱议你读史
2026-03-17 01:24:37
好消息!老年公交卡2026年调整,告别一刀切,老人出行更顺心

好消息!老年公交卡2026年调整,告别一刀切,老人出行更顺心

吴蒂旅行ing
2026-03-28 13:10:35
伊朗:报复“将不再局限于以牙还牙”

伊朗:报复“将不再局限于以牙还牙”

中国网
2026-03-28 16:18:36
中美俄核电站数量对比:美93座,俄37座,中国多少?

中美俄核电站数量对比:美93座,俄37座,中国多少?

春日在捕月
2026-02-04 19:32:30
赖清德收到“参会通知”,身份一栏的标注让其直接破防:不去了!

赖清德收到“参会通知”,身份一栏的标注让其直接破防:不去了!

翡翠清泉
2026-03-28 11:43:42
伊朗打对了,把伊斯兰世界最大的叛徒揪出来了!

伊朗打对了,把伊斯兰世界最大的叛徒揪出来了!

达文西看世界
2026-03-28 10:23:28
比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

比赖清德更狂的人出现了,如果她当台湾地区领导人,我军该怎么办

听风喃
2026-03-27 17:40:05
别和孩子生气啦,他需要你的时间,只有短短9年

别和孩子生气啦,他需要你的时间,只有短短9年

上海女性
2026-03-20 18:06:00
实锤!伊朗导弹基地指挥官被以色列精准斩首

实锤!伊朗导弹基地指挥官被以色列精准斩首

老马拉车莫少装
2026-03-27 18:55:23
她曾担任中纪委副书记,离休16年后仍骄傲的说:我办的案都是铁案

她曾担任中纪委副书记,离休16年后仍骄傲的说:我办的案都是铁案

明月清风阁
2026-03-28 13:25:06
2026-03-29 14:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
12620文章数 142599关注度
往期回顾 全部

科技要闻

马斯克承认xAI"建错了",11位创始人均离职

头条要闻

网约车司机被骗网贷后车内轻生:我不想死 但扛不住了

头条要闻

网约车司机被骗网贷后车内轻生:我不想死 但扛不住了

体育要闻

绝杀卫冕冠军后,他单手指天把胜利献给父亲

娱乐要闻

张凌赫事件持续升级!官方点名怒批

财经要闻

Kimi、Minimax 们的算力荒

汽车要闻

岚图泰山X8配置曝光 四激光雷达/华为新一代座舱

态度原创

本地
艺术
房产
手机
公开课

本地新闻

在潍坊待了三天,没遇到一个“潍坊人”

艺术要闻

2025江南如画——中国油画作品展 | 入选作品选刊(二)

房产要闻

首日430组来访,单日120组认筹!海口首个真四代,彻底爆了!

手机要闻

OPPO K15 Pro全系标配12GB内存 产品经理:用16GB上天了 太贵了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版