网易首页 > 网易号 > 正文 申请入驻

CVPR 2026 | BiMotion:用 B 样条曲线重新...

0
分享至

来源:市场资讯

(来源:机器之心)



图 1:同一文本描述下,AnimateAnyMesh(上)与 BiMotion(下)的生成结果对比。离散帧采样导致动作语义中途断裂,而连续 B 样条曲线则将完整动作保留至序列末尾。


  • 论文标题:BiMotion: B-spline Motion for Text-guided Dynamic 3D Character Generation

  • 论文:https://arxiv.org/abs/2602.18873

  • 项目主页:https://wangmiaowei.github.io/BiMotion.github.io/

  • 代码:https://github.com/wangmiaowei/BiMotion

  • 数据集(Hugging Face):https://huggingface.co/datasets/miaoweiwang/BiMotion

  • 第一作者主页:https://wangmiaowei.github.io/

当你希望 AI 将 "士兵举起手臂,向后倾身,然后身体向前扑倒" 这段文字转化为一段 3D 角色动画,现有大多数方法给出的答案是:一段摇摇晃晃、语义残缺的短片段。这并非模型能力不足,问题的根源在于将运动表达为逐帧离散序列这一根本性的设计决策。

来自爱丁堡大学、康奈尔大学和密歇根大学的研究团队提出了 BiMotion:一种基于 B 样条曲线的文本驱动 3D 角色运动生成框架,即将在 CVPR 2026 正式发表,三位审稿人均给出 5/6 的高分评价。其核心主张只有一句话:运动是连续的,就应该用连续的方式来表达。

离散帧的困境:

为什么现有方法总在 "丢情节"

目前主流 3D 运动生成方法大多采用 VAE–潜在扩散模型架构,该架构具有固定的输入窗口,每次只能处理固定帧数的运动序列。面对长度各异的真实运动数据,现有方法只有两条路:

  • 裁剪(Cropping):将长序列切割为短片段,模型仅能学到局部子动作,而非完整语义。如文本描述 "转圈后停步",模型最终只能生成 "向右转"。

  • 均匀降采样(Downsampling):将 200 帧压缩至 16 帧再复原,导致动作卡顿抖动,如同一份低帧率的 GIF。

问题的本质在于:帧数仅代表时间采样密度,与动作语义本身无关。一只龙扇翅膀的动作,用 24 帧记录还是 120 帧记录,语义始终是 "扇翅膀"。逐帧离散表示,是这一领域长期忽视的根本性瓶颈。

B 样条:用少数控制点,刻画完整轨迹

BiMotion 的核心思路是将每个顶点随时间的运动轨迹,用一条连续可微的 B 样条曲线来表达。B 样条是计算机图形学中的经典参数曲线,仅用少量 "控制点" 便可描述一条光滑连续的轨迹;修改其中一个控制点只影响局部区域,不会破坏整体形状。

具体实现上,BiMotion 将任意长度 T 的顶点位移序列,通过带 Laplacian 正则化的最小二乘拟合,压缩为固定数量(默认 16 个)控制点。该压缩具有闭合解,在普通消费级 CPU 上,对 5 万顶点、200 帧的网格,不到一秒即可完成。Laplacian 正则专门处理序列极短时的欠定义问题,相比 Ridge 正则,其生成的插值更自然、过渡更流畅,消融实验对此给出了明确验证。

模型架构:从控制点到可生成的运动潜空间


图 2:BiMotion 整体架构。训练时(红色箭头)顶点差异转化为 B 样条控制点后编码为运动潜码;推理时(黑色箭头)从噪声采样得到控制点,经 B 样条重投影还原为任意长度的动画序列。

BiMotion 整体采用 VAE 加 Rectified Flow Matching 的两阶段架构。

B 样条 VAE

编码器将初始网格形状与控制点一并压缩为紧凑的运动潜码,其中包含两项关键设计:

  • 法线融合(Normal Fusion):将顶点法线信息以余弦相似度加权的方式融入点特征,有效解决网格上空间相近但内在结构属于不同部位(如手指关节)难以区分的问题,且无需依赖网格特定的拓扑结构,对任意拓扑均表现稳健。

  • 多层级控制点嵌入(Multi-level Control Point Embedding):受小波包分解启发,将控制点逐层分解为从粗到细的多级残差并分别编码。相比标准频率位置编码,这种方式能同时捕捉运动的全局节奏与局部细节(如狮子尾巴的微小摆动),重建误差大幅降低。


图 3:B 样条 VAE 架构。编码器(橙色区域)将初始形状与控制点压缩为潜码;解码器(绿色区域)重建控制点后通过 B 样条重投影得到顶点差异序列。

损失函数设计

VAE 训练采用三项联合损失:拟合损失(直接对齐控制点)、对应损失(通过 B 样条重投影对齐原始轨迹,早期训练收敛更快)、局部刚性损失(约束相邻顶点间距在各帧保持一致,防止形变时产生表面 "融化" 的视觉伪影)。三项损失各司其职、互为补充,共同保证运动的精度、连续性与形状一致性。

运动生成(Flow Matching DiT)

生成阶段基于 Rectified Flow 与 Diffusion Transformer(DiT),以初始网格的潜码和 CLIP 文本嵌入为条件,从高斯噪声中逐步去噪并采样出运动潜码,再经 VAE 解码器还原为完整动画序列。由于 B 样条重投影对帧数完全自由,推理时可按需输出任意长度的动画,如慢动作或子弹时间镜头。单张 A100 上平均推理时间仅为 4.4 秒。

BIMO 数据集:约 3.9 万条带文本标注的动态网格序列

为训练 BiMotion,团队整理并将开放 BIMO 数据集,包含约 39,000 条动态网格运动序列、总计逾 368 万帧,涵盖动物、机器人、人体、道具等多种类别。每条序列配有 3 条高质量文本描述,全部展开为 16 个 B 样条控制点存储,便于直接使用。

DeformingThings4D 部分来自 OmniMotionGPT 的人工标注;Objaverse 部分则通过基于 GPT-5 的自动标注流水线生成,配备生成器与质检器两个环节,确保描述的准确性和风格一致性。

实验结果:全面领先,效率显著提升


图 4:定性对比。左列:机器人与鹿的动作对比;右列:老虎与行走机器人的动作对比。红圈标注基线方法产生的形变伪影,BiMotion 均表现清晰自然。

团队在 20 个静态网格上与三类代表性方法展开全面对比:前馈生成方法 AnimateAnyMesh、动态高斯生成方法 GVFDiffusion,以及基于视频优化重建的 V2M4。网格来源涵盖 Meshy 生成资产与现有 3D 内容库,属于所有基线中最为严格的评测设置之一。

在 VBench 自动评估的 5 项指标中,BiMotion 在整体一致性、时序稳定性、美学质量和动作丰富度四项均居最优。其主体一致性略低于 AnimateAnyMesh,但消融实验已揭示该差距为虚高:后者生成的动作幅度极小、近乎静止,相邻帧高度相似,致使该指标人为偏高。

20 位参与者的用户研究中,BiMotion 在 "文本与动作匹配度"、"动作合理性"、"动作表现力" 三个维度的平均得分均超过 4.0/5.0,远高于所有对比方法。效率方面,网格顶点规模从 9K 增至 24K 时,BiMotion 生成时间仅从 3.7 秒微增至 4.6 秒,峰值显存从 1.1 GB 小幅升至 1.3 GB;而 AnimateAnyMesh 在同等条件下时间与显存均翻倍以上,充分体现 BiMotion 面向大规模网格的更强可扩展性。

局限性与未来展望

BiMotion 目前固定使用 16 个控制点,对高频、极复杂运动细节的表达能力仍有提升空间;同时基于固定网格拓扑的假设,暂不支持拓扑变化(如角色分裂、融合)的动画生成。当前 BIMO 数据集规模(约 3.9 万条)相较于视频或图像领域仍偏小,引入更大规模数据有望进一步提升质量与泛化能力。代码与 BIMO 数据集现已全部开源,欢迎社区共同建设。

Miaowei Wang, 目前是爱丁堡大学信息学院的博士研究生(2023年10月入学),研究方向为计算机视觉与计算机图形学中的可控运动表征(controllable motion representation)。他的博士研究由Amir Vaxman教授和Oisin Mac Aodha教授共同指导。 在此之前,他曾就读于密歇根大学电气工程与计算机科学系,在Jason Corso教授的指导下完成研究生学习。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我在非洲娶了媳妇,洞房夜,看到她身上因割礼留下的旧伤疤愣了

我在非洲娶了媳妇,洞房夜,看到她身上因割礼留下的旧伤疤愣了

卡西莫多的故事
2026-03-18 09:50:29
弗里克神换人,巴萨2-1力克奥萨苏纳,豪取十连胜宣战皇马

弗里克神换人,巴萨2-1力克奥萨苏纳,豪取十连胜宣战皇马

钉钉陌上花开
2026-05-03 04:54:37
苏提达终于解锁王冠!出席瑞典晚宴出尽风头,美得像童话里的公主

苏提达终于解锁王冠!出席瑞典晚宴出尽风头,美得像童话里的公主

红袖说事
2026-05-03 02:05:49
值得吗?杜兰特降薪合同下赛季开始执行,2年9000万美元

值得吗?杜兰特降薪合同下赛季开始执行,2年9000万美元

懂球帝
2026-05-02 13:14:49
中国会不会出现第二个毛泽东?答案是不会,但会出现新的杰出领袖

中国会不会出现第二个毛泽东?答案是不会,但会出现新的杰出领袖

混沌录
2026-04-28 22:08:19
赖清德宣布窜访成功后,中国大陆的表态,会让赖清德感到一阵后怕

赖清德宣布窜访成功后,中国大陆的表态,会让赖清德感到一阵后怕

蓝色海边
2026-05-03 03:56:19
2026年这5个行业,竟已发不出工资!形势真的很严峻了

2026年这5个行业,竟已发不出工资!形势真的很严峻了

细说职场
2026-04-26 16:52:27
上观时评|时代变了,劳动的精神不会变

上观时评|时代变了,劳动的精神不会变

上观新闻
2026-05-01 06:51:04
欧洲带团10年后,我决定戳破那些“中国品牌横扫全球”的粉红泡沫

欧洲带团10年后,我决定戳破那些“中国品牌横扫全球”的粉红泡沫

七分日记
2026-04-29 23:27:20
小米粥再次被关注!医生发现:糖尿病患者喝小米粥时要重视这6点

小米粥再次被关注!医生发现:糖尿病患者喝小米粥时要重视这6点

芹姐说生活
2026-04-25 12:32:30
不准中国买伊朗石油,不到24小时,伊外长致电中国,中方斩钉截铁

不准中国买伊朗石油,不到24小时,伊外长致电中国,中方斩钉截铁

潋滟晴方DAY
2026-05-02 13:45:56
“甲亢哥”不小心把在中国买的三折叠手机掉进海里,嘴里念叨“我的中国手机、花了4000美元”,感觉整个人要碎掉;网友:出新款了再来一趟

“甲亢哥”不小心把在中国买的三折叠手机掉进海里,嘴里念叨“我的中国手机、花了4000美元”,感觉整个人要碎掉;网友:出新款了再来一趟

潇湘晨报
2026-05-01 20:15:11
禁止所有中国外交官入境,不让两岸统一,这个国家比美国还嚣张?

禁止所有中国外交官入境,不让两岸统一,这个国家比美国还嚣张?

触摸史迹
2026-05-02 21:50:25
扎心!丈夫劝妻子停止化疗,怕人财两空,网友:这或是最好的决定

扎心!丈夫劝妻子停止化疗,怕人财两空,网友:这或是最好的决定

火山詩话
2026-05-02 17:54:15
地球已经装不下追觅这么牛的公司了

地球已经装不下追觅这么牛的公司了

老斯基财经
2026-04-30 11:05:19
5月开始,"北京特区"正式亮相!

5月开始,"北京特区"正式亮相!

大山说房
2026-05-02 17:52:42
两性相处:男人过了60,永远不要在女人面前,说以下3句话!

两性相处:男人过了60,永远不要在女人面前,说以下3句话!

呆子的故事
2026-01-16 16:34:31
真不靠谱,特朗普将战争不能结束归咎于乌克兰获得3500亿美元援助

真不靠谱,特朗普将战争不能结束归咎于乌克兰获得3500亿美元援助

山河路口
2026-05-01 19:35:20
世锦赛战报:希金斯遭遇四连鞭惜败,墨菲五进决赛豪取185万奖金

世锦赛战报:希金斯遭遇四连鞭惜败,墨菲五进决赛豪取185万奖金

求球不落谛
2026-05-03 00:59:42
换装纯正“中国心”的运-20B,强在何处?

换装纯正“中国心”的运-20B,强在何处?

环球网资讯
2026-05-02 09:12:58
2026-05-03 06:40:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
3096949文章数 7086关注度
往期回顾 全部

科技要闻

AI热潮耗尽库存,Mac Mini起售调高200美元

头条要闻

媒体:美国突然"翻脸" 对欧洲连打"三拳"一气呵成

头条要闻

媒体:美国突然"翻脸" 对欧洲连打"三拳"一气呵成

体育要闻

休赛期总冠军,轮到休斯顿火箭

娱乐要闻

高圆圆赵又廷游三亚 牵手逛街好甜蜜

财经要闻

雷军很努力 小米还是跌破了30港元大关

汽车要闻

同比大涨190% 方程豹4月销量29138台

态度原创

手机
本地
健康
公开课
军事航空

手机要闻

消息称iQOO 15T手机搭载天玑9500、6.82英寸2K直屏

本地新闻

用青花瓷的方式,打开西溪湿地

干细胞治烧烫伤面临这些“瓶颈”

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

特朗普:对伊战事结束 无限期延长停火

无障碍浏览 进入关怀版