网易首页 > 网易号 > 正文 申请入驻

AI生成演示视频翻车,他拍下自己做虾行才救回来

0
分享至

用AI给每个动作生成演示视频,俯卧撑、深蹲、平板支撑都像模像样。轮到巴西柔术最基础的虾行(hip escape),模型直接崩了——它压根没见过这个动作。


这是一位在日本做SRE的独立开发者,给自己练柔术的教练一句话逼出来的项目。教练说,每天做HIIT是攒比赛体能最快的路子。他于是做了BJJ FLOW:一个柔术单人训练App,带柔术专项训练菜单、垫边计时器、每个动作的演示视频,还有完全离线的语音指导。

计划本来很简单:演示视频全用AI生成。结果一半成功,一半彻底失败。

先写假设,再写功能

他的本职是SRE,最怕的失败模式是独立开发者的经典死法:埋头做自己想做的,做完发现没人用。

所以动功能之前,他先在自建的工具里写下11条假设:按腰带颜色和训练频率看留存、用户为什么会从通用计时器换过来、对练时能不能感觉到体能变化、愿不愿意为一次性Pro付费、习惯养成率。

埋点也排在界面之前。workout_start、workout_complete、mat_feedback、paywall_view这些事件,加上腰带颜色、伤病关注部位这类用户属性,先埋好再谈功能。这样后面每个决定都能拿数字对,而不是凭感觉。

概念先落成文字,再交给AI重做界面

第一版原型有4个标签页,长得像通用健身App。但这个App是用在垫子边上、练到一半的时候,装饰和深层导航都是负担。

他先把概念写成文档:主题叫“垫边伙伴”,背景用暖炭黑#10120F,颜色各有分工——青柠色#C5F467给主操作,薄荷色#8ADCB8表示训练中,琥珀色#F59E0B表示休息中;字体是一个超大等宽计时器,隔着垫子也看得清。明确排除霓虹、火焰、游戏化特效。

概念和界面规格写清楚之后,他把文档丢给AI设计工具,一次就把18个屏幕的Flutter界面重做完了,连App图标都是柔术腰带拼成的字母“F”。他的结论不是“AI擅长设计”,而是AI输出的质量,取决于你先把概念用文字说得多精确。

视频问题上半场:Veo只擅长它见过的动作

每个训练动作都要一段演示视频,还得是同一个虚拟运动员、同一件防磨服。第一版流水线是:先用图像模型生成运动员的起始姿势静帧,喂给Veo 3.1,指定首尾帧一致,拿到8秒循环,再用ffmpeg转成960×540的H.264打包进App。

每个动作配一份JSON规格,描述头、躯干、手臂、腿和接触点随时间的变化,由生成脚本统一处理。

标准动作效果确实自然:俯卧撑、深蹲、平板支撑、登山跑。连三角绞的顶髋和技术起立,在详细关键帧指令下都出得来。

一到地面动作就塌了。虾行、反向虾行、坐起穿越、90/90髋部拉伸,这些动作在视频训练数据里几乎不存在。提示词写得再细——“用下侧肩和上侧脚支撑身体,髋部向后向外推”,再加“不要站起来、不要做桥”的反向提示——出来的要么是一个人侧躺着蜷起来,要么干脆站起来。

模型没见过的动作,靠提示词是绕不过去的。

视频问题下半场:自己上,把动作迁移过去

他把流水线倒过来:AI不认识这个动作,那就自己演一遍,让AI复制动作。

换成Wan 2.2的动作迁移之后,它从源视频里读出骨架和运动,再重绘到那个参考运动员身上。代价是拍摄成了整个项目最费力的环节。女儿拿手机在家里和道场拍他:虾行、坐起穿越、受身、拉伸,十几条源视频。要让模型正确读动作,机位必须完全侧向,全身入画,一次干净的动作,不能有多余晃动。他演得晃,虚拟运动员就跟着晃。重拍很多次,流了很多汗。

原始迁移结果也不能直接上线,中间垫了一整套后处理:

  • 用OpenCV做稳定,把画面锁到第一帧,手持抖动会让迁移后的运动员跟着摇
  • 用MediaPipe提取人物遮罩,把背景涂灰,免得家具杂物被误读成肢体或道具
  • 受身这类快动作会跑出模型的处理能力,先用ffmpeg插帧,降到0.5倍速做迁移,再恢复2倍速
  • 迁移输出大约每0.8秒会卡住一帧,脚本按帧间差异检测重复帧,用线性插值补上
  • 比较首尾帧亮度差做交叉淡化,让循环播放不跳帧

他也把局限说得很直白:动作迁移还不完美。早期用户反馈有些动作视频看着不太对,他说他们说得对。这条流水线能把冷门动作做到大致像样,最后那点准确度的差距还在补,是他清单上的头号事项。

语音:预生成,全离线

练到一半没法盯着屏幕,所以App得会说话:动作名、倒计时、“还剩10秒”。

系统自带的语音合成每台设备音色不同,还跟着系统语言设置走。他改成用Gemini TTS预生成全部语音,音色选Charon,指令是“一个冷静、低音的体育教练:清晰、自然、简短、不喊叫”,用批处理脚本一次生成。文件从WAV转成32kbps的AAC,控制App体积。

结果是:App里没有API密钥,每台设备音质一致,没信号的地下道场也能用。

回头看这个项目,他总结的几条都挺朴素:假设和埋点排在功能前面,能让开发不跑偏;让AI生成之前先把概念写下来,那些文字形式的设计规则才是AI界面不散架的原因;知道每个模型的边界,绕过去,而不是跟它吵。文生视频负责训练数据里有的动作,动作迁移负责没有的。

他自己说得更直接:这个最“AI”的项目,真正的突破口是他趴在垫子上做虾行,女儿举着手机拍。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
吉林一号公布台湾多座建筑高清图引岛内不满?国防部回应:很正常

吉林一号公布台湾多座建筑高清图引岛内不满?国防部回应:很正常

西昆仑Bruce
2026-10-26 17:31:13
80后坐不住了!小鹏新车发布会00后女经理“老登”言论出圈,网友:我已经是神登,看来只能开特斯拉了

80后坐不住了!小鹏新车发布会00后女经理“老登”言论出圈,网友:我已经是神登,看来只能开特斯拉了

火山詩话
2026-10-25 14:04:14
演了半辈子坏人,曾吃垮王千源的烧烤摊,52岁被张译签下大红大紫

演了半辈子坏人,曾吃垮王千源的烧烤摊,52岁被张译签下大红大紫

墨策史
2026-10-26 12:02:04
在奥斯卡打了别人一巴掌后,威尔·史密斯的艰难复出之路

在奥斯卡打了别人一巴掌后,威尔·史密斯的艰难复出之路

i书与房
2026-10-27 08:38:08
西安6岁女童被拐9年,每天隐忍不发背家庭地址,最终找到父母并将人贩子送进监狱

西安6岁女童被拐9年,每天隐忍不发背家庭地址,最终找到父母并将人贩子送进监狱

磊子讲史
2026-10-20 15:39:41
强烈的预感:大陆统一台湾前,会有一个前兆,美国不会等最后时刻

强烈的预感:大陆统一台湾前,会有一个前兆,美国不会等最后时刻

一路荒凉如歌a
2026-10-16 09:15:01
印度打不赢巴基斯坦是因为后面有个中国,俄罗斯打不赢乌克兰是因为后面有个欧洲,美以联军打不赢伊朗是因为什么呢?

印度打不赢巴基斯坦是因为后面有个中国,俄罗斯打不赢乌克兰是因为后面有个欧洲,美以联军打不赢伊朗是因为什么呢?

扶苏聊历史
2026-10-06 11:41:05
翁帆回杨振宁合肥老家,见证“遗产”落地,原来亡夫留了一手好牌

翁帆回杨振宁合肥老家,见证“遗产”落地,原来亡夫留了一手好牌

小鋭有话说
2026-10-12 12:44:15
眼镜圈塌房!30元镜片包装成神药卖1980,无数家长被狠狠收割

眼镜圈塌房!30元镜片包装成神药卖1980,无数家长被狠狠收割

青眼财经
2026-10-27 10:13:49
中国公民尽快撤离!外交部最高级别预警:这个地方比缅北还恐怖

中国公民尽快撤离!外交部最高级别预警:这个地方比缅北还恐怖

史之韵
2026-08-29 12:23:14
新华社消息|联合国调查委员会:以色列在加沙持续实施种族灭绝

新华社消息|联合国调查委员会:以色列在加沙持续实施种族灭绝

新华社
2026-10-26 21:59:05
羞死人了!42岁女子原以为绝经,B超查出已怀孕五周,家中长子在读高中,生或不生陷入两难

羞死人了!42岁女子原以为绝经,B超查出已怀孕五周,家中长子在读高中,生或不生陷入两难

火山詩话
2026-10-25 06:38:20
你应该滚回中国去!别用亚洲人的脏习惯喂我的孩子!

你应该滚回中国去!别用亚洲人的脏习惯喂我的孩子!

网络易不易
2026-10-03 06:10:17
轰19+6+7+2断!火箭探花秀交易价值陡增?或化身非卖品,对标当年库里

轰19+6+7+2断!火箭探花秀交易价值陡增?或化身非卖品,对标当年库里

熊哥爱篮球
2026-10-25 21:17:18
2.5万人挤爆会场,蒋万安竞总成立蓝白大咖云集,蔡康永现身成焦点

2.5万人挤爆会场,蒋万安竞总成立蓝白大咖云集,蔡康永现身成焦点

李摻穷游天下
2026-10-26 22:07:01
国家出手!福建前首富被刑拘,恶行曝光惹众怒,早就该依法处置

国家出手!福建前首富被刑拘,恶行曝光惹众怒,早就该依法处置

阅微札记
2026-10-27 09:55:47
发现一个现实现象:女生一旦订完婚,大多都会和男友同居 。

发现一个现实现象:女生一旦订完婚,大多都会和男友同居 。

艺鉴在线
2026-10-27 13:00:11
丫蛋育有三个孩子,大儿子王天琦是她和前夫王金龙所生

丫蛋育有三个孩子,大儿子王天琦是她和前夫王金龙所生

喜欢历史的阿繁
2026-10-26 08:32:30
改籍叛国、卖队泄密?定居泰国执教的冯坤,因一句话实现口碑逆转

改籍叛国、卖队泄密?定居泰国执教的冯坤,因一句话实现口碑逆转

主宰未来
2026-09-24 15:32:39
不查不知道,一查才发现,原来许飞不仅亏欠厉娜,当年和尚雯婕撕破脸也一点不冤

不查不知道,一查才发现,原来许飞不仅亏欠厉娜,当年和尚雯婕撕破脸也一点不冤

动物奇奇怪怪
2026-10-27 07:46:41
2026-10-27 14:04:49
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
160文章数 126关注度
往期回顾 全部

科技要闻

Anthropic最硬气招股书,先把丑话说在前头

头条要闻

上海女子继承2亿遗产 结婚才1年的丈夫起诉离婚分财产

头条要闻

上海女子继承2亿遗产 结婚才1年的丈夫起诉离婚分财产

体育要闻

世界上最无趣的前锋,拿下了金球奖

娱乐要闻

8登春晚毛宁,57岁唱涛声依旧无人问津

财经要闻

金价跌回8字头

汽车要闻

云辇-M上车 第二代海豹07让驾驶者也能爱上的家用车

态度原创

本地
教育
亲子
艺术
数码

本地新闻

十月奔赴迪庆,解锁梅里日照金山

教育要闻

中石化2027校招5011人,报名27万+,最大竞争比309:1

亲子要闻

这才是星光下的梦想原版MV,你也成为苦瓜大王了吗?AI全..

艺术要闻

梵高这幅《巴黎小说》,4.46亿元!

数码要闻

小米官宣21自由度仿生灵巧手:26电机混合驱动、1500点高密度全掌触觉

无障碍浏览 进入关怀版