网易首页 > 网易号 > 正文 申请入驻

我把手绘视频自动化了,输入内容就能边讲边画

0
分享至

给 AI 一个讲解主题,它就能让一支铅笔跟着配音画出整段故事。小编选了一条注碳增气平台的新闻做成 30 秒手绘视频;又用 in、on、at 三个介词做了一支 20 秒英语教学样片,观察画笔和配音的配合。这套工具已传到 SkillHub。

知识点秒变手绘视频。

小编选了一条注碳增气平台的新闻,做成了三十秒的手绘视频。

画面里先出现带吊机和管道的平台,再引出分离设备,接着用地层剖面解释二氧化碳怎样回注地下,观众能顺着图把技术逻辑看懂,颜色标记则帮助观众区分封存的碳和采出的气。

而这类白板视频特别适配边讲边画的知识讲解场景。就像讲英语介词,用球和盒子的位置就能帮人看懂句子;讲工业设备,靠管道连接展示物质怎样流动。

制作时,只需交代主题和受众,AI就能先写出一份能讲清楚的稿子,并规划好每个画面什么时候出现。



制作者可以先核对内容和台词,再决定哪些画面需要细化绘制。一支短片只讲一个知识点,学生观看后,老师也便于抛出问题或是补充讲解。

为搭建一套可复用的制作流程,小编先用AI生成一段二十秒英语教学样片,主题为in、on、at。短片只讲解这三个介词的空间用法,时长精简,方便观察画笔动画和配音之间的配合效果。

输入给能读取文件、调用工具并运行脚本的agent,比如workbuddy,豆包工作都可以,根据任务安排素材和动作,脚本负责按确定的时刻画图,最后把配音与动画合成视频。


这支英语样片选用学生熟悉的物件来演示。球绘制在盒子内部,对应in the box;杯子放置在桌面,对应on the table。讲到at the door时,镜头借助门口这个点位,阐释该介词的含义。

样片刚生成的时候,能明显看出一个毛病:同一张画面好几支笔一起快速画。各个物体自顾自地绘制,动作堆在一起,观众很难跟上配音讲解。


要修好这点,得调整每个元素什么时候开始画,还要把控笔尖要画多长。文字、排线、上色都要算进耗时里,就算有些元素不显示画笔,也不能让它和别的绘制动作发生重叠。

这套工具还能适配课堂里的交互演示。介词书写出错时,可用橡皮擦除原有文字,再写出正确版本,学生能直观看到修改位置。更换红笔可以标记错误,钢笔、记号笔也能带来不一样的线条质感。


英语课堂验证了简单物件和例句的搭配效果,后面接着测试人物更多的新闻讲解短片,这支20秒片子讲特朗普、马斯克,围绕SI超级智能事件展开。

绘制名人形象时,采用先准备插画、再提取轮廓的方式。先在原图敲定人物五官、发型与服饰,再通过编译脚本提取适配手绘动画的描线路径,同时保留墨线和原色图层。


画面元素变多后,试听发现了新问题:旁白一句话说完了,铅笔还在继续画剩下的内容,中间空出好几秒没有配音,观众只能干等下一句。

这种情况很容易打断整体节奏,短片看着也拖沓。后续只好拿配音当做时间基准,先录好完整音频、算出时长,标出关键语句的时间点,再调整画面切换和手绘动作,把画画造成的空白空档去掉。


不过 AI 生成视频都有同一个麻烦:一旦渲染好成片,改动基本要全部重做。标题太长、标签位置不对这类细节,最好导出之前就能预览检查。成片之后才发现问题,修改起来会很麻烦。

于是让脚本生成可视分镜,每一幕都呈现完整的静态构图,旁边列出对应的画面文字与旁白。

审阅时可以一起判断物体大小和文字摆放,说明某处需要调整,agent再根据这份稿子修改。


每个场景、物体和配音段都有稳定的标识,修改请求可以对应到具体对象。

经过这些测试,制作方法已经有了适合保存的部分。我把它整理成 handdrawn-explainer这个Skill,供agent下次读取。

SKILL.md写的是制作时需要做出的决定。它要求先确认受众和时长,新闻要核实日期与阶段限定,主要讲解对象需要有可辨认的图形。默认使用一支铅笔,绘画时序跟随配音,并在完整导出前生成审阅稿。


经常重复的操作交给scripts文件夹里的代码;绘画技法等较长说明保存在references,agent 需要处理对应任务时再读取。

运行环境需要Python、FFmpeg和兼容Chromium的浏览器,随包的检查脚本会检查依赖。配音可以导入已有录音,图片生成与语音服务需要使用环境里可用的工具。

所以小编又拿它放在新的agent里连续做了几轮测试。


第一轮是一道高中数学题。

输入题目后会先识别题干条件,再将解题步骤拆解为多个段落。遇到需要绘制辅助线的环节,线条随推导过程逐步出现;需要标注角度、边长时,再添加对应的符号。

最终生成的视频不会一次性展示完整的解题图形。讲解到某一条件时,画面仅展示当下需要用到的信息。

辅助线、公式与结论随解说依次呈现,观看体验贴近教师在黑板上边分析、边书写推导的现场授课。

第二轮换成了高中物理,只给了它一个教学概念,让它自己决定怎样讲。


第三轮又让它讲一段新闻稿,关于诺贝尔生理学或医学奖公布,三位科学家因光控离子通道和光遗传学相关发现获奖。

agent会先把故事里真正影响理解的节点挑出来,再决定哪些地方需要人物形象,哪些地方更适合用图像、时间、箭头或者简单场景。

讲到某个人,就先把人物和当时的场景画出来,事件继续发展,再补上后面发生的变化。

连续跑完这几组测试后,这套东西才算真正有了一点可复用的感觉。

手绘视频本身并不复杂,麻烦的是把内容、旁白、画面和绘制节奏全部对齐。


目前handdrawn-explainer已经上传到SkillHub,有需要的也可以拿去试试。

作者:虾蛄AI 公众号:虾蛄AI

本文由 @虾蛄AI 原创发布于人人都是产品经理。未经作者许可,禁止转载

题图来自 Unsplash,基于CC0协议

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
今年冬天要变天了!厄尔尼诺增强到罕见程度,寒潮可能杀个回马枪

今年冬天要变天了!厄尔尼诺增强到罕见程度,寒潮可能杀个回马枪

浩渺青史
2026-10-10 01:08:39
罕见!各地密集成立新国企,6万亿大市场浮出水面

罕见!各地密集成立新国企,6万亿大市场浮出水面

前瞻网
2026-10-09 11:08:11
37名船工帮3万红军渡金沙江,渡江后毛主席为何特意下令:工钱补发,一个不能少

37名船工帮3万红军渡金沙江,渡江后毛主席为何特意下令:工钱补发,一个不能少

纪史行者
2026-10-10 03:20:10
国乒女单不敌日本!10日赛程公布:张本美和难度大,陈幸同出击

国乒女单不敌日本!10日赛程公布:张本美和难度大,陈幸同出击

郭夷包工头
2026-10-10 00:31:16
吴奇隆因举旗被取消活动,网友质疑其立场,吴奇隆:不赚钱也这样

吴奇隆因举旗被取消活动,网友质疑其立场,吴奇隆:不赚钱也这样

蜜桔娱乐
2026-10-07 09:55:52
一份被嘲笑的“九宫格早餐”火了:家长假装精致,连塞牙缝都不够 ,孩子还能怎样成长?

一份被嘲笑的“九宫格早餐”火了:家长假装精致,连塞牙缝都不够 ,孩子还能怎样成长?

蝴蝶花雨话教育
2026-10-07 21:31:17
“穷人”的人脉有多离谱?网友:我爸托人,给找了个夜班快递分拣

“穷人”的人脉有多离谱?网友:我爸托人,给找了个夜班快递分拣

另子维爱读史
2026-10-04 21:22:12
李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

李显龙直言不讳地告诫国民:每一个新加坡人都必须明白,本国坚决不承认“华人国家”身份,背后藏着的是全亚洲最为惊心动魄的生存考量

橙色书卷
2026-07-16 21:35:45
畸形的基本盘:一边在批评蔡康永,一边在支持下一个蔡康永!

畸形的基本盘:一边在批评蔡康永,一边在支持下一个蔡康永!

梦归秋辰
2026-10-08 09:51:55
外网热议短跑选手出身的女警官钱雪颖:她应该参加世界特警挑战赛

外网热议短跑选手出身的女警官钱雪颖:她应该参加世界特警挑战赛

杨华评论
2026-10-09 14:52:23
官媒痛批“衣不遮体”!演唱会成遮羞布,这几位女星“越露越多”

官媒痛批“衣不遮体”!演唱会成遮羞布,这几位女星“越露越多”

孤芳自赏的小李
2026-08-29 19:52:12
看完利雅得胜利3-0迪里耶,不得不承认5个事实,C罗轰生涯980球!

看完利雅得胜利3-0迪里耶,不得不承认5个事实,C罗轰生涯980球!

田先生篮球
2026-10-10 08:26:42
话里有话?侯英超点破孙颖莎爆冷真相!

话里有话?侯英超点破孙颖莎爆冷真相!

乒乓乐园
2026-10-10 08:03:43
尊界回应制动踏板3次断裂测试:设计问题甩锅国标,不召回仅免费升级,新华社连夜删帖,评论一边倒

尊界回应制动踏板3次断裂测试:设计问题甩锅国标,不召回仅免费升级,新华社连夜删帖,评论一边倒

李晚书
2026-10-09 07:52:18
没人要的垃圾股,3年暴涨150倍!读懂丁磊的逆势重生逻辑

没人要的垃圾股,3年暴涨150倍!读懂丁磊的逆势重生逻辑

流苏晚晴
2026-10-09 19:39:08
男子土豆当主食,半年瘦25斤!营养专家:土豆是被严重低估的食材

男子土豆当主食,半年瘦25斤!营养专家:土豆是被严重低估的食材

药师方健
2026-10-02 22:19:37
某些无良媒体,你丫还有点良知和节操吗?

某些无良媒体,你丫还有点良知和节操吗?

涛哥锐评
2026-10-06 20:56:04
重磅利好!中共中央、国务院发文

重磅利好!中共中央、国务院发文

21世纪经济报道
2026-10-09 23:57:27
2026年度全球前2%顶尖科学家榜单中国内地高校上榜人数统计一览!

2026年度全球前2%顶尖科学家榜单中国内地高校上榜人数统计一览!

谁为锦年织彩衣
2026-10-10 07:05:08
尊界事件:放下站队思维,少些立场预判 | 新京报快评

尊界事件:放下站队思维,少些立场预判 | 新京报快评

新京报
2026-10-09 18:13:26
2026-10-10 09:20:49
侃故事的阿庆
侃故事的阿庆
几分钟看完一部影视剧,诙谐幽默的娓娓道来
716文章数 9611关注度
往期回顾 全部

科技要闻

上世纪成熟的踏板,为何今天还会断裂?

头条要闻

因官方报备要求太严格 团体直接放生两万条鲮鱼

头条要闻

因官方报备要求太严格 团体直接放生两万条鲮鱼

体育要闻

与C罗硬碰硬,一个72岁老人的倔强

娱乐要闻

吴奇隆宣布重要决定,走上谢霆锋老路

财经要闻

时隔12年,公募基金运作办法修订

汽车要闻

2027款深蓝L06及追风版上市 限时权益价11.49万元起

态度原创

本地
家居
房产
教育
公开课

本地新闻

转型再出发 奋勇打头阵

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

475万人,猛增13.1%!国庆海南,又爆了?

教育要闻

高考地理中的下垫面

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版