Talk预告 | 新加坡国立大学祝泽宇：攻克长文档与多模态挑战，Paper2Video实现学术视频的自动化生产

本期为TechBeat人工智能社区第728期线上Talk。

北京时间11月20日(周四) 20:00，新加坡国立大学博士生祝泽宇的Talk将准时在TechBeat人工智能社区开播！

他与大家分享的主题是:攻克长文档与多模态挑战，Paper2Video实现学术视频的自动化生产。届时他将介绍Paper2Video基准对学术展示视频进行评价，并提出一个多智能图框架 PaperTalker，为实现自动化和可用的学术视频生成迈出切实可行的一步。

Talk·信息

主题：攻克长文档与多模态挑战，Paper2Video实现学术视频的自动化生产

嘉宾：新加坡国立大学 · 博士生 - 祝泽宇

时间：北京时间11月20日(周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

Talk·介绍

学术展示视频作为科研交流的重要媒介，制作过程仍高度依赖人工，需要反复进行幻灯片设计、逐页录制和后期剪辑，往往需要数小时才能产出几分钟的视频，效率低下且成本高昂，这凸显了推动学术展示视频自动化生成的必要性。

然而，与自然视频生成不同（如 Sora2、Veo3 等扩散模型），学术展示视频面临以下独特挑战：

1. 长文档与高密度输入 (Multi-modal Long-context Input): 来源于完整学术论文，包含大段专业文本、复杂公式、多幅图表，远超自然视频的输入复杂度。

2. 多模态通道的协同生成 (Coordination of Multiple Aligned Channels): 需要同时生成并对齐幻灯片、字幕、语音、光标轨迹与讲者视频，保证多模态之间的语义一致性与时序同步。

3. 缺乏专门的评价标准 (Lacks Well-defined Evaluation Metrics): 现有视频生成指标主要关注画面质量或风格一致性，难以衡量学术展示视频在知识传递、受众理解与学术可用性上的效果。

因此，现有自然视频生成模型和简单的幻灯片 + 语音拼接方法难以胜任，亟需一个系统化的基准和方法来推动自动化、可用的学术视频生成。

为了解决以上挑战，本次工作提出了 Paper2Video 基准对学术展示视频进行评价，并提出一个多智能图框架 PaperTalker，为实现自动化和可用的学术视频生成迈出切实可行的一步。

Talk大纲

1. 研究动机 - 自动化和可用的学术视频生成

2. 相关工作 - AI for Science

3. Paper2Video - Benchmark

4. PaperTalker - Method

5. 实验

6. 结论

Talk·预习资料

论文链接： https://arxiv.org/abs/2510.05096 代码链接： https://github.com/showlab/Paper2Video 项目主页： https://showlab.github.io/Paper2Video/

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call和问题，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

祝泽宇‍‍‍‍‍‍‍‍‍‍‍

新加坡国立大学 · 博士生
‍‍‍

祝泽宇是新加坡国立大学Show Lab的二年级博士研究生，本科毕业于西安交通大学钱学森班。研究方向是视频生成与基于代理的人工智能系统的交叉领域。

他致力于开发能够自主创作视频的智能系统，将人类从繁琐的工作中解放出来，并赋予他们可视化创意的能力。

研究方向以及代表工作:

• 视频生成代理：Paper2Video、MovieAgent

• 以人为中心的视频生成：Multi-human Interactive Talking Dataset

个人主页: https://www.techbeat.net/grzytrkj?id=45894 ‍‍‍‍

-The End-

如果你也想成为讲者

自荐 / 推荐

单人Talk | 团队专场 | 录播or直播 | 闭门交流

多种方式任你选择！

推荐讲者成功也有奖励哦~

关于TechBeat人工智能社区

TechBeat(www.techbeat.net)隶属于将门创投，是一个荟聚全球华人AI精英的成长社区。

我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。

期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>

预约本期Talk