网易首页 > 网易号 > 正文 申请入驻

提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法

0
分享至

允中 发自 凹非寺
量子位 | 公众号QbitAI

AI视频生成中,推理速度提升与生成质量下降,可能同时发生。

减少计算步骤可以缩短生成时间,但也可能引入误差累积;保留完整计算过程能够维持生成质量,却需要承担更高的算力与显存开销。

当视频生成从单次体验进入批量生产,问题不再只是模型能否生成视频,而是如何在生成质量、推理时延与资源成本之间取得平衡

针对这一需求,是石科技正式发布新品「多模态模型服务」,将优化重点放在视频生成推理加速、缓存与显存管理、多模态Token压缩,以及素材理解与生成链路衔接上。

其中:

  • 基于历史缓存残差的自适应加速技术负责减少视频生成过程中的冗余计算;
  • 结合SGLang的缓存管理机制优化资源使用;
  • 模态自适应Token压缩降低多模态理解开销;
  • 基于全模态模型的Context Engine则将素材理解结果转化为可供视频生成模型执行的结构化信息。

这些技术分别作用于不同环节,最终指向同一个目标:

在保障生成质量与服务稳定性的前提下,提高多模态模型的推理效率与算力利用率。

视频生成加速:减少冗余计算,同时控制误差累积

视频生成模型通常需要经过多轮迭代计算,逐步完成从初始信息到视频内容的生成。在这一过程中,相邻计算步骤之间存在可复用的信息。

如果每一步都执行完整计算,会产生较高的推理开销;但如果直接跳过部分步骤或复用历史结果,缓存误差又可能随迭代不断累积,最终影响生成质量。

因此,视频推理加速的关键,并不是简单减少计算次数,而是判断哪些计算可以安全复用,以及何时需要重新计算来控制误差

是石科技采用基于历史缓存残差的自适应加速技术,通过历史计算信息评估缓存复用风险,并动态调整计算与刷新策略。

对于变化较小的计算部分,系统复用历史结果,减少重复计算;对于误差风险较高的关键部分,则触发重新计算与校准,降低缓存误差对后续生成过程的影响。通过动态刷新与误差校准机制,系统在减少计算开销的同时,尽可能维持视频生成轨迹的一致性。

△相同实验设置下,是石科技缓存复用方案相对Dense端到端加速的可视化样例





在发布方案展示的测试条件下,相比Dense基线方案,该技术实现端到端平均2.48倍的加速,同时保持生成质量。

这意味着,推理加速不再完全依赖减少生成步骤,而是通过更精细的计算复用策略,在效率与质量之间建立动态平衡。

缓存与显存协同优化:提高单位算力的任务处理能力

视频生成的资源开销不仅来自计算量,也来自推理过程中的显存占用。

当多个视频任务并发执行时,缓存数据的存储、读取和更新都会影响显存使用效率。即使单个任务获得加速,如果缓存管理带来额外资源负担,仍可能限制整体任务处理能力。



因此,单任务推理加速与多任务资源利用,需要协同优化

是石科技将智能缓存决策与SGLang推理框架结合,通过缓存复用、分块处理、压缩及智能调度等机制,减少重复计算与不必要的显存开销。

同时,系统引入风险感知机制,根据实际计算反馈动态调整缓存策略,在提高复用效率的同时控制误差风险。这一设计将优化范围从单次推理计算扩展到资源管理层面。

对于企业级视频生产而言,生成速度、显存占用与任务并发能力共同决定算力资源的实际产出。通过降低冗余计算和缓存开销,可以为更高并发和更灵活的任务部署提供空间。

模态自适应Token压缩:降低音视频的理解开销

视频生成之外,多模态理解同样面临计算效率问题。

与文本相比,视频和音频包含更高密度的时序信息。模型在处理连续视频帧、声音片段等输入时,需要将这些内容转化为大量Token,进而增加计算与存储负担。但不同模态、不同片段的信息密度并不相同。部分Token包含关键语义信息,部分则存在较高冗余。

如果对所有Token采用相同处理方式,容易产生不必要的计算开销;如果直接进行统一压缩,又可能丢失影响理解结果的重要信息。

是石科技提出基于模态自适应的免训练Token压缩方法,利用基于AudioCLIP的模态感知技术,识别不同模态中的有效信息,并据此调整Token保留与压缩策略。

其核心思路是:根据模态特征与信息价值分配计算资源,而不是对所有输入进行等比例处理。

该方法无需额外训练,通过减少冗余Token,降低多模态理解阶段的计算负担,同时尽可能保留关键语义信息。



在WorldSense评测中,该方法实现1.33倍加速。在VideoMME、DailyOmni等多模态理解基准测试中,也展现出良好的性能表现。这使多模态推理优化从视频生成端进一步延伸至素材理解端,为处理复杂视听输入提供更高效的技术路径。

基于全模态模型的Context Engine解决方案

推理效率之外,多模态视频创作还需要解决理解结果如何进入生成流程的问题。

实际业务中的视频生成请求,往往同时包含人物图片、参考视频、音频及文字要求。

这些输入不仅具有不同的数据形式,还包含人物身份、动作、声音、镜头与时间顺序等约束。

如果直接将复杂素材与自然语言指令交给生成模型,素材之间的关联关系和执行要求可能难以得到一致表达。

为此,是石科技构建了基于全模态模型的Context Engine解决方案,在多模态理解与视频生成之间建立结构化的信息衔接机制。

系统首先理解输入素材及创作需求,提取人物、声音和相关约束,再将其组织为包含镜头、动作、对白等内容的结构化信息,供后续视频生成模型执行。例如,用户提供人物图片和参考音频,并要求生成一段人物对白视频时,系统需要将人物信息、声音内容与镜头安排进行关联,而不只是生成一段文字提示词。

这一解决方案通过素材绑定、结构化分镜、时轴校验及错误修正等机制,使不同模态的信息能够在生成流程中形成相对明确的对应关系。

其优化重点,是将复杂的多模态输入转化为更清晰、可校验、可执行的生成上下文。



在服务层面,是石科技进一步构建覆盖API接入、任务编排、模型路由、推理执行与结果交付的多模态推理架构,并通过任务状态管理、并发控制、超时重试与恢复机制,支撑实际业务中的任务运行与交付。

从模型推理效率到完整生产链路

多模态模型进入生产环境后,生成质量、推理时延、显存成本与任务稳定性不再是彼此独立的指标。

视频生成端需要控制冗余计算与误差累积,多模态理解端需要减少无效Token处理,生成链路则需要保证素材信息和创作约束能够有效传递。

此次是石科技发布的多模态模型服务,将这些优化能力放在同一条生产链路中考虑。

从自适应缓存加速、显存资源管理,到模态感知Token压缩、基于全模态模型的Context Engine解决方案的结构化衔接,再到推理服务架构,优化对象逐步从单个模型的计算过程延伸至多模态任务的执行与交付。

AI视频规模化应用的关键,不只是缩短一次生成的等待时间,而是在既定算力资源下,持续完成更多满足质量要求的生成任务。

从“能生成”到“好生产”,未来是石科技将持续围绕多模态推理效率、资源利用与服务稳定性等方面展开技术优化,为AI视频从模型能力走向实际生产提供基础支撑。

*本文系量子位获授权刊载,观点仅为原作者所有。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
100场!恭喜汤普森!历史独一档纯得分手

100场!恭喜汤普森!历史独一档纯得分手

篮球实战宝典
2026-11-15 17:18:53
用严寒当武器!俄军冬季攻势精准猛烈,一夜炸毁六大变电站

用严寒当武器!俄军冬季攻势精准猛烈,一夜炸毁六大变电站

子桑说
2026-11-13 18:00:09
寒冬模式开启 降雨、大风、降温先后抵达

寒冬模式开启 降雨、大风、降温先后抵达

北青网-北京青年报
2026-11-16 10:31:10
深度长文:我们为什么一定会死?死亡可能不是故障,而是进化留的后门

深度长文:我们为什么一定会死?死亡可能不是故障,而是进化留的后门

宇宙时空
2026-11-15 21:25:10
开门一天亏15万,关门却要先花5000万,最窝囊的生意出现了?

开门一天亏15万,关门却要先花5000万,最窝囊的生意出现了?

铜臭的历史味
2026-11-06 00:26:34
太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

太前卫!学生情侣约定开房,房费一人承担一次,半年男方多次清算订房记录,不愿多出一分,女生哭诉

蝴蝶花雨话教育
2026-10-29 00:05:14
发现一个规律:如果是长期不祭祖的家庭,过个十年八年,会有变化

发现一个规律:如果是长期不祭祖的家庭,过个十年八年,会有变化

智慧生活笔记
2026-11-16 14:53:27
彩礼照出的是钱,也是人心!一女子与男友谈恋爱八年,要16万彩礼男友不给,他转身相亲订婚却给22万

彩礼照出的是钱,也是人心!一女子与男友谈恋爱八年,要16万彩礼男友不给,他转身相亲订婚却给22万

蝴蝶花雨话教育
2026-10-28 00:05:23
叶璇自曝:22岁拍完《天下第一》就财务自由了,在情感上一直被爱着

叶璇自曝:22岁拍完《天下第一》就财务自由了,在情感上一直被爱着

韩小娱
2026-11-15 10:54:23
在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

在蒙古工作的华人感慨:不要听媒体吹牛,蒙古相当于我国二线城市

铭记历史呀
2026-11-08 20:11:00
中国人的“大G”来了,29.99万级真男人座驾!

中国人的“大G”来了,29.99万级真男人座驾!

米粒说车唯一呀
2026-11-16 15:00:04
宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

宋庆龄一辈子没有生养,1981年法医对她的遗体进行解剖检查,这才揭开了她心底最痛苦的隐情

扶苏聊历史
2026-11-12 18:31:31
反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

反噬说来就来!中国芯片厂明确拒绝拆分,荷兰转而要谈公平补偿?晚了

互联鱼
2026-11-16 00:15:08
服刑7年出狱查账崩溃:47万余利宝只剩6.43元,1.9万直接流进办案警官的微信

服刑7年出狱查账崩溃:47万余利宝只剩6.43元,1.9万直接流进办案警官的微信

文青大叔说
2026-10-27 09:03:14
国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

国家税务总局规定:2026年11月1日起全国加油站全面推行,以后去加油站加油,加完油系统自动给你开电子发票

扶苏聊历史
2026-10-09 10:45:34
快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

快被父母的有钱程度震惊!网友:我的父母什么时候告诉我是富二代

另子维爱读史
2026-11-13 23:00:23
演员童瑶发文告别

演员童瑶发文告别

背包旅行
2026-10-16 11:55:16
60岁蒋雯丽现状:定居英国,又瘦又老,网友惋惜:一代女神也老了

60岁蒋雯丽现状:定居英国,又瘦又老,网友惋惜:一代女神也老了

寒士之言本尊
2026-11-12 15:02:06
怎么敢!俄罗斯要求北约撤出东欧、英法不再为欧洲提供核保护

怎么敢!俄罗斯要求北约撤出东欧、英法不再为欧洲提供核保护

鹰眼Defence
2026-11-15 17:09:21
看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

看德国悲惨现状就明白:中国为何坚决打击性交易,原因不言自明

怪味历史连连看
2026-07-01 14:49:12
2026-11-16 16:35:02
量子位 incentive-icons
量子位
追踪人工智能动态
13684文章数 176599关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

艺术
教育
亲子
旅游
军事航空

艺术要闻

寸境宏光——2026中国小幅油画展 人物篇

教育要闻

日常英语:公交车上问路

亲子要闻

就诊小窍门 上海·复旦大学附属儿科医院 儿科医生黄剑峰

旅游要闻

128米高空转30分钟,苏州之眼看尽金鸡湖

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版