腾讯云音视频朱紫星：嵌入全制作链路，重构漫剧生产效率

新腕儿漫剧大会报道

新腕儿漫剧大会结束后，近期将陆续发布嘉宾们的演讲内容。

3月20日，在新腕儿漫剧大会上，腾讯云音视频产品架构师朱紫星上台分享关于《智能媒体新引擎：腾讯云音视频助力漫剧生产与提效》的主题演讲。

以下为演讲全文：

大家好，我是腾讯云音视频产品架构师朱紫星，很高兴来跟大家分享，我今天的演讲主题是《腾讯云音视频助力漫剧生产跟提效》。

我们正站在内容生产变革的十字路口，漫剧行业向稳定、工程化方向在发展因此，我主要是想探讨如何利用腾讯云沉淀多年的音视频技术，结合最新的AIGC模型，重构漫剧生产力。

主要从漫剧的生产端、运营宣发端的两个环节，结合媒体处理和云点播能力，助力漫剧生产提效，赋能漫剧的宣发创新。

首先从市场数据看到，目前全球多模态AIGC正在进行爆发，AIGC产出的视频、图文素材增速惊人，对漫剧行业来讲，为漫剧资产生成、运营带来显著增益和提效。面临各类内容需求的高频化，对漫剧行业来说也是在制作和生产运营环节面临效率和成本的瓶颈问题。

比如说在生产时间限制下需要平衡质量跟成本。在运营成本限制下，运营环节面临着海量剧集高效宣发的需求，体验、效率和规模存在矛盾。

结合AIGC资产生成模型，我们媒体处理超分降本、音视频全流程质检精准切入，助力解决一些生产、运营环节的核心矛盾、难题，助力漫剧行业向更加稳定和流程化的方向发展。

第一块是助力生产提效。从整个漫剧制作链路来看，我们将腾讯云音视频的原子能力深度嵌入到工作流环节中。比如从剧本生成、角色库搭建、分镜生成，到分镜转动画，我们提供AI配音、智能字幕、视频后处理的转码和增强能力，相当于是每个环节都会有相应的AI技术支撑。

在AIGC生成环节，行业头部AI模型统一接入。以混元大模型为基础，同时兼容多家头部AIGC模型能力，提供多样化模型服务不同画风、业务、场景的需求。包括文生图、图生图、文生视频、图生视频生成式AI的能力，满足角色图、分镜图以及后续的视频生成。

通过腾讯云的能力，可以实现底层能力的平滑迁移以及动态升级。

漫剧垂直场景下，我们可以做一些场景化的调优，比如场景化的模板，帮助创作者快速生产及漫剧转绘。

这里有一些简单的示例，这里我们也是把很多AI技术能力做整合，包括智能场景分镜识别、切分，角色识别、风格迁移等等能力，快速产出和原始视频音画同步的动画视频。从风格来说，如果已经有一些成熟的真人短剧素材，可以快速产出一个高质量的动漫版本的视频。

在一站式调用AIGC模型生成出大量素材之后，结合媒体处理能力来覆盖整个内容制作全流程，比如说音视频增强能力结合细节增强、超分、视频插帧，还有一些大模型增强的能力，当然，我们直出4K、60帧的视频，让AI生成的内容可以满足一些顶级素材的要求。再结合媒体智能里的AI配音、智能字幕生成，以及水印去除等能力实现全链路AI处理。

我接下来重点介绍媒体处理漫剧生产的三个降本增效方案：

第一，在处理漫剧前期素材时，无论是宫格分镜图还是传统分镜图，或者人工拆图的方式都比较耗时，成本比较高。我们结合拆图能力，可以一键拆成想要的任意单图，同时叠加质量修图能力，对于分镜图中模糊场景自动增强，人脸细节会更加清晰，对于分镜中的水印和纯色边界都可以处理。相对于传统方式，可以降本增效。

第二个方案是AIGC结合超分技术做的生产降本。如果想要生成更高的分辨率，算力成本会对应增加，推理时间增长。如果结合媒体处理的分辨率技术实现降本增效，可以先生成一个低分辨率，结合综合增强降噪能力转码为高品质视频，比直接生成一个720P或者1080P视频的降本增效更加明显。

第三个方案是腾讯云自研的大模型修复，在一些复杂场景、精细元素构建中出现崩坏、抖动，或者光影色彩异常等问题，结合AIGC修复大模型，通过自研的多帧DIT大模型训练，优化细节抖动、崩坏的区域修复。

通过多模态语义和像素级智能重建技术，生成过程中帧的过渡会更加自然，修复后的画面整体连贯性明显提升，这样可以适用于一些影视剧、短剧、漫剧等高价值场景。

音频字幕方面，我们支持丰富的人物音色、语调、情感和多语言输出，同时附有字幕擦除、提取和翻译功能。

为了方便开发者，我们也跟阅文的漫剧助手联动，提供专业的漫剧SaaS平台，开箱即用。

这里也简单介绍一下阅文的漫剧助手，不仅提供海量正版阅文IP授权，还结合一站式漫剧工作流，还有自定义内容资产库，辅助IP从剧本到分镜头、整体视频的全流程创作。

第二板块，聚焦宣发运营时，多模态营销素材的生和海量剧集高效宣发的需求。

我们在产出大量内容素材后，需要进行高效分发。在分发环节时，需要极速高清转码的能力，结合像智能场景的识别，动态编码匹配，还有像画质增强等处理能力和视频编码内核能力，使得视频在保持画质更优的情况下，大幅降低视频码率，从而降低媒资、存储分发的成本。

这是我们比较领先的内核能力，支持所有主流视频编解码标准，在近几年的MSU视频编解码大赛都是属于全球领先的第一梯队位置。

第二点是漫剧生产过程中，想要工业化发展时，质量监控也是个重要环节。我们提供音视频全流程质检能力，从格式检测到内容画面检测，比如你的画面中是否有模糊、低光照，或者花屏等问题，以综合性的主观画质评分，通过这种全流程质量监控体系可以保证从海量素材中找出高质素材，保证输出的每一集剧集都是高质量作品。

接下来就是我们有一些媒体AI的工具来助力我们做一些营销素材的加工，包括像一些智能的擦除，然后视频的拆条，精彩集锦等这些媒体AI处理的一些能力，它主要是依托一些多模态的大模型来实现多场景视频智能处理，从而提升我们内容生产的效率和质量。

比如擦除功能，是我们目前比较领先的能力。基于自研的一些多模态视觉大模型，实现字幕、水印自动的无痕擦除。

对于一些比较复杂的场景，像半透明文字、花字、复杂视频，即便背景纹理比较复杂，也可以做相应的处理。

还有高光集锦生成，都可以帮助大家快速制作宣发物料。比如高光集锦，通过大模型对整个视频理解定义一些提示词，提取出主角出场时刻你想要的精彩片段。AI解说剧也可以通过你输入一个原始视频，不需要再做其他处理，就能自动生成一个全新的解说版本视频。

还有像横转竖、竖转横的能力，是为了灵活复用一些已有的素材，比如已有的横屏视频，想要在移动互联网端再分发一次，我们也支持AIGC生成式的横转竖，或者竖转横。它可以自动地识别画面布局和人物构图等，增加整体剧情连贯性和视觉画面完整性。

通过这种方式也是能够灵活的复用已有的内容，降低一些重新制作的成本。

第三部分主要是简单介绍下我们音视频PaaS矩阵。

我们音视频能力具备大规模分发网络，领先视频编解码内核的能力，以及一些深厚AI算法储备，提供低延时超高清的一站式音视频解决方案，满足不同企业在不同场景下的音视频需求。

像目前我们大部分头部客户已经通过腾讯云的音频方案制作内容，我们也期待音频技术的驱动实现效率的革新。

时间有限，我讲得可能稍微有些仓促，如果大家对我们产品或技术有兴趣，欢迎线下交流！

了解短剧，请关注新腕儿。

加入新腕儿社群请扫码。