从无声到震撼！视频自动配音开源黑科技MMAudio

MMAudio 是一个强大的自动根据视频生成适配音频的模型，能够根据视频内容完美生成丰富、贴合的音频。这个模型专注于生成与视频中的视觉元素、动作和环境相匹配的高质量音频，并保持时间的一致性。MMAudio首次亮相于2023年，但由于早期的生成效果平平，并未掀起太大的波澜。在2024年12月8日，MMAudio在Github社区正式发布，随着SORA的无音频视频技术的加入，普通人如今也能轻松借助AI的力量，实现从创意到成品的飞跃，摇身一变成为“短片大师”。（链接在文章底部，已经开源，也可以在线体验）

该模型采用了专门为视频到音频合成设计的深度学习架构。通过先进的神经网络和时间分析，它处理视频中的视觉信息，生成自然适配的音频。MMAudio支持高质量的音频合成、上下文感知的声音生成、精确的时间同步、丰富的环境音合成、准确的动作与声音匹配以及可处理多种视频来源。

01 主要功能和效果

视频音频生成：该功能能够根据视频内容自动生成背景音乐、音效以及环境音，大幅简化了传统音效制作的流程。不再需要耗费时间手动制作声音，也无需依赖深厚的专业知识，AI即可轻松完成。

文本生成音频：通过上图可以看到MMAudio还具备一项强大的功能—根据文本自动生成音频效果。只需输入场景描述（Prompt），它便能生成匹配的音效，从环境背景音到脚步声甚至爆炸声，精准呈现所需的声音氛围。

同时社区也有ComfyUI对MMAudio的支持，链接均在文章底部。（ComfyUI就是一款基于图形界面的深度学习工作流工具，专为那些想要深入掌控AI模型工作流程的人设计。它通过模块化的方式，将复杂的AI操作拆分成一个个可视化的节点，让用户可以自由搭建、调整和优化自己的AI项目。）

该模型也存在一些问题：模型有时会生成一些类似人声但听不懂的声音；有时会意外生成不需要的背景音乐；对一些不常见的概念处理不佳，比如能生成“枪声”，但无法生成“RPG firing”。

https://github.com/hkchengrex/MMAudio
https://huggingface.co/spaces/hkchengrex/MMAudio
https://huggingface.co/hkchengrex/MMAudio/tree/main
https://hkchengrex.com/MMAudio/video_main.html
https://github.com/kijai/ComfyUI-MMAudio

欢迎交流～，带你学习AI，了解AI