Meta推出SAM Audio模型：AI音频分离新突破

想要单独听到一首歌中的吉他独奏？或者想从语音录音中去除火车噪音？Meta表示，其新推出的SAM Audio模型可以通过简单的提示来分离和编辑声音，大大减少了传统音频编辑工具所需的手动工作。

分段任意模型SAM Audio的发布延续了Meta此前发布的视觉资产分割模型。Meta现在声称，它已经创建了"首个用于音频分离的统一多模态模型"SAM Audio，该模型今天已在公司的Segment Anything Playground上提供，同时也可供下载。

所谓"多模态"，是指SAM Audio能够解释三种类型的音频分割提示：文本提示、时间段标记，以及视频中的视觉选择来隔离或移除特定声音。

以乐队演奏的视频为例，选择吉他手就能让SAM Audio自动隔离该演奏者的声音。在户外录音中高亮显示狗叫声的波形，告诉SAM移除该声音，它就能在整个文件中追踪并消除这些干扰。

"SAM Audio在多样化的真实场景中表现可靠——使用文本、视觉和时间线索，"Meta在SAM Audio发布声明中表示。"这种方法为人们提供了对音频分离方式的精确和直观控制。"

该公司表示，它看到了SAM Audio的多种用例，如清理音频文件、去除背景噪音，以及其他以前需要在音频编辑软件或专用声音混合工具中手动完成的任务。

话虽如此，使用AI处理音频并不是什么新想法——市面上有很多产品都能做SAM Audio所做的事情，但Meta将这个领域描述为"碎片化"的，"有各种为单一用途设计的工具"，不像SAM Audio所谓的统一模型。

鉴于其基于用户提示隔离特定声音的能力，人们自然会对这种模型的安全性产生疑问，以及它是否可能被用来在公共录音中单独提取声音或对话，从而可能创造出新的窃听途径。我们仔细查看了Meta的SAM Audio页面和相关研究论文，以获取有关新模型内置安全功能的更多信息，但该公司根本没有涉及这方面内容。

当被问及安全问题时，Meta只告诉我们，如果没有AI时某事是非法的，那么你就不应该使用AI来做这件事。

"正如SAM许可证所述，SAM材料的使用必须符合适用的法律法规，包括贸易管制法和适用的隐私和数据保护法，"Meta发言人告诉The Register，这听起来可疑地像是使用SAM Audio做恶事完全在其能力范围内。

不过，Meta自己承认SAM Audio有"一些局限性"，这可能意味着对于那些想要使用AI重现现代版《窃听大阴谋》的人来说，它还没有完全准备好。对于SAM Audio来说，分离"高度相似的音频事件"仍然是"一个挑战"，比如从众多声音中挑出一个声音或从管弦乐队中隔离单一乐器，Meta指出。SAM Audio也无法在没有提示的情况下完成任何音频分离，也不能将音频作为提示，这意味着向它输入你想要隔离的声音仍然超出了该机器人的范围。

SAM Audio可能有用的一个领域是无障碍空间，Meta表示正在积极朝这个方向努力。该公司表示已与美国助听器制造商Starkey合作探索潜在的集成，同时还与2gether-International（一个为残疾创业者提供服务的加速器）合作，探索SAM Audio可以服务的更多无障碍可能性。

Q&A

Q1：SAM Audio是什么？它有什么特别之处？

A：SAM Audio是Meta推出的音频分离AI模型，被称为"首个用于音频分离的统一多模态模型"。它的特别之处在于能够通过文本提示、时间段标记和视频中的视觉选择三种方式来分离音频，用户可以简单地选择视频中的吉他手来自动隔离该演奏者的声音。

Q2：SAM Audio能处理哪些音频分离任务？

A：SAM Audio可以清理音频文件、去除背景噪音、隔离特定乐器声音等。比如从乐队演奏中单独提取吉他声，或者从户外录音中去除狗叫声等干扰。不过它在处理高度相似的音频事件时仍有挑战，比如从众多声音中挑出一个声音。

Q3：SAM Audio的安全性如何？会不会被滥用？

A：Meta对SAM Audio的安全性问题回应较为模糊，只表示使用必须符合相关法律法规。由于该模型能够基于提示隔离特定声音，确实存在被用于窃听等不当用途的担忧，但Meta没有详细说明内置的安全防护措施。