“AI孙燕姿”突然爆火，技术如何复刻声音

一夜之间,“AI孙燕姿火遍全网。B站上,AI孙燕姿翻唱的林俊杰“她说”、周董“爱在西元前”、赵雷“爱在西元前”等等,让一众网友深陷无法自拔。

01

一夜之间“AI孙燕姿”火遍全网

2023年最火爆华语歌手是谁？不是周杰伦，也不是孙燕姿，而是“AI孙燕姿”。

近期，在各大视频平台上，“冷门歌手孙燕姿”靠着各种各样的AI“分身”翻唱不同曲风的歌曲，营业时长感人，作品出圈火爆。从流行、到摇滚、再到“魔性”，没有AI孙燕姿驾驭不了的曲风。

本人未曾开口，轻而易举地占据华语乐坛半壁江山，连资深歌迷都不太能听出差异。孙燕姿悄无声息“攻占”华语歌坛的背后，靠的还是人工智能。

除了“AI孙燕姿”、还有“AI周杰伦”，“AI王心凌”……据悉，这些翻唱歌曲，是由多位UP主通过开源项目自制后并上传。

“UP主”子鱼（化名），至今只做了4个“AI孙燕姿”的音频，但在B站总播放数已超过150万次。其中《下雨天》单曲播放数超过100万次，收藏人数近2万人。

当下的AI歌手尽管只是高度“模仿”了歌手的音色及演唱风格，但这对于期待歌手营业的粉丝们来说已经相当兴奋。

不少粉丝听后表示，“还原得有点可怕了”“这简直就是科技与狠活！”这不禁让人想起前段时间，孙燕姿在海潮宇宙音乐节演出结束后被粉丝追问何时开演唱会的那句打趣——“再不开演唱会就要被AI取代了！”

02

音乐圈的科技与很活儿

“他们”的翻唱歌曲，由创作者通过开源项目“so-vits-svc”自制后并上传。so-vits-svc

按照目前的技术，歌手的唱腔、技巧和风格还很难完全模仿，但音色已经基本能1:1复制了。而我们也发现，AI孙燕姿用的核心技术主要来自于一个叫做So-vits的开源项目。

随着AI歌手的火爆，“教你打造属于自己的AI孙燕姿”“让喜欢的歌手为你唱歌”等AI训练教程也火速上线，制作此类歌曲的门槛越来越低。

在《下雨天》的AI翻唱视频下，B站网友评论，“那以后，能听见黄家驹、张国荣他们唱新歌了。”

目前，这个项目已经迭代到了4.0版本。相较于以往VITS、soft-vc、VISinger2等项目，So-vits的使用大大简化，仅凭数段音频，就可用一个生成式模型来合成目标音色的音频，训练出用户想要的声学模型。这个模型可以保留音高和音调，也可以用不同的语言来翻唱。

制作一首AI歌手演唱的歌曲需要3个步骤：下载一键启动包、输入合适的干声（无音乐的纯人声）、训练声学模型（训练时间越长效果越好）、进入音频编辑软件进行合同和后期。目前，网上已经随处可见教学视频，博主仅仅需3分钟就可教学AI音频制作的全流程。

实际操作起来其实并没有这么简单，目前，有两个比较火的开源项目，分别是so-vits-svc和RVC，它们都使用了一种叫做VITS的模型，原本是用于文本生成语音的，但是经过改造，可以直接将音色特征作为输入，不需要转换成文本。这样就可以实现任意歌曲的音色转换，而不仅仅是歌词。

AI孙燕姿就是利用这些技术，将孙燕姿的音色特征提取出来，然后用它来翻唱其他歌手的歌曲。

了提高音质和逼真度，还需要进行一些后期处理，比如kmeans聚类音色匹配、hifigan音质增强等等。

这个过程并不简单，需要一定的算法相关经验和成果，也需要大量的数据采集和实验。

据悉，AI孙燕姿的创作者之一Rcell表示，他和他的团队经过半年时间做了上百组实验，才得出了当前的最优解。他们采集了孙燕姿的四张专辑《孙燕姿 同名专辑》《克卜勒》《逆光》《是时候》，共计约100首歌曲作为训练数据。他们还尝试了其他歌手的音色转换，比如周杰伦、林俊杰、王菲等等，但是效果都不如孙燕姿的好。

而此前为了纪念邓丽君逝世22周年，日本节目《金SMA》利用全息投影技术，令一代歌后“复活”。粉丝们自行训练张国荣、姚贝娜等故去歌手的模型，让故人以“数字生命”的形式重现，透过这些久违的声音，让听众在互联网的一片喧嚣之中，感受到独有的人文主义温暖。

今年3月，歌手陈珊妮发布新歌《教我如何做你的爱人》，粉丝听完新歌后几乎都在称赞这首歌的演唱水准一如以往。但一周后，陈珊妮发表长文表示，她的新歌其实是由“AI模型”演唱，就连单曲封面也是AIGC生成。在歌曲制作过程中，她为调教AI演唱做了充足的工作，这些工作量不低于乃至远高于亲自演唱。

而陈珊妮也表示，期望透过这首歌，促动所有关心艺术创作的人思考——如果 AI 的时代必将到来，身为创作人该在意的或许不是“我们是否会被取代”，而是“我们还可以做些什么”。

03

绕不开的版权问题

AI翻唱涉及到的版权问题主要包括：AI翻唱是否侵犯了歌手的声音版权？AI翻唱是否侵犯了其他歌手的音乐版权？AI翻唱的歌曲是否享有自己的版权？

这些问题在我国目前还没有明确的法律规定和司法判例，存在很多争议和困难。

国外，AI“入侵”音乐界早有案例。如一名TikTok用户利用AI蕾哈娜翻唱碧昂斯热门单曲《Cuff It》的案例，引起了该曲版权方环球音乐的注意，并引发了侵权诉讼；美国摇滚乐队Nirvana起诉歌曲《Drowned in the Sun》的制作团队，称该团队利用AI技术模仿了他们的风格；美国说唱歌手Jay-Z起诉网站Vocal Synthesis，称该网站用他的声音朗读《哈姆雷特》、《海明威小说》等文学作品，侵犯了他的声音版权和肖像权。

以大模型为桥梁，非编程人员便可打造专属AI工具，无疑是向通用人工智能迈进的重要一步，但当AI在音乐、绘画等领域的应用门槛逐步放低，相应的版权问题势必纷至沓来。

有意思的是，so-vits-svc模型的开发者已经从源代码托管服务平台Github上删库，并表示，删库主要是因为项目已经停止维护和更新，并且声明了项目的免责条款，强调项目是一个开源、离线的项目，所有成员和贡献者对项目没有任何控制权，也不知道用户使用项目的目的和方式，因此所有基于项目训练的AI模型和合成的音频与项目的成员和贡献者无关。

有业内人士表示，AI应用现在是热点，但是面对侵权问题是一个巨大又繁琐的工程，各家目前都没有一个通用的做法。因此有的平台主要鼓励创作者自己做明确的声明。

5月9日，抖音也发布了关于人工智能生成内容的平台规范暨行业倡议。其中提到，创作者、主播、用户、商家、广告主等平台生态参与者，在抖音应用生成式人工智能技术时，发布者应对人工智能生成内容进行显著标识，帮助其他用户区分虚拟与现实，特别是易混淆场景；发布者需对人工智能生成内容产生的相应后果负责，无论内容是如何生成的；虚拟人需在平台进行注册，虚拟人技术使用者需实名认证；禁止利用生成式人工智能技术创作、发布侵权内容，包括但不限于肖像权、知识产权等。一经发现，平台将严格处罚。

04

AI应用加速落地

AI在音乐领域能“发挥”的作用越来越多。虽然总有人认为，AI的声音没有感情，无法代替人的艺术性创作。但不可否认，AI的能力早已慢慢“渗透”进音乐产业的诸多方面。

早在2007年，虚拟歌手初音未来就面世了。后来“二次元形象+语音合成引擎”的虚拟歌手层出不穷，B站的洛天依，LOL推出的K/DA女团都属于此类。

目前AI对于音乐行业的介入除了AI翻唱外，还有AI音乐制作。

像是早期Korg、Yamaha、Roland品牌的高端自动伴奏合成器，Band in a Box自动编曲软件等都已成为许多知名音乐人的“左膀右臂”。

而基于AI技术的母带制作服务（例如LANDR），则为音乐人们提供了一种成本远低于传统母带制作服务的替代性方案，已经有超过200万音乐家利用它制作出1000万余首歌曲。

AI对于音乐制作的介入正在变得越来越深入和广泛。在ChatGPT爆火后，越来越多的生成式AI工具被快速推出。去年年底出现的开源AI翻唱项目Diffsvc和So-vits，从出现到发展至普通人难以辨别的地步，只用了几个月时间。

今年初，谷歌宣布开发了一款名为MusicLM的人工智能工具，可以从文本中直接生成音乐。而最近，B站官方也在积极鼓励AI创作，推出了名叫“虚拟之声创作计划”的主题活动。

当然，AI技术生产的声音，可能会让你感到新奇，但也可能会让你感到迷惑。在听这样的歌曲时，不要忘记了真正的歌手，真正的歌曲，真正的音乐。

编辑｜张毅

审核｜吴新

爆料联系：cpcfan1874（微信）

壹零社：用图文、视频记录科技互联网新鲜事、电商生活、云计算、ICT领域、消费电子，商业故事。《中国知网》每周全文收录；中国科技报刊100强；2021年微博百万粉丝俱乐部成员；2022年抖音优质科技内容创作者