让机器学会听：他靠机器学习分离声音，参与披头士纪录片音效工作

棒球棒击中球的脆响，配上全场观众的欢呼，就算没看见那一记本垒打，球迷也能立刻被拉回比赛现场。人类常被称作视觉动物，但听，同样是我们感知世界的方式。

麻省理工学院（MIT）教授帕里斯·斯马拉格迪斯（Paris Smaragdis）想做的，是让机器听得比人更好。他的设想很具体：一台具备超人类听觉的机器，可以靠轮胎尖叫和金属挤压的声音，迅速定位交通事故发生的位置；也可以在工业钻头钻穿坚硬基岩、开凿地热井时，判断它什么时候可能断裂。

“我常说，我做的是计算机视觉那帮人做的事，只不过对象换成了听觉。”斯马拉格迪斯说。他同时在人文、艺术与社会科学学院的音乐与戏剧艺术项目，以及工程学院的电气工程与计算机科学系、MIT施瓦茨曼计算学院任职。

他的研究组关注几个方向：用于声源分离的机器学习、能增强人类听觉环境的智能设备，以及帮助人们理解、操控、分析和创作音乐的更好工具。“我有音乐背景，所以一直想研究这些想法。要让机器理解声音，需要什么？能听的机器，应用空间非常大。”他说。他于2025年加入MIT。

从一把小合成器开始

斯马拉格迪斯在希腊长大，小时候学古典吉他。他喜欢弹传统曲目，直到父亲带回家一台小合成器，他的音乐之路出现转折。

“那台小合成器有个功能，可以让你自己造声音，我完全被各种可能性迷住了。”他说。上世纪80年代，合成器在流行音乐中越来越重要，这让他对这项技术更加着迷。

随着学业推进，他想专门研究用合成器做的音乐。但当时欧洲比较传统的音乐学院并没有这样的教育路径。于是他进入波士顿的伯克利音乐学院，读一个可以探索用计算机和合成器塑造、操控声音的项目。“有了计算机和合成器，我能造出以前从没被听到过的新声音。”他说。

同一时期，他迷上了爵士融合乐。在伯克利，他把贝斯定为主修，因为这样有更多机会和爵士乐团一起演奏。“我觉得贝斯在声音上比吉他更有意思。那是一个更少被探索的领域，而我一直被没被探索过的领域吸引。”他说。

这种对未知的兴趣也延续到了课程里。他和导师、电子制作与设计教授理查德·布朗热（Richard Boulanger）一起，造出帮助人们用计算机写音乐、制作音乐、增强音乐的新工具。在伯克利求学期间，他还与MIT媒体实验室的巴里·维尔科（Barry Vercoe）教授（于2025年去世）合作，开发用于音乐创作的软件合成器。沿着这个项目，他进入维尔科的团队读研究生，先后完成硕士、博士学业，又做了博士后。

“在媒体实验室，我更多接触到计算机音乐里‘计算机’的那部分。我的注意力在那里发生了一点转移。那时我真的很想做能理解声音的计算机。”他说。

选一条少有人走的路

当时媒体实验室的很多学生用信号处理技术帮机器处理声音。斯马拉格迪斯选了另一条路——机器学习，把自己和人群区分开。他发现，训练机器学习模型去理解声音，能带来传统信号处理技术达不到的优势。

“时间久了，我很清楚一件事：我们得教计算机怎么听，不能只是告诉它怎么听。真要说的话，我们连人类自己是怎么听的都不知道。”他说，“我们没有一套词汇去解释‘听’意味着什么，也说不清怎么分辨猫的喵叫和小提琴的声音。”

博士后结束后，他进入三菱电机研究实验室工作，研究能扫描视频音轨、理解画面中正在发生什么的人工智能系统。

“假设你录了一整场足球赛，但只想看集锦。在计算机视觉里，要识别什么是集锦非常难。可如果只听声音，观众疯狂起来的时候，你就知道有有意思的事发生了。”他说。这套系统后来被装进电子设备，包括三菱当时在开发的一款个人录像系统，也用到了交通监控系统和手机里。

之后他加入Adobe，组建音频研究团队，做出让艺术家、音乐人和制作人不需要太多专业知识就能操控声音的易用工具。“做这些工作的过程中，我不断碰到需要解决的更深的技术问题。我跳进学术界，就是为了解决这个痒处。”他说。

他进入伊利诺伊大学厄巴纳-香槟分校任教，和团队把最新的机器学习技术引入音频处理系统。他们开发的一项技术用神经网络从混合音频中分离出单个声音，这个项目引起了2021年纪录片迷你剧《披头士：回归》（The Beatles: Get Back）制作团队的注意。

制作团队请斯马拉格迪斯帮忙清理一些披头士的档案录音。“那是一种和我在学术界做的完全不同的音频处理。现在我得做出听起来好的东西，但它不一定在纸面上好看。我们没有一个可以优化的公式。”他说。

每一段录音都有不同的难题。比如有一段里，约翰·列侬在演奏音乐，保罗·麦卡特尼在旁边胡闹，念报纸标题、拿乔治·哈里森开玩笑。“我们想找出一个能帮我们处理所有情况的技术方案，而不是一个问题一个问题单独解决。”他说。他的贡献帮助团队在2022年拿下非虚构或真人节目类音效剪辑艾美奖。

不想用计算机取代音乐人

在伊利诺伊大学待了15年后，斯马拉格迪斯决定加入MIT，处理这个领域正在冒出来的棘手跨学科问题。

他的团队现在主要做两块。一块是让计算机成为音乐人更有用的工具。其中一个项目是让机器学会怎么听音乐，从而能给音乐人建设性的反馈。“我们想扩充音乐人手里的工具箱，不想用计算机取代音乐人。”他说。

另一块是给科学家和艺术家提供处理、分析、操控音频的基础工具。比如团队最近在探索一些算法，让复杂的信号处理不再依赖固定的采样率、帧大小或上下文窗口这类传统参照系，甚至不需要定义它们。斯马拉格迪斯说，这意味着一些尚未被探索的计算结构，尽管它们在更高效处理上有潜力。“那需要重新思考很多基础的东西，但一旦有了这个能力，你就能开始得到灵活得多、强大得多的系统。”他说。

他们也在探索把大语言模型这类最新技术引入语音识别和音频增强。“AI是极其强大的工具，但我不认为我们已经找到了用它处理声音和音乐的理想方式。”他说。

他也喜欢带学生，帮他们把研究项目的设想变成现实。由于他的学生里很少有人有在声音中使用计算的经验，他重视动手课程，让学生亲眼看到、亲耳听到怎么把方程变成摸得着的东西。

斯马拉格迪斯至今仍从做音乐中获得兴奋感，不管是用计算机还是传统乐器。校外只要有时间，他就弹爵士贝斯，也喜欢和妻子、15岁的儿子一起探索波士顿丰富的音乐社区。

音乐之外，他玩水下曲棍球，也当教练。这项运动里，球员戴潜水镜，用球杆把一只沉重的球推向对手球门。他曾执教伊利诺伊大学的水下曲棍球队，希望不久后能重启MIT的水下曲棍球俱乐部，并在校园里办比赛。

水下曲棍球也许冷门，但很符合斯马拉格迪斯一辈子对“少有人探索”的兴趣。“我一直喜欢做和别人不一样的事。如果你能造出一个从没人听过的新声音，那对你创造新事物的能力意味着什么？我至今觉得这些问题非常迷人。”他说。