网易首页 > 网易号 > 正文 申请入驻

听一遍就会弹!仿生机械手2分钟自学钢琴超越人类新手

0
分享至



通过感知他人的行为来模仿运动,是人类的本能。比如,婴儿通过倾听大人的声音来咿呀学语,学徒通过观察师傅的动作来掌握技艺。但这种根植于生物的感知-动作闭环机制,对于机器人而言,却是难以复刻的难题。

近日,南加州大学(USC)的科学家们开发了一只四指机械手,它只需经过 2 分钟的键盘自学练习,听一遍陌生的旋律,就能将其完美演奏出来,完全不依赖乐谱或预设程序的指导。相关论文发表在 Journal of the Royal Society Interface 期刊。

领导这项研究的是 USC 维特比工程学院的弗朗西斯科·瓦莱罗-奎瓦斯 (Francisco Valero-Cuevas) ,他的实验室致力于研究复杂神经肌肉系统(例如人手)的生物力学、神经肌肉控制和临床康复。


图 | 音乐家之手(来源:USC)

这套被称为“音乐家之手”(Musician Hand)的系统,包括由肌腱驱动的四指机械手,以及一套全新的感知学习算法。

机械手采用轻量化 3D 打印结构,四个手指由微型电机控制的肌腱驱动。手指上安装了弹簧,能像人体肌肉张力一样被动回位,确保动作灵活且富有弹性。指尖还包裹了泡沫材料,模拟人类指腹的柔软触感,对在力度敏感的钢琴键盘上演奏较为重要。其内置的神经网络会分析旋律的声音,并将其转化为重现该旋律所需的运动指令。


图 | 音乐家之手概述(来源:上述论文)

与依赖大量编程和海量训练数据集的传统机器人不同,这款机械手的训练过程类似于婴儿时期的“咿呀学语”。在 2 分钟的时间里,机械手会在琴键上随机乱按。在乱按的过程中,它的内部算法会记录下什么样的按键动作(力度和时间)会产生什么样的声音(频率和强度)。

经过 2 分钟的训练后,再次听到一段全新的旋律时,系统会将这段声音转化为声谱图,并直接调用之前积累的经验,推导出需要哪些手指动作来重现这段旋律,全程不需要任何试错纠正。

为了验证效果,研究团队专门请两位作曲家创作了三首只使用四个相邻琴键(C4、D4、E4、F4)的简单旋律,每首时长约 20-30 秒,节奏统一在每分钟 90 拍。


图 | 三首旋律的乐谱(来源:上述论文)

团队选择了9 位人类参与者,包括 4 位训练有素的钢琴手(3 位专业演奏者和 1 位业余爱好者,均有钢琴演奏的训练和经验)和 5 位无任何钢琴基础的新手,他们被允许“咿呀学语”5 分钟,然后练习 3 分钟,最后有 1 分钟时间正式演奏。机械手则只经过 2 分钟随机探索,就直接听一遍演奏。研究主要评估了他们在复刻旋律 1(有 37 个音符)上的表现。

结果显示,在音符识别准确率上,机械手达到了 100%,完整复现了三首旋律的所有音符;而新手参与者仅能正确弹出前 2-3 个音符,准确率仅 6%-9%,无法完成完整演奏。专业钢琴演奏者的音符准确率为 92%-100%,一位演奏得完美无缺,其他人在演奏 37 个音符时犯了 1 到 4 个错误。

在力度还原度上,机器人得分 68%,专业演奏者为 78%-100%,略胜一筹;节奏时差方面,机器人控制在 150 毫秒左右,专业演奏者低于 120 毫秒,同样小幅领先。

研究人员还对机械手和 5 位钢琴家弹奏的音乐片段,进行了感知相似性、听觉相似性和节奏相似性的量化。对于所有三个指标,得分为 0 表示无相似性(特征完全不同),0.5 表示中等相似性(有一些共享特征,但在频谱图和短期功率谱上有重大差异),1 表示完全相似(特征相同)。

对于旋律 1,“音乐家之手”在所有三个指标上取得了与四位人类钢琴家相当的相似性得分,两者的得分均在 0.9+ 范围内。


(来源:上述论文)

在盲听环节,两位专业作曲家进行盲听打分,不看演奏者、仅听演奏音频,评估它们与原曲在音乐美感上的相似度。最终排名结果为:3 位专业钢琴手位列前三,机械手排名第四,超过一名业余钢琴手,碾压所有新手参与者。

随后,研究人员又让机械手尝试了其他两首音乐(分别有 28 和 24 个音符),在没有额外“咿呀学语”或练习的情况下,它依然完美地弹奏出了所有音符,展现出了强大的泛化能力。

机械手同样准确识别了所有音符,在力度还原上,其在旋律 2 上的分数为 84%,在旋律 3 上为 70%。最后,其平均节奏时差在旋律 2 上为 135 毫秒,在旋律 3 上为 150 毫秒。


图 | 定量结果:音符检测、力度估计、节奏时差(来源:上述论文)

这台会听音弹琴的机械手,实际上是研究团队对“感知机器人”理念的一次深度概念验证。在这一全新框架下,机器系统不再依赖于海量数据训练,而是能够主动感知环境、自主试错并完成自我纠正。研究人员相信,这种模式未来将比现有的任务驱动型机器人更能以贴近直觉、极具个性化的方式造福人类。

比如瓦莱罗-奎瓦斯描绘的愿景:对于帕金森病患者而言,现有的辅助技术往往难以跟上患者身体变化的步伐。但在确诊初期穿上机器外骨骼,用几天时间去教它走路的样子,伸手的方式......随着病情的发展,当患者再次穿上它并开启辅助模式时,它就能帮你原汁原味地找回专属于你自己的生活习惯。不需要专门进行繁琐的定制编程,因为它已经懂你了。

此外,这项研究的一作、专注于神经工程研究的赫萨姆·阿扎朱(Hesam Azadjou)也指出了该技术在治疗领域的潜力。未来的康复机器人可以先拜师学习理疗师的专业手法,随后在患者家中充当私人教练,并能够根据每位患者实时的动作和身体反馈,动态调整康复训练计划。

研究人员表示,只要投入足够的时间与资源,同样的系统完全可以用来辅助中风患者的康复、与建筑工人并肩协作,甚至帮助年迈的老人安全、独立地实现居家养老。

1.Hesam Azadjou, Ali Marjaninejad, Francisco J. Valero-Cuevas; Perception in action: a robotic system that can teach itself to melodiously play music by ear. J R Soc Interface 1 May 2026; 23 (238): 20250909. https://doi.org/10.1098/rsif.2025.0909

运营/排版:何晨龙

注:封面/首图由 AI 辅助生成

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中国新能源企业在芬建厂涉人口贩运调查

中国新能源企业在芬建厂涉人口贩运调查

凤眼论
2026-11-16 14:23:39
油价,闪崩!

油价,闪崩!

业翔民安
2026-11-17 11:21:41
特朗普启程参加深圳APEC峰会 |现场画面

特朗普启程参加深圳APEC峰会 |现场画面

凤凰卫视
2026-11-17 08:38:05
黄仁勋果然是给自己留了后手,给白人挖好坑了的。

黄仁勋果然是给自己留了后手,给白人挖好坑了的。

果妈聊娱乐
2026-11-17 07:33:26
“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

“中国要被我们拖垮了!”2024年,韩国上千人拒绝吃从中国进口的中国白菜,本想给我们个“下马威”,结果自己撑不住了

扶苏聊历史
2026-11-16 17:33:26
贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

贝加尔湖的存在,完全打破了人类对湖泊的常规印象。首先最逆天的是它的深度,最大水深1637米,能淹没两座哈利法塔

扶苏聊历史
2026-11-16 17:44:56
太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

太出乎意料!俄炼油厂屡遭无人机袭击,靠的是中国装备快速复产?

古书奇谈
2026-11-16 21:35:03
英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

英伟达员工爆料:飞机随便坐、电梯随便搭,为什么没人敢用?

一盅情怀
2026-11-17 12:17:13
王楠女儿首次获全国第8!压线入选国少 王楠老公奖励8888元

王楠女儿首次获全国第8!压线入选国少 王楠老公奖励8888元

念洲
2026-11-17 06:39:27
陈小春开丰田北上广东,20多年的老车,外观却让人过目不忘

陈小春开丰田北上广东,20多年的老车,外观却让人过目不忘

总李谈车
2026-11-16 19:54:04
黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

黄仁勋身家八千亿满世界跑,亲哥却在台北穿拖鞋买香蕉,黄仁德不进英伟达,不是弟弟不帮,是这笔账早就算明白了

秋风妃
2026-11-15 21:39:48
11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

11月16日俄乌最新:有明确证据,纵火令来自俄军情机构?

西楼饮月
2026-11-16 21:43:00
张升民人民日报撰文:保持惩治腐败高压态势

张升民人民日报撰文:保持惩治腐败高压态势

澎湃新闻
2026-11-17 07:09:02
在36岁的年纪,克莱投出了自己的第二春

在36岁的年纪,克莱投出了自己的第二春

只关于篮球
2026-11-17 13:24:03
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
就这水平,别搞笑了

就这水平,别搞笑了

求实处
2026-11-17 00:19:47
詹皇大帝错峰出行!恩比德37分布朗31+13比肩传奇,76人力克篮网

詹皇大帝错峰出行!恩比德37分布朗31+13比肩传奇,76人力克篮网

钉钉陌上花开
2026-11-17 11:14:41
就在今天!穆迪单节7记三分创勇士队史纪录,前无古人

就在今天!穆迪单节7记三分创勇士队史纪录,前无古人

观星娱记
2026-11-17 10:08:20
再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

再三告诫:最伤性生活的行为,不是喝酒!而是频繁的去做这5件事

牛锅巴小钒
2026-11-16 02:14:24
0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

0-5让荷兰震惊!哈维暴怒质问全队 门神直言羞愧 队长痛批队友:垃圾

我爱英超
2026-11-17 07:45:15
2026-11-17 17:39:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17498文章数 515367关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

时尚
数码
亲子
本地
房产

今年秋冬最火搭配:风衣+阔腿裤,怎么穿都时髦

数码要闻

端侧AI走进卧室,联发科Genio 420加速智能家居进化

亲子要闻

佳贝艾特荷兰版获2026“年度亲选奖”

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

5381亩之后,三亚绿谷,等一个500强!

无障碍浏览 进入关怀版