网易首页 > 网易号 > 正文 申请入驻

为了让你过上甩手不洗碗的日子,他和团队正在教机器人弹钢琴、敲架子鼓

0
分享至


如果你在宋伟面前吐槽,人类期待机器人可以扫地、洗碗、叠衣服,可它们偏偏在写诗、画画、跳舞,他会笑着让你再等等,心烦的话可以听一听由他组建的机器人乐队的表演。

弹钢琴、敲架子鼓、演奏扬琴……一个月前,这支名为“和璇”的乐队在杭州西站完成了一场大秀,已经收到来自四面八方,包括人类乐队的邀请。它们会的曲目也越来越多,从《歌唱祖国》到《沧海一声笑》《青花瓷》《孤勇者》……

宋伟为那场表演打了“优秀”:“机器人的完成度很高,就是选曲、编排等有些难为我们这一帮工科直男了。”

这位浙江大学研究员,和云深处创始人朱秋国是本科同班同学,算是国内最早一批在人形机器人领域的拓荒者,而且选择了一个颇为浪漫的切入口:弹钢琴。

当然弹琴不仅是为了弹琴,而是让机器人有个能不断升级的复杂场景。就像宋伟本人,除了浙大老师的身份,还兼任浙江大学机器人研究院研究员、杭州海创人形机器人产业创新中心副主任、浙江省机器人产业发展协会秘书长……


出现在数贸会的宋伟和他的钢琴机器人 摄影 韩丹


出道数月的和璇乐队

一台开了侧盖的电脑主机静置在地,墙角放着一张单人折叠床;带鱼 屏 显示器上,是一份未完成的PPT,求职简历和博士、硕士毕业论文整齐地摞在一旁;玻璃窗上贴着两个透明挂钩,外套和双肩背包往那一挂,人便可转身扎进代码与算法的世界。

走进宋伟的办公室,一眼就能看出他多个身份。

这里是位于浙江大学校友企业总部经济园的浙大机器人研究院,也是杭州海创人形机器人产业创新中心所在地。后者是去年8月,浙大与余杭区政府合作共建的重大科创平台,由浙大原党委副书记、机器人研究院院长朱世强担任主任。

他也是宋伟求学以及职业生涯非常重要的导师。

约到这次采访并不太容易。宋伟太忙了:技术研发、团队管理、访客接待、宣传推广……

这个团队眼下最亮眼的成果之一是“和璇乐队”,从钢琴、扬琴、架子鼓,到训练中的吹管、无弦吉他等,“技能树”正在不断点亮。


摄影 韩丹

和人一样,钢琴机器 人 左右“手”各有五根“手指”,可精准敲击黑白键,且能较快 速 切换,“脚”还会随着节奏轻踩踏板。


摄影 韩丹

再加上扬琴机器人和架子鼓机器人,和璇乐队已“出道”数月,在各大科技展馆、社区和商场完成了几十场演出。它们不会抢拍,也不会弹错音符,俨然是训练有素的“乐手”。

机器人与人类弹奏仍有本质区别。现阶段,机器人靠的是灵巧手与机械臂的精密配合。人类为它预设程序、导入乐谱,再通过曲谱解析算法、运动控制算法,将每一个音符转化为精准的指法动作。

换句话说,机器人们还做不到实时响应、即兴发挥,每一次登台,背后是机器人在数字空间的仿真模拟与动作迭代。


弹钢琴是为了更好地洗碗?

让机器 人弹 琴这件事,人类已经认真研发了好久。2017年,一台名为Arpeggio的钢琴机器人面世。它拥有夸张的88根“手指”,可以精准控制256种踏板和1000 多种 琴键。只要提前编程设置好,无论是哪一首名曲,难度有多高,都可以信手拈来。

但如果把“手指”缩减到跟人一样的数量,机器人还能那么从容吗?这是摆在宋伟他们面前的一道难题。

对于为什么要做弹琴机器人,宋伟团队有着清晰的认知。首先,相比让机器人倒杯水,音乐演奏是一个复杂的场景,而且考验的是“双手”能力。其次,像倒水这件事,只是让机器人关注东西在哪里,更多考验的是视觉捕捉能力。

“但弹琴是有节拍概念的,你既要在这一时刻找对位置,又要注意下一步怎么弹。这就是前瞻性。它在时序上就比倒水更复杂。”宋伟表示, 另外 弹琴考验的不仅是手,还有手臂的协同,需要机器人在演奏时身体各部位和人一样保持和谐。

和人类学琴有考级一样,随着演奏曲目难度的增加,对机器人的考验也越来越大。目前,宋伟和团队以演奏技巧、可演奏曲目的复杂程度,来 为 机器人演奏水平进行评级。这些指标都可转化为对手指跨度、移动速度等手臂能力的量化目标。

“随着演奏等级的提升,手和臂的智能化也在进步,技术方案由此实现持续迭代。”而当这些技术打磨成熟后,再让机器人做一些扫地、洗碗、叠衣服之类相对简单的事就属于“降维打击”。

因此,在真正进入家庭前,机器人需要一个高精度、高复杂度的“训练场”。弹钢琴恰好提供了这一切。

当然,文化娱乐也是宋伟眼中当前技术最能支撑、也最容易落地的场景,“组建机器人乐队,通过演出和机器人售卖,就能反哺研发投入,形成商业闭环。


来自浙大的技术基因

“从技术的视角来看,仅去年到今年,人形机器人在运动控制方面的突破,可能已经超越过去20年的总和。”谈及近几年技术的飞跃,宋伟的语气中流露出些许感慨。

他与机器人的故事,开始于22年前。

2003年,宋伟从山东考入浙江大学。“男生嘛,都差不多,从小爱看机甲动画片,对机器人有发自内心的热爱。”他笑着回忆,“所以就报考了机械电子工程专业。”他的同班同学中,就有后来创办云深处科技的朱秋国。宋伟办公室的小圆桌上,刚好还放着朱秋国最近赠送的《智能四足机器人Lite3 实训案例集》签名本。

此后,两人都选择留校深造。宋伟进入流体动力与机电系统国家重点实验室攻读博士,朱秋国则进入控制科学与工程学院师从 褚健 和熊蓉教授。

彼时,机器人研究的火种已开始在浙大校园里播撒,如今开枝散叶、星火燎原。除了宋伟、朱秋国,还有熊蓉教授和宁波市政府共建的浙江人形机器人创新中心、王宏涛教授的镜识科技、王酉副教授的逻腾科技……这些带着浙 大师 生基因的创新力量,正在机器人领域的不同赛道探索前行。

早些年,宋伟的研究聚焦于特种作业机器人,例如无人自主爬壁机器人和深水软体作业机器人,“看似领域不同,但底层技术其实是相通的。”直到2017年,新型研发机构之江实验室成立,让他有机会成为国内人形机器人拓荒者里的一员。


摄影 韩丹


浙江的机器人产业链非常完整

2018年,之江实验室智能机器人研究中心机器人中心挂牌运行。在制定研究方向时,当时的核心团队达成高度共识:要做“有显示度、代表未来,并能牵引产业”的研究。这一理念,最终指向了人形机器人。

与如今海创创新中心以产业化为核心不同,当时他们选择以人形机器人这一终极形态,反向牵引关键技术攻坚,“人形机器人几乎融合了所有形态机器人的共性核心技术”。

2021年左右,宋伟带领团队开始尝试将大模型技术用于机器人的自主决策,但“当时还非常不好用”。

他还曾与群核科技创始人陈航多次交流,一方拥有丰富的家用场景数据资源,一方具备机器人全链条技术,本想着合作构建家庭场景的机器人虚拟训练平台,却因种种原因未能如愿推进。4年后,就在今年8月,群核科技发布空间大模型,做成了两人当初设想的事,也算是“念念不忘,必有回响”。

也是在那个时期,宋伟开始深入思考:机器人的“手”和“臂”,该如何融入现实生活的场景?“其实倒水这样的任务,我们在2020年就已完成。”后来团队里一位95后姑娘钟灵提出一个想法——她从小练琴,大家一拍即合:就是弹钢琴了。

随着去年杭州海创人形机器人创新中心正式成立,宋伟组建起和璇机器人乐队。


宋伟(右二)和团队部分成员 摄影 韩丹

实际上,无论是2018年还是2024年,帮助宋伟他们将研究落地的,是浙江高度发达的机器人产业链。

“硬件方面,能够实现规模化量产和精密制造,传动、电机等核心部件一应俱全;软件算法方面,也有来自互联网大厂培养的大量优秀工程师。”从2018年至今,宋伟团队的每个硬件需求都能受到产业链上企业的“关注”,“大家一起攻克难题,寻找比较好的解决方案,推动行业的发展。”


要做有市场买单的机器人产品

除了音乐演奏机器人,海创创新中心的第二个方向,是家庭陪伴机器人。

在宋 伟 办公室外,十几个年轻人正在埋头工作:外观设计、结构工程、运动控制、软硬件开发……他们都是“胖达”项目组成员。这个项目负责人谢安桓研究员,也是宋伟的同班同学。

这是一款毛茸茸、憨态可掬的熊猫机器人。它依托多模态感知和交互系统,结合情感计算引擎和大模型的理解与决策能力,能实现自主识别、自主决策,甚至自主“成长”等智能 体 能力,目标是真正成为家庭的一员。


目前,这款机器人主要面向儿童,但相关技术正同步延伸至养老场景。9月,由海创创新中心牵头的“智能情感陪护机器人”,成功入围 工信部 与民政部的“智能养老服务机器人 结队 攻关与场景试点项目”。

而团队的第三个方向,是将机器人技术深度融合进传统工业,与产业龙头企业合作,在细分场景中推进人工替代。“例如与诺力股份共建‘具身智能机器人联合实验室’,研发化工采样机器人,实现化工厂危化场景的无人自主采样。”


但无论是哪个方向,宋伟一直坚持产品要有市场来买单,“早年做研发可以不那么考虑成本,现在需要充分考虑市场的接受程度。”

“一台电机,进口的和国产的价格相差很多,能不能用性能稍逊的国产电机再搭配改良的算法,实现对进口电机的大部分替代?”宋伟说自己经常会给团队出类似难题,为的就是让机器人首先在价格上没那么“高不可攀”,有了落地才能不断积累数据,快速迭代。


错过这个风口要再等20年

在音乐演奏机器人研发的道路上,宋伟为团队勾勒出更富挑战性的新目标:持续增强表现力与智能水平。新开发的机械臂演奏能力更强、也更灵活,“外观还会继续打磨,加入肢体动作。接下来还会引入AI技术,先实现人机交互,再让AI生成曲谱,曲库与动作已经打通。一旦AI能够写歌,真正的交互性体验就会实现。”

“目前算法其实是跑在硬件前面。仿真系统里可以实现的演奏动作,但现实是有时硬件的性能与可靠性还不够。”团队只能在算法上找补,同时自主研发高性能关节。


摄影 韩丹

眼下,机器人乐队学会一首新曲需要多久?

答案是一天左右。为什么不是半小时、十分钟?“还是硬件问题,性能没跟上。”

回想起8月在杭州西站办的那场“机器人梦想之夜”音乐会,宋伟语气中透着自豪。长达两小时的演出,有机器人乐队独奏,也有人机协作环节,很大程度上依赖于高精度的程序控制,他认为团队完成得“非常出色”。“当机器人与竹笛演奏者合作《青城山下白素贞》,那种默契与氛围呈现的最终效果,还是挺打动人的。”

在宋伟的设想中,机器人乐队更可以成为人类音乐人的创作伙伴。当然,“硬件需要更稳定,算法也要更智能”。人类一个眼神,机器人就明白要弹什么;曲风骤变,它也能即刻跟上,这是他心中理想的协作状态。

生活中的宋伟喜欢晨跑,常常在六七点出发。最近一次跑完,他发了条朋友圈:照片里是一人一狗散步的背影,配文写道:“似乎看到了自己未来的老年生活。”

不过显然,当下的他根本无暇考虑退休。就像他和团队成员说的:“如果抓不住这次人形机器人的技术风口,也许就要再等20年。一旦抓住,一切都会迎来飞跃。”

文 | 童蔚 梁应杰


VIEW MORE

@时隔8年,又一位未来“预言家”来杭州开讲 >>

@独家对话蚂蚁灵波科技CEO陶斋 >>

@他们做出了全球跑得最快的机器狗 >>

@ 杭州这个创业社区,专门孵化“一人公司”>>

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
北美夺冠,耗资5.7亿,中国观众不买账,上映9小时票房仅255万

北美夺冠,耗资5.7亿,中国观众不买账,上映9小时票房仅255万

靠谱电影君
2025-11-07 09:20:26
俄方没想到:冻结俄几千亿的西方,连中方船只都不敢上,乖乖放行

俄方没想到:冻结俄几千亿的西方,连中方船只都不敢上,乖乖放行

阿天爱旅行
2025-11-09 03:41:40
湖南某医院祖副院长的妻子照片曝光,是同院护士长,也很漂亮

湖南某医院祖副院长的妻子照片曝光,是同院护士长,也很漂亮

听风听你
2025-11-08 21:22:41
辛纳阿卡年终世界第一之争白热化!冠军获得236.7万美元+500积分

辛纳阿卡年终世界第一之争白热化!冠军获得236.7万美元+500积分

搏击江湖
2025-11-08 18:50:03
设计院不敢干的事,让农村包工头干了!

设计院不敢干的事,让农村包工头干了!

小卢说建房
2025-11-08 20:22:05
勇士不要,奇才不要!雄鹿捡漏23岁新星:场均16+5当字母哥绝配

勇士不要,奇才不要!雄鹿捡漏23岁新星:场均16+5当字母哥绝配

李喜林篮球绝杀
2025-11-08 21:32:50
被乌克兰抓获的两名朝鲜战俘请求遣往韩国

被乌克兰抓获的两名朝鲜战俘请求遣往韩国

鱼莫语
2025-11-04 08:34:29
听到红军城将失守的消息,特朗普终于明白自己不能再跟普京斗气了

听到红军城将失守的消息,特朗普终于明白自己不能再跟普京斗气了

时时有聊
2025-11-08 20:31:50
对抗组织审查,搞迷信活动,重庆一正厅级干部被双开!她曾任重庆市妇联主席等职

对抗组织审查,搞迷信活动,重庆一正厅级干部被双开!她曾任重庆市妇联主席等职

极目新闻
2025-11-07 23:07:26
细思极恐!器官捐献开始对孩子下手了,家长崩溃

细思极恐!器官捐献开始对孩子下手了,家长崩溃

公子麦少
2025-11-08 16:18:42
医生手术时,涉诈停机

医生手术时,涉诈停机

中国新闻周刊
2025-11-08 14:11:05
人民日报发文,高调官宣陈芋汐喜讯,全红婵那番话说得太对

人民日报发文,高调官宣陈芋汐喜讯,全红婵那番话说得太对

枫尘余往逝
2025-11-08 06:57:18
皇马后卫表现出色却未入选西班牙队,俱乐部对国家队主帅不满

皇马后卫表现出色却未入选西班牙队,俱乐部对国家队主帅不满

星耀国际足坛
2025-11-08 19:16:29
兔子不吃窝边草,山东小伙赶日留学娶走班主任,国足比赛差点离婚

兔子不吃窝边草,山东小伙赶日留学娶走班主任,国足比赛差点离婚

小椰的奶奶
2025-11-09 04:17:54
老人“黄金体重”已公布!不是120斤,而是这个数,越接近越健康

老人“黄金体重”已公布!不是120斤,而是这个数,越接近越健康

牛锅巴小钒
2025-11-08 15:12:22
23.6万的埃尔法来了,这次你还买雷克萨斯LM吗?

23.6万的埃尔法来了,这次你还买雷克萨斯LM吗?

小李子体育
2025-11-09 06:01:09
搞笑,掘金队尼古拉·约基奇对阿隆·戈登扣篮的回应

搞笑,掘金队尼古拉·约基奇对阿隆·戈登扣篮的回应

好火子
2025-11-09 04:07:35
浙江女首富“栽”了,崇拜许家印投资房地产,800亿资产一夜归零

浙江女首富“栽”了,崇拜许家印投资房地产,800亿资产一夜归零

历史伟人录
2025-11-08 16:11:05
李春平死了

李春平死了

霹雳炮
2025-11-05 22:34:23
张文宏直言:不管你信不信,老人过了80岁,基本都有如下7个现状

张文宏直言:不管你信不信,老人过了80岁,基本都有如下7个现状

黄河新流域
2025-09-28 13:34:43
2025-11-09 07:43:00
九千光年 incentive-icons
九千光年
在技术奇点,和影响未来的人看“星辰大海”
1800文章数 5539关注度
往期回顾 全部

科技要闻

美股“AI八巨头”单周市值损失8000亿美元

头条要闻

拉夫罗夫缺席普京主持的会议被指遭"边缘化" 俄方驳斥

头条要闻

拉夫罗夫缺席普京主持的会议被指遭"边缘化" 俄方驳斥

体育要闻

马刺绞赢火箭,不靠文班亚马?

娱乐要闻

古二再度放料!秦雯王家卫吐槽出现新人物

财经要闻

小马、文远回港上市 但自动驾驶还没赢家

汽车要闻

特斯拉Model Y后驱长续航版上线:28.85 万元

态度原创

房产
亲子
游戏
公开课
军事航空

房产要闻

封关倒计时!三亚主城 2.3 万 /㎡+ 即买即住,手慢无!

亲子要闻

小娃娃们的杀伤力有多强?网友:真得谢谢我儿的不杀之恩!

给游戏女主P上大雷后,却发现还是越丑越好卖?

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

福建舰常驻地为三亚军港

无障碍浏览 进入关怀版