网易首页 > 网易号 > 正文 申请入驻

为啥AI配音的情感总觉得怪怪的?

0
分享至

有没有注意到——
现在AI语音配音的视频越来越多了:短视频里的语音讲解,播客、广告、小说朗读,新闻解说,都开始采用AI配音。

除了最基础的TTS(Text-to-Speech)语音合成技术,现在的AI语音已经进入了拟真阶段。比如VALL-E、ChatTTS、OpenVoice等技术,能自动根据语义生成AI语音,甚至可以做声音风格迁移。只要你上传原声,AI就能克隆声音,复刻你的音色、语速、语调、情绪特征,甚至模仿地方口音,让马斯克也能说上一口东北话。

技术确实进步得令人惊艳。声音清晰标准、节奏平稳、语调自然。挑不出毛病但就是感觉怪怪的,带着一种不自然的违和感。仿佛在听一个没有灵魂的演员在念台词。

为什么会这样?

人类的情感雷达有多灵

你听不出问题,但你就是知道“它不是人”。

这其实是人类大脑的奇妙能力。我们对人声的识别感知是超强的,尤其对于语气、情绪、真假感这些层面的感知,很多时候听到的话还没过脑子,潜意识就已经都识别好了。

人类听声音并不是听字面,而是在听情绪底色:

女友打电话说:“你开心就好”
你一听就知道自己能不能好得了。

上司说:“这个项目你来负责吧。”
你能瞬间感受到这是一句信任还是推锅试探。

心理学家 Klaus Scherer 早在1994年就提出:人类对语音中的情绪真实性具有极高敏感性 ,能从中分辨真假情绪、心理状态和意图。

演化心理学认为,人类对语音中的细微情绪差异有极强的识别力,是因为在远古社会有语言之前,我们通过声音判断敌意、愉快、求助。人类社会极度依赖协作与信任,判断「对方在想什么」至关重要;而声音是最即时的线索,它包含了说话者的肌肉张力、呼吸频率、情绪流动等无法隐藏的信号。

AI声音为什么总差点意思?

所以,AI配音的问题出在哪?我们先从底层机制开始聊起。

一、模型结构决定了它只能“模仿”

尽管AI语音合成技术(TTS, Text-to-Speech)已经非常成熟,甚至能模仿特定人的音色、语调和语速,但它的生成逻辑本质上是一套“拼装合成”流程,而不是一种带有动机的表达行为。

TTS 的常规工作流包括这几个步骤:

  • 文本分析:把输入文字转成音素(比如汉语拼音)和语法标签。

  • 韵律预测:模型尝试预测每个音节的音高、时长、停顿、重音。

  • 声学建模:用深度神经网络生成声谱图(频率-时间图)。

  • 波形合成:最后通过Vocoder(如WaveNet、HiFi-GAN)还原成音频。

听起来复杂,核心就是两件事:模式识别 + 生成拼接。这种机制像是在完成一次高质量朗读,但缺少人类语言中最本质的东西:临场的情绪驱动和表达动因。像 FastSpeech2、VITS这类模型,引入emotion embedding 和 style control,确实可以让AI声音在快乐、悲伤、愤怒间切换。但这种控制都是外部标签驱动,不基于上下文,更不是基于理解人类说话时的微妙心理博弈。

人类复杂的情感决定了天生是潜台词高手,说话的含义高度依赖于当时的文化、关系、语境:

“你开心就好” 其实不太好,AI以为是欣慰;

“你行你上” 其实破防了,AI以为是鼓励;

“你可真棒啊” 有嘲讽的可能,但AI用了赞叹语气;

AI在理解人类文字游戏(比如暗示、高级黑、反讽、含蓄委婉)的能力还不够,情绪和真实语义一旦分离,表达就会失真。


另外,TTS模型的“中庸主义”也导致了情感的扁平。

当前主流的TTS模型大多是通过学习海量语音样本的平均说法来合成声音,最终生成一个最“合理”的声音版本。这种方式虽然听起来自然通顺,但也导致每一句话的情绪都被磨平了,失去了人类语言中的个性、突发性和情绪张力,就像套了个情绪模版。所以说,韵律模型学的是“常态”而不是“状态”,少了临场变化。比如人生气时,说话会变得高频 + 不规则,但AI仍然在平稳地表达愤怒,所以听起来就少了点活人感。

即便是当前最先进的生成式语音模型,如微软的 VALL-E,也并未跳出这一结构。它采用类似语言模型(可以理解为GPT for Speech)的机制,将3秒音频样本压缩成离散Token,然后根据文本预测下一个声音片段,从而实现音色+语气+风格的保留与复现。

▲ 图 / 《VALL-E: Zero-shot Text-to-Speech with Audio Codec Models》, Microsoft Research (2023)

在音色和语速上无限接近真人,但本质上仍是TTS框架上的优化 —— 用数据拼出一个最可能的音轨,并不是理解你在说什么,也不是在用你的动机说话。

▲ 图 / 《VALL-E: Zero-shot Text-to-Speech with Audio Codec Models》, Microsoft Research (2023)

VALL-E原始论文也明确表示,虽然咱训练了 60000 小时的数据,但训练语料偏向朗读风格,没法很好地处理日常社交语境下的临场语言变调。简单说就是:它很会“读”,但不会“聊”。

本质上,人说话是流露情绪,AI是表演情绪,是依靠风格迁移或标签控制。就比如你告诉AI这句话是悲伤的,AI 就像演员照着“哭戏模板”演一场戏,缺少根本上的情绪动因。


二、AI声音太干净,因为它没有“身体”

我们常说一个人“听起来像刚哭过”、“说话带着笑意”,就是因为人类的声音从来不是一个孤立的音频,而是整个身体与情绪系统协同工作的结果。而AI配音只是一段合成音轨,声波的真实感都被压平了。虽然在音色上可以拟真,但缺少身体的痕迹:没有微喘气声、喉咙的不稳定震动,肌肉张力变化、吞咽、停顿、情绪导致的呼吸节奏改变,就像水煮声音,干净到不真实。

AI语音合成的技术美,恰恰成了它最大的“不自然”之源 —— 它太规则、太理性,而人声是情绪、混乱、张力与身体的共鸣。

但这一切并不是AI的问题,是人类的说话方式太高级。人说话时,说的不只是内容,也在表达“我是谁”、“我对你的态度”、“我现在的心情”。

它本质上包含了:多模态信号(语音+表情+姿势+节奏)、动态反馈机制(根据对方反应调整语气)、高度文化依赖(不同场合、不同关系说话完全不同)。 这三者之间要高度一致,才会让人觉得自然。

AI语音会变得更好吗?

会。

现在很多研究正在努力让AI的声音更像人, “Speaking Style Modeling” 是近年来TTS研究的新方向,尝试加入更多变异性与即兴性。 比如 EmotionFlow 试图模拟情绪随语义流动的自然曲线 (semantic-aware prosody modeling) ,替代以往贴情绪标签的方式;Context-Aware TTS 加入上下文建模来预测说话语境与角色身份、StyleSpeech、GST-Tacotron等模型聚焦于模仿人类说话风格,比如开玩笑、叹气、嘲讽的语调。但这一切离“有灵魂的表达”还有段距离,因为对情绪动因和表达意图的理解, 还需要人类的社会化经验。

核心问题在于:AI没有“心”。

它没有动机,没有关系感,也没有“对谁说”的意识。只要它不能理解自己说这句话的目的和状态,它的语音就永远是模拟,而不是表达。

人类交流的本质,其实是在感知一个灵魂在用身体表达自己,而AI说话,是一个程序在模仿这个过程,这之间的差距是生命。

但话又说回来,当未来某一天,AI声音真实到你无法分辨“是谁在说话”时,你还在乎那是不是“人”吗?

AI可以代替人说话了,那么谁来对这些话负责?我们是否愿意相信一个没有动机、没有关系、没有情感内驱力的说话者?

说话的本质,是表达、是共情、是人际的回应。如果这也被彻底外包给算法,我们与AI的界限又还剩多少?

end

[1] Shen, J. et al. (2018). Natural TTS synthesis by conditioning WaveNet on mel spectrogram predictions. arXiv preprint arXiv:1712.05884. https://arxiv.org/abs/1712.05884

[2] Ren, Y. et al. (2020). FastSpeech 2: Fast and High-Quality End-to-End Text to Speech. arXiv preprint arXiv:2006.04558. https://arxiv.org/abs/2006.04558

[3] Kim, J. et al. (2021). Conditional Variational Autoencoder with Adversarial Learning for End-to-End Emotional Speech Synthesis. arXiv preprint arXiv:2106.06103. https://arxiv.org/abs/2106.06103

[4] Wang, C. et al. (2023). VALL-E: Zero-Shot Text-to-Speech with Audio Codec Models. arXiv preprint arXiv:2301.02111. https://arxiv.org/abs/2301.02111

[5] Crawford, K. (2021). Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press. https://yalebooks.yale.edu/book/9780300209570/atlas-of-ai/

[6] Resemble.ai. (n.d.). Resemble.ai – Voice Cloning & AI Speech Generation. https://www.resemble.ai/

[7] EmotionFlow Team. (n.d.). EmotionFlow: Let AI Speak with Emotions. https://emotionflow-demo.github.io/

[8] The Verge. (2023). AI voice is getting eerily good. Are we ready? https://www.theverge.com/2023/7/12/ai-voice-deepfake-elevenlabs-ethics

来源:DataCafe

编辑:月

转载内容仅代表作者观点

不代表中科院物理所立场

如需转载请联系原公众号

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

主将缺席!新狼王崛起!34分队史第一!狼队有机会吗?

篮球盛世
2026-11-17 13:03:08
DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

DeepSeek开始限额使用, 理由是算力不足,网上纷纷猜测和黄仁勋辞职有关

Mr王的饭后茶
2026-11-16 16:31:00
为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

为啥某多多的商品很便宜?网友:做电商的都知道,其实货都是一样的

带你感受人间冷暖
2026-11-16 10:34:09
刘欢的膀胱癌本可以保住命,他为何选择放弃?

刘欢的膀胱癌本可以保住命,他为何选择放弃?

葱哥说
2026-11-16 20:33:14
欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

欧国联死亡之组!2强默契出线,德国5-0大胜荷兰,希腊1-0后出局

体育知多少
2026-11-17 06:02:49
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理学:永远“不要跟身边任何人,包括你的亲人、枕边人”,说以下两句话

心理观察局
2026-07-23 06:05:08
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

1927年,毛泽东被捕后,在被押解去执行死刑的途中,他突然对一名团丁说:“老哥,我腿疼,可能伤筋了!”

扶苏聊历史
2026-11-06 18:18:35
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

一衣难求,北京大学新款羽绒服火出圈:售价399元,绒子含量90%;校外网友纷纷求代购:售价划算,加上名校光环,很想拥有一件

极目新闻
2026-11-16 10:06:42
银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

银行行长豢养32位女员工,揭秘其专选美人的骇人内幕

雾岛夜话
2025-05-13 14:17:25
发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

发现一个奇怪现象:计划生育写入宪法后,为何今天还在被误读?

疯狂的小历史
2026-11-17 11:55:25
派出所、民政部门联合入户排查,上门主要核查这五项内容

派出所、民政部门联合入户排查,上门主要核查这五项内容

江启
2026-11-17 10:57:26
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

54岁杨钰莹近况曝光:定居深圳,每天打理菜园子,生活平淡

小徐讲八卦
2025-11-17 07:29:28
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

麓谷隐士
2026-11-17 00:05:04
他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

他是任长霞独子,父母都已去世,如今他成副支队长,早已娶妻生子

不写散文诗
2026-11-16 16:35:03
全国统一!建议所有退休人员福利一视同仁,全部并入养老金发放

全国统一!建议所有退休人员福利一视同仁,全部并入养老金发放

江启
2026-11-17 08:39:46
陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

陈皮配它,倒头就睡!夜里雷打不动,白天精神旺,试过的都说好

牛锅巴小钒
2026-11-15 19:14:34
2026-11-17 13:56:49
中科院物理所 incentive-icons
中科院物理所
爱上物理,改变世界。
10626文章数 136655关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

头条要闻

媒体:中俄美三国元首将举行面对面会晤 系历史上首次

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

最新经济数据,释放关键信号

汽车要闻

多面新方盒捷途环游者EV开启预售 9.99万元起

态度原创

家居
时尚
亲子
本地
房产

家居要闻

2026建博会(广州) 公装联探展交流活动

老钱风、静奢风失宠了?“繁荣主义”穿搭突然爆火

亲子要闻

4岁女儿嗓子有点发炎,又在家不上学了,可把她给高兴坏了

本地新闻

乌兰察布:以前种土豆,现在种Token

房产要闻

5381亩之后,三亚绿谷,等一个500强!

无障碍浏览 进入关怀版