亚马逊云科技(AWS)宣布,Amazon Polly 现在可以用几分钟的录音克隆一个人的声音。这项功能已作为受限发布正式可用,内置了同意确认和隐藏水印。
客户把一位同意被克隆的说话人的少量音频交给 Amazon Polly,就能通过其生成式引擎用这个人的声音合成新语音。目前部分 Amazon Polly 客户已开通访问权限,其他客户可以联系 AWS 客户团队或申请开通。该功能在 Amazon Polly 生成式引擎支持的所有 AWS 区域可用,包括 AWS GovCloud(美国)。
克隆流程分四步
Amazon Polly 用单一说话人的录音构建自定义声音,之后客户可以通过 SynthesizeSpeech 生成实时音频,或用 StartSpeechSynthesisTask 把长音频写入 Amazon S3。选择 Engine="generative" 时,克隆声音的用法与其他生成式声音一致。
创建流程是异步的,通常耗时5 到 10 分钟:录制一位说话人,调用 CreateVoice 并提交 1 到 10 段录音和语种,等待后台构建,状态从 pending 变为 active 或 failed 后即可使用返回的声音 ID。
录音质量直接影响效果。AWS 建议提供2 到 10 分钟的自然语音,分成每段不超过一分钟的片段,最多 10 段录音、总时长不超过 15 分钟。环境要求安静房间、单一说话人、稳定的麦克风距离,格式为 16 位、24 kHz 的单声道 WAV。AWS 还提醒不要用会议软件和浏览器录音工具,因为回声消除和降噪会改变克隆所学到的声音。
同意确认与水印
克隆声音来自一个人的录音,客户每次创建声音都要确认说话人同意——无论是在控制台操作,还是在 API 中设置 TermsAccepted=True。AWS 同时建议保留每位说话人的同意记录,在同意被撤回时删除声音,在适当场合告知听众听到的是合成语音,并把权限限制在真正需要的人和系统范围内。
生成的语音带有水印。克隆声音限定在创建它的 AWS 账户内,可通过 AWS Identity and Access Management 控制访问。客户可以用自己的 AWS Key Management Service 密钥加密声音、打标签,并在声音激活后或创建失败时用 DeleteVoice 删除。
AWS 表示,声音创建完成后 Amazon Polly 不保留录音副本,也不用这些录音训练 Amazon Polly 模型,只保留合成语音所需的声音数据并加密存储,DeleteVoice 会立即删除数据。
为什么值得关注
声音克隆过去主要掌握在专业工具手里。把它做进全球最大的云平台之一,意味着银行、游戏工作室或在线课程制作者可以在几分钟内、用包括印地语在内的七种语言,在现有系统内给应用配上一个真人的声音。
这也抬高了滥用的风险。克隆声音已被用于电话诈骗,AWS 因此把每个声音绑定到一次同意确认、给音频加水印,并把声音锁定在创建它的账户内。这些防护依赖客户如实申报同意,所以亚马逊对受限发布申请的审核有多严格,会很关键。
该功能覆盖英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。多语言场景有一个明确限制:每个克隆声音只能说录制时所用的语言,客户需要为每种支持的语言分别创建并审核声音。
使用场景包括自动电话菜单、语音助手、移动应用、店内广播,以及有声书、课程、播客、游戏角色和视频。AWS 表示,为 Amazon Polly 客户构建克隆声音免费,生成用量按需计费。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.