广东
好消息！ 好消息～ 欢迎科研团队供稿
免费分享学术 项目成果
Voila 是一个旨在将语音 AI 代理融入日常生活的技术，它能够以自发、实时且富有情感的方式与人类互动。与其仅仅响应命令，Voila 能够持续监听、推理并主动回应，促进流畅、动态且情感共鸣的互动。Voila 超越了传统的管道系统，通过采用一种全新的端到端架构，能够实现全双工、低延迟的对话，同时保留丰富的语音细节，如语调、节奏和情感。它的响应延迟仅为 195 毫秒，超过了人类的平均反应时间。
此外，Voila 支持超过一百万种预构建的声音，并能够通过最短 10 秒的音频样本高效地定制新的声音。除了口语对话，Voila 还被设计为一个统一的模型，适用于包括自动语音识别 (ASR)、文本转语音 (TTS) 以及通过最小化适配实现的多语种语音翻译等多种语音应用。Voila 完全开源，以支持开放研究并加速推动下一代人机交互的发展。（链接在文章底部）
01 技术原理
⭐ 高保真、低延迟、实时流式音频处理 ⭐ 高效集成语音和语言建模能力 ⭐ 数百万种预构建和自定义声音，支持对话中快速切换声音 ⭐ 统一模型，适用于各种音频任务
语音对话系统的不同范式：(a) 传统的管道系统，如 2010 年代推出的 Apple Siri、Amazon Alexa 和 Google Assistant；(b) 使用大型语言模型 (LLMs) 处理基于文本的理解和回应生成的简化管道系统；(c) 端到端音频输入输出系统，提供低延迟和丰富的语音细节；(d) 自主系统，进一步实现动态、主动的互动。
Voila 模型：(a) Voila-e2e 用于端到端语音对话，(b) Voila-autonomous 用于自主互动。这两种模型都支持通过文本指令和音频样本轻松定制说话者的特征和声音。
02 演示效果
与人工智能辩论：
萨曼莎，你正在和你的朋友辛普森激烈辩论，关于狗和猫哪个更适合当宠物。现在就提出你的观点吧。
多种声音风格：在对话过程中在多个声音之间切换。
有趣的对话：对话中丰富的情感（音色、语调、语速、情态动词）。
文本转语音 (TTS)：伊隆·马斯克-“我认为建立反馈循环非常重要，在这个循环中你会不断思考自己做了什么以及如何做得更好。”
可以通过下方链接，在线体验（Chat、TTS不支持中文，ASR可以）
https://huggingface.co/spaces/maitrix-org/Voila-demo
https://github.com/maitrix-org/Voila欢迎交流～，带你学习AI，了解AI
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
