Zonos – ZyphraAI 开源的多语言 TTS 模型

Zonos是什么

Zonos是Zyphra推出的高保真文本到语音（TTS）模型。Zonos包含两个模型：16亿参数的Transformer模型和SSM混合模型，均在Apache 2.0许可下开源。Zonos根据文本提示和说话人嵌入生成自然、高表达性的语音，支持语音克隆功能，可调节语速、音高、情感等参数，输出采样率为44kHz。模型基于约20万小时的多语言语音数据训练，主要支持英语，对其他语言的支持有限。Zonos提供优化的推理引擎，支持快速生成语音，适合实时应用。

Zonos的主要功能

• 零样本TTS与语音克隆：输入文本和10-30秒的说话者样本，能生成高质量的TTS输出。
• 音频前缀输入：基于添加文本和音频前缀，更精确地匹配说话者的声音，和实现难以通过说话者嵌入复制的行为，如耳语。
• 多语言支持：支持英语、日语、中文、法语和德语。
• 音频质量和情感控制：支持精细控制语速、音高、最大频率、音频质量和各种情感。

Zonos的技术原理

• 文本预处理：基于eSpeak工具进行文本归一化和音素化，将输入文本转换为音素序列。
• 特征预测：用Transformer或混合骨干网络（Hybrid Backbone）预测DAC（Discrete Audio Codec）标记。
• 语音生成：基于预测的DAC标记，用自编码器（Autoencoder）解码生成高质量的语音输出。

Zonos的项目地址

Zonos的应用场景

•  有声读物与在线教育：将文本内容转换为自然流畅的语音，为有声读物和在线课程提供高质量的语音旁白。
• 虚拟助手与客服：在虚拟助手和客服系统中，生成自然的语音交互，提供更人性化的用户体验。
• 多媒体内容创作：在视频制作、动画和广告中，生成高质量的旁白和配音。
• 无障碍技术：为视障人士提供语音阅读服务，将网页、文档和书籍的内容转换为语音，帮助他们更好地获取信息。
• 游戏与互动娱乐：在游戏和互动娱乐应用中，生成角色对话和旁白，增强游戏的沉浸感。