Stability AI 展示了一种新型的文本到语音（TTS）模型

共计 898 个字符，预计需要花费 3 分钟才能阅读完成。

Stability AI 推出了一种新型的文本到语音（TTS）模型，它能够通过自然语言描述来生成高保真度的语音。这项技术允许用户通过简单的文本指令来控制语音的性别、口音、语速、音调和录音条件，从而创造出多样化的语音输出。简单来说就是你写下“一个印度口音的女声，语速较快”，模型就能生成相应的声音。

项目主页：https://www.text-description-to-speech.com

主要功能：

1. 自然语言控制： 用户可以通过自然语言描述来指定语音的各种属性，如性别、口音、语速等。
2. 高保真度语音生成： 系统能够生成与描述相匹配的高质量语音，即使在训练数据中没有直接对应的样本。
3. 多样化的语音风格和录音条件： 系统能够模拟多种口音、语调和录音环境，如在嘈杂环境中的清晰语音。

主要特点：

1. 无需参考语音： 与依赖于参考语音录音的方法不同，这项技术完全基于文本描述来生成语音。
2. 大规模数据集训练： 使用了一个 45,000 小时的英语语音数据集进行训练，这使得模型能够学习到丰富的语音变化。
3. 自动标签生成： 通过自动分类器和统计方法来为数据集生成标签，避免了昂贵的人工标注过程。

工作原理：

1. 数据集准备： 使用两个英语语音语料库（LibriVox 和 LibriTTS-R），并为这些数据集生成自然语言描述，包括性别、口音、语速、音调和录音质量等属性。
2. 模型训练： 使用一个基于 Transformer 的语音语言模型，该模型能够理解文本描述并生成相应的语音。
3. 音频质量提升： 通过使用最新的音频编解码模型（如 Descript Audio Codec），在训练数据中包含少量高保真音频，系统能够生成高质量的语音输出。

具体应用场景：

1. 有声书制作： 生成具有特定口音和风格的朗读者语音，用于有声书的制作。
2. 虚拟助手和客服： 创建具有个性化声音的虚拟助手，提供更加自然和多样化的客户服务。
3. 语言学习： 为学习者提供模仿不同口音和语调的练习材料。
4. 娱乐和创意内容制作： 在电影、游戏和广播剧中创建多样化的角色语音。

这项技术通过结合大规模数据集和先进的语音合成模型，为用户提供了一个直观且灵活的工具，以创造和控制各种语音输出，同时保持高保真度和自然流畅性。