基于一致性模型的歌声转换CoMoSVC

共计 641 个字符，预计需要花费 2 分钟才能阅读完成。

由香港大学和微软亚洲研究员开发的 CoMoSVC 目前释出了论文，这是一个基于一致性模型的 SVC 方法，致力于达成高质量生成和高速采样两个目标。它可以将一个人的歌声转换成另一个人的歌声，同时能够保持了声音的自然度和真实感。相对其他 SVC，CoMoSVC 实现了一步采样，大大加快了处理速度。在单个 NVIDIA GTX4090 GPU 上的实验表明，尽管 CoMoSVC 的推理速度明显快于最先进的基于扩散的 SVC 系统，但在主观和客观指标的基础上，它仍然实现了与其相当或者更优的转化性能。

项目主页：https://comosvc.github.io

论文地址：https://arxiv.org/pdf/2401.01792.pdf

CoMoSVC 实现歌声转换的过程涉及几个关键步骤：

1. 基于扩散的教师模型设计：首先，CoMoSVC 设计了一个专门针对歌声转换的基于扩散的教师模型。这个模型通过学习大量的歌声数据，能够理解和模仿不同歌手的声音特征。
2. 学生模型的提炼：接着，CoMoSVC 利用自我一致性属性进一步提炼出一个学生模型。这个过程涉及从教师模型中提取关键信息，并简化模型结构，以便于快速有效地进行声音转换。
3. 一步采样过程：不同于传统的迭代采样过程，CoMoSVC 实现了一步采样。这意味着它可以在单次操作中完成声音的转换，大大加快了处理速度。
4. 音频质量和速度的平衡：CoMoSVC 在保持高音质转换的同时，优化了推理速度。这是通过精心设计的模型架构和算法优化实现的，确保转换后的音频既自然又忠实于目标歌手的风格。