Meta 开源实时翻译系列模型 Seamless

共计 514 个字符，预计需要花费 2 分钟才能阅读完成。

今日，Meta 推出实时翻译系统 Seamless。为了构建 Seamless，Meta 开发了一种用于保留语音到语音翻译中表达能力的模型 SeamlessExpressive，以及一个流式翻译模型 SeamlessStreaming，可以以几乎不到两秒的延迟提供最先进的结果。所有模型均基于 Meta 在 8 月发布的基础模型 SeamlessM4T v2 构建。据介绍，与之前在表达性语音研究方面的努力相比，SeamlessExpressive 解决了韵律中某些尚未开发的方面，例如语速和节奏停顿，同时还保留了情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。SeamlessStreaming 支持近 100 种输入和输出语言的自动语音识别和语音到文本翻译，以及近 100 种输入语言和 36 种输出语言的语音到语音翻译。Meta 开源了全部四种模型，以便研究人员在此基础上进一步研究。

开源地址：https://github.com/facebookresearch/seamless_communication

Demo 地址：https://seamless.metademolab.com/expressive