Meta 开源实时翻译系列模型 Seamless

104次阅读
没有评论

共计 514 个字符,预计需要花费 2 分钟才能阅读完成。

今日,Meta 推出实时翻译系统 Seamless。为了构建 Seamless,Meta 开发了一种用于保留语音到语音翻译中表达能力的模型 SeamlessExpressive,以及一个流式翻译模型 SeamlessStreaming,可以以几乎不到两秒的延迟提供最先进的结果。所有模型均基于 Meta 在 8 月发布的基础模型 SeamlessM4T v2 构建。据介绍,与之前在表达性语音研究方面的努力相比,SeamlessExpressive 解决了韵律中某些尚未开发的方面,例如语速和节奏停顿,同时还保留了情感和风格。该模型目前在英语、西班牙语、德语、法语、意大利语和中文之间的语音到语音翻译中保留了这些元素。SeamlessStreaming 支持近 100 种输入和输出语言的自动语音识别和语音到文本翻译,以及近 100 种输入语言和 36 种输出语言的语音到语音翻译。Meta 开源了全部四种模型,以便研究人员在此基础上进一步研究。

开源地址:https://github.com/facebookresearch/seamless_communication

Demo 地址:https://seamless.metademolab.com/expressive

Meta 开源实时翻译系列模型 Seamless

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2023-12-01发表,共计514字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码