ALMA-13B-R:专注于翻译的大语言模型

10次阅读
没有评论

共计 274 个字符,预计需要花费 1 分钟才能阅读完成。

ALMA(基于高级语言模型的翻译器)是一个多对多的基于 LLM 的翻译模型,它采用了一种新的翻译模型范式:首先在单语数据上进行微调,然后使用高质量的平行数据进一步优化。这个两步微调过程确保了强大的翻译性能。ALMA- R 在 ALMA 模型的基础上,采用我们提出的对比偏好优化(CPO)进行 LoRA 微调,而不是 ALMA 中使用的监督微调。CPO 微调需要我们的三元组偏好数据来进行偏好学习。

GitHub 地址:https://github.com/fe1ixxu/ALMA

模型地址:https://huggingface.co/haoranxu/ALMA-13B-R

ALMA-13B-R:专注于翻译的大语言模型

正文完
关注公众号获取最新教程
post-qrcode
 
AI小诸葛
版权声明:本站原创文章,由 AI小诸葛 2024-01-19发表,共计274字。
转载说明:除特殊说明外本站文章皆由原创发布,请勿转载。
评论(没有评论)
验证码