ALMA-13B-R：专注于翻译的大语言模型

45次阅读

共计 274 个字符，预计需要花费 1 分钟才能阅读完成。

ALMA（基于高级语言模型的翻译器）是一个多对多的基于 LLM 的翻译模型，它采用了一种新的翻译模型范式：首先在单语数据上进行微调，然后使用高质量的平行数据进一步优化。这个两步微调过程确保了强大的翻译性能。ALMA- R 在 ALMA 模型的基础上，采用我们提出的对比偏好优化（CPO）进行 LoRA 微调，而不是 ALMA 中使用的监督微调。CPO 微调需要我们的三元组偏好数据来进行偏好学习。