创新迭代训练框架Self-Lengthen：提高大语言模型生成长文本的能力

共计 1747 个字符，预计需要花费 5 分钟才能阅读完成。

大语言模型（LLMs）的最新进展显著增强了它们处理长上下文的能力，但在生成对齐的长输出方面仍然存在显著差距。这一限制主要源于训练差距，即预训练阶段缺乏长文本生成的有效指令，而后训练数据主要由短查询 - 响应对组成。当前的方法，如指令回译和行为模仿，面临数据质量、版权问题以及对专有模型使用的限制等挑战。

Self-Lengthen 框架

为了解决这些问题，阿里巴巴千问团队提出了一种创新的迭代训练框架，称为 Self-Lengthen，旨在提高大语言模型（LLMs）生成长文本的能力。Self-Lengthen 通过仅利用 LLMs 的内在知识和技能，无需辅助数据或专有模型，来培养和提升模型生成长文本对齐输出的能力。

• GitHub：https://github.com/QwenLM/Self-Lengthen

我们有一个大型语言模型，它在处理长文本输入时表现出色，但在生成长文本输出时却力不从心。例如，当给定一个指令生成一个关于“如何种植玫瑰花”的详细指南时，模型可能只能产生一个简短的回答，而不是一个全面的、长篇的指导。Self-Lengthen 框架通过迭代训练，可以逐步提高模型生成长文本的能力，使其能够产生更详细、更长的输出。

Self-Lengthen 框架包括两个主要角色：生成器和扩展器。

1. 生成器：
   • 生成初始响应：生成器负责生成初始的短文本响应。
2. 扩展器：
   • 分割和扩展：扩展器将生成器生成的初始响应分割成多个部分，并对每个部分进行扩展，生成更长的文本段落。
3. 迭代训练：
   • 生成新的响应：通过扩展器的处理，生成一个新的、更长的响应。
   • 反馈循环：新的、更长的响应被用于迭代训练生成器和扩展器，使模型逐步训练以处理越来越长的响应。

主要功能：

• 迭代训练：通过交替训练 Generator（生成器）和 Extender（扩展器），逐步增加模型输出的长度。
• 自我对齐：无需外部数据或模型，利用 LLM 自身的能力来提升长文本生成能力。
• 生成长文本：能够生成符合特定长度要求的长文本输出。

主要特点：

• 无需额外数据：不依赖于外部的长文本数据或专有模型。
• 自我扩展：通过自我扩展机制，模型能够逐步增加输出长度。
• 保持质量：在增加输出长度的同时，保持或提升生成内容的质量。

工作原理：

1. 初始化：Generator 和 Extender 都初始化为现有的指令模型。
2. 生成初始响应：Generator 根据给定的查询生成初始响应。
3. 分割和扩展：Extender 将初始响应分割，并扩展每部分以产生更长的响应。
4. 迭代训练：使用新生成的长响应来训练 Generator 和 Extender，使其能够处理更长的输出。
5. 微调：在每一轮迭代中，通过微调来改进 Generator 和 Extender，使其能够生成和扩展更长的文本。

实验结果

1. 基准测试：
   • Qwen2 和 LLaMA3：Self-Lengthen 框架在 Qwen2 和 LLaMA3 等顶级开源 LLMs 上进行了实验。
   • 性能提升：实验结果表明，Self-Lengthen 在长文本生成方面显著优于现有方法。
2. 人类评估：
   • 对齐质量：人类评估显示，Self-Lengthen 生成的长文本在对齐质量上明显优于现有方法。
   • 连贯性和一致性：生成的长文本在连贯性和一致性方面也有显著提升。

关键优势

1. 无需辅助数据：
   • 自足性：Self-Lengthen 框架仅利用 LLMs 的内在知识和技能，无需额外的辅助数据或专有模型。
2. 数据质量控制：
   • 高质量生成：通过迭代训练，Self-Lengthen 确保生成的长文本具有高质量，避免了数据质量问题。
3. 版权和专有模型问题：
   • 无版权风险：由于不依赖外部数据或专有模型，Self-Lengthen 避免了版权和专有模型使用的问题。
4. 灵活性和可扩展性：
   • 适应性强：Self-Lengthen 框架可以应用于不同大小和类型的 LLMs，具有高度的灵活性和可扩展性。

Self-Lengthen 框架通过创新的迭代训练方法，显著提升了大语言模型在长文本生成方面的能力。该框架仅利用 LLMs 的内在知识和技能，无需辅助数据或专有模型，从而避免了数据质量、版权和专有模型使用的问题。实验结果表明，Self-Lengthen 在基准测试和人类评估中均表现出色，为长文本生成任务提供了新的解决方案。这一创新为大语言模型在长文本生成领域的应用开辟了新的可能性，特别是在需要高质量、长对齐文本的场景中。