WRAP：提高大型语言模型（LLM）的训练效率和数据使用效率

共计 968 个字符，预计需要花费 3 分钟才能阅读完成。

来自苹果的研究人员提出了一种名为 Web Rephrase Augmented Pre-training（WRAP）的方法，旨在提高大型语言模型（LLM）的训练效率和数据使用效率。WRAP 的核心思想是通过使用现成的指令调整模型（instruction-tuned model）来重新表述网络上的文档，使其更符合特定的风格，比如“像维基百科”或“问答格式”，然后将这些重新表述的内容与真实数据结合起来，共同用于预训练 LLM。

论文地址：https://arxiv.org/abs/2401.16380

简介： WRAP 方法通过改进数据预处理步骤，使得模型在训练过程中能够更有效地学习。这种方法特别适用于处理网络上的大量、结构松散、表述不清晰的数据。通过这种方式，WRAP 能够在保持数据多样性的同时，提高模型在各种自然语言处理任务上的性能。

主要特点：

1. 数据增强： WRAP 通过生成合成数据来增强真实数据，这些合成数据在风格上与真实数据相似，但在质量上更高，有助于模型更好地学习。
2. 风格多样性： WRAP 支持多种重新表述风格，如简单、中等、困难和问答风格，这有助于模型适应不同的下游任务。
3. 计算和数据效率： WRAP 能够在较少的计算资源和数据量下，实现与使用更多真实数据相当的训练效果。

工作原理： WRAP 的工作流程包括以下几个步骤：

1. 数据选择： 从网络爬取的数据（如 C4 数据集）通常包含噪声和不规范的文本。
2. 风格化重新表述： 使用一个预训练的 LLM，根据给定的指令（如“像维基百科”或“问答格式”）来重新表述这些数据。
3. 合成数据生成： 生成的重新表述文本与原始数据结合，形成新的训练数据集。
4. 模型训练： 使用这个混合数据集来训练 LLM，模型在预训练过程中会学习到更多样化的文本风格和高质量的内容。

具体应用场景： WRAP 可以应用于多种场景，包括但不限于：

• 语言模型预训练： 提高预训练语言模型的性能，尤其是在数据资源有限的情况下。
• 问答系统： 通过生成问答格式的合成数据，增强模型在问答任务上的表现。
• 内容创作： 为社交媒体、新闻网站等生成风格一致、质量较高的内容。
• 教育和研究： 在教育领域，WRAP 可以帮助生成适合不同阅读水平的学习材料，或者为研究人员提供高质量的文献摘要。

总的来说，WRAP 通过巧妙地结合真实数据和合成数据，为大型语言模型的训练提供了一种新的、高效的解决方案。