谷歌推出预训练语言模型 SpacTor-T5

共计 598 个字符，预计需要花费 2 分钟才能阅读完成。

谷歌推出一种名为 SPACTOR 的新的预训练方法，用于改进 T5 模型的效率和泛化能力。该方法包括两个关键要素：一是将 span corruption（SC）预训练任务与 ELECTRA 中提出的 replaced token detection（RTD）目标相结合；二是采用两阶段的预训练策略，先在初始的一定迭代次数内优化混合目标，然后转换为标准的 SC 损失进行预训练。

论文地址：https://arxiv.org/abs/2401.13160

SPACTOR 方法的特点在于它通过引入 RTD 目标来增强 SC 预训练任务，使得模型能够更好地学习文本表示。同时，该方法还通过两阶段的预训练策略显著提高了各种下游任务的性能。与其他方法相比，SPACTOR 在保持任务性能的同时，能够减少 50% 的预训练迭代次数和 40% 的计算资源消耗。

SPACTOR 方法的具体实现是通过在输入文本中引入 SC 和 RTD 的掩码，并对其进行顺序应用。SC 掩码用于选择一些不重叠的文本片段，并将其替换为特殊的标记。RTD 目标则是让模型判断哪些标记是被替换过的。通过辅助生成模型和鉴别器模型的训练，模型能够同时学习到这两个任务。

该方法的具体应用场景是在自然语言处理（NLP）任务中，特别是对于使用 T5 模型进行编码 - 解码的任务。通过采用 SPACTOR 方法进行预训练，可以显著提高模型在各种 NLP 任务上的性能，并且在相同的计算资源预算下，能够取得更好的下游任务表现。