REGAL：通过重构程序来发现可重用的抽象函数

共计 910 个字符，预计需要花费 3 分钟才能阅读完成。

这篇论文介绍了一个名为 REGAL（Refactoring for Generalizable Abstraction Learning）的方法，它旨在通过重构程序来发现可重用的抽象函数。REGAL 的核心思想是利用大型语言模型（LLMs）来学习从一组示例中提取有用的函数，这些函数可以在不同的程序中重复使用，从而提高程序生成的效率和准确性。

GitHub 地址：https://github.com/esteng/regal_program_learning

主要特点：

1. 重构程序 ：REGAL 通过重构原始程序，将重复的代码片段转化为可重用的函数，减少了冗余并提高了代码的可读性。
2. 无需梯度 ：REGAL 是一个无梯度的方法，它依赖于 LLM 生成的程序进行迭代验证和优化。
3. 跨领域应用 ：REGAL 在多个领域（如 LOGO 图形生成、日期推理和 TextCraft 游戏）中展示了其有效性，提高了 LLMs 在这些任务上的预测准确性。

工作原理：

• 训练阶段 ：REGAL 首先对一组查询和原始程序进行预处理，然后使用 LLM 生成一组辅助函数（helper functions），这些函数旨在简化原始程序。接着，REGAL 验证这些重构后的程序的正确性，并将成功的辅助函数添加到代码库（Code Bank）中。
• 测试阶段 ：在测试阶段，REGAL 代理（agent）会使用训练阶段学到的辅助函数来生成新的程序，以解决测试查询。这个过程中，代理会从代码库中检索相关的辅助函数，并结合原始程序生成最终的预测程序。

具体应用场景：

• LOGO 图形生成 ：在 LOGO 图形生成任务中，REGAL 可以学习如何绘制基本图形，如三角形和圆形，并将这些图形组合成更复杂的图案。
• 日期推理 ：在日期推理任务中，REGAL 可以帮助 LLMs 更好地理解和处理日期相关的计算问题。
• TextCraft 游戏 ：在 TextCraft 这个基于文本的 Minecraft 游戏中，REGAL 可以帮助 LLMs 理解和生成执行游戏任务所需的 Python 代码。

总的来说，REGAL 通过学习可重用的函数库，提高了 LLMs 在多种任务中的程序生成能力，尤其是在需要多个辅助函数的复杂任务中。这种方法不仅提高了程序的准确性，还使得生成的程序更加简洁和易于理解。