共计 812 个字符,预计需要花费 3 分钟才能阅读完成。
文章目录[隐藏]
一家专注于开发用于评估 AI 数学能力基准的非营利组织 Epoch AI,由于直到最近才公开其接受了来自 OpenAI 的资金支持,而在 AI 社区内引发了争议。
背景介绍
Epoch AI 主要由 Open Philanthropy(一个研究和赠款基金会)资助,致力于开发名为 FrontierMath 的测试工具。此工具包含专家级别的问题,旨在衡量 AI 系统的数学技能,并被 OpenAI 选为展示其即将推出的旗舰模型 o3 性能的基准之一。然而,在最初发布时,Epoch AI 并未完全透明地公开 OpenAI 对其的支持情况。
社区反应
在 LessWrong 论坛上,一位名为“Meemi”的 Epoch AI 承包商指出,许多参与 FrontierMath 开发的人是在项目公开后才得知 OpenAI 的参与。“关于这一点的沟通是不透明的,”Meemi 写道,“在我看来,Epoch AI 应当提前披露 OpenAI 的资助,确保承包商能够基于充分的信息决定是否参与。”

社交媒体上的讨论进一步揭示了这种保密性可能损害 FrontierMath 作为公正评估标准声誉的担忧。此外,斯坦福大学数学博士生 Carina Hong 提到,一些贡献者对 OpenAI 拥有对 FrontierMath 的特权访问权感到不满,并表示如果早知此事,他们可能会重新考虑自己的参与。
Epoch AI 回应
面对批评,Epoch AI 副主任兼联合创始人 Tamay Besiroglu 承认组织在透明度方面存在不足:“我们确实犯了一个错误,没有更早地向贡献者提供完全透明的信息。”Besiroglu 解释说,尽管出于合同限制未能立即公开合作伙伴关系,但事后看来,他们应该更加努力争取尽早实现信息透明化。
Besiroglu 还强调,虽然 OpenAI 可以获得 FrontierMath 的数据,但双方达成了口头协议,即 OpenAI 不会利用这些数据来训练其 AI 系统。为了保证结果的客观性,Epoch AI 还保留了一个独立的验证集,用以进行额外的结果核实。(来源)
相关文章
相关文章
