Parameter Golf挑战揭示AI编码智能体对机器学习研究竞赛的深远影响
OpenAI举办的Parameter Golf挑战赛吸引了超1000名参与者提交超2000个方案，要求在16MB限制（含模型权重+训练代码）和8×H100上10分钟训练预算内优化FineWeb数据集损失。竞赛中AI编码智能体被广泛使用，大幅降低了实验门槛并加速了创意迭代，但也带来评审和规则遵守方面的新挑战。OpenAI为此开发了基于Codex的内部分诊机器人辅助审查。技术亮点涵盖训练优化、量化、测试时训练策略及新模型/数据表示方法，展示了开放竞赛在智能体时代的演变。
事件概述
OpenAI 于2026年5月12日发布了 Parameter Golf 技术挑战赛的总结报告。该竞赛历时8周，要求参赛者在极严格的资源约束（模型权重+训练代码总大小不超过16MB，在8×H100上训练时间不超过10分钟）下，最小化 FineWeb 数据集上的 hold-out 损失。比赛提供了基线、数据集和评测脚本，参与者通过 GitHub 提交结果。最终收到超过2000份提交，来自1000多名参与者。
核心结果
Record Track（记录赛道）
OpenAI 独立复现并验证了每份提交在提交时的破纪录表现。主要技术路线包括：
- 训练优化：如@notapplica 综合多项先前的优化（Muon 权重衰减、谱嵌入初始化、残差混合调度等），实现了模型更深且性能更优。
- 量化：@signalrush 成功使用 GPTQ-lite 后训练量化；@dexhunter 基于全Hessian GPTQ 进一步提升了压缩效果。
- 测试时与评估策略：@samacqua 采用“先评分、后 LoRA 测试时训练”策略，仅对已评分块进行适配，在规则内探索评估边界；@abaybektursun 使用自生成 GPTQ 校准数据。
- 新模型与数据思路：@romeerp 提出损失恢复大小写标记器 CaseOps；@unnir 引入高效局部排他自注意力 XSA；@aquariouseworkman 提出 SmearGate+BigramHash 特征；@msisovic 实现微型深度循环（部分未绑定 MLP）。
Nonrecord Track（非记录赛道）
该赛道更偏实验性。OpenAI 特别推荐了三个提交：CiprianFlorim-Ifrim 的SSM+JEPA组合、ddavidgao 的 Designator/Guided Attention、DariusFeher 的字节级H-Net。非记录赛道中一半提交超越了基线1.22 BPB，最高达到1.12 BPB，表明非Transformer架构在约束下也能与主流模型竞争。
智能体的影响
绝大多数参与者使用了AI编码智能体。智能体显著降低了实验迭代成本，使非专业研究者也能快速参与。然而，这也带来新问题：大量提交仅是对已有高分方案的微小修改，且当某些无效方法取得异常高分时，其他智能体会模仿并延续错误路径。OpenAI 在赛期内开发了一个基于Codex的内部自动化审核机器人，用于监控提交并标记需人工审查的异常。此外，社区出现了由@notapplica及其智能体维护的“Live Updates”公告栏，实时跟踪赛况并解析技术方法，帮助其他参与者遵守规则。
总结与展望
Parameter Golf 展示了开放研究竞赛在AI智能体时代的可能性：降低门槛、加速创新，但也需要新形式的组织和审核。OpenAI 计划未来推出更多类似挑战，以持续探索智能体辅助下的机器学习研究前沿。