Delphi-25B (Marin Community)

独立证据与社区反馈

4 个独立来源 · 另 1 官方/转载最近验证 2026-07-05

Delphi 的核心产出是可复现的缩放定律：用 3e18–3e20 FLOPs 的小规模 IsoFLOP 最优拟合，外推约 300 倍至 1e23 FLOPs 的 25B 参数跑，预注册预测与实测损失仅差 0.2%。社区视其为缩放定律研究的开放基准与配方参考。

• 缩放定律准确预测大算力跑的训练损失：1e23 FLOPs 下误差 0.2%，1e21 与 1e22 验证跑误差均 <0.5%
• 外推跨度约 300 倍（从小规模 IsoFLOP 最优至前沿算力），验证了配方的可外推性
• 公开释放 checkpoint、训练混合数据与完整配方，为社区缩放研究提供可复现资源
• 发现并修正了 token-horizon 对学习率等超参数的影响，同时引入去掉权重衰减搜索的新优化器
• 通过 Marin Speedrun 社区驱动跟踪训练效率，形成开放排行榜与优化竞赛

• 证据仅涉及缩放定律预测精度，无社区讨论涉及模型实际生成质量、推理吞吐或日常使用体验
• 当前讨论集中在训练效率与损失预测，缺乏下游任务评估（benchmark 表现、人类偏好等）的证据

• 社区实测Marin's Open Scaling Suite Delphi Predicts 25B-Parameter Model ...
• 社区实测Our 1e23 "Delphi" (~25B param model trained for
• 独立评测Marin Speedrun - Leaderboard
• 独立评测Open Athena | Scaling Laws That Extrapolate 300× Past the Fit
• 转载/仓库Delphi - a marin-community Collection - Hugging Face

可信度预注册扩展律预测终损误差<0.2%，训练代码与数据配方全开源