openai / gsm8k
小学数学应用题，需多步算术推理。
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
项目资料与外部反馈
GSM8K 测试集已被多篇论文证实存在数据污染与模型过度拟合，GSM1k 已作为其无污染替代版本发布，继续使用 GSM8K 作为评测基准存在高估模型能力的风险。
- GSM8K 的测试数据已被部分 LLM 的训练过程污染，EMNLP 2024 论文指出 LLM 训练中常存在不同程度的测试集泄漏，GSM8K 是受影响的数学推理基准之一。
- 多个模型家族在 GSM8k 上表现出系统性过度拟合，相比无污染的 GSM1k 副本得分更高，表明 GSM8k 的基准评测结果已被高估，不能准确反映模型推理能力。
- GSM1k 已作为 GSM8k 的无污染复制版本被创建，专门用于揭示模型在 GSM8k 上的过度拟合问题，可直接替代 GSM8k 进行更可靠的数学推理评测。
截至 2026-07-22