数据集 / openai / gsm8k

openai / gsm8k

小学数学文字应用题，需多步基本算术推理。

HF 源仓库 ↗本站资料更新 2026-08-19

关键规格

作者
openai
规模
1.8万行 · 12 MB
模态
文本
任务
文本生成
授权
mit · 许可标注允许商用
语种
en
HF 热度1,050,075 下载 · 1,569 收藏观测于 2026-08-19
源仓库更新2026-03-23

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目资料与外部反馈 · 2 个来源 · 核验于 2026-07-22

GSM8K 测试集已被多篇论文证实存在数据污染与模型过度拟合，GSM1k 已作为其无污染替代版本发布，继续使用 GSM8K 作为评测基准存在高估模型能力的风险。[1][2]

采用前注意

  • GSM8K 的测试数据已被部分 LLM 的训练过程污染，EMNLP 2024 论文指出 LLM 训练中常存在不同程度的测试集泄漏，GSM8K 是受影响的数学推理基准之一。[1]
  • 多个模型家族在 GSM8k 上表现出系统性过度拟合，相比无污染的 GSM1k 副本得分更高，表明 GSM8k 的基准评测结果已被高估，不能准确反映模型推理能力。[2]
  • GSM1k 已作为 GSM8k 的无污染复制版本被创建，专门用于揭示模型在 GSM8k 上的过度拟合问题，可直接替代 GSM8k 进行更可靠的数学推理评测。[2]

本段综合依据

  1. Reusing Leaked Benchmarks for Large Language Model Evaluation ↗aclanthology.org
  2. GSM1k neurips ↗neurips.cc

历史记录

7 次历史卡片 · 2026-05-21 至 2026-08-19