allenai / dolma3_dolmino_mix-100B-1125

为什么值得关注

若需要快速获取一批针对数学、代码、推理等能力的合成训练/微调样本，本数据集可直接加载text字段使用，无需额外清洗。

主要亮点

• 由AllenAI为OLMo 3 32B中期训练筛选的高质量合成数据池，目标提升数学、代码、QA、指令理解与思考能力
• 包含12种以上不同来源的合成数据（如TinyMATH、CraneCode、Nemotron QA等），覆盖较广的技能维度
• 采用ODC-BY开源许可，可商用途经署名即可使用

数据质量

• 合成数据占比100%，存在模式化和伪相关风险，尤其数学和推理数据可能高度模板化
• 未公开去重策略及重复率，同一来源内部可能存在近重复样本
• 数据来源为多管道生成，噪声水平不一（如网络爬取部分经过STEM筛选，但合成QA质量依赖提示设计）
• 数据集曾用于Olmo 3训练，若直接用于评测存在潜在泄漏（需确认时间和任务范围）

限制与取舍

• 全部为合成数据，缺乏自然文本多样性，在真实场景泛化上可能受限
• 仅包含英文，不支持多语言任务
• ODC-BY许可要求明确署名，需注意合规性

编辑部依据

1. README.md · allenai/dolma3_dolmino_mix-100B-1125 at main ↗huggingface.co
2. allenai/dolma3 - GitHub ↗github.com
3. allenai/dolma3_dolmino_mix-100B-1125 · Datasets at Hugging Face ↗huggingface.co
4. Model Card for Olmo 3 32B - 模型详情页 ↗modelscope.cn

适合用来

• 用于语言模型的中训练/退火阶段,针对性提升数学、代码、问答、指令遵循和推理能力。^[2]

采用前注意

• HF 数据集查看器因 schema 不匹配(CastError)直接失败,影响通过 datasets 库直接加载和浏览。
• 合成数据占比极高,几乎所有类别均标注为 synth,仅少量 Common Crawl 网页部分为非合成数据。
• 仓库说明称 HF 版本为"最接近的最终数据集",暗示与内部 Ai2 实际使用版本存在差异。^[2]
• 数据集卡标注 ODC-By 许可,但同时又写明"intended for research and educational use",商业使用边界不明确。
• 论文承认部分性能提升可能来自数据污染,最终退火对比用了去污版本,但发布的混合版本未明确标注是否已完成去污。^[3]

本段综合依据

1. allenai/dolma3_dolmino_mix-100B-1125 · Datasets at Hugging Face ↗huggingface.co
2. GitHub - allenai/dolma3 · GitHub ↗github.com
3. Olmo 3 ↗datocms-assets.com

正式取代关系

• 本数据集正式取代了 allenai / dolma →