数据集 / HuggingFaceFW / fineweb-edu

HuggingFaceFW / fineweb-edu

基于LLama3-70B评分过滤的FineWeb教育网页数据集。

HF 源仓库 ↗本站资料更新 2026-08-21

关键规格

作者
HuggingFaceFW
规模
34.97亿行 · 6.2 TB
模态
文本
任务
文本生成
授权
odc-by · 许可标注允许商用
语种
en
HF 热度408,463 下载 · 1,264 收藏观测于 2026-08-21
源仓库更新2025-07-11

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目资料与外部反馈 · 4 个来源 · 核验于 2026-07-22

高质量英语教育类网页文本，ODC-By许可但受CommonCrawl条款约束，去重仅限dump内且提升有限，适合教育领域预训练但有许可和去重注意点[1][2]

适合用来

  • 英语教育类网页文本的大规模预训练[1]
  • MMLU、ARC、OpenBookQA等推理与知识密集型benchmark的预训练数据[1]

采用前注意

  • ODC-By v1.0许可，且使用受CommonCrawl条款约束，存在双重许可限制[1]
  • 去重仅在各CommonCrawl dump内部进行，不同dump之间不做比对，文档称去重后性能提升微乎其微[2]
  • 仅包含英语数据，非英语内容已被分离用于FineWeb-2[1][3]
  • 教育质量评分依赖Llama-3-70B-Instruct生成的合成标注，分类器本身由合成数据训练[1]

本段综合依据

  1. The FineWeb Datasets: Decanting the Web for the Finest ... ↗arxiv.org
  2. What can we learn from Hugging Face's Fineweb Dataset ↗kili-technology.com
  3. huggingface/fineweb-2 ↗github.com
  4. FineWeb-Edu Dataset | Research Computing Documentation ↗hyak.uw.edu

历史记录

7 次历史卡片 · 2026-05-23 至 2026-08-21