tiiuae / falcon-refinedweb
经过严格过滤和去重的CommonCrawl英文网页数据集
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
项目资料与外部反馈
发布时 Falcon 凭此数据集登顶 Open LLM Leaderboard,证明了大规模过滤去重的纯网页数据路线可行,但 CommonCrawl 快照陈旧,如今已非首选。
- Apache 2.0 许可,商用无额外限制
- 证明经过严格过滤和去重的纯网页数据即可训练出超越精选语料混合物的模型,缓解了高质量语料规模焦虑
- CommonCrawl 快照停留在 2013 年,数据时效性远落后于后续网页数据集
- 仅覆盖英语和法语,多语言场景不可用
- 原始网页数据中仍混杂 SEO 垃圾页等低质内容
- 存在常见网页偏差
来源
tiiuae-falcon-7b - AI Model Catalog | Microsoft Foundry Models[2306.01116] The RefinedWeb Dataset for Falcon LLM - ar5ivtiiuae/falcon-refinedweb · Datasets at Hugging Face[N] Abu Dhabi's TTI releases open-source Falcon-7B and -40B LLMs : r/MachineLearning
截至 2026-06-20