数据集 / togethercomputer / RedPajama-Data-1T

togethercomputer / RedPajama-Data-1T

LLaMa数据集的完全开源复现。

已被后续数据集取代 · 查看后继数据集 →

作者
togethercomputer
规模
172.6万行 · 39.5 GB
模态
文本
任务
文本生成
语种
en
下载
1,580
收藏
1,182

项目资料与外部反馈

RedPajama-1T是LLaMA训练数据配方的早期开源复现,已被RedPajama-V2取代

  • 原始web数据存在HTML转文本伪影、低质量来源和内容偏差,不宜直接用于LLM训练
  • 已被RedPajama-V2取代,v2提供30T token、40+预计算质量标注和去重,RPv1代码已归档至rp_v1分支
来源

RedPajama-Data-v2: An open dataset with 30 trillion tokens for training large language modelsGitHub - togethercomputer/RedPajama-Data: The RedPajama-Data repository contains code for preparing large datasets for training large language models. · GitHub

截至 2026-06-20

观测时间线