codeparrot / github-code-clean
---
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
项目资料与外部反馈
该数据集来源于 GitHub 公开仓库的代码抓取，许可证与版权状态复杂且不可轻信，原始去重不彻底且仅去除了 2.94% 文件，加之数据量达 1TB 需依赖流式访问，采用前需重点评估合规与工程成本。
- 可用于代码生成模型的预训练，已有 granite-3b-code-base-2k、codeparrot-small-multi 等模型基于此数据集训练或微调。
- 该数据集仓库级缺乏 LICENSE 文件，讨论区有用户明确请求添加。
- 论文《Do Not Trust Licenses You See》指出数据集层面的许可证元数据与文件中实际代码许可可能不一致，单纯依赖数据集标注的 license 字段不可靠。
- 数据集中包含 Apache 2.0、GPL v3.0+、BSD-3-Clause 等多种互不兼容的许可证，直接使用可能面临版权合规风险。
- 原始 CodeParrot 训练实验发现重复代码严重损害模型性能；github-code-clean 仅去除了 2.94% 的文件，残余重复仍可能影响下游任务。
- 数据集总大小约 1TB，官方文档明确建议大多数场景使用流式 API，全量加载对存储和内存要求极高。
来源
codeparrot/github-code-clean · DiscussionsDo Not Trust Licenses You See—Dataset Compliance ...codeparrot/codeparrot-clean · Datasets at Hugging Faceblog/codeparrot.md at main · huggingface/blogcodeparrot/github-code-clean · Datasets at Hugging Facecodeparrot/github-code · Datasets at Hugging Face
截至 2026-07-22