codeparrot / github-code
来自GitHub的代码文件，覆盖32种编程语言
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
项目资料与外部反馈
该数据集存在已知的重复问题且已有官方清理版本，仓库声明许可证与实际内容权利可能不一致，不建议直接用于新项目而不做额外去重与合规审查。
- 支持按语言和许可证过滤的流式访问，适合大规模代码语料加载
- 重复文件严重影响模型性能，官方博客明确指出 duplicates 问题
- 非去重版本的 HumanEval 基准测试存在泄漏（291–338 条），去重后降至 0
- 仓库声明的许可证与实际内容权利可能不一致，论文标题直接指出'Do Not Trust Licenses You See'
- 存在官方清理版本 codeparrot/github-code-clean，移除了 3.39M 文件（占 2.94%）
- Lance 格式的第三方子集需要写权限，无法在 Kaggle Kernels 上直接使用
来源
blog/codeparrot.md at main · huggingface/blog · GitHubDo Not Trust Licenses You See—Dataset Compliance ...arXiv:2211.15533v1 [cs.CL] 20 Nov 2022codeparrot/github-code-clean · Datasets at Hugging Facecodeparrot_1Mcodeparrot/github-code · Datasets at Hugging Face
截至 2026-07-22