ArtificialAnalysis / ITBench-AA
ITBench基准测试的SRE子集，包含Kubernetes事故场景及成因实体。
关键规格
HF 热度21,167 下载 · 22 收藏观测于 2026-06-24
源仓库更新2026-05-27
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
采用判断
项目资料与外部反馈 · 2 个来源 · 核验于 2026-07-22
该基准较新且包含未公开的 held-out 任务,暂无污染或饱和证据;但 Hugging Face 数据集卡片页面存在前端加载错误,可能影响数据获取与审查。[1][2]
适合用来
- 评估 AI 智能体在 Kubernetes 站点可靠性工程场景下的故障根因分析能力[2]
采用前注意
- Hugging Face 数据集卡片页面存在前端加载错误,可能影响数据获取与审查[1]
本段综合依据
- ArtificialAnalysis/ITBench-AA · Datasets at Hugging Face ↗huggingface.co
- Artificial Analysis on X: "Artificial Analysis and IBM Research are launching ITBench-AA, the first in a new series of benchmarks evaluating models on agentic enterprise IT tasks, starting with Site Reliability Engineering tasks where frontier models score below 50% ITBench-AA's SRE tasks benchmark model https://t.co/qlCJ3nM0hK" / X ↗x.com