数据集 / ArtificialAnalysis / ITBench-AA

ArtificialAnalysis / ITBench-AA

ITBench基准测试的SRE子集，包含Kubernetes事故场景及成因实体。

作者
ArtificialAnalysis
规模
40 行 · 27.6 GB
模态
文本
任务
问答
授权
cc-by-4.0 · 许可标注允许商用
语种
en
下载
21,167
收藏
22

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

项目资料与外部反馈

该基准较新且包含未公开的 held-out 任务,暂无污染或饱和证据;但 Hugging Face 数据集卡片页面存在前端加载错误,可能影响数据获取与审查。

  • 评估 AI 智能体在 Kubernetes 站点可靠性工程场景下的故障根因分析能力
  • Hugging Face 数据集卡片页面存在前端加载错误,可能影响数据获取与审查
来源

ArtificialAnalysis/ITBench-AA · Datasets at Hugging FaceArtificial Analysis on X: "Artificial Analysis and IBM Research are launching ITBench-AA, the first in a new series of benchmarks evaluating models on agentic enterprise IT tasks, starting with Site Reliability Engineering tasks where frontier models score below 50% ITBench-AA's SRE tasks benchmark model https://t.co/qlCJ3nM0hK" / X

截至 2026-07-22

观测时间线