数据集 / agents-last-exam / agents-last-exam

agents-last-exam / agents-last-exam

面向长周期专业工作的计算机使用代理评估基准的任务元数据

HF 源仓库 ↗本站资料更新 2026-06-11

关键规格

作者
agents-last-exam
规模
149 行 · 988 KB
模态
文本
授权
cc-by-4.0 · 许可标注允许商用
语种
en
HF 热度787 下载 · 139 收藏观测于 2026-06-11
源仓库更新2026-06-05

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目资料与外部反馈 · 5 个来源 · 核验于 2026-07-22

仅公开 147 道参考题,其余 1,350+ 道题存放在私有池中,依赖私有数据与商业软件授权,独立复现门槛极高[2]

适合用来

  • 评估 AI agent 在长周期、有经济价值的专业工作流中的表现[2][3]
  • 检验 agent 是否达到「可上岗」水平[5]

采用前注意

  • 仅 147 道参考题对外开放,其余 1,350+ 道题存放在私有池中,需私有数据或授权软件才能访问[2]
  • 大量任务依赖 Siemens NX、Moldex3D、Rhino 3D、AutoCAD、SolidWorks 等商业软件,完整复现成本高昂[3][4]
  • 公开子集每约 6 个月轮换,同一测试集上的结果无法持久复现[2]

本段综合依据

  1. agents-last-exam/agents-last-exam · Datasets at ... ↗huggingface.co
  2. Agents' Last Exam ↗snorkel.ai
  3. AI Agent Benchmark for Real-World Professional Workflows ↗agents-last-exam.org
  4. Agents' Last Exam is Defined by Domain Experts ↗agents-last-exam.org
  5. Center for Responsible, Decentralized Intelligence at Berkeley ↗rdi.berkeley.edu

历史记录

1 次历史卡片 · 2026-06-11