agents-last-exam / agents-last-exam
面向长周期专业工作的计算机使用代理评估基准的任务元数据
仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。
项目资料与外部反馈
仅公开 147 道参考题,其余 1,350+ 道题存放在私有池中,依赖私有数据与商业软件授权,独立复现门槛极高
- 评估 AI agent 在长周期、有经济价值的专业工作流中的表现
- 检验 agent 是否达到「可上岗」水平
- 仅 147 道参考题对外开放,其余 1,350+ 道题存放在私有池中,需私有数据或授权软件才能访问
- 大量任务依赖 Siemens NX、Moldex3D、Rhino 3D、AutoCAD、SolidWorks 等商业软件,完整复现成本高昂
- 公开子集每约 6 个月轮换,同一测试集上的结果无法持久复现
来源
agents-last-exam/agents-last-exam · Datasets at ...Agents' Last ExamAI Agent Benchmark for Real-World Professional WorkflowsAgents' Last Exam is Defined by Domain ExpertsCenter for Responsible, Decentralized Intelligence at Berkeley
截至 2026-07-22