数据集 / alibaba-multimodal-industrial-ai / IndustryBench

alibaba-multimodal-industrial-ai / IndustryBench

多语言工业领域知识基准，覆盖12个工业领域，中英俄越四种语言。

HF 源仓库 ↗本站资料更新 2026-05-21

关键规格

作者
alibaba-multimodal-industrial-ai
规模
2,049 行 · 25 MB
模态
文本
任务
问答 / 文本生成
授权
mit · 许可标注允许商用
语种
zh / en / ru / vi
中文
含中文
HF 热度181 下载 · 26 收藏观测于 2026-05-21
源仓库更新2026-05-13

仓库许可不等于数据内容权利已全部清理，商用仍需核对数据来源、隐私与版权条款。

采用判断

项目方资料核对 · 1 个来源 · 核验于 2026-07-22

该数据集聚焦中国工业采购领域的国标(GB/T)知识评测,多语言版本均为中文源材料的翻译,适用场景局限;评估依赖LLM裁判评分,结果受裁判模型选择影响。[1]

适合用来

  • 评测大模型对中国工业采购国标(GB/T)与工业产品记录的闭卷知识掌握程度[1]

采用前注意

  • 数据源为中国国家标准(GB/T)和中国工业产品记录,英、俄、越文版本均为中文源材料的翻译,所测知识本质上是中文工业采购领域,非通用工业知识[1]
  • 评估采用经校准的LLM裁判按0-3分打分,正确性评分受裁判模型自身能力影响,跨评测复现时需固定裁判模型[1]
  • 评测为闭卷形式(closed-book),仅依据问题作答,不反映模型结合检索上下文进行推理的能力[1]

本段综合依据

  1. GitHub - alibaba-multimodal-industrial-ai/IndustryBench: A multi-lingual benchmark for evaluating industrial domain knowledge of LLMs. · GitHub ↗github.com

历史记录

1 次历史卡片 · 2026-05-21

研究依据

以下论文与本条目存在经人工复核的直接关系。论文本身不构成对它的推荐。