工具 / promptfoo

promptfoo

  • cli
  • testing

给 LLM 应用写测试用例的 CLI:声明式配置跑评测,顺带做红队扫描

评测对象是应用而不是模型本身 —— prompt、agent、RAG 链路都能测。用声明式 YAML 配置描述测试用例与断言,promptfoo eval 跑完给出跨模型对比矩阵,可直接接进 CI/CD。另一半是红队(red teaming):按预置的攻击类别对自己的应用做漏洞扫描,而不是只看输出好不好。同时提供 CLI 与 library 两种用法,本地跑、不强制上传。2026 年起 promptfoo 团队并入 OpenAI,项目声明保持开源与 MIT 许可。

社区实测

开发者社区认为它是更扎实的 prompt 评测工具，但纯 CLI+YAML 的交互方式和非自动评测的定位使其不如同类工具流行

  • 可复现、可版本控制的 prompt 测试流程
  • 开箱即用的断言能力
  • 已在做 prompt eval 的团队更倾向选择它
  • 纯 CLI+YAML 交互，非开发者上手门槛高
  • 个人开发者更倾向 Python 原生的 DeepEval、RAGAS 等替代品
  • 不覆盖运行时 prompt injection 防护
来源

Best Promptfoo Alternatives in 2026: Vendor-Neutral AI Red Teaming After the OpenAI Acquisition | Repello AIBest Promptfoo alternatives in 2026: Open-source tools and SaaS - Articles - BraintrustThis tool doesn't benchmark based on how a model actually responds to the genera... | Hacker News8 Best Promptfoo Alternatives (2026) | AppSec Santar/PromptEngineering on Reddit: Why isn't Promptfoo more popular? It's an open-source tool for testing LLM prompts.

截至 2026-08-16

npm install -g promptfoo

← 返回工具库