promptfoomain

官方版无广告12

大模型评估与红队测试工具

更新日期：

2026年10月6日

分类标签：

语言：

多语言

平台：

没限制

0 人已下载手机查看

promptfoo 是用来测试大模型应用的开源命令行工具和程序库。它能批量评估提示词、对比模型输出，也能通过红队测试查找安全问题，适合开发大模型应用、智能体和自动化测试流程的开发者。目录将其归入 skill 类型，但官方介绍的是独立工具，并未确认它是可直接导入聊天助手的技能包。

适配哪些工具

官方列出的模型服务与运行平台包括 OpenAI、Anthropic、Azure、Bedrock 和 Ollama。它支持并排比较模型，也能接入持续集成与持续交付流程，把评估变成开发过程中的自动检查。

官方提供命令行入口和 Node.js 程序库文档，并表示可配合不同大模型接口及编程语言使用。具体服务的接入参数与兼容范围，所给材料没有展开，仍需核实。

官方快速入门采用 npm 全局安装，也提供 Homebrew、pip 安装方式，以及通过 npx 临时运行的入口。材料未指定固定版本，当前版本与各安装方式的环境要求未核实。

安装后，使用初始化功能创建官方 getting-started 示例。多数模型服务需要接口密钥，应先把对应密钥设置为环境变量；官方示例采用 OpenAI 的密钥变量。随后进入示例目录，执行评估并打开结果查看器。

一个已确认的入门方法是运行官方示例评估，再通过网页查看器查看提示词评估矩阵。官方还展示了命令行评估界面，可用来检查测试结果，不必只依赖逐次手动试问。

需要比较模型时，可以使用官方支持的并排对比能力；需要检查安全问题时，可以使用红队测试与漏洞扫描，并生成安全漏洞报告。官方还列出拉取请求代码扫描，用于检查与大模型相关的安全和合规问题。

官方明确采用 MIT 许可证，但材料没有给出服务价格、模型调用费用或性能测试数据，这些信息未核实。开源许可证不能作为模型接口免费使用的依据。

官方强调评估在本地运行，同时又提供外部模型接口接入方式。涉及敏感提示词时，应核对所选接口的数据流向，不能仅凭本地执行就认定所有内容都留在本机。材料未说明各项扫描的覆盖边界，结果需要结合应用场景复核。