promptfoo 是一款用于评估 LLM 应用并进行红队测试（red teaming）的 CLI 与库。告别试错式开发——开始交付安全、可靠的 AI 应用。
官网 · 快速入门 · 红队测试 · 文档 · Discord
> Promptfoo 现已加入 OpenAI。Promptfoo 仍保持开源并以 MIT 许可证发布。阅读[公司公告](https://www.promptfoo.dev/blog/promptfoo-joining-openai/). ## 快速入门 需要 [Node.js](https://nodejs.org/en/download) `^20.20.0` 或 `>=22.22.0` 才能使用 npm 和 npx。 [Node.js 20 支持将于 UTC 时间 2026 年 7 月 30 日 00:00 结束](https://www.promptfoo.dev/docs/installation/#nodejs-runtime-support); 在截止日期当日或之后更新 promptfoo 之前，请升级到 Node.js 24 LTS。 ```sh npm install -g promptfoo promptfoo init --example getting-started ``` 也可通过 `brew install promptfoo` 和 `pip install promptfoo` 安装。你还可以使用 `npx promptfoo@latest` 在不安装的情况下运行任意命令。 大多数 LLM 提供商都需要 API 密钥。请将你的密钥设置为环境变量： ```sh export OPENAI_API_KEY=sk-abc123 ``` 进入示例目录后，运行评估并查看结果： ```sh cd getting-started promptfoo eval promptfoo view ``` 详见[快速入门](https://www.promptfoo.dev/docs/getting-started/)（评估）或[红队测试](https://www.promptfoo.dev/docs/red-team/)（漏洞扫描）。 ## 你可以用 Promptfoo 做什么？ - 通过[自动化评估](https://www.promptfoo.dev/docs/getting-started/) **测试你的提示词和模型** - 通过[红队测试](https://www.promptfoo.dev/docs/red-team/) 与漏洞扫描**保护你的 LLM 应用** - **并排比较模型**（OpenAI、Anthropic、Azure、Bedrock、Ollama 及[更多](https://www.promptfoo.dev/docs/providers/)) - 在 [CI/CD](https://www.promptfoo.dev/docs/integrations/ci-cd/) 中**自动化检查** - 通过[代码扫描](https://www.promptfoo.dev/docs/code-scanning/) **审查拉取请求**中的 LLM 相关安全与合规问题 - 与团队**共享结果** 实际效果如下：
命令行中同样可用：
它还可以生成[安全漏洞报告](https://www.promptfoo.dev/docs/red-team/):
## 为什么选择 Promptfoo？
- **开发者优先**：速度快，支持实时重载（live reload）和缓存等功能
- **私密**：LLM 评估 100% 在本地运行——你的提示词永远不会离开你的机器
- **灵活**：适用于任何 LLM API 或编程语言
- **久经实战**：为生产环境中服务 1000 万+ 用户的 LLM 应用提供支持
- **数据驱动**：基于指标而非直觉做决策
- **开源**：MIT 许可证，拥有活跃的社区
## 了解更多
- [快速入门](https://www.promptfoo.dev/docs/getting-started/)
- [完整文档](https://www.promptfoo.dev/docs/intro/)
- [红队测试指南](https://www.promptfoo.dev/docs/red-team/)
- [CLI 用法](https://www.promptfoo.dev/docs/usage/command-line/)
- [Node.js 包](https://www.promptfoo.dev/docs/usage/node-package/)
- [支持的模型](https://www.promptfoo.dev/docs/providers/)
- [代码扫描指南](https://www.promptfoo.dev/docs/code-scanning/)
## 贡献
欢迎贡献！请查看我们的[贡献指南](https://www.promptfoo.dev/docs/contributing/) 以开始参与。
加入我们的 [Discord 社区](https://discord.gg/promptfoo) 获取帮助与参与讨论。