概述

Prompt Engineering 是现代 LLM 应用开发的核心环节，但 Prompt 的质量评估一直是个难题。 一个看似完美的 Prompt 在面对不同模型、不同输入场景时，可能产生截然不同的结果。Prompt 测试工具正是为了解决这一痛点而生的。

Prompt 测试的核心能力要求

一套成熟的 Prompt 测试工具链应覆盖以下关键能力：

Promptfoo

简介

Promptfoo 是一个开源的 Prompt 评测和红队测试工具，由 promptfoo.dev 团队维护， GitHub 上拥有超过 20k stars。它专注于帮助开发者系统性评估 LLM Prompt 的质量，支持多模型对比、自定义评估指标和 CI/CD 集成。

与其他工具相比，Promptfoo 的最大优势在于其轻量化和本地化——所有评测在本地运行，数据不会上传到云端， 特别适合金融、医疗等对数据安全有严格要求的行业。

核心功能

• Prompt 版本对比：同时运行多个 Prompt 变体，并排对比输出结果，按自定义指标排序
• 模型 A/B 测试：一键对比不同模型（GPT-4、Claude、Gemini、Llama 等）在同一 Prompt 下的表现
• 安全测试（红队测试）：内置安全测试套件，自动检测 Prompt 注入、越狱、有害内容生成等风险
• 断言式评估：支持 JavaScript/Python 断言，可验证输出中是否包含/不包含特定内容
• LLM-as-judge：使用一个 LLM 来评判另一个 LLM 的输出质量
• CI/CD 集成：原生支持 GitHub Actions、GitLab CI，每次 PR 自动运行 Prompt 回归测试

安装和基本用法

安装 Promptfoo 非常简单，支持 npm 和 Homebrew：

# npm 安装（推荐）
npm install -g promptfoo

# 或使用 Homebrew
brew install promptfoo

# 初始化一个评测项目
promptfoo init my-eval-project
cd my-eval-project

Promptfoo 的配置文件 promptfooconfig.yaml 是核心入口，示例：

# promptfooconfig.yaml
description: "客服回复质量评测"

prompts:
  - "你是一个专业的客服，请用友好、专业的语气回复用户: {{question}}"
  - "作为一个客服代表，你的任务是帮助用户解决问题: {{question}}"

providers:
  - openai:gpt-4o
  - openai:gpt-4o-mini
  - anthropic:claude-sonnet-4-20250514

tests:
  - vars:
      question: "我的订单什么时候能送到？"
    assert:
      - type: contains
        value: "订单"
      - type: llm-rubric
        value: "回复语气友好、专业，不敷衍"
  - vars:
      question: "为什么我的账户被扣了两次费？"
    assert:
      - type: not-contains
        value: "这不关我的事"
      - type: llm-rubric
        value: "积极回应问题，提出解决方案"

运行评测：

# 运行评测
promptfoo eval

# 在浏览器中查看结果
promptfoo view

输出格式

Promptfoo 提供丰富的输出格式，满足不同场景需求：

• Web UI：内置交互式网页界面，支持并排对比、筛选、导出
• 终端表格：命令行直接显示评测结果摘要
• JSON/YAML：结构化输出，方便接入自动化流水线
• CSV：导出为 CSV 文件，方便在 Excel/Google Sheets 中分析

优缺点

LangSmith

简介

LangSmith 是 LangChain 团队推出的 LLM 应用全生命周期管理平台， 覆盖开发、调试、测试、评估和监控全流程。它不仅是一个评测工具，更是一个完整的 LLMOps 平台。

如果你已经在使用 LangChain（LangGraph、LangChain.js）构建应用，LangSmith 是自然的选择—— 它深度集成 LangChain 生态，提供了 Tracing → Annotation → Dataset → Evaluation 的完整链路。

核心功能

• Trace（追踪）：自动记录每一次 LLM 调用的完整链路，包括输入输出、Token 消耗、延迟等
• Annotation（标注）：对 Trace 中的输出进行人工标注和评分，构建评测数据集
• Dataset（数据集）：管理测试用例数据集，支持从 Trace 自动创建、CSV 导入等
• Prompt Hub：Prompt 模板管理、版本控制、A/B 测试，支持拖拽式 Prompt 编辑
• Evaluation：在线和离线评测，支持自定义 Evaluator、LLM-as-judge
• Monitoring：生产环境实时监控，设置异常告警

使用方式

Python SDK 快速接入：

# 安装
pip install langsmith

# 设置环境变量
export LANGCHAIN_TRACING_V2=true
export LANGCHAIN_API_KEY="ls__your-api-key"

# 代码中追踪
from langsmith import traceable

@traceable(name="customer-support")
def handle_query(query: str) -> str:
    # 你的 LLM 调用逻辑
    return response

# 评测
from langsmith import Client
client = Client()

dataset = client.create_dataset("客服评测数据集")
client.run_on_dataset(
    dataset_name="客服评测数据集",
    llm_or_chain_factory=handle_query,
    evaluators=[correctness_evaluator, friendliness_evaluator]
)

优缺点

其他工具

除了 Promptfoo 和 LangSmith，以下工具也在 Prompt 测试领域值得关注：

Weights & Biases Prompts

Weights & Biases（W&B）在 ML 实验跟踪领域的地位无人能及，其 Prompt 测试功能是 W&B 平台的扩展。 核心特色是将实验管理和Prompt 评测深度融合——你可以在同一个平台上追踪模型训练实验和 Prompt 迭代。 适合已经在使用 W&B 跟踪 ML 实验的团队。

Agenta

Agenta 是一个开源的 LLM 应用开发平台，专注于 Prompt 版本控制和评测。其最大特点是提供了 可视化 Prompt Playground——你可以像操作 CMS 一样管理 Prompt 模板， 非技术角色（如产品经理、内容运营）也能参与 Prompt 调优。支持自托管部署。

Helicone

Helicone 定位为 LLM 的"Observability Platform"，核心是超低延迟的日志和追踪。 它通过在请求路径上加一层轻量级代理来记录所有 LLM 调用，对应用代码几乎零侵入。 适合生产环境下的 Prompt 监控和效果分析，支持自托管（开源版）和 SaaS。

工具对比

下表从多个维度对比主流 Prompt 测试工具，帮助你根据团队实际情况做出选择：

场景推荐

实战演练

以下三个实战任务帮助你快速上手 Prompt 测试工具，从单次评测到自动化流水线逐步深入。

任务一：用 Promptfoo 比较两个 Prompt 的效果

目标：对比两个不同风格的 Prompt 在客服场景下的表现，选出更优版本。

步骤：

1. 安装 Promptfoo：npm install -g promptfoo
2. 创建配置文件 promptfooconfig.yaml，定义两个 Prompt 变体：

prompts:
  - "你是一个专业的客服代表。用户的问题：{{question}}。请给出简洁、友好的解决方案。"
  - "你是一个有十年经验的资深客服专家。用户遇到了问题：{{question}}。请详细分析问题原因，并给出至少两种解决方案。"

providers:
  - openai:gpt-4o

tests:
  - vars: { question: "我的退款已经3天了还没到账" }
    assert:
      - type: llm-rubric
        value: "回复必须包含退款状态查询建议和预计到账时间"
  - vars: { question: "我想取消我的订阅" }
    assert:
      - type: llm-rubric
        value: "回复需确认取消意愿、说明后续影响、提供取消方式"
  - vars: { question: "App 一直闪退，根本用不了" }
    assert:
      - type: llm-rubric
        value: "回复需包含故障排查步骤和升级反馈渠道"

3. 运行评测：promptfoo eval
4. 查看结果：promptfoo view，在浏览器中对比两个 Prompt 的得分和输出
5. 根据评分和实际输出质量（友好度、专业度、解决率），选择更优版本

任务二：用 LangSmith 追踪一次 LLM 调用并构建评测数据集

目标：为 RAG 问答系统建立 Trace 追踪，并从历史请求中构建评测数据集。

步骤：

1. 注册 LangSmith 账号并获取 API Key
2. 在 Python 项目中配置：

import os
os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_API_KEY"] = "ls__your-key"
os.environ["LANGCHAIN_PROJECT"] = "rag-qa-system"

3. 运行几次问答请求，LangSmith 自动记录完整的 Trace（检索 → 重排 → 生成）：

from langsmith import traceable

@traceable(run_type="chain", name="rag-qa")
def answer_question(query: str) -> dict:
    docs = retrieve(query)     # 检索
    ranked = rerank(docs)      # 重排
    answer = generate(ranked)  # 生成
    return {"answer": answer, "sources": ranked}

# 发送几次测试请求
answer_question("什么是理财产品？")
answer_question("如何开通手机银行？")

4. 在 LangSmith Web UI 中查看 Trace 详情，标记优质回答和不合格回答
5. 基于标注结果创建 Dataset，定义评测指标（准确性、相关性、完整性）
6. 后续 Prompt 修改后，用该 Dataset 跑回归评测

任务三：搭建 Prompt 回归测试流水线

目标：将 Promptfoo 集成到 GitHub Actions，实现每次 Prompt 修改自动跑回归测试。

步骤：

1. 将 Promptfoo 配置文件提交到 Git 仓库（promptfooconfig.yaml + 测试数据）
2. 创建 GitHub Actions 工作流文件 .github/workflows/prompt-eval.yml：

name: Prompt Evaluation

on:
  pull_request:
    paths:
      - 'prompts/**'
      - 'promptfooconfig.yaml'

jobs:
  eval:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - uses: actions/setup-node@v4
        with:
          node-version: '20'
      - run: npm install -g promptfoo
      - name: Run Prompt Evaluation
        run: promptfoo eval --max-concurrency 3
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
      - name: Check Results
        run: |
          # 如果任一测试失败，阻止合并
          promptfoo eval --output results.json
          # 可添加自定义检查逻辑

3. 配置 GitHub Secrets（OPENAI_API_KEY 等）
4. 提交 PR 修改 Prompt 后，Actions 自动触发评测，结果在 PR 中可见
5. 可以进一步配置：

• 设置阈值：如整体通过率低于 90% 则阻止合并
• 生成 HTML 报告并归档为 Artifact
• 将结果通知到 Slack / 企业微信