← 知识库首页 | ← 博客知识库

1. 工具全景图

AI测试工具生态日益丰富，从底层模型评测到上层应用监控，各类工具百花齐放。了解工具全景图，是科学选型的第一步。 下图按六大类别梳理了当前主流AI测试工具及其代表产品：

工具类别定位与目标代表产品典型场景
📊 评测工具 对大模型/LLM应用进行综合性效果评估 lm-eval-harness、DeepEval、RAGAS、TruLens 模型选型、基准评测、RAG质量评估
🔒 安全测试工具 检测AI系统的安全漏洞、偏见和合规风险 Garak、PyRIT、Giskard、Guardrails 越狱检测、偏见评估、合规审计
💬 Prompt测试工具 管理和回归测试Prompt模板的质量 Promptfoo、LangSmith、PromptFlow Prompt版本管理、A/B对比、回归测试
⚡ 性能测试工具 评估AI服务的吞吐量、延迟和资源消耗 JMeter（扩展）、vLLM Benchmark、Locust 推理性能压测、并发能力验证、容量规划
📈 监控与可观测 持续追踪生产环境中AI应用的质量趋势 Langfuse、MLflow、Weights & Biases 线上质量监控、漂移检测、成本追踪
🛠️ 辅助工具 测试数据合成、标注辅助、自动化脚本生成 Self-Instruct、Label Studio、Copilot 测试数据生成、标注效率提升
💡 选型全景视角 不要孤立地看待每一类工具——最佳实践是根据测试阶段（开发期 → 交付期 → 运行期）将多类工具串联为工具链。 例如：开发期用 Promptfoo 管理Prompt + lm-eval 跑基准，交付期用 DeepEval 做质量门禁 + Garak 做安全检查，运行期用 Langfuse 持续监控。

2. 选型评估框架

评估维度

面对琳琅满目的工具，我们需要一套系统化的评估维度来做决策。以下六大维度构成了选型的核心评估框架：

评估维度含义评分标准参考
功能覆盖度 工具是否覆盖了团队需要的测试场景和指标类型 5分=完全覆盖，3分=部分覆盖需自定义，1分=严重不足
易用性 学习成本、文档质量、上手难度、与现有技术栈的兼容性 5分=30分钟上手，3分=需1~2天学习，1分=陡峭学习曲线
扩展性 是否支持自定义指标/插件/私有化部署，可否适应未来需求变化 5分=插件体系+SDK丰富，3分=部分可扩展，1分=封闭黑盒
社区活跃度 GitHub Star数、Issue响应速度、更新频率、生态丰富度 5分=5k+ Star且月活更新，3分=1k~5k Star，1分=停滞项目
成本 工具本身的许可费用 + 使用过程中产生的算力/API调用成本 5分=完全免费且低算力，3分=有免费层但限制明显，1分=高成本
安全性 数据不出域能力、访问控制、审计日志、是否依赖外部API 5分=全本地运行+审计，3分=可配置私有部署，1分=数据必须外传

加权评分方法

不同团队和项目的侧重点不同，建议使用加权评分法进行客观决策。具体步骤如下：

  1. 确定权重：根据项目特点为六个维度分配权重（总和为100%）。例如银行业项目可将"安全性"权重设高（25%），而创业团队可将"成本"权重设高（25%）。
  2. 逐项打分：对每个候选工具在六个维度上分别打分（1~5分）。
  3. 计算加权总分：加权总分 = Σ(维度得分 × 维度权重)。
  4. 敏感性分析：调整权重观察排序是否变化，避免权重选择的主观偏差。
📌 权重建议（银行业参考） 安全性 25% | 功能覆盖度 25% | 扩展性 20% | 社区活跃度 15% | 易用性 10% | 成本 5%。
注：银行业数据敏感性高，安全性和私有化部署能力优先级最高。
候选工具功能覆盖
(25%)		易用性
(10%)		扩展性
(20%)		社区活跃
(15%)		成本
(5%)		安全性
(25%)		加权总分
工具A4 (×0.25=1.00)4 (×0.10=0.40)3 (×0.20=0.60)5 (×0.15=0.75)5 (×0.05=0.25)3 (×0.25=0.75)3.75
工具B3 (×0.25=0.75)5 (×0.10=0.50)4 (×0.20=0.80)3 (×0.15=0.45)3 (×0.05=0.15)5 (×0.25=1.25)3.90
⚠️ 选型陷阱 避免"追星效应"——GitHub Star数高的工具不一定适合你的场景。lm-eval-harness有10k+ Star，但如果你主要做RAG评测，RAGAS才是更优选择。 选型的核心是场景匹配度，而非工具知名度。

3. 按场景选型

以下按四个核心测试场景，对比主流工具的关键能力，帮助团队快速锁定候选集。

3.1 大模型评测场景：lm-eval-harness vs DeepEval vs RAGAS

对比维度lm-eval-harnessDeepEvalRAGAS
核心定位标准基准评测框架LLM应用质量评测RAG系统专项评测
评测方式标准答案匹配、loglikelihoodLLM-as-Judge（GPT-4o默认）LLM-as-Judge + 语义相似度
指标数量200+ 标准基准14+ 质量指标6个RAG专项指标
自定义评测✅ 可添加自定义Task✅ G-Eval自定义指标✅ 可扩展Metric
本地运行✅ 全本地⚠️ 默认需API（可配本地）⚠️ 默认需API（可配本地）
CI/CD集成命令行脚本✅ pytest原生✅ Python API
GitHub Stars10k+8k+12k+
适用场景模型选型、学术对比、基准报告应用质量门禁、回归测试RAG流水线专项诊断
推荐指数⭐⭐⭐⭐⭐（基准评测首选）⭐⭐⭐⭐⭐（CI/CD首选）⭐⭐⭐⭐⭐（RAG首选）

3.2 Prompt测试场景：Promptfoo vs LangSmith vs 自建

对比维度PromptfooLangSmith自建方案
核心定位开源Prompt评测CLI商业LLM运维平台Python/pytest定制
Prompt版本管理✅ YAML/JSON配置✅ 内置版本追踪⚠️ 需自建Git管理
多模型对比✅ 原生支持✅ 原生支持⚠️ 需自行实现
评估方式规则匹配 + LLM评判人工标注 + 自动评分完全自定义
可视化✅ Web UI✅ 专业仪表盘❌ 需额外搭建
成本开源免费免费层有限，商业版收费仅开发人力成本
数据隐私✅ 本地运行⚠️ 数据上传云端✅ 完全自控
适用场景中小团队快速上手需全链路追踪的中大型团队高度定制或有数据不出域要求
推荐指数⭐⭐⭐⭐（轻量级首选）⭐⭐⭐⭐（全链路首选）⭐⭐⭐（定制化首选）

3.3 安全测试场景：Garak vs PyRIT vs Giskard

对比维度GarakPyRITGiskard
核心定位LLM漏洞扫描器微软红队工具包AI安全+质量平台
开发方NVIDIAMicrosoftGiskard（开源）
攻击类型覆盖Prompt注入、越狱、数据泄露等10+类越狱、偏见、有害内容等偏见、幻觉、鲁棒性、越狱
自动化程度⭐⭐⭐⭐⭐ 一键扫描⭐⭐⭐⭐ 编排灵活⭐⭐⭐ 需配置
报告质量✅ HTML报告+风险分级✅ 详细攻击日志✅ 可视化仪表盘
自定义攻击⚠️ 有限✅ 插件式编排✅ 可自定义扫描
本地运行✅✅✅
适用场景快速安全扫描、合规检查定制化红队演练AI应用全面安全评测
推荐指数⭐⭐⭐⭐（快速扫描首选）⭐⭐⭐⭐⭐（深度红队首选）⭐⭐⭐⭐（综合评测首选）

3.4 性能测试场景：JMeter vs 自建脚本 vs vLLM Benchmark

对比维度JMeter（扩展）自建脚本vLLM Benchmark
核心定位通用性能压测工具 + AI插件Python/Locust定制LLM推理性能基准
团队熟悉度⭐⭐⭐⭐⭐（已有体系）⭐⭐⭐ 需开发⭐⭐ 需学习
LLM流式支持⚠️ 需自定义插件✅ 完全可控✅ 原生支持
Token级指标❌ 不直接支持⚠️ 需自行解析✅ TTFT/TPOT/TPS等
分布式压测✅ 原生支持⚠️ 需额外配置❌ 单机聚焦
报告与图表✅ 丰富内置⚠️ 需Grafana等✅ 终端输出+JSON
成本开源免费开发人力成本开源免费
适用场景HTTP API压测、混合场景深度定制流式性能测量LLM推理引擎选型
推荐指数⭐⭐⭐⭐⭐（我处首选）⭐⭐⭐（补充方案）⭐⭐⭐⭐（推理选型）
🔄 场景选型小结
  • ✅ 大模型评测 → lm-eval-harness（基准）+ DeepEval（CI门禁）
  • ✅ Prompt测试 → Promptfoo（开源轻量）或 LangSmith（全链路）
  • ✅ 安全测试 → Garak（快速扫描）+ PyRIT（深度红队）
  • ✅ 性能测试 → JMeter（HTTP压测）+ vLLM Benchmark（推理选型）

4. 综合对比矩阵

以下将本章涉及的所有工具汇总到一张大表中，每个维度使用 1~5 星评分（⭐⭐⭐⭐⭐=5分），便于横向对比。

全工具跨维度对比表

工具类别功能覆盖易用性扩展性社区活跃成本安全性综合推荐
lm-eval-harness 评测 ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.3
DeepEval 评测 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐ ⭐3.7
RAGAS 评测 ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐ ⭐3.3
TruLens 评测/监控 ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐ ⭐3.7
Promptfoo Prompt ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.5
LangSmith Prompt/监控 ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐ ⭐⭐ ⭐3.5
Garak 安全 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.2
PyRIT 安全 ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.3
Giskard 安全 ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.0
JMeter（扩展） 性能 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐4.7
vLLM Benchmark 性能 ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐3.8
Langfuse 监控 ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐ ⭐3.7

场景推荐速查

使用场景首选工具替代/补充工具一句话理由
📊 基模型选型对比 lm-eval-harness OpenCompass 200+标准基准，学术界公认，结果可复现
💬 聊天应用质量评测 DeepEval RAGAS pytest原生集成，14+指标，CI/CD即插即用
🔍 RAG系统诊断 RAGAS DeepEval + TruLens 检索+生成专项指标，快速定位薄弱环节
✍️ Prompt回归测试 Promptfoo LangSmith 开源轻量，YAML配置，多模型一键对比
🛡️ 安全漏洞扫描 Garak PyRIT 一键扫描10+类漏洞，HTML报告开箱即用
🔴 深度红队演练 PyRIT Garak + 手工 微软出品，插件化编排，攻击策略灵活
⚡ API性能压测 JMeter Locust 团队已有体系，分布式压测，报告丰富
🖥️ LLM推理选型 vLLM Benchmark 自建脚本 TTFT/TPOT/TPS等Token级指标，推理引擎横向对比
📈 线上质量监控 Langfuse TruLens 全链路追踪，成本统计，开源可私有化
💡 矩阵使用建议 综合对比矩阵提供的是通用参考，实际选型时请结合第2节的加权评分法，根据你所在团队的具体权重重新计算。 特别是金融行业团队，建议将"安全性"维度权重调至25%~30%。

5. 我处工具栈建议

现有基础

我处已建立成熟的 JMeter 性能测试体系，涵盖 HTTP API 压测、分布式执行、Jenkins CI 集成等能力。 在引入AI测试工具时，应充分利用现有 JMeter 资产，避免重复建设。

🏗️ 核心原则 继承 > 替换：优先在现有JMeter体系上扩展AI测试能力，而非全盘替换。
开源优先：优先选择开源工具，降低采购成本和供应商锁定风险。
分阶段引入：根据AI测试成熟度，分三阶段渐进式引入新工具。

三阶段引入路线

阶段时间窗口引入工具目标优先级
🥇 第一阶段：基础建设 第1~2个月 JMeter扩展 + lm-eval-harness + Promptfoo
  • 在JMeter中开发LLM API采样器插件
  • 用lm-eval-harness建立基准评测能力
  • 用Promptfoo管理Prompt版本和回归测试
 🔴 高
🥈 第二阶段：质量体系 第3~4个月 DeepEval + RAGAS + Garak
  • DeepEval集成pytest建立CI质量门禁
  • RAGAS对RAG类应用做专项评测
  • Garak实现自动化安全扫描
 🟡 中
🥉 第三阶段：持续运营 第5~6个月 Langfuse + PyRIT + TruLens
  • Langfuse建立生产环境监控和成本追踪
  • PyRIT开展深度红队演练
  • TruLens增强Agent类应用的可观测性
 🟢 低

目标工具链全景

测试环节主力工具与JMeter的关系引入阶段
📊 模型评测lm-eval-harness + DeepEval互补——JMeter负责API性能，DeepEval负责回答质量第一、二阶段
💬 Prompt管理Promptfoo互补——Promptfoo管理Prompt版本，JMeter执行性能压测第一阶段
🔒 安全测试Garak（扫描）+ PyRIT（红队）独立——安全测试工具独立运行第二、三阶段
⚡ 性能测试JMeter（主力）+ vLLM Benchmark核心继承——JMeter作为统一性能压测平台第一阶段
📈 线上监控Langfuse互补——JMeter做定期巡检，Langfuse做7×24实时监控第三阶段
🤖 Agent测试TruLens互补——Agent行为验证，不同于JMeter的API层第三阶段
📌 JMeter核心价值 JMeter在我处工具栈中的定位是统一性能压测平台。对于LLM API的性能测试，可通过开发自定义Sampler插件来支持流式响应解析、Token级延迟统计等特定需求。 不建议用JMeter替代专用AI测试工具（如RAGAS评测检索质量），二者是互补关系。

6. 实战演练

以下实战任务帮助你将工具选型决策矩阵的方法应用到实际工作中，预计耗时 1.5~2小时。

🟡 任务：为你的项目建立加权评分决策表

目标：使用加权评分法，对你当前或即将开展的AI测试项目进行工具选型决策。

背景设定

假设你所在的团队需要为一个银行智能客服RAG系统选择测试工具栈。该项目有以下特点：

  • 数据包含客户敏感信息，必须私有化部署
  • 需要评测RAG系统的检索质量和回答准确性
  • 需要集成到现有的Jenkins CI流水线中做质量门禁
  • 团队已熟悉JMeter和pytest，但对AI测试工具尚不熟悉
  • 管理要求：选型过程需有量化依据，便于汇报审批

任务步骤

  1. 确定权重（5分钟）
    根据上述背景，为六个评估维度分配权重百分比，总和必须为100%。思考：
    • 银行业场景下，安全性权重应该设多少？
    • 团队已熟悉pytest，易用性权重是否可以适当降低？
    • 管理要求量化依据，是否需要在报告中呈现权重敏感性分析？
  2. 列出候选工具（5分钟）
    从本文工具全景图中，选出 3~4个 候选工具，覆盖以下环节：
    • 至少1个评测类工具（用于RAG质量评测）
    • 至少1个安全类工具（用于安全扫描）
    • 至少1个性能类工具（用于API压测）
  3. 逐项打分（15分钟）
    对每个候选工具在六个维度上分别打分（1~5分），填入下表：
    候选工具功能覆盖
    (__%)    		易用性
    (__%)    		扩展性
    (__%)    		社区活跃
    (__%)    		成本
    (__%)    		安全性
    (__%)    		加权总分
    工具1: ______
    工具2: ______
    工具3: ______
    工具4: ______
  4. 计算与分析（10分钟）
    • 计算每个工具的加权总分 = Σ(维度得分 × 权重%)
    • 排序选出得分最高的工具组合
    • 做一次敏感性分析：如果将安全性权重从25%调至30%，排序是否会发生变化？
    • 如果排序发生变化，说明什么？如何向管理层解释？
  5. 输出选型报告（10分钟）
    撰写一份简短的选型建议，包含：
    • 权重设置的理由（为什么安全性/功能覆盖权重最高？）
    • 推荐工具栈及其总分
    • 敏感性分析结论
    • 分阶段引入建议（参考第5节的三阶段路线）

评估标准

  • ✅ 六维度权重总和为100%，且权重分配有明确理由
  • ✅ 至少3个候选工具完成打分和加权计算
  • ✅ 完成至少一次敏感性分析（调整权重观察排序变化）
  • ✅ 输出选型建议报告（200字以上），包含推荐的阶段性路线

参考答案提示

以下为一个参考示例（你的答案可以不同，关键是逻辑自洽）：

  • 权重参考：安全性30%、功能覆盖25%、扩展性15%、社区活跃度10%、易用性10%、成本10%
  • 推荐组合：RAGAS（评测）+ Garak（安全）+ JMeter（性能），三者加权均分约4.0+
  • 敏感性分析：安全性权重提升至35%后，Garak排名显著上升，但RAGAS仍为评测首选（功能覆盖优势明显）
  • 分阶段路线：第一阶段引入JMeter AI插件+Garak快速扫描；第二阶段引入RAGAS+DeepEval建立质量门禁

预计耗时：1.5~2小时

← 返回章节概览