1. 概述

评测工具在AI测试中的角色定位

AI评测工具是连接"评测理论"与"工程实践"的关键桥梁。在大模型和AI应用快速迭代的背景下，评测工具承担着三个核心角色：

• 标准化执行器：将评测基准（如MMLU、GSM8K）转化为可重复执行的测试流程，确保评测结果的一致性和可比性。
• 质量度量仪：提供多维度的量化指标（准确率、忠实性、相关性等），将AI系统的"好坏"从主观感受转化为客观数值。
• 持续监控哨兵：嵌入CI/CD流水线，在模型更新或应用迭代后自动执行回归评测，及时发现性能退化。

工具选型原则

在实际项目中，应基于以下五个维度综合评估和选择评测工具：

2. lm-eval-harness

简介

lm-eval-harness（Language Model Evaluation Harness）是由 EleutherAI 开发的开源通用评测框架，是当前学术界和工业界最广泛使用的LLM基准评测工具。它提供了统一接口来评估模型在数百个标准基准上的表现，被Hugging Face Open LLM Leaderboard等权威榜单采用。

• GitHub：EleutherAI/lm-evaluation-harness
• Star数：10k+（截至2025年）
• 许可证：MIT

支持的基准

lm-eval-harness 支持 200+ 标准评测基准和数百个子任务，覆盖以下类别：

安装和基本用法

通过 pip 即可安装，支持多种模型后端（HuggingFace、vLLM、OpenAI API等）：

# 安装
pip install lm-eval

# 基本用法：对模型运行 MMLU 基准
lm_eval --model hf \
  --model_args pretrained=meta-llama/Llama-3.2-3B \
  --tasks mmlu \
  --device cuda:0 \
  --batch_size auto \
  --output_path ./results

# 运行多个任务
lm_eval --model hf \
  --model_args pretrained=Qwen/Qwen2.5-7B-Instruct \
  --tasks mmlu,gsm8k,hellaswag \
  --num_fewshot 5 \
  --output_path ./results

# 使用 OpenAI API 评测
lm_eval --model openai-completions \
  --model_args model=gpt-4o,base_url=https://api.openai.com/v1/completions \
  --tasks gsm8k \
  --apply_chat_template

输出格式和解读

执行完成后，lm-eval 会输出以下格式的结果：

{
  "results": {
    "mmlu": {
      "acc,none": 0.6542,
      "acc_stderr,none": 0.0032,
      "acc_norm,none": 0.6611,
      "acc_norm_stderr,none": 0.0031
    },
    "gsm8k": {
      "exact_match,strict-match": 0.7823,
      "exact_match_stderr,strict-match": 0.0051
    }
  },
  "config": { "model": "hf", "batch_size": "auto" },
  "versions": { "mmlu": 1, "gsm8k": 3 }
}

关键指标解读：acc 为原始准确率，acc_norm 为归一化准确率（对输出做标准化后计算），stderr 为标准误差（衡量结果可信度）。

优缺点

3. DeepEval

简介

DeepEval 是由 Confident AI 开发的LLM应用评测框架，专注于评估LLM生成内容的质量。它提供了 14+ 开箱即用的评测指标，覆盖忠实性、相关性、幻觉检测等维度，并与 pytest 深度集成，适合嵌入CI/CD流水线。

• GitHub：confident-ai/deepeval
• Star数：8k+
• 许可证：Apache 2.0

核心指标

DeepEval 将指标分为两大类：基于LLM的指标（用Judge模型打分）和非LLM指标（基于统计/NLP方法）。

与 pytest 集成

DeepEval 最大的特色是与 pytest 深度集成，所有指标都可以写成标准的 pytest 测试用例：

# test_chatbot.py
import pytest
from deepeval import assert_test
from deepeval.test_case import LLMTestCase
from deepeval.metrics import (
    FaithfulnessMetric,
    AnswerRelevancyMetric,
    HallucinationMetric
)

def test_faithfulness():
    """验证回答是否忠实于上下文"""
    faithfulness = FaithfulnessMetric(threshold=0.7)
    test_case = LLMTestCase(
        input="公司去年的营收是多少？",
        actual_output="公司去年营收为50亿美元。",
        retrieval_context=["财报显示公司去年营收为50亿美元，同比增长12%。"]
    )
    assert_test(test_case, [faithfulness])

def test_no_hallucination():
    """验证回答中不存在幻觉"""
    hallucination = HallucinationMetric(threshold=0.0)
    test_case = LLMTestCase(
        input="Python的作者是谁？",
        actual_output="Python由Guido van Rossum于1991年创建。",
        context=["Guido van Rossum在1989年圣诞节期间开始开发Python，1991年发布第一个版本。"]
    )
    assert_test(test_case, [hallucination])

# 批量运行：pytest test_chatbot.py -v

输出报告

DeepEval 支持在 Confident AI 平台上生成可视化评测报告，包含指标趋势图、通过率仪表盘等。本地也可导出 JSON 格式结果。

优缺点

4. RAGAS

简介

RAGAS（Retrieval Augmented Generation Assessment）是专为 RAG（检索增强生成）系统设计的评测框架。它聚焦于RAG流水线的两个关键阶段——检索（Retrieval）和生成（Generation）——提供了专门的指标体系来量化评估RAG系统的质量。

• GitHub：explodinggradients/ragas
• Star数：12k+
• 许可证：Apache 2.0

核心指标

RAGAS 的指标体系围绕 RAG 的两个阶段展开：

使用方法

RAGAS 提供简洁的API，只需准备包含问题、回答、上下文和参考答案的数据集即可快速评估：

# 安装
pip install ragas

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

# 准备评测数据
data = {
    "question": [
        "公司2024年Q1的净利润是多少？",
        "Python的最新版本是什么？"
    ],
    "answer": [
        "公司2024年Q1净利润为12亿美元。",
        "Python 3.12是目前最新的稳定版本。"
    ],
    "contexts": [
        ["财报显示Q1净利润12亿，同比增长8%"],
        ["Python 3.12于2023年10月发布，包含多项性能优化。"]
    ],
    "ground_truth": [
        "公司Q1净利润为12亿美元。",
        "Python 3.12是2023年10月发布的最新稳定版本。"
    ]
}

dataset = Dataset.from_dict(data)

# 执行评测
result = evaluate(
    dataset,
    metrics=[faithfulness, answer_relevancy, context_precision, context_recall]
)

# 输出结果
print(result)
# {'faithfulness': 0.95, 'answer_relevancy': 0.88,
#  'context_precision': 0.92, 'context_recall': 0.90}

优缺点

5. TruLens

简介

TruLens 是由 TruEra 开发的开源评测与可观测性框架，专注于RAG和Agent应用的评测、调试和持续监控。与其他工具相比，TruLens 的独特优势在于其反馈函数（Feedback Functions）机制和应用追踪（Tracing）能力。

• GitHub：truera/trulens
• Star数：5k+
• 许可证：Apache 2.0

反馈函数（Feedback Functions）机制

反馈函数是 TruLens 的核心创新。它是一个可组合的评测管道，将输入/输出/中间结果传递给一系列评测函数，最终生成多维度的反馈分数。TruLens 提供三类反馈函数：

• 基于LLM的反馈：使用LLM作为判断器，评估回答相关性、有害性、语言匹配度等。
• 基于NLP的反馈：使用传统NLP模型评估情感、毒性等（无需调用LLM API，零成本）。
• 自定义反馈：用户可定义任意Python函数作为反馈函数，灵活扩展。

from trulens_eval import Feedback, Tru, FeedbackMode
from trulens_eval.feedback.provider.openai import OpenAI

# 初始化
provider = OpenAI()
tru = Tru()

# 定义反馈函数
f_relevance = Feedback(provider.relevance, name="Answer Relevance") \
    .on_input_output()

f_groundedness = Feedback(provider.groundedness_measure, name="Groundedness") \
    .on_input_output() \
    .aggregate(numpy.mean)

# 装饰器方式包裹RAG应用
from trulens_eval import TruBasicApp

rag_app = TruBasicApp(
    text_to_text=your_rag_function,
    feedbacks=[f_relevance, f_groundedness]
)

# 运行并记录
with rag_app as recording:
    rag_app.call("公司的薪酬政策是什么？")

# 启动可视化仪表盘
tru.run_dashboard()

应用场景

优缺点

6. 工具对比

综合对比表

场景推荐

7. 实战演练

以下三个实战任务覆盖了从基准评测到RAG评测的典型场景，建议按顺序完成，预计总耗时 2.5~4小时。