1. 概述

为什么需要专门的Agent测试框架

AI Agent（智能体）不同于传统的LLM对话模型，它具备自主规划、工具调用、多步推理和环境交互等能力。Agent不仅需要生成文本，还需要在真实或模拟环境中执行一系列操作来完成复杂任务。这使得传统的静态Benchmark评测方法难以全面评估Agent的能力。

• 多步决策链：Agent需要经过多轮思考-行动-观察循环，评测必须覆盖完整轨迹而非单次输出
• 工具使用能力：Agent需要正确选择和调用API、数据库、文件系统等工具，评测需验证工具调用的正确性和效率
• 环境交互：Agent在Web页面、代码仓库、操作系统等环境中操作，评测需要可复现的沙箱环境
• 任务完成度：不同于简单的正确/错误判断，Agent任务需要评估部分完成度、路径效率和鲁棒性

Agent评估的核心挑战

2. AgentBench

多维度Agent评估基准

AgentBench 是由清华大学、智谱AI等联合提出的首个系统性Agent评估基准，发表于 ICLR 2024。它首次将Agent评估从单一任务扩展到多维度、多环境的综合评测体系，涵盖8个代表性环境，覆盖代码、游戏、Web、工具使用等多个领域。

8个环境任务

评估指标

• 成功率 (Success Rate, SR)：任务是否完全达标的二值指标
• 任务得分 (Task Score)：对部分完成的细粒度打分（0-100）
• 平均步数 (Average Steps)：完成任务所需的交互轮次
• 工具调用准确率 (Tool Call Accuracy)：工具选择和参数传递的正确率

使用方法

# 1. 克隆仓库
git clone https://github.com/THUDM/AgentBench.git
cd AgentBench

# 2. 安装依赖
pip install -e .

# 3. 配置API密钥
export OPENAI_API_KEY="your-key"

# 4. 运行评测（以OS环境为例）
python -m agentbench.run --task os --model gpt-4 --output results/

# 5. 查看结果
python -m agentbench.analyze --result_dir results/

3. WebArena

真实Web环境中的Agent评估

WebArena 是由卡内基梅隆大学（CMU）提出的真实Web环境Agent评测基准。与简化的模拟环境不同，WebArena构建了完整的、功能性的Web应用环境（包括电商、社交论坛、GitLab、地图和CMS等），Agent需要像人类一样在这些真实网站中完成信息检索和操作任务。

环境组成

任务类型

WebArena包含812个手工设计的Web交互任务，分为三类：

• 信息检索 (Information Seeking)：在网站中查找特定信息，如"找到2023年评分最高的科幻书籍"
• 站点导航 (Site Navigation)：理解网站结构并导航到目标页面
• 内容操作 (Content & Configuration)：修改内容、配置参数、执行CRUD操作

评估指标

• 任务成功率 (Task Success Rate)：基于功能级别的自动评估函数验证最终状态
• 步数效率 (Step Efficiency)：实际步数 / 最优步数
• 动作有效性 (Action Validity)：操作是否合法（不产生无效点击或错误动作）

4. SWE-bench / CygBench

代码工程场景的Agent评估

SWE-bench（Software Engineering Benchmark）是由普林斯顿大学提出的真实软件工程任务评测基准，专门评估Agent在代码仓库中定位Bug、生成补丁的能力。它从GitHub上的真实Python开源项目中提取了2,294个Issue-PR对，要求Agent根据Issue描述在代码库中找到问题并生成修复代码。

任务设计

SWE-bench Verified

由于部分原始任务存在描述不清晰、测试不充分等问题，OpenAI联合社区推出了SWE-bench Verified子集，包含500个经过人工验证的高质量任务，已成为业界评估代码Agent能力的标准基准。

评估流程

1. 提供Agent Issue描述和代码仓库
2. Agent自主探索代码库、定位问题根因
3. Agent生成代码修改（patch）
4. 在容器中应用patch并运行测试用例
5. 通过的测试数 ≥ 原PR的测试数即为成功

主要发现

• 截至2024年，最佳Agent（如Devin、SWE-agent）的解决率为12-26%，人类开发者约为85%
• 主要失败原因：定位错误（找不到问题代码）、修复不完整（只解决表面问题）
• 代码Agent的核心瓶颈在代码库理解而非代码生成能力

5. 其他框架

ToolBench

ToolBench 专门评估LLM的工具使用能力，由清华大学和智谱AI提出。它构建了大规模的指令-工具配对数据集，覆盖16,000+真实API（来自RapidAPI），涵盖49个类别。

• 单工具任务：给定指令，选择并正确调用一个API
• 多工具任务：需要组合多个API调用完成复杂目标
• 工具推理：根据工具文档理解不熟悉的API用法

评估指标包括工具选择准确率、参数提取F1、任务完成率等。

API-Bank

API-Bank 是另一个知名的工具使用评测基准，包含73个API和314个工具使用对话。它聚焦于以下能力维度：

• API检索：从候选API中选出正确的那个
• API规划：确定API调用的顺序和依赖关系
• API调用：生成正确的API请求参数
• 响应理解：理解API返回结果并决定下一步

GAIA

GAIA 是由Meta AI、Hugging Face等联合提出的通用AI助手评测基准，专为评估需要多步推理、工具使用和Web浏览能力的通用Agent设计。其特点：

• 问题设计：面向人类的简单问题（人类准确率92%），但对AI极具挑战（GPT-4仅15%）
• 多步推理：平均需要2-5步操作才能得出答案
• 答案精确：答案是一个明确的字符串或数字，避免主观评分
• 真实场景：需要搜索网页、处理文件（PDF/Excel）、调用工具

GAIA的Level 1-3难度递进，分别测试基础信息检索、多源推理和复杂多工具协作能力。

6. 工具对比

选型建议

• 快速摸底：首选 AgentBench，覆盖维度最广，上手最快
• Web Agent专项：WebArena 提供最真实的Web交互评测
• 代码Agent专项：SWE-bench Verified 是业界标准
• 工具调用专项：ToolBench（深度）或 API-Bank（快速）
• 端到端能力：GAIA 作为综合能力试金石

7. 实战演练

任务一：使用AgentBench快速评测一个Agent

目标：使用AgentBench的OS环境评测一个LLM作为Agent的基础操作能力。

任务二：构建自定义Web Agent评测场景

目标：基于WebArena框架，创建一个银行内部系统场景的评测任务。

任务三：搭建Agent回归测试流水线

目标：建立可持续的Agent评测机制，实现Agent能力退化监控。