要系统地进行AI测试，首先需要理解被测试对象——大语言模型（LLM）的基本原理、能力边界和行为特性。

LLM的工作原理

大语言模型的核心原理可以概括为"下一Token预测"：给定一段文本（Prompt），模型逐Token地预测最可能的下一个Token，然后将新预测的Token加入输入，继续预测下一个，直至达到终止条件。

推理流程可视化

理解LLM的推理过程是设计有效测试方案的前提。以下是一个完整的推理流程示意：

• Transformer架构：基于自注意力（Self-Attention）机制，通过计算序列中每个位置与其他所有位置的关联权重，能够捕捉长距离文本依赖关系。一个现代LLM通常包含数十到上百层Transformer Block。
• 预训练+微调范式：大规模无监督预训练（在海量文本上学习语言规律）→ 有监督微调/SFT（在高质量指令数据上学习遵循人类意图）→ 人类反馈强化学习/RLHF（通过人类偏好标注优化输出质量）
• 上下文窗口：模型单次能处理的输入Token数量上限（如4K、8K、32K、128K、1M Token），超出窗口的内容会被截断或遗忘
• 自回归生成：每次生成一个Token，将其拼接到已有序列后，再预测下一个Token，直到输出终止符（EOS）或达到max_tokens上限

核心参数详解

理解以下推理参数的含义和影响，是设计测试用例和控制模型行为的基础：

核心能力与边界

主流大模型对比

不同大模型在能力侧重、性能表现和适用场景上存在显著差异。了解这些差异有助于在测试中制定针对性的评测策略：

LLM的特有行为特性

Prompt的作用机制

在AI测试中，Prompt是测试的"输入"，其质量直接影响测试结果的可靠性：

• 系统Prompt：定义模型的角色和行为约束
• 用户Prompt：具体的任务指令和输入
• Few-shot示例：提供输入输出样例来引导模型行为
• Chain-of-Thought：引导模型逐步推理，提升复杂任务准确率

实战：Python调用大模型API

以下示例演示如何通过OpenAI兼容接口调用大模型，涵盖基础调用、System Prompt构建和流式输出三个关键场景——这也是AI测试中最常用的交互模式。

场景一：基础API调用（评测模型输出质量）

from openai import OpenAI

# ============================================
# 初始化客户端（兼容任意OpenAI兼容接口）
# ============================================
client = OpenAI(
    base_url="https://api.deepseek.com/v1",  # 可替换为任意兼容服务
    api_key="your-api-key"
)

# ============================================
# System Prompt：定义模型角色与行为约束
# ============================================
system_prompt = """你是一个银行客服质量评估专家。你的职责是：
1. 评估客服回复的礼貌程度（1-5分）
2. 判断是否解决了用户问题（是/否/部分）
3. 检测是否存在合规风险（如误导性陈述、隐私泄露）
4. 输出严格的JSON格式，不要包含任何额外文本

评估标准：
- 礼貌程度：语气是否尊重、专业、得体
- 问题解决：是否准确理解并有效回应用户诉求
- 合规风险：是否存在违规承诺、信息泄露、不当引导"""

# ============================================
# User Prompt：携带待评估的具体内容
# ============================================
user_prompt = """请评估以下银行客服回复：

用户问题：我的信用卡昨天被盗刷了3000元，怎么办？
客服回复：尊敬的客户您好，非常理解您焦急的心情。请您立即拨打某银行24小时客服热线
95555进行挂失，我们将启动争议交易调查流程。同时建议您关注「银行APP-信用卡-
交易记录」确认是否有其他异常交易。调查期间该笔交易暂不计入账单，请您放心。

请按JSON格式返回评估结果。"""

# ============================================
# 调用模型
# ============================================
response = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": user_prompt}
    ],
    temperature=0.0,      # 评估任务需要确定性
    max_tokens=500,
    response_format={"type": "json_object"}  # 约束JSON输出
)

# 解析结果
result = response.choices[0].message.content
usage = response.usage

print(f"评估结果: {result}")
print(f"Token消耗: 输入={usage.prompt_tokens}, 输出={usage.completion_tokens}, "
      f"总计={usage.total_tokens}")
print(f"模型: {response.model}")

场景二：流式输出处理（模拟用户交互体验）

流式输出（Streaming）让用户无需等待完整回复即可看到逐Token生成的内容，是评估用户体验的关键测试点。以下代码展示如何正确处理流式响应：

from openai import OpenAI
import time

client = OpenAI(
    base_url="https://api.deepseek.com/v1",
    api_key="your-api-key"
)

# ============================================
# 流式调用：stream=True
# ============================================
stream = client.chat.completions.create(
    model="deepseek-chat",
    messages=[
        {"role": "system", "content": "你是一个专业的性能测试专家，擅长解答性能测试相关问题。"},
        {"role": "user", "content": "请简要介绍银行核心系统的性能测试策略，控制在200字以内。"}
    ],
    temperature=0.7,
    max_tokens=500,
    stream=True  # 开启流式输出
)

# ============================================
# 逐块接收并处理
# ============================================
full_text = ""
token_count = 0
start_time = time.time()
first_token_time = None

print("📡 开始接收流式响应...\n")
for chunk in stream:
    # 获取当前Token的文本增量（delta）
    delta = chunk.choices[0].delta

    # 记录首Token到达时间（TTFT — Time To First Token）
    if first_token_time is None and delta.content:
        first_token_time = time.time() - start_time
        print(f"⏱️ 首Token延迟: {first_token_time:.3f}s\n")

    # 累积输出
    if delta.content:
        full_text += delta.content
        token_count += 1
        print(delta.content, end="", flush=True)  # 实时打印

    # 检查终止原因
    if chunk.choices[0].finish_reason:
        print(f"\n\n✅ 完成原因: {chunk.choices[0].finish_reason}")

# ============================================
# 统计指标（性能测试的核心关注点）
# ============================================
total_time = time.time() - start_time
print(f"\n{'='*50}")
print(f"📊 流式输出统计:")
print(f"  总耗时: {total_time:.3f}s")
print(f"  首Token时间 (TTFT): {first_token_time:.3f}s" if first_token_time else "  无输出")
print(f"  输出Token数: {token_count}")
print(f"  平均每Token时间: {total_time/token_count*1000:.1f}ms" if token_count > 0 else "")
print(f"  输出速率: {token_count/total_time:.1f} tokens/s" if total_time > 0 else "")
print(f"  输出长度: {len(full_text)} 字符")

场景三：批量评测与结果比对

在实际AI测试中，我们通常需要对大量测试用例进行批量评测。以下代码展示了一个精简的批量评测框架：

from openai import OpenAI
import json
import time
from concurrent.futures import ThreadPoolExecutor, as_completed

client = OpenAI(base_url="https://api.deepseek.com/v1", api_key="your-api-key")

# ============================================
# 评测数据集（模拟银行客服场景）
# ============================================
test_cases = [
    {"id": 1, "query": "我的账户被冻结了，如何解冻？",
     "expected_intent": "账户解冻", "difficulty": "easy"},
    {"id": 2, "query": "为什么我的转账被限额了？我要投诉！",
     "expected_intent": "投诉+转账限额", "difficulty": "medium"},
    {"id": 3, "query": "我收到短信说我的银行卡在境外消费了5万，但我没出国，这是诈骗吗？",
     "expected_intent": "欺诈识别+安全咨询", "difficulty": "hard"},
]

SYSTEM_PROMPT = """你是银行客服意图识别器。分析用户消息，返回JSON：
{"intent": "分类", "sentiment": "正面/中性/负面/紧急", "complexity": "低/中/高"}"""

# ============================================
# 单条评测函数
# ============================================
def evaluate_single(case):
    start = time.time()
    try:
        resp = client.chat.completions.create(
            model="deepseek-chat",
            messages=[
                {"role": "system", "content": SYSTEM_PROMPT},
                {"role": "user", "content": case["query"]}
            ],
            temperature=0.0,
            max_tokens=200,
        )
        elapsed = time.time() - start
        return {
            "id": case["id"],
            "query": case["query"],
            "expected": case["expected_intent"],
            "result": resp.choices[0].message.content,
            "latency_s": round(elapsed, 2),
            "tokens": resp.usage.total_tokens,
            "difficulty": case["difficulty"],
            "status": "success"
        }
    except Exception as e:
        return {"id": case["id"], "status": "error", "error": str(e)}

# ============================================
# 并发执行评测（最多3个并发）
# ============================================
results = []
with ThreadPoolExecutor(max_workers=3) as executor:
    futures = {executor.submit(evaluate_single, c): c for c in test_cases}
    for future in as_completed(futures):
        results.append(future.result())

# ============================================
# 汇总统计
# ============================================
success = [r for r in results if r["status"] == "success"]
print(f"总用例: {len(test_cases)}, 成功: {len(success)}, 失败: {len(results)-len(success)}")
if success:
    avg_latency = sum(r["latency_s"] for r in success) / len(success)
    total_tokens = sum(r["tokens"] for r in success)
    print(f"平均延迟: {avg_latency:.2f}s, 总Token消耗: {total_tokens}")
    for r in success:
        print(f"  #{r['id']} [{r['difficulty']}] {r['query'][:30]}... → {r['latency_s']}s")

案例：银行测试团队快速上手大模型