🎯 年终决算性能保障实战案例

📌 案例概述

年终决算是银行全年最重要的IT保障任务——12月31日18:00至次日6:00的12小时窗口内必须完成结息、计提、损益结转等所有批量任务，且联机交易不能中断。本案例展示从容量评估→扩容准备→压测验证→应急预案的全流程实践。

📋 案例背景

• 任务窗口：12月31日18:00 - 1月1日06:00（12小时）
• 批量任务量：约3500万笔（含结息、计提、损益结转、报表生成）
• 联机要求：窗口期内联机交易正常服务（TPS≥3000）
• 历史数据：前一年决算批量耗时9.5小时（接近窗口上限，风险高）

🔍 保障流程

第一步：容量评估（提前3个月）

基于趋势分析，预计本年决算批量量较上年增长22%。按模型推演：需峰值处理能力提升25%才能在8小时内完成。决策：提前临时增加2台应用服务器+2个数据库节点。

第二步：压测验证（提前1个月）

在准生产环境模拟决算日场景：联机交易（3000TPS）+批量任务（峰值10000TPS）同时运行。首轮压测暴露问题：联机和批量共享同一数据库连接池，批量高峰时联机P99从500ms暴涨到8秒。优化方案：为联机和批量分配独立连接池、批量任务设置资源组（Resource Manager）限制CPU上限为60%。

第三步：应急预案制定（提前2周）

制定三级应急方案：一级（批量进度延迟30分钟）→启动备用节点；二级（延迟60分钟）→暂停非关键报表任务；三级（延迟90分钟）→启动灾备中心分流。每级预案明确触发条件和执行人。

第四步：决算日实战

18:00启动批量，联机交易保持3000TPS稳定。22:30批量进度比计划提前1.5小时。次日01:00所有批量任务完成，联机交易全程P99<1s。首次7小时内完成决算，为历年最优。

💡 关键经验

1. 年终决算保障是系统工程——不是一次压测能解决的，需要容量评估+压测验证+应急预案三管齐下
2. 联机和批量的资源隔离是核心——用独立连接池和资源组防止互相影响
3. 提前量足够才有余量——容量评估提前3个月，扩容提前1个月，压测提前1个月，才能从容应对
4. 应急预案必须分级可操作——每级有明确的触发条件，不能在故障时临时讨论