监控告警与工单流转综合规范¶
文档版本：V1.4 发布日期：2026-09-02 文档性质：流程规范类
1. 文档概述与核心目标¶
本规范定义了备份监控系统的告警分级标准、工单生命周期管理及自动化SLA统计逻辑，解决监控数据与运维流程割裂的问题。
核心原则： - 权重唯一性：数字权重越大，严重性越高（6为最高，0为最低）。 - 状态机闭环：所有告警必须经历从"触发"到"恢复（CLOSE）"的完整工单生命周期，严禁跳转或硬删除。 - SLA自动化：所有SLA指标（响应时长、解决时长）基于状态时间戳自动计算，排除挂起和转单等非处理耗时。
2. 告警级别定义与数字权重（共7级）¶
| 数字权重 | 级别名称 | 定义（核心定位） | 典型业务场景举例 | 处理时效要求 |
|---|---|---|---|---|
| 6 | CRITICAL（严重） | 系统级不可用或核心数据丢失。业务已中断，必须立即全员介入。 | 核心数据库宕机、全部备份任务失败、存储池完全写满。 | 立即响应（5分钟内） |
| 5 | HIGH（活跃） | 主要功能严重受损。大面积影响用户体验，若不处理将升级为CRITICAL。 | 备份任务连续重试超时、备份窗口严重滞后、存储池使用率>90%。 | 紧急响应（30分钟内） |
| 4 | ERROR（错误） | 具体操作执行失败。系统主体功能尚存，但需人工确认根因。 | 单次备份任务报错（无重试）、API返回5xx错误、授权验证失败。 | 优先响应（2小时内） |
| 3 | WARNING（警告） | 存在潜在风险或异常趋势。系统当前正常，但需主动处理防止恶化。 | 存储池使用率>75%、SSL证书7天后过期、单次任务重试成功。 | 计划处理（24小时内） |
| 2 | INFO（提示） | 正常的操作记录或状态变更。用于审计追溯，无需人工干预。 | 备份任务成功完成、策略配置热更新、定时巡检开始/结束。 | 不触发人工告警（仅记日志） |
| 1 | DEBUG（调试） | 开发或深度排障的详细信息。生产环境默认关闭。 | 方法入参出参打印、SQL执行计划、缓存加载明细。 | 仅开发调试使用 |
| 0 | CLOSE（恢复/关闭） | 告警已消除或异常状态已回归正常。用作异常生命周期的终结标记。 | 失败任务重试成功、存储空间释放至安全水位。 | 作为静默消除通知（仅推IM/邮件） |
映射参考：本权重与Zabbix（Disaster=5）、Syslog（Emergency=0）及Prometheus（critical）兼容。
3. 工单生命周期与状态机定义（共7个状态）¶
| 工单状态 | 英文标识 | 核心定义 | SLA时钟状态 | 关联动作/备注 |
|---|---|---|---|---|
| 未接单 | Unassigned |
工单已创建，等待认领。 | ⏸️ 暂停（单独统计响应时长） | 超时未接单自动升级通知组长。 |
| 已接单 | Assigned |
已确认接手，但尚未开始实质排查。 | ▶️ 运行（计入解决时长） | 记录首次响应时间戳。 |
| 处理中 | Processing |
正在积极排查或修复。 | ▶️ 运行 | 工单的活跃工作态。 |
| 已挂起 | Pending |
等待外部依赖（用户确认/供应商/变更窗口）。 | ⏸️ 暂停（冻结剩余SLA） | 必须填写挂起原因；CRITICAL级别禁止挂起。 |
| 总结 | Summary |
故障已修复，正在填写RCA（根因分析）。 | ⏸️ 暂停（不计入处理SLA） | 强制关联告警变为CLOSE(0)。 |
| 转单 | Transfer |
转交给其他团队/负责人。 | ⏸️ 暂停（SLA责任转移） | 目标团队收到后状态重置为"未接单"。 |
| 已关闭 | Closed |
工单全流程终结。 | ⏹️ 停止（生命周期结束） | 必须经过"总结"状态，严禁直接关闭。 |
3.1 状态机流转规则（强制校验）¶
系统仅允许以下路径流转，逆向或跳跃式流转将被拦截：
红线规则： 1. 严禁从"处理中"直接跳转至"已关闭"（必须经过总结）。 2. 严禁将正常的"备份成功"日志标记为CLOSE级别。 3. 若1小时内同一告警ID在CLOSE(0)和CRITICAL(6)间震荡超过3次，系统自动冻结自动关闭功能，转人工介入。
4. SLA自动统计与指标体系¶
4.1 SLA自动统计指标（四维度量）¶
| SLA指标名称 | 计算公式 | 用途 |
|---|---|---|
| 响应时长 | 首次接单时间 — 工单创建时间 |
考核一线响应速度。 |
| 解决时长（MTTR） | （总结/关闭时间 — 首次接单时间）— ∑挂起时长 — ∑转单等待时长 |
核心考核指标。 |
| 挂起总时长 | ∑（每次退出挂起时间 — 每次进入挂起时间） |
分析外部依赖阻塞耗时。 |
| 转单次数/耗时 | 统计进入转单状态的次数及每次停留时长。 |
优化派发策略。 |
4.2 自动升级策略¶
| 触发条件 | 自动动作 |
|---|---|
| 未接单 > 15分钟 | 自动触发HIGH(5)级别提醒给值班组长。 |
| 处理中时长 > SLA阈值的80% | 发送WARNING(3)预警。 |
| 处理中时长 = 100% SLA阈值 | 告警级别自动+1（如ERROR(4)升至HIGH(5)），并通知上级主管。 |
5. CLOSE级别的双维处理规范¶
| 维度 | 日志等级（可观测性） | 工单等级（流程控制） |
|---|---|---|
| 核心目的 | 记录"问题已修复"的元数据，用于审计回溯。 | 终结运维流程，停止SLA计时并归档工单。 |
| 输出内容要求 | 必须包含：previous_level、previous_alarm_id、recovery_reason。 |
工单状态变更为Closed，触发满意度调查。 |
| 触发方式 | 系统检测到指标回落至阈值以下，自动生成。 | 运维人员确认关闭，或系统连续3次检测到恢复日志后自动关闭。 |
| 通知策略 | 全量存储至日志冷节点。 | 仅通过IM/邮件发送静默恢复通知，禁止触发电话或短信。 |