三级监控:从“活着”到“做成事”

三级监控:从“活着”到“做成事” A architecture diagram generated by Archify. 第一层 · 服务存活 第二层 · 任务活性 第三层 · 产出与库体积 巡检调度 · 每 10 分钟一轮 · Architecture component 巡检调度 每 10 分钟一轮 虚拟显示会话 · 会话在不在 · 第一层 · 服务存活 虚拟显示会话 会话在不在 两个服务状态 · systemd 是否 active · 第一层 · 服务存活 两个服务状态 systemd 是否 active 接口可达 · 健康检查返回 · 第一层 · 服务存活 接口可达 健康检查返回 磁盘水位 · 剩余空间阈值 · 第一层 · 服务存活 磁盘水位 剩余空间阈值 心跳 · 进程还在转 · 第二层 · 任务活性 心跳 进程还在转 进展 · 仅在真推进时更新 · 第二层 · 任务活性 进展 仅在真推进时更新 活动性证据 · 进程树 CPU 时间 · 会话日志 mtime · 第二层 · 任务活性 活动性证据 进程树 CPU 时间 · 会话日志 mtime 产出与成功率看护 · 任务是否真的产出资料 · 第三层 · 产出与库体积 产出与成功率看护 任务是否真的产出资料 库体积四项守护 · 绝对体积 · 日增速 · 机制是否被关 · 摘要是否真生效 · 第三层 · 产出与库体积 库体积四项守护 绝对体积 · 日增速 · 机制是否被关 · 摘要是否真生效 企微告警卡片 · 只在异常时推送,按负责人 · Architecture component 企微告警卡片 只在异常时推送,按负责人 超阈值 判定异常 守护触发 Legend 服务与处理 数据库 共享存储 消息 外部系统

最危险的漏检

  • • 实测:曾出现产出归零 23 小时,三层巡检却全绿
  • • 原因:所有看护都只看进程,没有一项看产出
  • • 后来补的原则:看产出,不只看进程

三层各看什么

  • • 第一层:会话、服务、接口、磁盘,每 10 分钟巡检
  • • 第二层:心跳 + 进展 + 活动性证据,判卡死还是慢但在算
  • • 第三层:成功率与产出看护 + 库体积四项守护

从发现到通知

  • • 三层结果汇聚到企微告警卡片
  • • 只在异常时推送,按负责人送达
  • • 库体积四项:绝对体积 / 日增速 / 机制是否被关 / 摘要是否真生效