Prometheus监控分布式数据库集群状态的方法与实践

使用 Prometheus 监控分布式数据库集群，关键在于多个环节协同配合：先通过标准化 Exporter 统一采集监控指标，再利用多维标签把节点、分片、角色等信息标注清楚，随后借助 PromQL 进行聚合分析，最后结合集群拓扑关系判断整体运行是否健康。Prometheus 适配的数据库类型也比较广，例如 MongoDB、CockroachDB、Redis Cluster 都能支持，而且不依赖数据库底层采用主从架构还是分片架构。

用 Prometheus 做分布式数据库集群监控，重点并不是只盯某一台服务器，而是把所有节点的运行状态和性能指标统一采集起来，完成清晰的标签标记，再结合聚合分析与拓扑关系，判断整个数据库集群是否稳定、可用、健康。它不依赖数据库本身是“主从复制”还是“分片集群”模式，真正发挥作用的是一套标准化的 Exporter、完善的多维标签体系，以及 PromQL 强大的聚合查询能力，从而真正建立跨节点、跨角色的可观测性体系。

关键步骤：Exporter 部署与指标暴露

每个数据库节点都需要运行对应的 Exporter，将内部运行状态转换为通过 HTTP 接口暴露的 Prometheus 格式监控指标：

• MongoDB：使用 mongodb_exporter，可自动发现副本集成员，暴露 mongodb_mongod_replset_my_state（当前节点角色）、mongodb_mongod_replset_oplog_window（oplog 时间窗口）、mongodb_mongod_connections_current 等核心指标
• CockroachDB：原生提供 /health 和 /metrics 端点，无需额外部署 Exporter；关键监控指标如 crdb_sql_exec_queries_total、crdb_store_capacity_used_percent、crdb_node_liveness_status 都可以直接抓取
• Redis Cluster：使用 redis_exporter 连接每个 Redis 实例，通过 redis_instance_role 标签区分 master/slave，再结合 redis_cluster_nodes_count 和 redis_cluster_state 判断 Redis 集群整体运行状态

服务发现与动态打标

在 Kubernetes 环境下，为了避免硬编码 IP 地址，建议采用声明式服务发现方式，自动关联数据库实例：

• 为数据库 Pod 创建 Service（ClusterIP 或 Headless），确保每个 Pod 都具备稳定的 DNS 名称
• 定义 ServiceMonitor（配合 Prometheus Operator）或 PrometheusRule，按 label 匹配服务，例如：
  matchLabels: { app: "mongodb-replicaset" }
• 在 Exporter 启动参数中注入集群元信息，例如：
  --web.listen-address=:9216 --mongodb.global-labels="cluster=prod,shard=shard0"，让所有监控指标天然携带上下文标签

集群级健康判断（PromQL 实战）

如果只看单个节点指标，实际意义比较有限，必须提升到集群维度进行分析：

• 判断 MongoDB 副本集是否完整：
  count by (cluster) (mongodb_mongod_replset_my_state{my_state="PRIMARY"} == 1) == 1 and count by (cluster) (mongodb_mongod_replset_my_state != 0) >= 3
  ——要求每个 cluster 恰好存在 1 个 PRIMARY，且总存活节点数 ≥ 3
• 检测 CockroachDB 节点是否失联：
  count by (job) (crdb_node_liveness_status == 0) > 0
  再结合告警持续时间（如 for: 2m），可避免瞬时网络抖动带来的误报
• 判断 Redis Cluster 是否在线：
  min_over_time(redis_cluster_state[5m]) == 1
  只要过去 5 分钟内任意时刻返回值不是 1，就可以判定为异常

可视化与根因定位

Grafana 监控面板不能只是简单堆叠图表，更应体现数据库集群结构与故障定位路径：

• 通过变量（$cluster、$shard）实现逐层下钻：先查看集群整体延迟热力图 → 点击高延迟 shard → 再查看该 shard 内各节点的 CPU、网络、慢命令分布
• 在面板标题中嵌入状态表达式，例如：
  ⚠️ {{ $values | printf "%.0f" }} nodes offline，让运维人员一眼识别故障规模与风险等级
• 对关键监控指标设置阈值着色：如 crdb_store_range_underreplicated_count > 0 时整行变红，提示数据副本冗余不足