--- title: Monitoring & Observability category: systems tags: [monitoring, prometheus, grafana, loki, holmesgpt, alerting] created: "2026-04-28" modified: "2026-07-24" --- # Monitoring & Observability ## Prometheus + Grafana - **Prometheus**: K8s (kube-prometheus-stack) - **Grafana**: K8s, Ingress grafana.familie-schoen.com (.205) - **Alertmanager**: K8s, Routes → Telegram ## Loki Stack (Centralized Logging) - **Loki**: K8s ns=logging, LB 10.0.30.207:3100 - **Fluent Bit v5.0.9**: auf 9 PVE Hosts + 20 LXC + 5 QEMU + 6 K8s Nodes - **Inputs**: PVE tasks, Ceph audit, journald, auth, pveproxy, pvedaemon, cluster - Siehe [[systems/loki-fluentbit]] ## HolmesGPT (SRE) - **Namespace**: holmes - **Pipeline**: Alertmanager → adapter (9095) → HolmesGPT → TG @schoen_sre_bot - **Model**: noris-glm (via ai.noris.de) - RKE2 ctrl-plane alerts disabled ## Alerting Rules - Via IaC Git Repo deployt (Ansible für CT141, ArgoCD für K8s) - RKE2 control-plane alerts disabled ## Related - [[systems/loki-fluentbit]] - [[systems/rke2-kubernetes]] ## Alerting-Reparatur 2026-11-14 - `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT. Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts: node (6), ceph (4), blackbox (4), galera (3). - **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**. Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt. - **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als `/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt) → Regeln für die 8 RKE2-Node-IPs ergänzt. - **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP. - **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping. - Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm). - **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring (Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P (Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0` (**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien. - **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix: `kubectl patch application --type json -p '[{"op":"remove","path":"/operation"}]'`.