Files
memory/systems/monitoring.md
T
2026-11-14 22:00:21 +00:00

2.8 KiB

title, category, tags, created, modified
title category tags created modified
Monitoring & Observability systems
monitoring
prometheus
grafana
loki
holmesgpt
alerting
2026-04-28 2026-07-24

Monitoring & Observability

Prometheus + Grafana

  • Prometheus: K8s (kube-prometheus-stack)
  • Grafana: K8s, Ingress grafana.familie-schoen.com (.205)
  • Alertmanager: K8s, Routes → Telegram

Loki Stack (Centralized Logging)

  • Loki: K8s ns=logging, LB 10.0.30.207:3100
  • Fluent Bit v5.0.9: auf 9 PVE Hosts + 20 LXC + 5 QEMU + 6 K8s Nodes
  • Inputs: PVE tasks, Ceph audit, journald, auth, pveproxy, pvedaemon, cluster
  • Siehe systems/loki-fluentbit

HolmesGPT (SRE)

  • Namespace: holmes
  • Pipeline: Alertmanager → adapter (9095) → HolmesGPT → TG @schoen_sre_bot
  • Model: noris-glm (via ai.noris.de)
  • RKE2 ctrl-plane alerts disabled

Alerting Rules

  • Via IaC Git Repo deployt (Ansible für CT141, ArgoCD für K8s)
  • RKE2 control-plane alerts disabled

Alerting-Reparatur 2026-11-14

  • clusters/main/monitoring/prometheus-rules.yaml ist eine ConfigMap — Prometheus lädt sie NICHT. Ersatz: infra-alerts-rules.yaml (PrometheusRule, Label release: monitoring), 17 Alerts: node (6), ceph (4), blackbox (4), galera (3).
  • Ceph: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber 0 Metriken. Aktiver MGR ist 10.0.20.92 (ceph mgr services) — als viertes Target ergänzt.
  • Galera: mysql_up=0 auf allen Nodes. Ursache: exporter-User hatte ein anderes Passwort als /etc/mysqld_exporter/.my.cnf (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf alle Nodes verteilt + ALTER USER. Zusätzlich blockte ufw auf .71 Port 9104 (nur CT141 erlaubt) → Regeln für die 8 RKE2-Node-IPs ergänzt.
  • Tote Targets entfernt: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
  • PBS offsite 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
  • Disk-Regeln schließen /boot/efi aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
  • pve-exporter: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring (Namespace monitoring, pve-exporter.yaml), Token exporter@pve!monitoring per ESO aus 1P (Vault Kubernetes ESO, Item PVE exporter monitoring). Bild: ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0 (prompve/pve-exporter existiert auf Docker Hub nicht mehr). PVE-Regeln aktiv, pve_up=166 Serien.
  • ArgoCD-Falle: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix: kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'.