2.8 KiB
2.8 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | ||||||
|---|---|---|---|---|---|---|---|---|---|---|
| Monitoring & Observability | systems |
|
2026-04-28 | 2026-07-24 |
Monitoring & Observability
Prometheus + Grafana
- Prometheus: K8s (kube-prometheus-stack)
- Grafana: K8s, Ingress grafana.familie-schoen.com (.205)
- Alertmanager: K8s, Routes → Telegram
Loki Stack (Centralized Logging)
- Loki: K8s ns=logging, LB 10.0.30.207:3100
- Fluent Bit v5.0.9: auf 9 PVE Hosts + 20 LXC + 5 QEMU + 6 K8s Nodes
- Inputs: PVE tasks, Ceph audit, journald, auth, pveproxy, pvedaemon, cluster
- Siehe systems/loki-fluentbit
HolmesGPT (SRE)
- Namespace: holmes
- Pipeline: Alertmanager → adapter (9095) → HolmesGPT → TG @schoen_sre_bot
- Model: noris-glm (via ai.noris.de)
- RKE2 ctrl-plane alerts disabled
Alerting Rules
- Via IaC Git Repo deployt (Ansible für CT141, ArgoCD für K8s)
- RKE2 control-plane alerts disabled
Related
Alerting-Reparatur 2026-11-14
clusters/main/monitoring/prometheus-rules.yamlist eine ConfigMap — Prometheus lädt sie NICHT. Ersatz:infra-alerts-rules.yaml(PrometheusRule, Labelrelease: monitoring), 17 Alerts: node (6), ceph (4), blackbox (4), galera (3).- Ceph: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber 0 Metriken.
Aktiver MGR ist
10.0.20.92(ceph mgr services) — als viertes Target ergänzt. - Galera:
mysql_up=0auf allen Nodes. Ursache:exporter-User hatte ein anderes Passwort als/etc/mysqld_exporter/.my.cnf(drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf alle Nodes verteilt +ALTER USER. Zusätzlich blockte ufw auf .71 Port 9104 (nur CT141 erlaubt) → Regeln für die 8 RKE2-Node-IPs ergänzt. - Tote Targets entfernt: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
- PBS offsite 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
- Disk-Regeln schließen
/boot/efiaus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm). - pve-exporter: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
(Namespace
monitoring,pve-exporter.yaml), Tokenexporter@pve!monitoringper ESO aus 1P (VaultKubernetes ESO, ItemPVE exporter monitoring). Bild:ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0(prompve/pve-exporterexistiert auf Docker Hub nicht mehr). PVE-Regeln aktiv,pve_up=166 Serien. - ArgoCD-Falle: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'.