Auto-sync: 2026-11-14
This commit is contained in:
@@ -32,3 +32,25 @@ modified: "2026-07-24"
|
||||
## Related
|
||||
- [[systems/loki-fluentbit]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
## Alerting-Reparatur 2026-11-14
|
||||
|
||||
- `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT.
|
||||
Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts:
|
||||
node (6), ceph (4), blackbox (4), galera (3).
|
||||
- **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**.
|
||||
Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt.
|
||||
- **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als
|
||||
`/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf
|
||||
alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt)
|
||||
→ Regeln für die 8 RKE2-Node-IPs ergänzt.
|
||||
- **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
|
||||
- **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
|
||||
- Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
|
||||
- **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
|
||||
(Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P
|
||||
(Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0`
|
||||
(**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien.
|
||||
- **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
|
||||
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
|
||||
`kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'`.
|
||||
|
||||
Reference in New Issue
Block a user