fleet: vs-ual+sec-ops merge (main 5af61ec) + Org-Quellen-Drift + Gitea-Down-Anti-Pattern

This commit is contained in:
Dominik Schön
2026-11-01 13:28:03 +00:00
parent bd700b19b8
commit 8a2f961745
7 changed files with 116 additions and 1 deletions
+8
View File
@@ -227,6 +227,14 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
- **Lehre (2026-10-31):** Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node **nicht risikoarm**. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
## INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
**Ablauf:** VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → `qm start` → **ganzer Node dunkel um 11:19:49** (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung `Inappropriate ioctl` trat direkt vorher auf).
**Fallstrick Config-Zeile:** Kommentar `#hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,...` enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: `hostpci0: 0000:01:00.0,pcie=1,rombar=1`.
**Workload-Rettung (GitOps-korrekt):** ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd `nodeName` + jellyfin `nodeSelector` → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
**Ergebnis:** SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
**OFFEN:** ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.
## Related
- [[systems/ceph-cluster]]
- [[systems/rke2-kubernetes]]