From bffcea0d4d9514c82849f14895a4dade796a4418 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Sun, 4 Oct 2026 22:00:35 +0000 Subject: [PATCH] Auto-sync: 2026-10-04 --- systems/galera-maxscale.md | 3 ++- systems/rke2-kubernetes.md | 2 +- 2 files changed, 3 insertions(+), 2 deletions(-) diff --git a/systems/galera-maxscale.md b/systems/galera-maxscale.md index af8a2c2..9a3016b 100644 --- a/systems/galera-maxscale.md +++ b/systems/galera-maxscale.md @@ -3,7 +3,7 @@ title: MariaDB Galera + MaxScale category: systems tags: [mariadb, galera, maxscale, database, ha] created: "2026-07-24" -modified: "2026-07-24" +modified: "2026-10-04" --- # MariaDB Galera + MaxScale @@ -36,6 +36,7 @@ modified: "2026-07-24" - VM310/311 (MaxScale): Fluent Bit aktiv ## Bekannte Issues +- **2026-10-04 (GROSSER VORFALL): Ext4-Volume-Label `MARIADB_DATA` auf allen 3 Galera-Datadisks verlor sich** (Ursache ungeklärt, Symptome ab 04.10. ~07:58 MESZ). fstab montiert per `LABEL=MARIADB_DATA` mit `nofail` → Boot ging durch, aber `/var/lib/mysql` blieb LEER → mariadb crashte im Loop (Permission denied auf leeres Dir). Reparatur: `e2label MARIADB_DATA` je Disk (VM300 im Gast, VM301/302 offline via `rbd map` + mount auf Hypervisor) → Reboot. **Pattern: bei leerem /var/lib/mysql trotz intakter fstab IMMER `tune2fs -l` → "volume name" prüfen.** Galera-Recovery: Bootstrap-Kandidat per gvwmstate/grastate-Mtimes bestimmt (VM301, letzte View 38={301,300}), `safe_to_bootstrap: 1` offline in grastate geschrieben → 301 startete als PC, 300 jointe sofort, 302 folgte (IST 570871→570923, Delta nur 52 Tx). Ende: 3/3 Synced, MaxScale beide aktiv, VIP offen. - **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md` - **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <<< 'info status'` prüfen. - **HA-Guard:** `ha-manager disable` existiert nicht. Bei Resource-State `request_stop` geht `qm stop` trotzdem durch. diff --git a/systems/rke2-kubernetes.md b/systems/rke2-kubernetes.md index ee86b43..e3b9152 100644 --- a/systems/rke2-kubernetes.md +++ b/systems/rke2-kubernetes.md @@ -31,7 +31,7 @@ modified: "2026-09-17" - **⚠️ StorageClass `parameters` sind IMMUTABLE** — können nicht gepatched werden, müssen gelöscht+neu erstellt werden. - **⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01):** `volumesnapshotclasses`-CRD (RKE2-Addon `rke2-snapshot-controller-crd`) hat **FLAT-Schema** — `driver`/`deletionPolicy`/`parameters` auf TOP-LEVEL, `spec:` existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: `ceph-rbd-snapclass` (default) + `cephfs-snapclass` - **CNPG PostgreSQL**: `postgres-main` Cluster (3/3 Ready), RW Service `postgres-main-rw.postgres.svc.cluster.local:5432`; Specs **100Gi data / 20Gi WAL** (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren) -- **⚠️ etcd auf Ceph RBD (~20ms WAL fsync auf allen CP-Nodes)** — architektonisches Risiko; unter API Server Write Pressure → gRPC DeadlineExceeded Cascade. Lokales NVMe für etcd data dirs empfohlen. +- **✅ etcd auf lokalem NVMe (migriert 2026-10-04)** — Jede CP-VM hat jetzt eine zweite 10G Disk (`scsi1`, `local-lvm`) gemountet auf `/var/lib/rancher/rke2/server/db/etcd`. WAL fsync von ~20ms (Ceph RBD) auf ~5ms (NVMe) reduziert. gRPC DeadlineExceeded Cascade dauerhaft eliminiert. Monatlicher Defrag nicht mehr kritisch (aber harmlos). Vorheriges Problem: RBD-Netzwerklatenz → API Server Instabilität → Pod Churn. Siehe Solution Doc `2026-10-04-etcd-rbd-to-local-nvme.md`. ## GitOps - **ArgoCD**: SSH Deploy Keys (read-only) auf Gitea