Wiki: SchönKitchen-Wertstromanalyse + CephFS/Kernel-Incident-Stand (31.10.)

This commit is contained in:
Dominik Schön
2026-10-31 13:36:06 +00:00
parent be5343e8b8
commit 79047d9306
7 changed files with 82 additions and 26 deletions
+26 -7
View File
@@ -27,14 +27,33 @@ modified: "2026-10-19"
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
**8 Nodes, v1.35.6+rke2r1, alle auf Kernel 7.1.8+deb13-amd64 GEPINNT (aes256k/Cilium-Fenster, siehe ceph-cluster.md Known Issues + Solution Doc 2026-10-27).**
**8 Nodes, v1.35.6+rke2r1, alle auf `6.12.113+deb13-amd64` (Stand 2026-10-31, Welle C abgeschlossen).**
> ⚠️ **7.1.8 ist seit 30.10. ein Sicherheits-Blocker:** Der 7.1-Branch ging mit **7.1.13 EOL**,
> ohne Backport für **CVE-2026-98432** (IPv4-TCP-Options-UAF). Fix gibt es nur in 7.2.10+
> (Kandidat `7.2.11-1~bpo13+1`) oder 6.12.113 — beide kollidieren mit dem Kompatibilitätsfenster
> (7.2.9 bricht Cilium 1.19.4; 6.12 bricht CephFS-aes256k). 6.12.113 liegt auf worker-02/03
> bereits in `/boot`. Nächster Schritt: Cilium-Canary auf einem Worker mit 7.2.11, danach rolling.
> SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md`.
> ✅ **CVE-2026-98432 geschlossen (31.10.)** — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste)
> sind durch. Alle RKE2-Knoten rolling auf `6.12.113+deb13-amd64` (DSA-6568-1), jeweils per `boot_id`-Wechsel
> bewiesen, 7.x-Backports gepurged, `GRUB_DEFAULT=0` überall, `linux-image-amd64` auf **allen 8** Nodes auf
> `6.12.113-1` gepinnt (sonst keine automatischen Kernel-Security-Updates!).
> SolDocs: `2026-10-31-cve-98432-wave-c-kernel-612113.md`, `2026-10-30-cve-2026-98432-fleet-exposure.md`.
> **Pitfall:** Metapaket `linux-image-amd64` aus Backports zieht beim Purge des 7.x-Kernels **7.2.11 nach** statt
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
> CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist **architektonisch** tot (`crypto.c` 6.12.107/113 identisch;
> `aes256k` erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse).
> **Umgesetzt:** 5 Volumes auf **statische PVs mit `mounter: fuse`** auf demselben Subvolume
> (`pv-fuse-immich-library/-thumbs`, `pv-fuse-fleet-spool/-board/-build-src`, alle `Retain` + `Prune=false`).
> Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs `Retain`!) → neues PV+PVC → App wieder hoch.
> Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods `Running`, Mount `ceph-fuse on /data type fuse.ceph-fuse (rw)`,
> Schreibtest OK, Subvolume-`bytes_used` unverändert (400.283.771.738 B). Git: `fbd65c4` (PVCs mit `volumeName`,
> PV-Manifeste unter `clusters/main/{immich,fleet}/static-fuse-pvs.yaml`), ArgoCD `Synced/Healthy`.
> **Pitfalls:** (1) `spec.csi.volumeAttributes` + `spec.volumeName` sind immutable — nur neue PV/PVC-Objekte helfen;
> (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren;
> (3) ArgoCD `selfHeal` der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss
> `volumeName` tragen, sonst Dauer-OutOfSync; (4) `find /data` über 400 GB via Fuse dauert >10 min (nicht im
> Vordergrund laufen lassen). SolDoc `2026-10-31-cephfs-aes256k-kernel-key-blocker.md`.
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`