From 89eaf83f3fe7be54d65fe5885c9da8b8602a843c Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Tue, 27 Oct 2026 22:00:50 +0000 Subject: [PATCH] Auto-sync: 2026-10-27 --- log.md | 25 ++++++ .../traefik-ingressclass-silent-ignore.md | 51 ++++++++++++ systems/agent-fleet.md | 80 +++++++++++++++++-- systems/ceph-cluster.md | 3 + systems/rke2-kubernetes.md | 10 ++- 5 files changed, 160 insertions(+), 9 deletions(-) create mode 100644 patterns/traefik-ingressclass-silent-ignore.md diff --git a/log.md b/log.md index bb885d1..6e14302 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,30 @@ # Memory Log +## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette) +- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40). +- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün. +- Live-Verify im Pod: >500-Call → isError:true + "eintrag fehlt oder laenger als 500 Zeichen" lesbar; valider Call OK (Note eingetragen). CEO-Retry-Task c49978fe eingereicht via submit_owner_task. +- Learnings: MCP-Server-Regel "Validierungen IMMER ToolError"; Signature rc=1+api_call_count==max_turns = verdeckter Tool-Fehler. SolDoc bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md + Hindsight; Wiki agent-fleet.md board-service-Abschnitt aktualisiert (Digest, 9 Tools, Fix). + +## [2026-10-27 spät] p0-e2e GRÜN — Phase 0.14 E2E-Abnahme 8/8, Phase 0 KOMPLETT +- Alle Kriterien bewiesen: Owner-Kanäle (Idee→Backlog physisch, Neuer VS→CEO-Task a295dc32, Chat-Thread mit CEO-Antwort gerendert), Beacon 422/200, DB-Selftest (DROP verweigert), Deadman pending 9→0, Watcher-Kill→ALARM→Escalation-Task→Restore→RESOLVED (18:25–18:30 UTC komplett), Landlock 8/8 Nodes. +- **Produktionsbug via E2E gefunden+gefixt:** tower-owner fehlte in VALID_SYSTEM_SENDERS (Commit 0a784fb hatte nur die Typ-Map erweitert — Gate 1 weist zuerst ab). Fix 992cdfb an Disk + CM-Embed. Zusätzlich board-service+watcher Images stale (0.8/0.7) → Neubau + Digest-Pins 69e806a5/92b1470b (89ed639). +- **Vorfall (aufgeklärt+repariert):** DELETE-Test auf heartbeats ging DURCH (app_fleet = DML-Rolle, Annahme „verweigert" war falsch) → alle 8 Heartbeat-Zeilen gelöscht → durch 9 Repair-Heartbeats via Beacon wiederhergestellt, alle 5 Alt-Alarme RESOLVED, pending 9→0. Lektion: destruktive DB-Tests nur mit Prädikat; DDL (DROP) ist der richtige Scope-Check. +- Landlock-Verifikation: kubectl-debug blockiert (TTY) — SSH-Pfad (id_ed25519_cloudinit debian@node) ist der zuverlässige Check. +- SolDoc bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md + INDEX 48; Wiki agent-fleet.md 0.14-Abschnitt + Phasen-Header. + +## [2026-10-27 abend] p0-tower GRÜN — Fleet Control Tower live (DOM-Smoke 23/23) +- Phase 0.13 abgeschlossen: Tower-Pod `fleet-tower-…-bsc2p` 1/1 (ns fleet), Image digest-gepinnt `sha256:0ddad265…` (Git==Live), Exposure über VIP 10.0.30.213 (neuer entryPoint `tower-internal` :8445, ipAllowList 10.0.20/40+WG, VLAN 30 ausgesperrt, eTP Local, TLS Interim-CA bis 24.01.2027). Kein DNS-Record → Zugang per VIP-IP wie fleet-webui. +- Abnahme werkzeugbestimmt: DOM-Smoke **23/23 PASS** im Live-Pod (TOWER_URL=Pod-IP, Custom-Server lauscht auf os.hostname() statt 127.0.0.1 — Pitfall) + 5/5 `/api/fleet/*` 200 mit echten Daten (9 Agenten, 200 Journal-Einträge, Kanban). Offen: Owner-G1-Browsertest aus erlaubtem Segment. +- Neue Learnings indexiert: Solution-Doc tooling/2026-10-27-nextjs-custom-server-docker-build.md (node-pty-Builder-Toolchain, kein Runtime-npm-ci, UID 1001 statt 1000, Child-Prozesse COPYen); PAT-017 traefik-ingressclass-silent-ignore (2. Inkarnation!); Evidence-Updates Gitea-OCI-Push (1P-Token als Docker-PW, Push-Log vs. manifest inspect) + ingressClass (eTP-Local-für-ACL); INDEX.md gepflegt. +- Wiki agent-fleet.md: Phasen-Header 0.9 ✓ + 0.13 ✓, neuer Abschnitt p0-tower Live-Facts. + +## [2026-10-27] CephFS-aes256k-Kernel-Fenster geschlossen — 8 Nodes auf 7.1.8, Cilium-7.2.9-Bruch entdeckt +- 4 Fleet-Facilities (board-service, deadman, provisioning, spool-watcher) hingen 9 h an CephFS-EINVAL: Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte); Kernel 6.12.x-libceph hat 16-Byte-Limit (`libceph: secret too big 32`). Nur frische Mounts betroffen — RBD lief weiter (mounter rbd-nbd, Userspace). +- Kernel-Upgrade 7.2.9 (trixie-backports) brachte CephFS-Mounts, brach aber Cilium 1.19.4 fatal (`FnSetRetval … R1 is not a scalar`, CrashLoop → CSI-Pods API-unreachable → Node netz-tot für Pods). Rollback auf 7.1.8 (Debs aus apt-Cache worker-04; linux-base-7.1.8 fehlt im Backports-Index) + rolling drain→reboot→verify→uncordon. Danach: Cilium/CSI grün, alle 4 Facilities 1/1, Immich-Backup-CronJob durchgelaufen (snapshot ccadb60e), Immich-Server pong. +- IaC: Kernel-Pin `linux-image-amd64=7.1.8-1~bpo13+1` in `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4 (Commit 590cf2a; vorher state:latest = Zeitbombe). AGENTS.md-Worker-Tabelle war stale (.63 falsch) — Korrektur blockiert (write-protected, kein Owner-GO); kanonisch jetzt Wiki rke2-kubernetes.md (8 Nodes, VM-IDs korrekt). +- Test-Artefakte geräumt (SC ktest/fusetest, PVCs, Pods); VK-Klartext-Reste /tmp/fleet-vk auf mgmt+runner gelöscht; ESO 9/9 SecretSynced. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`; Wiki ceph-cluster.md (Known Issues) + rke2-kubernetes.md gepatcht. + ## [2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs - **Phase 0.8 komplett:** org-registry + board-service + **telemetry** (601435d3) + **provisioning** (fa39b7cd) live, alle E2E-grün aus dem diff --git a/patterns/traefik-ingressclass-silent-ignore.md b/patterns/traefik-ingressclass-silent-ignore.md new file mode 100644 index 0000000..f5ac77c --- /dev/null +++ b/patterns/traefik-ingressclass-silent-ignore.md @@ -0,0 +1,51 @@ +--- +pattern_id: PAT-017 +title: "Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert (404 ohne Log)" +category: networking +severity: medium +status: active +first_observed: 2026-10-23 +last_updated: 2026-10-27 +related_systems: [rke2-kubernetes, traefik, agent-fleet] +related_solution_docs: [integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md] +related_skills: [] +--- + +# Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert + +## Symptom +IngressRoute (oder andere Traefik-CRD) mit korrektem Host/Path/TLS-Setup liefert +404 (Traefik-Default), obwohl LoadBalancer, entryPoint und Backend alle +funktionsfähig sind. Kein Fehler im Traefik-Log, Objekt ist per kubectl sichtbar. + +## Root Cause +Traefik läuft mit Provider-Filter +`--providers.kubernetescrd.ingressClass=traefik`. Objekte ohne die Annotations +`kubernetes.io/ingress.class: traefik` UND `traefik.io/ingress.class: traefik` +werden vom CRD-Provider komplett verworfen — still, ohne Log-Eintrag. + +## Mitigation +Beide Annotations am CRD setzen: +```yaml +metadata: + annotations: + kubernetes.io/ingress.class: traefik + traefik.io/ingress.class: traefik +``` +Wirkung sofort (Router matcht). Nebenerkenntnis 27.10.: Für ipAllowList-Zwang +am VIP-LB braucht es `externalTrafficPolicy: Local` am LB-Service — bei +`Cluster` SNATet Cilium die Client-IP weg und die ACL blockt fälschlich alles. + +## Prevention +- Vor Deploy einer neuen Traefik-CRD: gegen eine bereits funktionierende + Route diffen und die ingressClass-Annotations kopieren. +- Review-Checkliste für Exposure-PRs: ingressClass-Annotations? eTP Local bei + ACL? EntryPoint-Länge ≤15 Z. (Chart kürzt)? + +## Evidence +- 2026-10-23: fleet-webui (VIP .212) — Original-Incident, 404 → Fix + Commit-Kette 37f40ec…1d35b1f; Solution-Doc integrations/2026-10-23. +- 2026-10-27: Fleet Control Tower (VIP .213) — **zweite Inkarnation**, + identisches Bild, Fix Commit 8d201bf (8d201bf..0ddad265-Kette). DOM-Smoke + 23/23 PASS danach. Evidence-Update im Solution-Doc. +- MEMORY.md-Pointer ergänzt. diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md index 65322d1..1589abf 100644 --- a/systems/agent-fleet.md +++ b/systems/agent-fleet.md @@ -31,9 +31,11 @@ LLM-Chokepoint und objektiver Telemetrie. Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) · **0.5 p0-image ✓ GRÜN (25.10. spät)** · **0.6 Bifrost-VKs ✓ GRÜN (26.10.)** · **0.7 Spool+Watcher ✓ GRÜN (26.10.)** · **0.8 MCP-Facilities ✓ ALLE 4 GRÜN - (26.10.)** · 0.9 Sandboxes · + (26.10.)** · **0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready)** · **0.10 Fleet-DB ✓ GRÜN (26.10.)** · **0.11 Beacon ✓ GRÜN (26.10.)** · - **0.12 Deadman ✓ GRÜN (26.10.)** · 0.13 Control Tower · 0.14 E2E → dann Phase 1 Onboarding. + **0.12 Deadman ✓ GRÜN (26.10.)** · **0.13 Control Tower ✓ GRÜN (27.10., + DOM-Smoke 23/23)** · **0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden)** → + Phase 1 Onboarding. - **p0-image (0.5) final:** Agent-Image `git.schoen.codes/dominik/hermes-agent` Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`** (1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile @@ -215,10 +217,16 @@ LLM-Chokepoint und objektiver Telemetrie. - **1/4 org-registry** (digest `sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e`): Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth, Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents. -- **2/4 board-service** (digest `sha256:b2b3c6125004103e8c83889c0ffc6f80ad75291c8e458f49cb9210b7cb66be6a`, - Commit 356bfcb): 7 Tools (add_backlog_card, add_release_note, get_backlog, - get_kanban, health, list_value_streams, move_card); Single-Writer aufs - Board-PVC, Spool-Submit; E2E 13/13 (Karte e2e-001, Spool-Quittung). +- **2/4 board-service** (digest `sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a`, + Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note, + get_backlog, get_kanban, health, list_value_streams, move_card, submit_task, + submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. **27.10. Fix: + alle 54 Validierungen raisen jetzt `ToolError` statt `ValueError`** — das + MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing + tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in + Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat. + Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc: + `docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md`. - **3/4 telemetry** (digest `sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7`, Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei), get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status @@ -239,6 +247,66 @@ LLM-Chokepoint und objektiver Telemetrie. text/event-stream`, letzte `data: `-Zeile parsen. python:3.11-alpine hat KEIN kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen. +### p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts +- **Fleet Control Tower** = Fork `dominik/openshell_controller` (Upstream + nemo-shell-dashboard), Next.js 15 Custom-Server `server.mjs` (kein + standalone), ns fleet, Pod `fleet-tower-…-bsc2p` 1/1 auf rke2-worker-03. + Image `git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814 + 588117ac03fdeb8c0f2094a90e70dfff34f2e9d2` (Git==Live verifiziert). + 5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed + (Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task, + CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`, + force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht + `@/lib/…` — tsconfig `@/*`→`./*`). +- **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service + `traefik-tower-lb`, targetPort 8445, entryPoint `tower-internal` :8445 — + neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`), IngressRoute + PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 + 172.16.0.0/24, + VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls (Interim-CA bis 24.01. + 2027, CN tower.schoen.codes). `externalTrafficPolicy: Local` PFLICHT für + ACL (sonst SNAT). ingressClass-Annotations PFLICHT (sonst still ignoriert, + PAT-017). Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP + `https://10.0.30.213/` (Cert-Warnung wegklicken, wie fleet-webui). +- **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs + via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type + ∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten; + body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO. +- **DOM-Smoke 23/23 PASS** (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP — + Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+ + nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert), + Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets. +- **Abnahme-Status:** werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen: + Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus + 10.0.30.x design-gemäß 403. +- Solution-Doc: `docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md` + (Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding); + Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017. + +### p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz +- **Owner-Kanäle:** Idee→Backlog via Tower-API (Karte e2e-014-owner-idee, + score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/ + Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build, + P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen + 400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage + + CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über + GET /api/fleet/owner/chat — §8-Kriterium erfüllt. +- **Beacon Strict-Gate:** ghost→422, devops→200, psql-Zeile sichtbar. +- **DB-Selftest:** 7 Tabellen via app_fleet; DROP verweigert („must be owner"); + NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats + geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED). +- **Deadman:** pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7 + vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43 + (tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool → + Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH + (kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen). +- **Produktionsbug gefunden+gefixt (992cdfb):** tower-owner fehlte in + VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab); + Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu + gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale. + SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md. +- Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy, + Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei. + ## Repos & Struktur (Iteration 1 — historisch) - **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML, Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`, diff --git a/systems/ceph-cluster.md b/systems/ceph-cluster.md index 5e07606..6d6608b 100644 --- a/systems/ceph-cluster.md +++ b/systems/ceph-cluster.md @@ -65,6 +65,9 @@ modified: "2026-09-26" ## Known Issues +### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27) +Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md` + ### HEALTH_WARN: Insecure Key Types (2026-09-26) Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4. Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set). diff --git a/systems/rke2-kubernetes.md b/systems/rke2-kubernetes.md index d7a9aea..43c3319 100644 --- a/systems/rke2-kubernetes.md +++ b/systems/rke2-kubernetes.md @@ -21,9 +21,13 @@ modified: "2026-10-19" | cp-01 | 10.0.30.51 | Control Plane | | cp-02 | 10.0.30.52 | Control Plane | | cp-03 | 10.0.30.53 | Control Plane | -| worker-01 | 10.0.30.63 | Worker | -| worker-04 | 10.0.30.64 | Worker | -| worker-05 | 10.0.30.65 | Worker (GPU renderD128 ✅ on ms-a2-2; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) | +| worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) | +| worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) | +| worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) | +| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) | +| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) | + +**8 Nodes, v1.35.6+rke2r1, alle auf Kernel 7.1.8+deb13-amd64 GEPINNT (aes256k/Cilium-Fenster, siehe ceph-cluster.md Known Issues + Solution Doc 2026-10-27).** ## Storage - **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec