Files
memory/systems/rke2-kubernetes.md
T
2026-11-02 22:00:24 +00:00

148 lines
12 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: RKE2 Kubernetes Cluster
category: systems
tags: [kubernetes, rke2, cilium, argocd, cnpg, gitops]
created: "2026-07-24"
modified: "2026-10-19"
---
# RKE2 Kubernetes Cluster
## Überblick
- **Version:** v1.35.6-rke2r1
- **Nodes:** 6 (3 CP + 3 Worker), alle schedulable (keine CP Taints)
- **CNI:** Cilium (LB IP Pool)
- **⚠️ Cilium-NP-Fallen (2026-10-19):** (1) Selektion⇒Default-Deny je Richtung; (2) `egress: [{}]` erlaubt NICHTS (Null-Allow, kein Wildcard); (3) `io.kubernetes.service.name` ist KEIN Identity-Label → `k8s-app` + namespaceSelector nutzen; (4) VIP-Ingress kommt SNAT't als Identity `world` an → fromEntities [world, host, remote-node]. Alle 4 stumm (kein Warning) — nach jeder CNP-Änderung positiv+negativ verifizieren. Details: `~/docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
- **Ingress:**两层 Traefik (extern CT9999 + intern K8s) + Authelia SSO
## Node IPs
| Node | IP | Role |
|------|----|------|
| cp-01 | 10.0.30.51 | Control Plane |
| cp-02 | 10.0.30.52 | Control Plane |
| cp-03 | 10.0.30.53 | Control Plane |
| worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) |
| worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) |
| worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) |
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
**8 Nodes, v1.35.6+rke2r1, alle auf `6.12.113+deb13-amd64` (Stand 2026-10-31, Welle C abgeschlossen).**
> ✅ **CVE-2026-98432 geschlossen (31.10.)** — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste)
> sind durch. Alle RKE2-Knoten rolling auf `6.12.113+deb13-amd64` (DSA-6568-1), jeweils per `boot_id`-Wechsel
> bewiesen, 7.x-Backports gepurged, `GRUB_DEFAULT=0` überall, `linux-image-amd64` auf **allen 8** Nodes auf
> `6.12.113-1` gepinnt (sonst keine automatischen Kernel-Security-Updates!).
> SolDocs: `2026-10-31-cve-98432-wave-c-kernel-612113.md`, `2026-10-30-cve-2026-98432-fleet-exposure.md`.
> **Pitfall:** Metapaket `linux-image-amd64` aus Backports zieht beim Purge des 7.x-Kernels **7.2.11 nach** statt
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
> ⚠️ **worker-05 (VM102) war 01.–02.11. offline — `onboot: 0`, nicht CVE und kein Crash.** ms-a2-2 bootete am
> 01.11. 11:31 (Folge des 30.10.-Crashes); die VM hatte **keinen** `qmshutdown`-Task, sie fehlte nur in der
> Autostart-Liste. `qm start 102` (ms-a2-2 = 10.0.20.93) → 6 min später `Ready`, Kernel `6.12.113+deb13`,
> GPU-Passthrough `0000:01:00.0` (AMD Granite Ridge, amdgpu, `/dev/dri/renderD128`) ok, 13 Pods laufen.
> `qemu-guest-agent` war im Gast **nicht installiert** → PVE zeigte dauerhaft `agent: down` bei völlig gesundem
> Gast; nachinstalliert (static unit, `/etc/rc2.d/S01`), `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO)** —
> sonst fehlt die GPU-Kapazität nach jedem ms-a2-2-Reboot still im Cluster.
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
> CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist **architektonisch** tot (`crypto.c` 6.12.107/113 identisch;
> `aes256k` erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse).
> **Umgesetzt:** 5 Volumes auf **statische PVs mit `mounter: fuse`** auf demselben Subvolume
> (`pv-fuse-immich-library/-thumbs`, `pv-fuse-fleet-spool/-board/-build-src`, alle `Retain` + `Prune=false`).
> Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs `Retain`!) → neues PV+PVC → App wieder hoch.
> Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods `Running`, Mount `ceph-fuse on /data type fuse.ceph-fuse (rw)`,
> Schreibtest OK, Subvolume-`bytes_used` unverändert (400.283.771.738 B). Git: `fbd65c4` (PVCs mit `volumeName`,
> PV-Manifeste unter `clusters/main/{immich,fleet}/static-fuse-pvs.yaml`), ArgoCD `Synced/Healthy`.
> **Pitfalls:** (1) `spec.csi.volumeAttributes` + `spec.volumeName` sind immutable — nur neue PV/PVC-Objekte helfen;
> (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren;
> (3) ArgoCD `selfHeal` der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss
> `volumeName` tragen, sonst Dauer-OutOfSync; (4) `find /data` über 400 GB via Fuse dauert >10 min (nicht im
> Vordergrund laufen lassen). SolDoc `2026-10-31-cephfs-aes256k-kernel-key-blocker.md`.
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`
> auf cp-01 → auf cp-02 `systemctl stop rke2-server`, **kein** `mv` des Mountpoints (ext4 auf `/dev/sdb`,
> `Device or resource busy`), stattdessen Inhalte innerhalb des Mounts nach `etcd/broken-20261030/`
> verschieben (member, name, config) → `start rke2-server` → Rejoin als Learner, neue Member-ID
> `16b9fcd7c4a32825`. **Verifiziert:** 3/3 Member Started, kein Learner, alle 8 Nodes Ready.
> Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in `broken-20261030/` (Aufräumen optional).
> Historie: cp-02 wurde schon am 03.10. so repariert (`etcd.old` vorhanden) — Wiederholungstäter-Knoten,
> bei Welle C zuerst beobachten.
## Storage
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
- **⚠️ StorageClass IaC (2026-09-29):** `ceph-flash` + `ceph-hdd-replica` waren MANUELL erstellt (nicht in Git). Jetzt committed unter `clusters/main/storage/`. Alle RBD SCs MÜSSEN `controller-expand-secret-name/namespace` haben — fehlt dies, schlagen Volume Expansions fehl ("provided secret is empty") und triggern Retry-Loops die API Server überlasten.
- **⚠️ PVs snapshotten SC-Parameter zur Provisionierungszeit** — SC fixen reicht NICHT; bestehende PVs brauchen individuellen Patch mit `controllerExpandSecretRef` falls sie ohne erstellt wurden.
- **⚠️ StorageClass `parameters` sind IMMUTABLE** — können nicht gepatched werden, müssen gelöscht+neu erstellt werden.
- **⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01):** `volumesnapshotclasses`-CRD (RKE2-Addon `rke2-snapshot-controller-crd`) hat **FLAT-Schema** — `driver`/`deletionPolicy`/`parameters` auf TOP-LEVEL, `spec:` existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: `ceph-rbd-snapclass` (default) + `cephfs-snapclass`
- **CNPG PostgreSQL**: `postgres-main` Cluster (3/3 Ready), RW Service `postgres-main-rw.postgres.svc.cluster.local:5432`; Specs **100Gi data / 20Gi WAL** (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren)
- **✅ etcd auf lokalem NVMe (migriert 2026-10-04)** — Jede CP-VM hat jetzt eine zweite 10G Disk (`scsi1`, `local-lvm`) gemountet auf `/var/lib/rancher/rke2/server/db/etcd`. WAL fsync von ~20ms (Ceph RBD) auf ~5ms (NVMe) reduziert. gRPC DeadlineExceeded Cascade dauerhaft eliminiert. Monatlicher Defrag nicht mehr kritisch (aber harmlos). Vorheriges Problem: RBD-Netzwerklatenz → API Server Instabilität → Pod Churn. Siehe Solution Doc `2026-10-04-etcd-rbd-to-local-nvme.md`.
## GitOps
- **ArgoCD**: SSH Deploy Keys (read-only) auf Gitea
- **Feed-Quelle (Stand 2026-09-17):** `http://10.0.30.105:3000/...` = Legacy-CT108-Gitea (noch aktiv!). Geplanter Flip auf `ssh://git@10.0.30.200:22/dominik/iac-homelab.git` (end-to-end verifiziert), danach CT108-Stop (Freigabe Dominik)
- **Gitea SSH user is `git`, not `gitea`** — SSH-LoadBalancer = **10.0.30.200:22** (svc gitea-ssh, targetPort 2222, NodePort 31441). Legacy-.202 ist TOD (Timeout). Repo-Historien am 2026-09-17 konsolidiert (identische Tips auf beiden Remotes, Merge `d76d3e8` + `8c741c5`)
- Workflow: IaC repo auschecken → ändern → commit+push → ArgoCD sync → verify → lokale Kopie löschen
- Siehe [[concepts/gitops-workflow]]
## Backup
- **Velero** v1.18.1 with `--features=EnableCSI`, S3 backend (noris cloud `homelab-velero-backups`)
- **VolumeSnapshotClass** `ceph-rbd-snapclass` (rbd.csi.ceph.com, default)
- Schedules: daily 01:00 UTC (30d TTL), weekly Sun 00:00 UTC (90d TTL)
- **CNPG Postgres**: separate hourly backups via barmanObjectStore to S3 (30d retention)
- All 24 PVCs (~430 GiB) now have off-site CSI snapshots
- **Helm pitfall**: `features: EnableCSI` must be under `configuration:` in Velero Helm values (not top-level)
## Deployed Workloads
| Workload | Namespace | Notes |
|----------|-----------|-------|
| Paperless-ngx v3.0.0 | paperless | PostgreSQL (CNPG), `enableServiceLinks: false` |
| Gitea | gitea | git.schoen.codes |
| Loki Stack | logging | LB 10.0.30.207:3100 |
| Hindsight | hindsight | LB 10.0.30.201:9177 |
| Authelia | authelia | SSO, Galera backend |
| HolmesGPT | holmes | SRE Bot |
| Traefik | traefik | Ingress Controller |
| CNPG | postgres | PostgreSQL HA |
## GPU
- worker-04: renderD128 ✅ (AMD GPU Passthrough, rombar=1, on n5pro)
- worker-05: renderD128 ✅ (AMD GPU Passthrough, rombar=1, on ms-a2-2)
- IaC: unified `amd-gpu` PCI mapping (n5pro + ms-a2-1 + ms-a2-2) + dynamic hostpci (one worker block, gpu flag)
- ms-a2-1 has kernel BUG with 1002:13c0 (renderD128 missing) — worker-05 moved to ms-a2-2 (identical hardware)
## Capacity Management
- **Descheduler** v0.30.0 deployed als ArgoCD-App (`clusters/main/descheduler/manifests.yaml`)
- Plugin: `LowNodeUtilization` (thresholds 30/50/20, targetThresholds 70/70/60)
- Interval: 2m (`--descheduling-interval=2m`)
- `nodeFit: true` auf Profile-Ebene (nicht Plugin-Ebene — v0.30 Schema!)
- RBAC: benötigt `list/watch` auf `namespaces` (fehlt in Default-Helm-Chart)
- Raw Manifests statt Helm Chart (Chart 0.30 hat params/args-Bug, Chart 0.35 hat falsche API-Version)
- Siehe Solution Doc `2026-09-30-k8s-cp01-relief-descheduler.md`
- **CP-01 Relief (2026-09-30):** hindsight-api + hindsight-postgres + paperless von cp-01 → worker-05 migriert
- cp-01 RAM: 93% → 43%; worker-05 bei ~28%
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren
- Live-only nodeSelector (hindsight-api, Sep-17-Hotfix) war nie in Git → Live-Patch nötig
## Known Pitfalls
- `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`)
- ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden
- **1 NotReady-Node blockiert die ganze Sync-Welle:** ArgoCD (2.14) bewertet ein DaemonSet erst ab `numberReady == desiredNumberScheduled` als Healthy → App bleibt ewig `OutOfSync`/`Progressing`, kein Rollout. Fix: `resource.customizations.health.apps_DaemonSet` in `argocd-cm`, enge Toleranz (nur `fleet/fleet-agent-image-prepuller`, genau 1 fehlender Node, ab 2 wieder `Progressing`); dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`). `hard refresh` und `kubectl set image` entblocken NICHT. SolDoc `bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md`
- CoreDNS: `hosts` configBlock nicht params
- etcd Defrag monatlich (CronJob)
## Related Skills
- `rke2-cluster-administration` (devops)
## Related
- [[systems/ceph-cluster]]
- [[systems/gitea]]
- [[systems/hindsight]]
- [[systems/loki-fluentbit]]
- [[concepts/gitops-workflow]]
- [[reference/ip-map]]