Files
memory/systems/rke2-kubernetes.md
T
2026-11-01 22:00:25 +00:00

11 KiB

title, category, tags, created, modified
title category tags created modified
RKE2 Kubernetes Cluster systems
kubernetes
rke2
cilium
argocd
cnpg
gitops
2026-07-24 2026-10-19

RKE2 Kubernetes Cluster

Überblick

  • Version: v1.35.6-rke2r1
  • Nodes: 6 (3 CP + 3 Worker), alle schedulable (keine CP Taints)
  • CNI: Cilium (LB IP Pool)
  • ⚠️ Cilium-NP-Fallen (2026-10-19): (1) Selektion⇒Default-Deny je Richtung; (2) egress: [{}] erlaubt NICHTS (Null-Allow, kein Wildcard); (3) io.kubernetes.service.name ist KEIN Identity-Label → k8s-app + namespaceSelector nutzen; (4) VIP-Ingress kommt SNAT't als Identity world an → fromEntities [world, host, remote-node]. Alle 4 stumm (kein Warning) — nach jeder CNP-Änderung positiv+negativ verifizieren. Details: ~/docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md
  • **Ingress:**两层 Traefik (extern CT9999 + intern K8s) + Authelia SSO

Node IPs

Node IP Role
cp-01 10.0.30.51 Control Plane
cp-02 10.0.30.52 Control Plane
cp-03 10.0.30.53 Control Plane
worker-01 10.0.30.61 Worker (VM 128, proxmox5)
worker-02 10.0.30.62 Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.)
worker-03 10.0.30.63 Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.)
worker-04 10.0.30.64 Worker (VM 139, n5pro)
worker-05 10.0.30.65 Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010)

8 Nodes, v1.35.6+rke2r1, alle auf 6.12.113+deb13-amd64 (Stand 2026-10-31, Welle C abgeschlossen).

✅ CVE-2026-98432 geschlossen (31.10.) — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste) sind durch. Alle RKE2-Knoten rolling auf 6.12.113+deb13-amd64 (DSA-6568-1), jeweils per boot_id-Wechsel bewiesen, 7.x-Backports gepurged, GRUB_DEFAULT=0 überall, linux-image-amd64 auf allen 8 Nodes auf 6.12.113-1 gepinnt (sonst keine automatischen Kernel-Security-Updates!). SolDocs: 2026-10-31-cve-98432-wave-c-kernel-612113.md, 2026-10-30-cve-2026-98432-fleet-exposure.md. Pitfall: Metapaket linux-image-amd64 aus Backports zieht beim Purge des 7.x-Kernels 7.2.11 nach statt downzugraden → --allow-downgrades + Version pinnen, sonst verweist grub.cfg auf einen Kernel ohne /boot/vmlinuz-* (Boot-Risiko). SolDoc 2026-10-31-apt-backports-kernel-meta-trap.md.

✅ CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug. Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (libceph: secret too big 32), Tentacle 20.2.4 prägt ausschließlich aes256k (32 Byte); --key_type aes128/aes256/gcm wird abgelehnt, Legacy-aes ist per CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist architektonisch tot (crypto.c 6.12.107/113 identisch; aes256k erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse). Umgesetzt: 5 Volumes auf statische PVs mit mounter: fuse auf demselben Subvolume (pv-fuse-immich-library/-thumbs, pv-fuse-fleet-spool/-board/-build-src, alle Retain + Prune=false). Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs Retain!) → neues PV+PVC → App wieder hoch. Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods Running, Mount ceph-fuse on /data type fuse.ceph-fuse (rw), Schreibtest OK, Subvolume-bytes_used unverändert (400.283.771.738 B). Git: fbd65c4 (PVCs mit volumeName, PV-Manifeste unter clusters/main/{immich,fleet}/static-fuse-pvs.yaml), ArgoCD Synced/Healthy. Pitfalls: (1) spec.csi.volumeAttributes + spec.volumeName sind immutable — nur neue PV/PVC-Objekte helfen; (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren; (3) ArgoCD selfHeal der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss volumeName tragen, sonst Dauer-OutOfSync; (4) find /data über 400 GB via Fuse dauert >10 min (nicht im Vordergrund laufen lassen). SolDoc 2026-10-31-cephfs-aes256k-kernel-key-blocker.md.

✅ cp-02 etcd-Corruption (30.10.) REPARIERT — Symptom: handleHeartbeat-Panic, 62 Restarts, failed hash kv request (Rev 56385011, etcd 3.6.12). Ablauf: etcdctl member remove d238e162111d5865 auf cp-01 → auf cp-02 systemctl stop rke2-server, kein mv des Mountpoints (ext4 auf /dev/sdb, Device or resource busy), stattdessen Inhalte innerhalb des Mounts nach etcd/broken-20261030/ verschieben (member, name, config) → start rke2-server → Rejoin als Learner, neue Member-ID 16b9fcd7c4a32825. Verifiziert: 3/3 Member Started, kein Learner, alle 8 Nodes Ready. Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in broken-20261030/ (Aufräumen optional). Historie: cp-02 wurde schon am 03.10. so repariert (etcd.old vorhanden) — Wiederholungstäter-Knoten, bei Welle C zuerst beobachten.

Storage

  • Ceph CSI: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
  • ⚠️ StorageClass IaC (2026-09-29): ceph-flash + ceph-hdd-replica waren MANUELL erstellt (nicht in Git). Jetzt committed unter clusters/main/storage/. Alle RBD SCs MÜSSEN controller-expand-secret-name/namespace haben — fehlt dies, schlagen Volume Expansions fehl ("provided secret is empty") und triggern Retry-Loops die API Server überlasten.
  • ⚠️ PVs snapshotten SC-Parameter zur Provisionierungszeit — SC fixen reicht NICHT; bestehende PVs brauchen individuellen Patch mit controllerExpandSecretRef falls sie ohne erstellt wurden.
  • ⚠️ StorageClass parameters sind IMMUTABLE — können nicht gepatched werden, müssen gelöscht+neu erstellt werden.
  • ⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01): volumesnapshotclasses-CRD (RKE2-Addon rke2-snapshot-controller-crd) hat FLAT-Schema — driver/deletionPolicy/parameters auf TOP-LEVEL, spec: existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: ceph-rbd-snapclass (default) + cephfs-snapclass
  • CNPG PostgreSQL: postgres-main Cluster (3/3 Ready), RW Service postgres-main-rw.postgres.svc.cluster.local:5432; Specs 100Gi data / 20Gi WAL (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren)
  • ✅ etcd auf lokalem NVMe (migriert 2026-10-04) — Jede CP-VM hat jetzt eine zweite 10G Disk (scsi1, local-lvm) gemountet auf /var/lib/rancher/rke2/server/db/etcd. WAL fsync von ~20ms (Ceph RBD) auf ~5ms (NVMe) reduziert. gRPC DeadlineExceeded Cascade dauerhaft eliminiert. Monatlicher Defrag nicht mehr kritisch (aber harmlos). Vorheriges Problem: RBD-Netzwerklatenz → API Server Instabilität → Pod Churn. Siehe Solution Doc 2026-10-04-etcd-rbd-to-local-nvme.md.

GitOps

  • ArgoCD: SSH Deploy Keys (read-only) auf Gitea
  • Feed-Quelle (Stand 2026-09-17): http://10.0.30.105:3000/... = Legacy-CT108-Gitea (noch aktiv!). Geplanter Flip auf ssh://git@10.0.30.200:22/dominik/iac-homelab.git (end-to-end verifiziert), danach CT108-Stop (Freigabe Dominik)
  • Gitea SSH user is git, not gitea — SSH-LoadBalancer = 10.0.30.200:22 (svc gitea-ssh, targetPort 2222, NodePort 31441). Legacy-.202 ist TOD (Timeout). Repo-Historien am 2026-09-17 konsolidiert (identische Tips auf beiden Remotes, Merge d76d3e8 + 8c741c5)
  • Workflow: IaC repo auschecken → ändern → commit+push → ArgoCD sync → verify → lokale Kopie löschen
  • Siehe concepts/gitops-workflow

Backup

  • Velero v1.18.1 with --features=EnableCSI, S3 backend (noris cloud homelab-velero-backups)
  • VolumeSnapshotClass ceph-rbd-snapclass (rbd.csi.ceph.com, default)
  • Schedules: daily 01:00 UTC (30d TTL), weekly Sun 00:00 UTC (90d TTL)
  • CNPG Postgres: separate hourly backups via barmanObjectStore to S3 (30d retention)
  • All 24 PVCs (~430 GiB) now have off-site CSI snapshots
  • Helm pitfall: features: EnableCSI must be under configuration: in Velero Helm values (not top-level)

Deployed Workloads

Workload Namespace Notes
Paperless-ngx v3.0.0 paperless PostgreSQL (CNPG), enableServiceLinks: false
Gitea gitea git.schoen.codes
Loki Stack logging LB 10.0.30.207:3100
Hindsight hindsight LB 10.0.30.201:9177
Authelia authelia SSO, Galera backend
HolmesGPT holmes SRE Bot
Traefik traefik Ingress Controller
CNPG postgres PostgreSQL HA

GPU

  • worker-04: renderD128 ✅ (AMD GPU Passthrough, rombar=1, on n5pro)
  • worker-05: renderD128 ✅ (AMD GPU Passthrough, rombar=1, on ms-a2-2)
  • IaC: unified amd-gpu PCI mapping (n5pro + ms-a2-1 + ms-a2-2) + dynamic hostpci (one worker block, gpu flag)
  • ms-a2-1 has kernel BUG with 1002:13c0 (renderD128 missing) — worker-05 moved to ms-a2-2 (identical hardware)

Capacity Management

  • Descheduler v0.30.0 deployed als ArgoCD-App (clusters/main/descheduler/manifests.yaml)
    • Plugin: LowNodeUtilization (thresholds 30/50/20, targetThresholds 70/70/60)
    • Interval: 2m (--descheduling-interval=2m)
    • nodeFit: true auf Profile-Ebene (nicht Plugin-Ebene — v0.30 Schema!)
    • RBAC: benötigt list/watch auf namespaces (fehlt in Default-Helm-Chart)
    • Raw Manifests statt Helm Chart (Chart 0.30 hat params/args-Bug, Chart 0.35 hat falsche API-Version)
    • Siehe Solution Doc 2026-09-30-k8s-cp01-relief-descheduler.md
  • CP-01 Relief (2026-09-30): hindsight-api + hindsight-postgres + paperless von cp-01 → worker-05 migriert
    • cp-01 RAM: 93% → 43%; worker-05 bei ~28%
    • ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren
    • Live-only nodeSelector (hindsight-api, Sep-17-Hotfix) war nie in Git → Live-Patch nötig

Known Pitfalls

  • enableServiceLinks: false bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless PAPERLESS_PORT)
  • ArgoCD --force kann nicht mit ServerSideApply kombiniert werden
  • 1 NotReady-Node blockiert die ganze Sync-Welle: ArgoCD (2.14) bewertet ein DaemonSet erst ab numberReady == desiredNumberScheduled als Healthy → App bleibt ewig OutOfSync/Progressing, kein Rollout. Fix: resource.customizations.health.apps_DaemonSet in argocd-cm, enge Toleranz (nur fleet/fleet-agent-image-prepuller, genau 1 fehlender Node, ab 2 wieder Progressing); dauerhaft in epic-2-k8s/helm/argocd/values.yaml → configs.cm (Commit 3b79a80). hard refresh und kubectl set image entblocken NICHT. SolDoc bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md
  • CoreDNS: hosts configBlock nicht params
  • etcd Defrag monatlich (CronJob)
  • rke2-cluster-administration (devops)