Files
memory/systems/proxmox-cluster.md
T

15 KiB
Raw Blame History

title, category, tags, created, modified
title category tags created modified
Proxmox VE Cluster systems
proxmox
virtualization
lxc
qemu
pve
2026-04-28 2026-10-30

Proxmox VE Cluster

PVE API-Tokens (Stand 2026-10-10)

Token 1P-Item (Vault „Proxmox") Zweck
root@pam!hermes „PVE API Token hermes" Hermes-Agent-Skripte, Notfallbuch-Generator (notfallbuch/scripts/proxmox.env, Refresh via refresh_proxmox_env.sh)
root@pam!tofu „PVE API Token tofu" IaC/Tofu/CI (iac-homelab epic-7 destroy.env, CI-Presets; Commit eb039b2)
root@pam!tofu3 — (nur PVE) „temp for rebuild"
root@pam!openclaw-readonly — (nur PVE) Read-only, PVEAuditor auf /
api@pam!homepage-status, exporter@pve!monitoring — (nur PVE) Widgets/Monitoring

⚠️ Pitfall: 1P-Item proxmox_root → Feld „Anmeldedaten" ist das Root-Passwort, KEIN API-Token (ergibt 401 als PROXMOX_VE_API_TOKEN). Endpoint ist kein Secret: https://10.0.20.30:8006 (proxmox3) hart codieren. proxmox1/10.0.20.10 existiert nicht mehr.

Cluster-Konfiguration

  • Version: PVE 9.2.20, Kernel 7.0.14-26-pve auf allen 8 Nodes (rolling 2026-10-30)
  • Nodes: 8 (Quorum OK, proxmox2 dauerhaft entfernt)
  • Hypervisoren: 10.0.20.x
  • Guests: ~30 LXC + ~10 QEMU VMs

Storage

  • vm_disks: Primärer Storage für alle VMs/CTs (SSD). Konvention (Chef-Vorgabe): Disk-Definitionen in vm_disks pflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren).
  • hdd_templates: CT Templates
  • Ceph RBD: ceph-flash, ceph-hdd Pools (über K8s CSI)

Netzwerk

Wake-on-LAN (eingerichtet 2026-10-30)

MACs liegen clustergespeichert in /etc/pve/nodes/<node>/config als wakeonlan:-Key. Gesetzt mit pvesh set /nodes/<node>/config --wakeonlan <MAC> (funktioniert auch für offline Nodes, weil pmxcfs geteilt ist). Wecken: pvenode wakeonlan <node> → Ausgabe Wake on LAN packet send for '<mac>'.

Node IP MAC (vmbr0 = bond0 = physisches NIC) Wake-on
proxmox4 10.0.20.40 e4:b9:7a:f5:cc:67 g
proxmox5 10.0.20.50 e4:b9:7a:f5:d9:6f g
proxmox6 10.0.20.60 e4:b9:7a:f3:15:85 g
proxmox7 10.0.20.70 e4:b9:7a:f5:cb:7e g
n5pro 10.0.20.91 38:05:25:37:8e:08 g
ms-a2-1 10.0.20.92 38:05:25:39:39:44 g
ms-a2-2 10.0.20.93 38:05:25:39:3c:a4 g
proxmox3 10.0.20.30 e4:b9:7a:f5:db:ce g

Aktivierung + Persistenz: ethtool -s <nic> wol g, dauerhaft über systemd-Unit wol-enable.service (oneshot, RemainAfterExit=yes, ExecStart=/usr/sbin/ethtool -s <nic> wol g) auf allen 7 Nodes. NIC-Namen: enp1s0 (proxmox4–7), nic0 (n5pro), nic1 (ms-a2-1/2). bond0 selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.

Grenzen: WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert nicht — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.

proxmox3 (2026-10-30, 20:5x): MAC nachgetragen, wol-enable.service aktiv. Alle 8 Nodes vollständig.

⚠️ proxmox3-Instabilität: Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, osd.13 down. Gegenmaßnahme: onboot: 0 für VM102/VM112 in /etc/pve/nodes/proxmox3/qemu-server/ (Backups .bak-20261030) — verhindert Auto-Start beim Boot; offene Diagnose über journalctl -b -1 sobald der Node wieder erreichbar ist.

Fluent Bit (Logging)

  • Alle 9 Hosts haben Fluent Bit aktiv
  • Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
  • PVE Tasks (/var/log/pve/tasks/index): UPID-Format (Node, PID, Task-Type, VMID, User, Status)
  • Ceph Audit (/var/log/ceph/ceph.audit.log): OSD/Pool/RBD Operationen
  • Output → Loki (10.0.30.207:3100)
  • Siehe systems/loki-fluentbit

Wichtige Befehle

pvecm status          # Cluster-Quorum
pct status <vmid>     # Container-Status
pct start/stop <vmid> # Container starten/stoppen
qm status <vmid>      # VM-Status
pvesh get /cluster/resources --type vm  # Alle VMs/CTs

SSH-Zugriff

GPU Passthrough (AMD 1002:13c0)

  • ms-a2-1 (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe Solution Doc
  • ms-a2-2 (10.0.20.93): Funktioniert seit Initialisierung
  • Benötigte modprobe.d Config:
    • blacklist amdgpu + blacklist drm + blacklist drm_kms_helper
    • options vfio-pci ids=1002:13c0 + softdep amdgpu pre: vfio-pci
  • Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 — hostpci0: 0000:01:00.0,pcie=1,rombar=1 (OHNE x-vga!) → renderD128 verifiziert. Kritische Lehre: x-vga=1 bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless- Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinity na-vm102 existiert live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.

Bekannte Probleme

  • CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC: Alle 8 Nodes rolling auf 7.0.14-26-pve (Fix ab 7.0.14-25), 8/8 quorate, kein reboot-required. Damit auch alle 29 LXC inkl. Internet-Edge CT99999 abgesichert; PwnEscape (CVE-2026-99999) mit gleichem Update erledigt. SolDoc 2026-10-30-cve-2026-98432-fleet-exposure.md (Welle A+B).
  • osd-keyring-preSTART (30.10. verifiziert): ceph-osd-prestart.sh reaktiviert bei JEDEM Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation handle_auth_bad_method. Fix: ~/workspace/ceph-osd-keyring-sync.sh + systemd-Drop-in auf allen 8 Nodes + .100. Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird: dann ceph-volume lvm activate --bluestore <id> <fsid>. 30.10. so osd.10/osd.18 gerettet.
  • CT110 kaputte libc — Reparatur ausstehend (still stopped)
  • osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
  • osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
  • proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.): VM301 (Galera db2, 8G) am 30.09. via ha-manager relocate vm:301 proxmox7 migriert (na-vm301 = 5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM, Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151 Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppe pressure_alerts, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2).
  • Reboot 10.10. (p6+p7): osd.7/osd.10 stale-Keyring-Crashloop (PAT-016), gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5, VM310→p4 wurde nach Reboot per ha-manager migrate retour auf p7 gebracht (known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117 (leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert (workspace/ct117-decommission/117.conf.archived), pct destroy 117 --purge, verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean.
  • PMXCFS-Modell (10.10.): Gast-Configs liegen NUR auf dem Owner-Node und wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.

HA Rules (PVE 9.2 Rules System)

Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity. Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.

Resource-Affinity (negative = anti-collocation):

RKE2 Control Plane (etcd-Quorum braucht 2/3):

  • rke2-cp-anti-112-122: vm:112 ↔ vm:122 — nie auf gleichem Host
  • rke2-cp-anti-112-126: vm:112 ↔ vm:126 — nie auf gleichem Host
  • rke2-cp-anti-122-126: vm:122 ↔ vm:126 — nie auf gleichem Host

RKE2 Worker:

  • rke2-worker-anti-102-128: vm:102 ↔ vm:128 — nie auf gleichem Host
  • rke2-worker-anti-102-139: vm:102 ↔ vm:139 — nie auf gleichem Host
  • rke2-worker-anti-128-139: vm:128 ↔ vm:139 — nie auf gleichem Host

Galera:

  • galera-anti-300-301: vm:300 ↔ vm:301 — nie auf gleichem Host
  • galera-anti-300-302: vm:300 ↔ vm:302 — nie auf gleichem Host
  • galera-anti-301-302: vm:301 ↔ vm:302 — nie auf gleichem Host

MaxScale:

  • maxscale-anti-310-311: vm:310 ↔ vm:311 — nie auf gleichem Host

Node-Affinity (non-strict, failover allowed):

RKE2 CP:

  • na-vm112: vm:112 → proxmox3, proxmox5, proxmox7
  • na-vm122: vm:122 → ms-a2-1, ms-a2-2
  • na-vm126: vm:126 → proxmox4, proxmox5, proxmox6

RKE2 Worker:

  • na-vm102: vm:102 → proxmox5, proxmox6, proxmox7 (NICHT ms-a2-2!)
  • na-vm128: vm:128 → ms-a2-2, proxmox5, proxmox7
  • na-vm139: vm:139 → n5pro, proxmox3, proxmox4

Hermes:

  • na-vm230: vm:230 → n5pro, proxmox5, proxmox6

Galera/MaxScale:

  • na-vm300: vm:300 → n5pro, proxmox3, proxmox4
  • na-vm301: vm:301 → proxmox6, proxmox5, proxmox7
  • na-vm302: vm:302 → ms-a2-2, ms-a2-1
  • na-vm310: vm:310 → proxmox7, proxmox5, proxmox4
  • na-vm311: vm:311 → ms-a2-1, ms-a2-2

Aktuelle Verteilung (alle Anti-Collocation erfüllt):

Role VM Node
RKE2 CP-01 112 proxmox3
RKE2 CP-02 122 ms-a2-1
RKE2 CP-03 126 proxmox4
RKE2 Worker-01 128 proxmox5
RKE2 Worker-04 139 n5pro
RKE2 Worker-05 102 ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2)
Hermes-Agent-01 230 n5pro
Galera db1 300 n5pro
Galera db2 301 proxmox7 (seit 30.09. relocate; vorher proxmox6)
Galera db3 302 ms-a2-2
MaxScale-01 310 proxmox7
MaxScale-02 311 ms-a2-1

⚠️ PVE 9.2 Constraints:

  • Resources in resource-affinity rules dürfen keine multi-priority node-affinity haben (gleiche Priorität für alle Nodes erforderlich).
  • ha-manager add MUSS vor ha-manager rules add kommen — sonst "cannot use unmanaged resource".
  • Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf migrate fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
  • Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann broken pipe fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.

Bekannte Probleme

  • Symptom: Node bootet, ist 2–5 min erreichbar, dann r8169 enp1s0: Link is Down ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT No route to host, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
  • Verwechslungsgefahr: Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren Power-Taster-Kurzdruck (systemd-logind: Power key pressed short. → Powering off...), weil der Node unerreichbar wirkte.
  • Beleg im Journal: journalctl -k -b -1 | grep 'Link is ' — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
  • Ursache (These): LnkCtl: ASPM L1 Enabled an Bridge 00:1c.0 und NIC 01:00.0 (Realtek RTL8168h, PCIe x1) + Kernelwechsel 7.0.14-19 → 7.0.14-26-pve bei Welle B. Andere Nodes laufen -26 stabil, haben aber andere NICs.
  • ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):
    • pcie_aspm=off in der Cmdline ist gesetzt (/etc/default/grub, Backup grub.bak-20261030), aber wirkungslos: Kernel meldet ACPI FADT declares the system doesn't support PCIe ASPM, so disable it → /sys/module/pcie_aspm/parameters/policy bleibt [default] und nicht schreibbar (WRITE_FAIL).
    • Der L1-Bit ist firmware-/BIOS-gesetzt und wird vom Kernel nicht angefasst (bleibt ASPM L1 Enabled).
    • setpci -s 00:1c.0 CAP_EXP+10.w schlägt fehl: Lockdown: setpci: direct PCI access is restricted — Ursache ist Secure Boot (mokutil: SecureBoot enabled, Lockdown-Policy integrity), nicht fehlende Rechte.
    • ⇒ ASPM lässt sich nur im BIOS abschalten (PCIe ASPM Support = Disabled), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
    • EEE ist als Ursache ausgeschlossen (EEE status: not supported), PCI-Runtime-PM ebenfalls (power/control=on, active).
  • Gegenmaßnahme (aktiv, v2 seit 2026-10-31): /usr/local/sbin/nic-watchdog.sh + nic-watchdog.timer (alle 15 s). Log: /var/log/nic-watchdog.log.
    • v1 war blind (Vorfall 2026-10-31): v1 las cat /sys/class/net/enp1s0/carrier || echo 1 — ist das Interface administrativ down, liefert die Datei Invalid argument, und || echo 1 machte daraus „gesund". Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUT No route to host). Zusätzlich: modprobe -r r8169 hätte die Bond-Mitgliedschaft zerstört.
    • v2 (deployed + getestet 2026-10-31): unterscheidet carrier=1 / carrier=0 / carrier=-1 (unlesbar = admin-down) und prüft zusätzlich IFF_UP (Flags-Bit 0x1) und ob vmbr1 die MGMT-IP 10.0.20.30 trägt. Handelt in allen drei Fällen: up → down/up + ethtool -r → ifreload -a (Bond/Bridge/VLAN idempotent nachziehen). Kein modprobe mehr. flock gegen Parallel-Läufe. Backup: nic-watchdog.sh.v1-bak.
    • Test-Methode (risikofrei): Dummy-Interface nictst0, IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1 — gesund ⇒ kein Log; ip link set nictst0 down ⇒ v2 loggt admin=down carrier=-1 und bringt es hoch. Kein Live-Test an enp1s0 (siehe Lehre unten).
  • Lehre (2026-10-31): Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node nicht risikoarm. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
  • Merke: qm start 102 auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.