18 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | |||||
|---|---|---|---|---|---|---|---|---|---|
| Proxmox VE Cluster | systems |
|
2026-04-28 | 2026-10-30 |
Proxmox VE Cluster
PVE API-Tokens (Stand 2026-10-10)
| Token | 1P-Item (Vault „Proxmox") | Zweck |
|---|---|---|
root@pam!hermes |
„PVE API Token hermes" | Hermes-Agent-Skripte, Notfallbuch-Generator (notfallbuch/scripts/proxmox.env, Refresh via refresh_proxmox_env.sh) |
root@pam!tofu |
„PVE API Token tofu" | IaC/Tofu/CI (iac-homelab epic-7 destroy.env, CI-Presets; Commit eb039b2) |
root@pam!tofu3 |
— (nur PVE) | „temp for rebuild" |
root@pam!openclaw-readonly |
— (nur PVE) | Read-only, PVEAuditor auf / |
api@pam!homepage-status, exporter@pve!monitoring |
— (nur PVE) | Widgets/Monitoring |
⚠️ Pitfall: 1P-Item proxmox_root → Feld „Anmeldedaten" ist das Root-Passwort, KEIN API-Token (ergibt 401 als PROXMOX_VE_API_TOKEN). Endpoint ist kein Secret: https://10.0.20.30:8006 (proxmox3) hart codieren. proxmox1/10.0.20.10 existiert nicht mehr.
Cluster-Konfiguration
- Version: PVE 9.2.20, Kernel 7.0.14-26-pve auf allen 8 Nodes (rolling 2026-10-30)
- Nodes: 8 (Quorum OK, proxmox2 dauerhaft entfernt)
- Hypervisoren: 10.0.20.x
- Guests: ~30 LXC + ~10 QEMU VMs
Storage
- vm_disks: Primärer Storage für alle VMs/CTs (SSD). Konvention (Chef-Vorgabe): Disk-Definitionen in
vm_diskspflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren). - hdd_templates: CT Templates
- Ceph RBD: ceph-flash, ceph-hdd Pools (über K8s CSI)
Backup-Storage (Stand 2026-11-15)
noris_v4(PBS CT119 auf proxmox7, Datastorenoris) = Primary; nächtlicher vzdump 23:00.noris_offsite= PBSpbs-remoteauf OpenStack-VM 213.95.54.60 (Datastoreoffsite), gespeist per Push-Syncpush-offsitevon CT119 täglich 03:00 (transfer-last 3,remove-vanished).- Kapazität Offsite: Cinder-Volume
pbs-dataist 980 GiB (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf 1 % gesenkt. Stand 15.11.: 747 GiB belegt → ~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat). Quota-Erhöhung bei noris ist der nächste Schritt (Ziel 2–3 TiB). - Volumes lassen sich nicht über PVE vergrößern:
openstack volume set --size N(Microversion ≥ 3.42 für in-use) →rescan+resize2fsim Gast. Details:docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md, Pattern PAT-020.
Netzwerk
- VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe concepts/network-architecture
Wake-on-LAN (eingerichtet 2026-10-30)
MACs liegen clustergespeichert in /etc/pve/nodes/<node>/config als wakeonlan:-Key.
Gesetzt mit pvesh set /nodes/<node>/config --wakeonlan <MAC> (funktioniert auch für offline Nodes, weil pmxcfs geteilt ist).
Wecken: pvenode wakeonlan <node> → Ausgabe Wake on LAN packet send for '<mac>'.
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | Wake-on |
|---|---|---|---|
| proxmox4 | 10.0.20.40 | e4:b9:7a:f5:cc:67 |
g |
| proxmox5 | 10.0.20.50 | e4:b9:7a:f5:d9:6f |
g |
| proxmox6 | 10.0.20.60 | e4:b9:7a:f3:15:85 |
g |
| proxmox7 | 10.0.20.70 | e4:b9:7a:f5:cb:7e |
g |
| n5pro | 10.0.20.91 | 38:05:25:37:8e:08 |
g |
| ms-a2-1 | 10.0.20.92 | 38:05:25:39:39:44 |
g |
| ms-a2-2 | 10.0.20.93 | 38:05:25:39:3c:a4 |
g |
| proxmox3 | 10.0.20.30 | e4:b9:7a:f5:db:ce |
g |
Aktivierung + Persistenz: ethtool -s <nic> wol g, dauerhaft über systemd-Unit wol-enable.service (oneshot, RemainAfterExit=yes, ExecStart=/usr/sbin/ethtool -s <nic> wol g) auf allen 7 Nodes.
NIC-Namen: enp1s0 (proxmox4–7), nic0 (n5pro), nic1 (ms-a2-1/2). bond0 selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
Grenzen: WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert nicht — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
proxmox3 (2026-10-30, 20:5x): MAC nachgetragen, wol-enable.service aktiv. Alle 8 Nodes vollständig.
⚠️ proxmox3-Instabilität: Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, osd.13 down. Gegenmaßnahme: onboot: 0 für VM102/VM112 in /etc/pve/nodes/proxmox3/qemu-server/ (Backups .bak-20261030) — verhindert Auto-Start beim Boot; offene Diagnose über journalctl -b -1 sobald der Node wieder erreichbar ist.
Fluent Bit (Logging)
- Alle 9 Hosts haben Fluent Bit aktiv
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
- PVE Tasks (
/var/log/pve/tasks/index): UPID-Format (Node, PID, Task-Type, VMID, User, Status) - Ceph Audit (
/var/log/ceph/ceph.audit.log): OSD/Pool/RBD Operationen - Output → Loki (10.0.30.207:3100)
- Siehe systems/loki-fluentbit
Wichtige Befehle
pvecm status # Cluster-Quorum
pct status <vmid> # Container-Status
pct start/stop <vmid> # Container starten/stoppen
qm status <vmid> # VM-Status
pvesh get /cluster/resources --type vm # Alle VMs/CTs
SSH-Zugriff
- Key:
id_ed25519_proxmox(funktioniert für 10.0.20.x Hosts) - Siehe reference/ssh-keys
GPU Passthrough (AMD 1002:13c0)
- ms-a2-1 (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe Solution Doc
- ms-a2-2 (10.0.20.93): Funktioniert seit Initialisierung
- Benötigte modprobe.d Config:
blacklist amdgpu+blacklist drm+blacklist drm_kms_helperoptions vfio-pci ids=1002:13c0+softdep amdgpu pre: vfio-pci
- Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 —
hostpci0: 0000:01:00.0,pcie=1,rombar=1(OHNE x-vga!) → renderD128 verifiziert. Kritische Lehre:x-vga=1bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless- Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinityna-vm102existiert live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
Bekannte Probleme
- CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:
Alle 8 Nodes rolling auf 7.0.14-26-pve (Fix ab 7.0.14-25), 8/8 quorate, kein
reboot-required. Damit auch alle 29 LXC inkl. Internet-Edge CT99999 abgesichert; PwnEscape (CVE-2026-99999) mit gleichem Update erledigt. SolDoc2026-10-30-cve-2026-98432-fleet-exposure.md(Welle A+B). - osd-keyring-preSTART (30.10. verifiziert):
ceph-osd-prestart.shreaktiviert bei JEDEM Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotationhandle_auth_bad_method. Fix:~/workspace/ceph-osd-keyring-sync.sh+ systemd-Drop-in auf allen 8 Nodes + .100. Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird: dannceph-volume lvm activate --bluestore <id> <fsid>. 30.10. so osd.10/osd.18 gerettet. - CT110 kaputte libc — Reparatur ausstehend (still stopped)
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
- proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.): VM301 (Galera db2,
8G) am 30.09. via
ha-manager relocate vm:301 proxmox7migriert (na-vm301 = 5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM, Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151 Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppepressure_alerts, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2). - Reboot 10.10. (p6+p7): osd.7/osd.10 stale-Keyring-Crashloop (PAT-016),
gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim
vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5,
VM310→p4 wurde nach Reboot per
ha-manager migrateretour auf p7 gebracht (known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117 (leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert (workspace/ct117-decommission/117.conf.archived),pct destroy 117 --purge, verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean. - PMXCFS-Modell (10.10.): Gast-Configs liegen NUR auf dem Owner-Node und wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.
HA Rules (PVE 9.2 Rules System)
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity. Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
✅ HA-Reaktivierung abgeschlossen (31.10., ~15:05): Clusterweit
pve-ha-lrm+pve-ha-crmre-enabled und gestartet (8/8 Nodes). CRM-Master proxmox3, fencing armed. Alle 10 HA-Gästestarted(ct:127, vm:106/122/128/139/230/301/302/310/311);vm:128(worker-01) nachgetragen mitmax_relocate=3/max_restart=2(war beim CRM-Stop imdeleting-Zustand hängengeblieben — CRM hat den Löschvorgang beim Start sauber abgeschlossen). Derfreeze-Status imha-manager statuswar ein Artefakt des gestoppten CRM, keine echte Freeze-Konfiguration. Pitfall:ha-manager addwährend deaktiviertem CRM → service bleibt imdeleting-Übergang stecken; Auflösung = CRM starten, Abschluss abwarten, dann add.
Resource-Affinity (negative = anti-collocation):
RKE2 Control Plane (etcd-Quorum braucht 2/3):
rke2-cp-anti-112-122: vm:112 ↔ vm:122 — nie auf gleichem Hostrke2-cp-anti-112-126: vm:112 ↔ vm:126 — nie auf gleichem Hostrke2-cp-anti-122-126: vm:122 ↔ vm:126 — nie auf gleichem Host
RKE2 Worker:
rke2-worker-anti-102-128: vm:102 ↔ vm:128 — nie auf gleichem Hostrke2-worker-anti-102-139: vm:102 ↔ vm:139 — nie auf gleichem Hostrke2-worker-anti-128-139: vm:128 ↔ vm:139 — nie auf gleichem Host
Galera:
galera-anti-300-301: vm:300 ↔ vm:301 — nie auf gleichem Hostgalera-anti-300-302: vm:300 ↔ vm:302 — nie auf gleichem Hostgalera-anti-301-302: vm:301 ↔ vm:302 — nie auf gleichem Host
MaxScale:
maxscale-anti-310-311: vm:310 ↔ vm:311 — nie auf gleichem Host
Node-Affinity (non-strict, failover allowed):
RKE2 CP:
na-vm112: vm:112 → proxmox3, proxmox5, proxmox7na-vm122: vm:122 → ms-a2-1, ms-a2-2na-vm126: vm:126 → proxmox4, proxmox5, proxmox6
RKE2 Worker:
na-vm102: vm:102 → proxmox5, proxmox6, proxmox7 (NICHT ms-a2-2!)na-vm128: vm:128 → ms-a2-2, proxmox5, proxmox7na-vm139: vm:139 → n5pro, proxmox3, proxmox4
Hermes:
na-vm230: vm:230 → n5pro, proxmox5, proxmox6
Galera/MaxScale:
na-vm300: vm:300 → n5pro, proxmox3, proxmox4na-vm301: vm:301 → proxmox6, proxmox5, proxmox7na-vm302: vm:302 → ms-a2-2, ms-a2-1na-vm310: vm:310 → proxmox7, proxmox5, proxmox4na-vm311: vm:311 → ms-a2-1, ms-a2-2
Aktuelle Verteilung (alle Anti-Collocation erfüllt):
| Role | VM | Node |
|---|---|---|
| RKE2 CP-01 | 112 | proxmox3 |
| RKE2 CP-02 | 122 | ms-a2-1 |
| RKE2 CP-03 | 126 | proxmox4 |
| RKE2 Worker-01 | 128 | proxmox5 |
| RKE2 Worker-04 | 139 | n5pro |
| RKE2 Worker-05 | 102 | ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2) |
| Hermes-Agent-01 | 230 | n5pro |
| Galera db1 | 300 | n5pro |
| Galera db2 | 301 | proxmox7 (seit 30.09. relocate; vorher proxmox6) |
| Galera db3 | 302 | ms-a2-2 |
| MaxScale-01 | 310 | proxmox7 |
| MaxScale-02 | 311 | ms-a2-1 |
⚠️ PVE 9.2 Constraints:
- Resources in resource-affinity rules dürfen keine multi-priority node-affinity haben (gleiche Priorität für alle Nodes erforderlich).
ha-manager addMUSS vorha-manager rules addkommen — sonst "cannot use unmanaged resource".- Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf
migratefest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.- Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann
broken pipefehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
Bekannte Probleme
proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
- Symptom: Node bootet, ist 2–5 min erreichbar, dann
r8169 enp1s0: Link is Downohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUTNo route to host, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %). - Verwechslungsgefahr: Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren Power-Taster-Kurzdruck (
systemd-logind: Power key pressed short.→Powering off...), weil der Node unerreichbar wirkte. - Beleg im Journal:
journalctl -k -b -1 | grep 'Link is '— Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot. - Ursache (These):
LnkCtl: ASPM L1 Enabledan Bridge00:1c.0und NIC01:00.0(Realtek RTL8168h, PCIe x1) + Kernelwechsel7.0.14-19→7.0.14-26-pvebei Welle B. Andere Nodes laufen-26stabil, haben aber andere NICs. - ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):
pcie_aspm=offin der Cmdline ist gesetzt (/etc/default/grub, Backupgrub.bak-20261030), aber wirkungslos: Kernel meldetACPI FADT declares the system doesn't support PCIe ASPM, so disable it→/sys/module/pcie_aspm/parameters/policybleibt[default]und nicht schreibbar (WRITE_FAIL).- Der L1-Bit ist firmware-/BIOS-gesetzt und wird vom Kernel nicht angefasst (bleibt
ASPM L1 Enabled). setpci -s 00:1c.0 CAP_EXP+10.wschlägt fehl:Lockdown: setpci: direct PCI access is restricted— Ursache ist Secure Boot (mokutil: SecureBoot enabled, Lockdown-Policyintegrity), nicht fehlende Rechte.- ⇒ ASPM lässt sich nur im BIOS abschalten (
PCIe ASPM Support = Disabled), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen. - EEE ist als Ursache ausgeschlossen (
EEE status: not supported), PCI-Runtime-PM ebenfalls (power/control=on,active).
- Gegenmaßnahme (aktiv, v2 seit 2026-10-31):
/usr/local/sbin/nic-watchdog.sh+nic-watchdog.timer(alle 15 s). Log:/var/log/nic-watchdog.log.- v1 war blind (Vorfall 2026-10-31): v1 las
cat /sys/class/net/enp1s0/carrier || echo 1— ist das Interface administrativ down, liefert die DateiInvalid argument, und|| echo 1machte daraus „gesund". Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUTNo route to host). Zusätzlich:modprobe -r r8169hätte die Bond-Mitgliedschaft zerstört. - v2 (deployed + getestet 2026-10-31): unterscheidet
carrier=1/carrier=0/carrier=-1 (unlesbar = admin-down)und prüft zusätzlichIFF_UP(Flags-Bit 0x1) und obvmbr1die MGMT-IP10.0.20.30trägt. Handelt in allen drei Fällen:up→down/up+ethtool -r→ifreload -a(Bond/Bridge/VLAN idempotent nachziehen). Keinmodprobemehr.flockgegen Parallel-Läufe. Backup:nic-watchdog.sh.v1-bak. - Test-Methode (risikofrei): Dummy-Interface
nictst0,IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1— gesund ⇒ kein Log;ip link set nictst0 down⇒ v2 loggtadmin=down carrier=-1und bringt es hoch. Kein Live-Test anenp1s0(siehe Lehre unten).
- v1 war blind (Vorfall 2026-10-31): v1 las
- Lehre (2026-10-31): Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node nicht risikoarm. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
- Merke:
qm start 102auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
Ablauf: VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → qm start → ganzer Node dunkel um 11:19:49 (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung Inappropriate ioctl trat direkt vorher auf).
Fallstrick Config-Zeile: Kommentar #hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,... enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: hostpci0: 0000:01:00.0,pcie=1,rombar=1.
Workload-Rettung (GitOps-korrekt): ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd nodeName + jellyfin nodeSelector → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
Ergebnis: SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
OFFEN: ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.