Files
memory/systems/proxmox-cluster.md
T
2026-10-30 22:00:17 +00:00

221 lines
13 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Proxmox VE Cluster
category: systems
tags: [proxmox, virtualization, lxc, qemu, pve]
created: "2026-04-28"
modified: "2026-10-30"
---
# Proxmox VE Cluster
## PVE API-Tokens (Stand 2026-10-10)
| Token | 1P-Item (Vault „Proxmox") | Zweck |
|---|---|---|
| `root@pam!hermes` | „PVE API Token hermes" | Hermes-Agent-Skripte, Notfallbuch-Generator (`notfallbuch/scripts/proxmox.env`, Refresh via `refresh_proxmox_env.sh`) |
| `root@pam!tofu` | „PVE API Token tofu" | IaC/Tofu/CI (`iac-homelab` epic-7 `destroy.env`, CI-Presets; Commit `eb039b2`) |
| `root@pam!tofu3` | — (nur PVE) | „temp for rebuild" |
| `root@pam!openclaw-readonly` | — (nur PVE) | Read-only, PVEAuditor auf `/` |
| `api@pam!homepage-status`, `exporter@pve!monitoring` | — (nur PVE) | Widgets/Monitoring |
**⚠️ Pitfall:** 1P-Item `proxmox_root` → Feld „Anmeldedaten" ist das **Root-Passwort**, KEIN API-Token (ergibt 401 als `PROXMOX_VE_API_TOKEN`). Endpoint ist kein Secret: `https://10.0.20.30:8006` (proxmox3) hart codieren. `proxmox1`/10.0.20.10 existiert nicht mehr.
## Cluster-Konfiguration
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
- **Hypervisoren:** 10.0.20.x
- **Guests:** ~30 LXC + ~10 QEMU VMs
## Storage
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD). **Konvention (Chef-Vorgabe):** Disk-Definitionen in `vm_disks` pflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren).
- **hdd_templates:** CT Templates
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
## Netzwerk
- VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
## Wake-on-LAN (eingerichtet 2026-10-30)
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|---|---|---|---|
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
## Fluent Bit (Logging)
- Alle 9 Hosts haben Fluent Bit aktiv
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
- **PVE Tasks** (`/var/log/pve/tasks/index`): UPID-Format (Node, PID, Task-Type, VMID, User, Status)
- **Ceph Audit** (`/var/log/ceph/ceph.audit.log`): OSD/Pool/RBD Operationen
- Output → Loki (10.0.30.207:3100)
- Siehe [[systems/loki-fluentbit]]
## Wichtige Befehle
```bash
pvecm status # Cluster-Quorum
pct status <vmid> # Container-Status
pct start/stop <vmid> # Container starten/stoppen
qm status <vmid> # VM-Status
pvesh get /cluster/resources --type vm # Alle VMs/CTs
```
## SSH-Zugriff
- Key: `id_ed25519_proxmox` (funktioniert für 10.0.20.x Hosts)
- Siehe [[reference/ssh-keys]]
## GPU Passthrough (AMD 1002:13c0)
- **ms-a2-1** (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe [Solution Doc](../../../docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md)
- **ms-a2-2** (10.0.20.93): Funktioniert seit Initialisierung
- Benötigte modprobe.d Config:
- `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper`
- `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci`
- Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 —
`hostpci0: 0000:01:00.0,pcie=1,rombar=1` (OHNE x-vga!) → renderD128 verifiziert.
**Kritische Lehre:** `x-vga=1` bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört
VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless-
Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinity `na-vm102` existiert
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
## Bekannte Probleme
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
- **proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.):** VM301 (Galera db2,
8G) am 30.09. via `ha-manager relocate vm:301 proxmox7` migriert (na-vm301 =
5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM,
Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151
Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als
Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppe
`pressure_alerts`, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2).
- **Reboot 10.10. (p6+p7):** osd.7/osd.10 stale-Keyring-Crashloop (PAT-016),
gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim
vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5,
VM310→p4 wurde nach Reboot per `ha-manager migrate` retour auf p7 gebracht
(known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117
(leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert
(workspace/ct117-decommission/117.conf.archived), `pct destroy 117 --purge`,
verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean.
- **PMXCFS-Modell (10.10.):** Gast-Configs liegen NUR auf dem Owner-Node und
wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über
alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem
destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.
## HA Rules (PVE 9.2 Rules System)
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
**Resource-Affinity (negative = anti-collocation):**
*RKE2 Control Plane (etcd-Quorum braucht 2/3):*
- `rke2-cp-anti-112-122`: vm:112 ↔ vm:122 — nie auf gleichem Host
- `rke2-cp-anti-112-126`: vm:112 ↔ vm:126 — nie auf gleichem Host
- `rke2-cp-anti-122-126`: vm:122 ↔ vm:126 — nie auf gleichem Host
*RKE2 Worker:*
- `rke2-worker-anti-102-128`: vm:102 ↔ vm:128 — nie auf gleichem Host
- `rke2-worker-anti-102-139`: vm:102 ↔ vm:139 — nie auf gleichem Host
- `rke2-worker-anti-128-139`: vm:128 ↔ vm:139 — nie auf gleichem Host
*Galera:*
- `galera-anti-300-301`: vm:300 ↔ vm:301 — nie auf gleichem Host
- `galera-anti-300-302`: vm:300 ↔ vm:302 — nie auf gleichem Host
- `galera-anti-301-302`: vm:301 ↔ vm:302 — nie auf gleichem Host
*MaxScale:*
- `maxscale-anti-310-311`: vm:310 ↔ vm:311 — nie auf gleichem Host
**Node-Affinity (non-strict, failover allowed):**
*RKE2 CP:*
- `na-vm112`: vm:112 → proxmox3, proxmox5, proxmox7
- `na-vm122`: vm:122 → ms-a2-1, ms-a2-2
- `na-vm126`: vm:126 → proxmox4, proxmox5, proxmox6
*RKE2 Worker:*
- `na-vm102`: vm:102 → proxmox5, proxmox6, proxmox7 (NICHT ms-a2-2!)
- `na-vm128`: vm:128 → ms-a2-2, proxmox5, proxmox7
- `na-vm139`: vm:139 → n5pro, proxmox3, proxmox4
*Hermes:*
- `na-vm230`: vm:230 → n5pro, proxmox5, proxmox6
*Galera/MaxScale:*
- `na-vm300`: vm:300 → n5pro, proxmox3, proxmox4
- `na-vm301`: vm:301 → proxmox6, proxmox5, proxmox7
- `na-vm302`: vm:302 → ms-a2-2, ms-a2-1
- `na-vm310`: vm:310 → proxmox7, proxmox5, proxmox4
- `na-vm311`: vm:311 → ms-a2-1, ms-a2-2
**Aktuelle Verteilung (alle Anti-Collocation erfüllt):**
| Role | VM | Node |
|------|----|------|
| RKE2 CP-01 | 112 | proxmox3 |
| RKE2 CP-02 | 122 | ms-a2-1 |
| RKE2 CP-03 | 126 | proxmox4 |
| RKE2 Worker-01 | 128 | proxmox5 |
| RKE2 Worker-04 | 139 | n5pro |
| RKE2 Worker-05 | 102 | ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2) |
| Hermes-Agent-01 | 230 | n5pro |
| Galera db1 | 300 | n5pro |
| Galera db2 | 301 | **proxmox7** (seit 30.09. relocate; vorher proxmox6) |
| Galera db3 | 302 | ms-a2-2 |
| MaxScale-01 | 310 | proxmox7 |
| MaxScale-02 | 311 | ms-a2-1 |
> ⚠️ PVE 9.2 Constraints:
> - Resources in resource-affinity rules dürfen keine multi-priority node-affinity haben (gleiche Priorität für alle Nodes erforderlich).
> - `ha-manager add` MUSS vor `ha-manager rules add` kommen — sonst "cannot use unmanaged resource".
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
## Bekannte Probleme
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
- **Gegenmaßnahme (aktiv):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s): bei `carrier=0` → `ip link set enp1s0 down/up` + `ethtool -r`, danach `modprobe -r/-i r8169`. Log: `/var/log/nic-watchdog.log`. Ziel: Auto-Recovery in Sekunden statt manueller Power-Cycle.
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
## Related
- [[systems/ceph-cluster]]
- [[systems/rke2-kubernetes]]
- [[reference/ip-map]]