249 lines
18 KiB
Markdown
249 lines
18 KiB
Markdown
---
|
||
title: Proxmox VE Cluster
|
||
category: systems
|
||
tags: [proxmox, virtualization, lxc, qemu, pve]
|
||
created: "2026-04-28"
|
||
modified: "2026-10-30"
|
||
---
|
||
|
||
# Proxmox VE Cluster
|
||
|
||
## PVE API-Tokens (Stand 2026-10-10)
|
||
|
||
| Token | 1P-Item (Vault „Proxmox") | Zweck |
|
||
|---|---|---|
|
||
| `root@pam!hermes` | „PVE API Token hermes" | Hermes-Agent-Skripte, Notfallbuch-Generator (`notfallbuch/scripts/proxmox.env`, Refresh via `refresh_proxmox_env.sh`) |
|
||
| `root@pam!tofu` | „PVE API Token tofu" | IaC/Tofu/CI (`iac-homelab` epic-7 `destroy.env`, CI-Presets; Commit `eb039b2`) |
|
||
| `root@pam!tofu3` | — (nur PVE) | „temp for rebuild" |
|
||
| `root@pam!openclaw-readonly` | — (nur PVE) | Read-only, PVEAuditor auf `/` |
|
||
| `api@pam!homepage-status`, `exporter@pve!monitoring` | — (nur PVE) | Widgets/Monitoring |
|
||
|
||
**⚠️ Pitfall:** 1P-Item `proxmox_root` → Feld „Anmeldedaten" ist das **Root-Passwort**, KEIN API-Token (ergibt 401 als `PROXMOX_VE_API_TOKEN`). Endpoint ist kein Secret: `https://10.0.20.30:8006` (proxmox3) hart codieren. `proxmox1`/10.0.20.10 existiert nicht mehr.
|
||
|
||
|
||
## Cluster-Konfiguration
|
||
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
|
||
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
|
||
- **Hypervisoren:** 10.0.20.x
|
||
- **Guests:** ~30 LXC + ~10 QEMU VMs
|
||
|
||
## Storage
|
||
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD). **Konvention (Chef-Vorgabe):** Disk-Definitionen in `vm_disks` pflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren).
|
||
- **hdd_templates:** CT Templates
|
||
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
|
||
|
||
### Backup-Storage (Stand 2026-11-15)
|
||
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
|
||
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
|
||
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
|
||
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
|
||
|
||
|
||
## Netzwerk
|
||
- VLAN-basiert, Bridge vmbr0
|
||
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
||
|
||
## Wake-on-LAN (eingerichtet 2026-10-30)
|
||
|
||
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
|
||
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
|
||
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
|
||
|
||
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|
||
|---|---|---|---|
|
||
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
|
||
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
|
||
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
|
||
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
|
||
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
|
||
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
|
||
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
|
||
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
|
||
|
||
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
|
||
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
|
||
|
||
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
|
||
|
||
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
|
||
|
||
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
|
||
|
||
## Fluent Bit (Logging)
|
||
- Alle 9 Hosts haben Fluent Bit aktiv
|
||
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
|
||
- **PVE Tasks** (`/var/log/pve/tasks/index`): UPID-Format (Node, PID, Task-Type, VMID, User, Status)
|
||
- **Ceph Audit** (`/var/log/ceph/ceph.audit.log`): OSD/Pool/RBD Operationen
|
||
- Output → Loki (10.0.30.207:3100)
|
||
- Siehe [[systems/loki-fluentbit]]
|
||
|
||
## Wichtige Befehle
|
||
```bash
|
||
pvecm status # Cluster-Quorum
|
||
pct status <vmid> # Container-Status
|
||
pct start/stop <vmid> # Container starten/stoppen
|
||
qm status <vmid> # VM-Status
|
||
pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
||
```
|
||
|
||
## SSH-Zugriff
|
||
- Key: `id_ed25519_proxmox` (funktioniert für 10.0.20.x Hosts)
|
||
- Siehe [[reference/ssh-keys]]
|
||
|
||
## GPU Passthrough (AMD 1002:13c0)
|
||
- **ms-a2-1** (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe [Solution Doc](../../../docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md)
|
||
- **ms-a2-2** (10.0.20.93): Funktioniert seit Initialisierung
|
||
- Benötigte modprobe.d Config:
|
||
- `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper`
|
||
- `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci`
|
||
- Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 —
|
||
`hostpci0: 0000:01:00.0,pcie=1,rombar=1` (OHNE x-vga!) → renderD128 verifiziert.
|
||
**Kritische Lehre:** `x-vga=1` bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört
|
||
VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless-
|
||
Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinity `na-vm102` existiert
|
||
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
|
||
|
||
## Bekannte Probleme
|
||
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
|
||
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
|
||
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
|
||
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
|
||
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
|
||
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
|
||
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
|
||
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
|
||
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
|
||
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
|
||
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
|
||
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
|
||
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
|
||
- **proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.):** VM301 (Galera db2,
|
||
8G) am 30.09. via `ha-manager relocate vm:301 proxmox7` migriert (na-vm301 =
|
||
5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM,
|
||
Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151
|
||
Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als
|
||
Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppe
|
||
`pressure_alerts`, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2).
|
||
- **Reboot 10.10. (p6+p7):** osd.7/osd.10 stale-Keyring-Crashloop (PAT-016),
|
||
gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim
|
||
vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5,
|
||
VM310→p4 wurde nach Reboot per `ha-manager migrate` retour auf p7 gebracht
|
||
(known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117
|
||
(leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert
|
||
(workspace/ct117-decommission/117.conf.archived), `pct destroy 117 --purge`,
|
||
verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean.
|
||
- **PMXCFS-Modell (10.10.):** Gast-Configs liegen NUR auf dem Owner-Node und
|
||
wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über
|
||
alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem
|
||
destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.
|
||
|
||
## HA Rules (PVE 9.2 Rules System)
|
||
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
|
||
Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||
|
||
> ✅ **HA-Reaktivierung abgeschlossen (31.10., ~15:05):** Clusterweit `pve-ha-lrm` + `pve-ha-crm`
|
||
> re-enabled und gestartet (8/8 Nodes). CRM-Master proxmox3, fencing armed. Alle 10 HA-Gäste
|
||
> `started` (ct:127, vm:106/122/128/139/230/301/302/310/311); **`vm:128` (worker-01) nachgetragen**
|
||
> mit `max_relocate=3/max_restart=2` (war beim CRM-Stop im `deleting`-Zustand hängengeblieben —
|
||
> CRM hat den Löschvorgang beim Start sauber abgeschlossen). Der `freeze`-Status im
|
||
> `ha-manager status` war ein Artefakt des gestoppten CRM, keine echte Freeze-Konfiguration.
|
||
> Pitfall: `ha-manager add` während deaktiviertem CRM → service bleibt im `deleting`-Übergang
|
||
> stecken; Auflösung = CRM starten, Abschluss abwarten, dann add.
|
||
|
||
**Resource-Affinity (negative = anti-collocation):**
|
||
|
||
*RKE2 Control Plane (etcd-Quorum braucht 2/3):*
|
||
- `rke2-cp-anti-112-122`: vm:112 ↔ vm:122 — nie auf gleichem Host
|
||
- `rke2-cp-anti-112-126`: vm:112 ↔ vm:126 — nie auf gleichem Host
|
||
- `rke2-cp-anti-122-126`: vm:122 ↔ vm:126 — nie auf gleichem Host
|
||
|
||
*RKE2 Worker:*
|
||
- `rke2-worker-anti-102-128`: vm:102 ↔ vm:128 — nie auf gleichem Host
|
||
- `rke2-worker-anti-102-139`: vm:102 ↔ vm:139 — nie auf gleichem Host
|
||
- `rke2-worker-anti-128-139`: vm:128 ↔ vm:139 — nie auf gleichem Host
|
||
|
||
*Galera:*
|
||
- `galera-anti-300-301`: vm:300 ↔ vm:301 — nie auf gleichem Host
|
||
- `galera-anti-300-302`: vm:300 ↔ vm:302 — nie auf gleichem Host
|
||
- `galera-anti-301-302`: vm:301 ↔ vm:302 — nie auf gleichem Host
|
||
|
||
*MaxScale:*
|
||
- `maxscale-anti-310-311`: vm:310 ↔ vm:311 — nie auf gleichem Host
|
||
|
||
**Node-Affinity (non-strict, failover allowed):**
|
||
|
||
*RKE2 CP:*
|
||
- `na-vm112`: vm:112 → proxmox3, proxmox5, proxmox7
|
||
- `na-vm122`: vm:122 → ms-a2-1, ms-a2-2
|
||
- `na-vm126`: vm:126 → proxmox4, proxmox5, proxmox6
|
||
|
||
*RKE2 Worker:*
|
||
- `na-vm102`: vm:102 → proxmox5, proxmox6, proxmox7 (NICHT ms-a2-2!)
|
||
- `na-vm128`: vm:128 → ms-a2-2, proxmox5, proxmox7
|
||
- `na-vm139`: vm:139 → n5pro, proxmox3, proxmox4
|
||
|
||
*Hermes:*
|
||
- `na-vm230`: vm:230 → n5pro, proxmox5, proxmox6
|
||
|
||
*Galera/MaxScale:*
|
||
- `na-vm300`: vm:300 → n5pro, proxmox3, proxmox4
|
||
- `na-vm301`: vm:301 → proxmox6, proxmox5, proxmox7
|
||
- `na-vm302`: vm:302 → ms-a2-2, ms-a2-1
|
||
- `na-vm310`: vm:310 → proxmox7, proxmox5, proxmox4
|
||
- `na-vm311`: vm:311 → ms-a2-1, ms-a2-2
|
||
|
||
**Aktuelle Verteilung (alle Anti-Collocation erfüllt):**
|
||
| Role | VM | Node |
|
||
|------|----|------|
|
||
| RKE2 CP-01 | 112 | proxmox3 |
|
||
| RKE2 CP-02 | 122 | ms-a2-1 |
|
||
| RKE2 CP-03 | 126 | proxmox4 |
|
||
| RKE2 Worker-01 | 128 | proxmox5 |
|
||
| RKE2 Worker-04 | 139 | n5pro |
|
||
| RKE2 Worker-05 | 102 | ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2) |
|
||
| Hermes-Agent-01 | 230 | n5pro |
|
||
| Galera db1 | 300 | n5pro |
|
||
| Galera db2 | 301 | **proxmox7** (seit 30.09. relocate; vorher proxmox6) |
|
||
| Galera db3 | 302 | ms-a2-2 |
|
||
| MaxScale-01 | 310 | proxmox7 |
|
||
| MaxScale-02 | 311 | ms-a2-1 |
|
||
|
||
> ⚠️ PVE 9.2 Constraints:
|
||
> - Resources in resource-affinity rules dürfen keine multi-priority node-affinity haben (gleiche Priorität für alle Nodes erforderlich).
|
||
> - `ha-manager add` MUSS vor `ha-manager rules add` kommen — sonst "cannot use unmanaged resource".
|
||
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
|
||
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
|
||
|
||
## Bekannte Probleme
|
||
|
||
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
|
||
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
|
||
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
|
||
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
|
||
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
|
||
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
|
||
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
|
||
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
|
||
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
|
||
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
|
||
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
|
||
- **Gegenmaßnahme (aktiv, v2 seit 2026-10-31):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s). Log: `/var/log/nic-watchdog.log`.
|
||
- **v1 war blind (Vorfall 2026-10-31):** v1 las `cat /sys/class/net/enp1s0/carrier || echo 1` — ist das Interface **administrativ** down, liefert die Datei `Invalid argument`, und `|| echo 1` machte daraus **„gesund"**. Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUT `No route to host`). Zusätzlich: `modprobe -r r8169` hätte die Bond-Mitgliedschaft zerstört.
|
||
- **v2 (deployed + getestet 2026-10-31):** unterscheidet `carrier=1` / `carrier=0` / `carrier=-1 (unlesbar = admin-down)` und prüft zusätzlich `IFF_UP` (Flags-Bit 0x1) **und** ob `vmbr1` die MGMT-IP `10.0.20.30` trägt. Handelt in allen drei Fällen: `up` → `down/up` + `ethtool -r` → **`ifreload -a`** (Bond/Bridge/VLAN idempotent nachziehen). **Kein `modprobe`** mehr. `flock` gegen Parallel-Läufe. Backup: `nic-watchdog.sh.v1-bak`.
|
||
- **Test-Methode (risikofrei):** Dummy-Interface `nictst0`, `IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1` — gesund ⇒ kein Log; `ip link set nictst0 down` ⇒ v2 loggt `admin=down carrier=-1` und bringt es hoch. **Kein Live-Test an `enp1s0`** (siehe Lehre unten).
|
||
- **Lehre (2026-10-31):** Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node **nicht risikoarm**. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
|
||
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
|
||
|
||
## INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
|
||
|
||
**Ablauf:** VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → `qm start` → **ganzer Node dunkel um 11:19:49** (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung `Inappropriate ioctl` trat direkt vorher auf).
|
||
**Fallstrick Config-Zeile:** Kommentar `#hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,...` enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: `hostpci0: 0000:01:00.0,pcie=1,rombar=1`.
|
||
**Workload-Rettung (GitOps-korrekt):** ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd `nodeName` + jellyfin `nodeSelector` → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
|
||
**Ergebnis:** SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
|
||
**OFFEN:** ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.
|
||
|
||
## Related
|
||
- [[systems/ceph-cluster]]
|
||
- [[systems/rke2-kubernetes]]
|
||
- [[reference/ip-map]]
|