Auto-sync: 2026-10-30
This commit is contained in:
@@ -3,7 +3,7 @@ title: Proxmox VE Cluster
|
||||
category: systems
|
||||
tags: [proxmox, virtualization, lxc, qemu, pve]
|
||||
created: "2026-04-28"
|
||||
modified: "2026-09-30"
|
||||
modified: "2026-10-30"
|
||||
---
|
||||
|
||||
# Proxmox VE Cluster
|
||||
@@ -22,7 +22,7 @@ modified: "2026-09-30"
|
||||
|
||||
|
||||
## Cluster-Konfiguration
|
||||
- **Version:** PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25)
|
||||
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
|
||||
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
|
||||
- **Hypervisoren:** 10.0.20.x
|
||||
- **Guests:** ~30 LXC + ~10 QEMU VMs
|
||||
@@ -36,6 +36,32 @@ modified: "2026-09-30"
|
||||
- VLAN-basiert, Bridge vmbr0
|
||||
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
||||
|
||||
## Wake-on-LAN (eingerichtet 2026-10-30)
|
||||
|
||||
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
|
||||
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
|
||||
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
|
||||
|
||||
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|
||||
|---|---|---|---|
|
||||
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
|
||||
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
|
||||
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
|
||||
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
|
||||
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
|
||||
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
|
||||
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
|
||||
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
|
||||
|
||||
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
|
||||
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
|
||||
|
||||
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
|
||||
|
||||
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
|
||||
|
||||
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
|
||||
|
||||
## Fluent Bit (Logging)
|
||||
- Alle 9 Hosts haben Fluent Bit aktiv
|
||||
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
|
||||
@@ -71,6 +97,16 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
||||
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
|
||||
|
||||
## Bekannte Probleme
|
||||
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
|
||||
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
|
||||
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
|
||||
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
|
||||
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
|
||||
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
|
||||
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
|
||||
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
|
||||
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
|
||||
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
|
||||
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
|
||||
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
|
||||
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
|
||||
@@ -162,6 +198,22 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
|
||||
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
|
||||
|
||||
## Bekannte Probleme
|
||||
|
||||
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
|
||||
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
|
||||
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
|
||||
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
|
||||
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
|
||||
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
|
||||
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
|
||||
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
|
||||
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
|
||||
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
|
||||
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
|
||||
- **Gegenmaßnahme (aktiv):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s): bei `carrier=0` → `ip link set enp1s0 down/up` + `ethtool -r`, danach `modprobe -r/-i r8169`. Log: `/var/log/nic-watchdog.log`. Ziel: Auto-Recovery in Sekunden statt manueller Power-Cycle.
|
||||
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
|
||||
|
||||
## Related
|
||||
- [[systems/ceph-cluster]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
Reference in New Issue
Block a user