65 lines
2.2 KiB
Markdown
65 lines
2.2 KiB
Markdown
---
|
|
title: Proxmox VE Cluster
|
|
category: systems
|
|
tags: [proxmox, virtualization, lxc, qemu, pve]
|
|
created: "2026-04-28"
|
|
modified: "2026-07-24"
|
|
---
|
|
|
|
# Proxmox VE Cluster
|
|
|
|
## Cluster-Konfiguration
|
|
- **Version:** PVE 9.2.10, Kernel 7.0.14-12-pve (upgraded 2026-08-17)
|
|
- **Nodes:** 9 (Quorum OK)
|
|
- **Hypervisoren:** 10.0.20.x
|
|
- **Guests:** ~30 LXC + ~10 QEMU VMs
|
|
|
|
## Storage
|
|
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD)
|
|
- **hdd_templates:** CT Templates
|
|
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
|
|
|
|
## Netzwerk
|
|
- VLAN-basiert, Bridge vmbr0
|
|
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
|
|
|
## Fluent Bit (Logging)
|
|
- Alle 9 Hosts haben Fluent Bit aktiv
|
|
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
|
|
- **PVE Tasks** (`/var/log/pve/tasks/index`): UPID-Format (Node, PID, Task-Type, VMID, User, Status)
|
|
- **Ceph Audit** (`/var/log/ceph/ceph.audit.log`): OSD/Pool/RBD Operationen
|
|
- Output → Loki (10.0.30.207:3100)
|
|
- Siehe [[systems/loki-fluentbit]]
|
|
|
|
## Wichtige Befehle
|
|
```bash
|
|
pvecm status # Cluster-Quorum
|
|
pct status <vmid> # Container-Status
|
|
pct start/stop <vmid> # Container starten/stoppen
|
|
qm status <vmid> # VM-Status
|
|
pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
|
```
|
|
|
|
## SSH-Zugriff
|
|
- Key: `id_ed25519_proxmox` (funktioniert für 10.0.20.x Hosts)
|
|
- Siehe [[reference/ssh-keys]]
|
|
|
|
## GPU Passthrough (AMD 1002:13c0)
|
|
- **ms-a2-1** (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe [Solution Doc](../../../docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md)
|
|
- **ms-a2-2** (10.0.20.93): Funktioniert seit Initialisierung
|
|
- Benötigte modprobe.d Config:
|
|
- `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper`
|
|
- `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci`
|
|
- Worker-05 (VM 102) läuft auf ms-a2-2 mit funktionierendem GPU-Passthrough
|
|
|
|
## Bekannte Probleme
|
|
- osd.0 NVMe 92% Wear — Austausch planen
|
|
- osd.2/5 nearfull (93-94%) — entlasten
|
|
- CT110 kaputte libc — Reparatur ausstehend
|
|
- ms-a2-1 GPU-Passthrough: Config gefixt, Reboot zur Verifikation ausstehend
|
|
|
|
## Related
|
|
- [[systems/ceph-cluster]]
|
|
- [[systems/rke2-kubernetes]]
|
|
- [[reference/ip-map]]
|