2.8 KiB
mgmt-runner-01 (VM 200) — Build-/Ops-VM
Stand: 2026-10-30
Zweck
Kontroll-VM für kubectl, helm, openshell-CLI, Port-Forwards, OIDC-Login,
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
Harte Fakten
- VM 200 auf ms-a2-1 (10.0.20.92), 30 GB, Debian, Uptime > 38 Tage
- Root-Disk:
hdd_disk:vm-200-disk-0—aio=io_uring, cache=none, discard=on, ssd=0, iothread=1→ RBD-Poolhdd_disk= HDD-OSDs (Gast siehtrotational=1) - SSH:
ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124,KUBECONFIG=/root/.kube/config
Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
Symptom war: Tower-Build hing ~24 min, jbd2 in D-State, „direkte 4K-Writes 5,7 kB/s".
Messung ergab kein transienter Hang, sondern Dauerlatenz des Pools:
| Test | Ergebnis |
|---|---|
dd 200 MB oflag=direct |
1,4 GB/s — Sequenzial-I/O unauffällig |
sync |
3,5 s |
2000 × 1 KB, je conv=fsync |
Timeout nach 180 s, jbd2/sda1-8 in D-State |
/proc/fs/jbd2/sda1-8/info |
Ø 739 306 µs (739 ms) commit, 972 ms running, 3,09 M Transaktionen |
docker build (alpine + 300-MB-Layer) |
rc=0, 78 s — einfacher Build geht |
→ Sequenzial I/O gesund, fsync-Metadaten katastrophal (normal 5–30 ms Commit).
Ursache: Disk liegt auf hdd_disk, dessen OSDs zu den 8 „slow operations in
BlueStore" gehören (ceph health detail: osd.1,6,7,8,10,11,17,18; Pool-IO
55/28 MiB/s). discard ist nicht die Ursache — der fsync-Test lief ohne Deletes.
Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
Actions ist enabled, Runner id 61 läuft (Labels self-hosted:host,
ubuntu-latest, docker; Pod auf rke2-cp-01). Für unsere 1-GB-Images
trotzdem untauglich: (1) docker-data ist ein emptyDir 20 GiB auf dem
Root-FS von cp-01 — 39,2 GB total, 7,7 GB frei (80 %), dieselbe Platte wie
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein docker-CLI im
Runner-Container (docker: not found) → runs-on: self-hosted kann nicht
bauen; runs-on: docker bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
genau 1 Lauf in iac-homelab (04.10., failure), 134 Pod-Restarts in 26 Tagen.
Entscheid: Kaniko bleibt der Builder, Actions höchstens später als Trigger
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
Konsequenz (Betriebsregel)
- Keine Docker-Builds auf VM 200. Fleet-Images werden in-cluster via Kaniko gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören fsync-Latenzen nicht.
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend langsam — nicht als „kaputt" fehldeuten.
- Echter Fix wäre Disk-Move auf
ceph-flash(VM aus, Offline-Move) — bewusst zurückgestellt, braucht Owner-GO.