Files
memory/systems/mgmt-runner.md
T
2026-10-30 22:00:17 +00:00

2.8 KiB
Raw Blame History

mgmt-runner-01 (VM 200) — Build-/Ops-VM

Stand: 2026-10-30

Zweck

Kontroll-VM für kubectl, helm, openshell-CLI, Port-Forwards, OIDC-Login, Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.

Harte Fakten

  • VM 200 auf ms-a2-1 (10.0.20.92), 30 GB, Debian, Uptime > 38 Tage
  • Root-Disk: hdd_disk:vm-200-disk-0 — aio=io_uring, cache=none, discard=on, ssd=0, iothread=1 → RBD-Pool hdd_disk = HDD-OSDs (Gast sieht rotational=1)
  • SSH: ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124, KUBECONFIG=/root/.kube/config

Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)

Symptom war: Tower-Build hing ~24 min, jbd2 in D-State, „direkte 4K-Writes 5,7 kB/s". Messung ergab kein transienter Hang, sondern Dauerlatenz des Pools:

Test Ergebnis
dd 200 MB oflag=direct 1,4 GB/s — Sequenzial-I/O unauffällig
sync 3,5 s
2000 × 1 KB, je conv=fsync Timeout nach 180 s, jbd2/sda1-8 in D-State
/proc/fs/jbd2/sda1-8/info Ø 739 306 µs (739 ms) commit, 972 ms running, 3,09 M Transaktionen
docker build (alpine + 300-MB-Layer) rc=0, 78 s — einfacher Build geht

→ Sequenzial I/O gesund, fsync-Metadaten katastrophal (normal 5–30 ms Commit). Ursache: Disk liegt auf hdd_disk, dessen OSDs zu den 8 „slow operations in BlueStore" gehören (ceph health detail: osd.1,6,7,8,10,11,17,18; Pool-IO 55/28 MiB/s). discard ist nicht die Ursache — der fsync-Test lief ohne Deletes.

Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")

Actions ist enabled, Runner id 61 läuft (Labels self-hosted:host, ubuntu-latest, docker; Pod auf rke2-cp-01). Für unsere 1-GB-Images trotzdem untauglich: (1) docker-data ist ein emptyDir 20 GiB auf dem Root-FS von cp-01 — 39,2 GB total, 7,7 GB frei (80 %), dieselbe Platte wie etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein docker-CLI im Runner-Container (docker: not found) → runs-on: self-hosted kann nicht bauen; runs-on: docker bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record: genau 1 Lauf in iac-homelab (04.10., failure), 134 Pod-Restarts in 26 Tagen. Entscheid: Kaniko bleibt der Builder, Actions höchstens später als Trigger auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.

Konsequenz (Betriebsregel)

  • Keine Docker-Builds auf VM 200. Fleet-Images werden in-cluster via Kaniko gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
  • Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören fsync-Latenzen nicht.
  • Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend langsam — nicht als „kaputt" fehldeuten.
  • Echter Fix wäre Disk-Move auf ceph-flash (VM aus, Offline-Move) — bewusst zurückgestellt, braucht Owner-GO.