Files
memory/systems/mgmt-runner.md
T
2026-10-30 22:00:17 +00:00

53 lines
2.8 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
**Stand:** 2026-10-30
## Zweck
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
## Harte Fakten
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
| Test | Ergebnis |
|---|---|
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
| `sync` | 3,5 s |
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
## Konsequenz (Betriebsregel)
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
fsync-Latenzen nicht.
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
langsam — nicht als „kaputt" fehldeuten.
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
zurückgestellt, braucht Owner-GO.