53 lines
2.8 KiB
Markdown
53 lines
2.8 KiB
Markdown
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
|
||
|
||
**Stand:** 2026-10-30
|
||
|
||
## Zweck
|
||
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
|
||
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
|
||
|
||
## Harte Fakten
|
||
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
|
||
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
|
||
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
|
||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
|
||
|
||
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
|
||
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
|
||
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
|
||
|
||
| Test | Ergebnis |
|
||
|---|---|
|
||
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
|
||
| `sync` | 3,5 s |
|
||
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
|
||
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
|
||
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
|
||
|
||
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
|
||
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
|
||
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
|
||
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
|
||
|
||
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
|
||
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
|
||
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
|
||
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
|
||
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
|
||
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
|
||
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
|
||
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
|
||
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
|
||
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
|
||
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
|
||
|
||
## Konsequenz (Betriebsregel)
|
||
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
|
||
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
|
||
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
|
||
fsync-Latenzen nicht.
|
||
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
|
||
langsam — nicht als „kaputt" fehldeuten.
|
||
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
|
||
zurückgestellt, braucht Owner-GO.
|