Auto-sync: 2026-10-30
This commit is contained in:
@@ -0,0 +1,52 @@
|
||||
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
|
||||
|
||||
**Stand:** 2026-10-30
|
||||
|
||||
## Zweck
|
||||
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
|
||||
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
|
||||
|
||||
## Harte Fakten
|
||||
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
|
||||
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
|
||||
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
|
||||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
|
||||
|
||||
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
|
||||
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
|
||||
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
|
||||
|
||||
| Test | Ergebnis |
|
||||
|---|---|
|
||||
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
|
||||
| `sync` | 3,5 s |
|
||||
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
|
||||
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
|
||||
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
|
||||
|
||||
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
|
||||
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
|
||||
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
|
||||
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
|
||||
|
||||
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
|
||||
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
|
||||
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
|
||||
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
|
||||
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
|
||||
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
|
||||
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
|
||||
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
|
||||
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
|
||||
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
|
||||
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
|
||||
|
||||
## Konsequenz (Betriebsregel)
|
||||
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
|
||||
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
|
||||
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
|
||||
fsync-Latenzen nicht.
|
||||
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
|
||||
langsam — nicht als „kaputt" fehldeuten.
|
||||
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
|
||||
zurückgestellt, braucht Owner-GO.
|
||||
Reference in New Issue
Block a user