Auto-sync: 2026-10-30

This commit is contained in:
Dominik Schön
2026-10-30 22:00:17 +00:00
parent f78f265a8a
commit be5343e8b8
9 changed files with 272 additions and 3 deletions
+52
View File
@@ -0,0 +1,52 @@
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
**Stand:** 2026-10-30
## Zweck
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
## Harte Fakten
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
| Test | Ergebnis |
|---|---|
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
| `sync` | 3,5 s |
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
## Konsequenz (Betriebsregel)
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
fsync-Latenzen nicht.
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
langsam — nicht als „kaputt" fehldeuten.
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
zurückgestellt, braucht Owner-GO.