fleet: vs-ual+sec-ops merge (main 5af61ec) + Org-Quellen-Drift + Gitea-Down-Anti-Pattern

This commit is contained in:
Dominik Schön
2026-11-01 13:28:03 +00:00
parent bd700b19b8
commit 8a2f961745
7 changed files with 116 additions and 1 deletions
+50
View File
@@ -22,6 +22,28 @@ LLM-Chokepoint und objektiver Telemetrie.
> Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt
> „Fleet-Rebuild v2.5 (Phase 0)" unten.
> **NACHTRAG 01.11.2026 — vs-ual + sec-ops gemergt, Org-Quellen DRIFTEN:**
> Merge-Kommissionen #9/#10 sind nach `main` durch (ArgoCD-Pfad, nicht HTTPS!):
> `f6ef8e3..5af61ec`, rein additiv, 3 Dateien/+118 Zeilen. Live belegt:
> App `agent-fleet` `Synced @5af61ecd…` health=Healthy; ConfigMap
> `beacon-org-yaml` enthält `id: vs-ual` (parent cto, caps 2/5, hrp-vs-ual-v1)
> und `id: sec-ops` (parent ciso, caps 0/0, hrp-sec-ops-v1); `fleet-webui-org`
> mitgezogen (Org-Chart zeigt beide).
> **ABER:** Es gibt ZWEI Org-Quellen mit verschiedenem Schema —
> `agent-fleet/beacon.yaml` (Schema `id`/`caps`, **wird deployed**, jetzt 10
> Members) und `fleet-truth/org.yaml` (Schema `agent_id`, deklariert sich als
> einzige Wahrheit fuer Struktur, **9 Members, ohne vs-ual/sec-ops, dafür MIT
> `agile-coach`**, das im Deploy fehlt). Kein Konsument der Truth-Datei im Repo
> gefunden. Kanon-Frage liegt beim Chair (Fail-loud-Mail
> `ownerlane-failloud-org-quellen-drift-2026-11-01.md`); Truth-Datei wurde
> bewusst NICHT eigenmächtig nachgezogen.
> **Status ehrlich: 10 Rollen definiert/deployt · 9 in der Truth-Datei ·
> 0 neue Sandboxes** (kein vs-ual/sec-ops-CT → kein Heartbeat, `agents_up`
> unverändert 7 → nicht 10 Agenten live melden). Clone-Gates unberührt:
> DI-6-Sequenzsperre + Clone-Window. PR-8 (research) und M1-Poller bleiben
> BLOCKIERT (Chair-Corrigenda: research-Stanza existiert mit caps 999/99;
> M1-Datei 3 misst 15.051 B/`aff29d8c…` ≠ Pin 13.623 B/`ee90f486…`).
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
@@ -1043,3 +1065,31 @@ Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
im Worker fehlt weiterhin.
## 01.11.2026 — Owner-Push-Kanal (aktiver Push zu tower-owner)
**Problem:** Der Chair sah Owner-Entscheidungen nur im Tower-Web-Frontend (wird nicht regelmäßig geöffnet); der alte Cron `Fleet-Board Aenderungs-Watch` (5be5df10d92f) beobachtet noch den **Alten** Board-Host `/srv/fleet-board` via SSH 10.0.20.92 — nicht den K8s-Spool.
**Lösung (live, verifiziert):** Cron `Fleet Owner-Lane Push`, Job-ID **d6900fc684b1**, `*/5 * * * *`, `no_agent` (kein LLM), Script `~/.hermes/scripts/owner-lane-push.sh`, deliver `origin,telegram:223926918` (DM „D").
- Liest `/srv/fleet/tasks/*.yaml` im Board-Pod (Label `app=fleet-board-service`, via `kubectl exec -i`; **ohne `-i` kommt kein stdin durch** → Parser liefert 0 Tasks)
- Filtert `to: tower-owner` + `status: submitted`; meldet NEUE Tasks (Priorität·Typ, Thema, Absender, Wartezeit) und >24 h-Hänger (max. 1 Reminder/24 h)
- State: `~/.hermes/state/owner-lane-push.json` (`seen`/`reminded`); Modi `--init` (alle offenen als gesehen), `--dry`
- Leerer stdout = keine Zustellung (Watchdog-Pattern); stderr bei Pod fehlt → stiller Cron-Fehlschlag, Diagnose manuell
**Verifikation 01.11. 07:38:** Job-Lauf `last_status: ok`, keine delivery/fire errors, Output leer (still korrekt); Telegram-Testnachricht `message_id 49523` an Chat 223926918 (private, „D") zugestellt. Owner-Lane bei Init: 10 offen, 3 >24 h.
**Regel:** Telegram-DM 223926918 = Owner-Push; Telegram-Gruppe −5265906503 = Digest-Gruppe; `origin` = Hermes-Desktop-Chat.
## 01.11.2026 (07:41–10:45) — Heartbeat-Ausfall: openshell-Gateway-Wedge + Agent-Pod-Verlust (GEHEILT)
**Meldung:** „Die heartbeats sind aus" — Prometheus nur 8/9 Serien, nur chro-Pod Running.
**Root Cause (Multi-Layer):** Beacon GESUND. (1) `openshell-0` (StatefulSet, Gateway+Sandbox-Controller) wedged: 168 min Terminating mit deletionTimestamp 10:26 ohne Finalizer-Fortschritt (Node Ready) → kein Controller → keine Agent-Pod-Recreation. (2) VM 114 (rke2-worker-02) um 08:43 von root@pam via PVE-Web-UI heruntergefahren (ACPI verweigert → Hard-Kill; `onboot:1`); 5 Agenten-Pods dort in Terminating. worker-05 (VM 102 auf ms-a2-2, Mgmt unreachable) NotReady. (3) Runner: OIDC-Token abgelaufen + `openshell-portforward` (kubectl port-forward auf pod/openshell-0:8080) hing in activating.
**Fix-Kette (verifiziert):** `qm start 114` → force-delete openshell-0 (StatefulSet recreatete auf worker-02, 1/1) → headless OIDC-Login (Authelia firstfactor + redirect; Skript-Neubau `/tmp/oidc-login3.sh`, PW `/root/.fleet-authelia-pw` auf Runner) → `systemctl restart openshell-portforward` (17671 listening) → `resume.sh` 8/9 + **ceo separat** (Bug: resume.sh-Liste umfasste nur 8 Agenten → **gefixt: Liste um ceo erweitert auf dem Runner**) → 9/9 Pods Running, 9 Serien (46–283 s), Immich-ML nach Recreate Running.
**Pitfalls (neu):** (a) openshell-0-Terminating-Wedge = SPOF für ALLE Sandbox-Ops; Heilung = force-delete, danach StatefulSet-Recreation abwarten. (b) Nach Full-Resume `openshell sandbox list` auf 9/9 Ready prüfen, nicht Skript-Output. (c) OIDC ohne Refresh-Token: nach Token-Expiry headless Re-Login nötig (bewährtes Muster in SolDoc). (d) Policy-Hotfix per `kubectl cp` scheitert: Pods uid 10001, `/opt/hermes/fleet` root-owned → Policy-Rollout nur via Image-Rebuild (Kaniko) oder ConfigMap-Mount (struktureller Fix, offen). (e) Kaniko v1.23.2 ohne `--push-retry`: Gitea-Upload-Session läuft bei großem Push ab (BLOB_UPLOAD_UNKNOWN 2× identisch) — dritter Anlauf mit kleinerem Image/Registry-Timeout nötig.
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`