fleet: vs-ual+sec-ops merge (main 5af61ec) + Org-Quellen-Drift + Gitea-Down-Anti-Pattern
This commit is contained in:
@@ -22,6 +22,28 @@ LLM-Chokepoint und objektiver Telemetrie.
|
||||
> Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt
|
||||
> „Fleet-Rebuild v2.5 (Phase 0)" unten.
|
||||
|
||||
> **NACHTRAG 01.11.2026 — vs-ual + sec-ops gemergt, Org-Quellen DRIFTEN:**
|
||||
> Merge-Kommissionen #9/#10 sind nach `main` durch (ArgoCD-Pfad, nicht HTTPS!):
|
||||
> `f6ef8e3..5af61ec`, rein additiv, 3 Dateien/+118 Zeilen. Live belegt:
|
||||
> App `agent-fleet` `Synced @5af61ecd…` health=Healthy; ConfigMap
|
||||
> `beacon-org-yaml` enthält `id: vs-ual` (parent cto, caps 2/5, hrp-vs-ual-v1)
|
||||
> und `id: sec-ops` (parent ciso, caps 0/0, hrp-sec-ops-v1); `fleet-webui-org`
|
||||
> mitgezogen (Org-Chart zeigt beide).
|
||||
> **ABER:** Es gibt ZWEI Org-Quellen mit verschiedenem Schema —
|
||||
> `agent-fleet/beacon.yaml` (Schema `id`/`caps`, **wird deployed**, jetzt 10
|
||||
> Members) und `fleet-truth/org.yaml` (Schema `agent_id`, deklariert sich als
|
||||
> einzige Wahrheit fuer Struktur, **9 Members, ohne vs-ual/sec-ops, dafür MIT
|
||||
> `agile-coach`**, das im Deploy fehlt). Kein Konsument der Truth-Datei im Repo
|
||||
> gefunden. Kanon-Frage liegt beim Chair (Fail-loud-Mail
|
||||
> `ownerlane-failloud-org-quellen-drift-2026-11-01.md`); Truth-Datei wurde
|
||||
> bewusst NICHT eigenmächtig nachgezogen.
|
||||
> **Status ehrlich: 10 Rollen definiert/deployt · 9 in der Truth-Datei ·
|
||||
> 0 neue Sandboxes** (kein vs-ual/sec-ops-CT → kein Heartbeat, `agents_up`
|
||||
> unverändert 7 → nicht 10 Agenten live melden). Clone-Gates unberührt:
|
||||
> DI-6-Sequenzsperre + Clone-Window. PR-8 (research) und M1-Poller bleiben
|
||||
> BLOCKIERT (Chair-Corrigenda: research-Stanza existiert mit caps 999/99;
|
||||
> M1-Datei 3 misst 15.051 B/`aff29d8c…` ≠ Pin 13.623 B/`ee90f486…`).
|
||||
|
||||
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
|
||||
|
||||
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
|
||||
@@ -1043,3 +1065,31 @@ Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
|
||||
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
|
||||
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
|
||||
im Worker fehlt weiterhin.
|
||||
|
||||
## 01.11.2026 — Owner-Push-Kanal (aktiver Push zu tower-owner)
|
||||
|
||||
**Problem:** Der Chair sah Owner-Entscheidungen nur im Tower-Web-Frontend (wird nicht regelmäßig geöffnet); der alte Cron `Fleet-Board Aenderungs-Watch` (5be5df10d92f) beobachtet noch den **Alten** Board-Host `/srv/fleet-board` via SSH 10.0.20.92 — nicht den K8s-Spool.
|
||||
|
||||
**Lösung (live, verifiziert):** Cron `Fleet Owner-Lane Push`, Job-ID **d6900fc684b1**, `*/5 * * * *`, `no_agent` (kein LLM), Script `~/.hermes/scripts/owner-lane-push.sh`, deliver `origin,telegram:223926918` (DM „D").
|
||||
- Liest `/srv/fleet/tasks/*.yaml` im Board-Pod (Label `app=fleet-board-service`, via `kubectl exec -i`; **ohne `-i` kommt kein stdin durch** → Parser liefert 0 Tasks)
|
||||
- Filtert `to: tower-owner` + `status: submitted`; meldet NEUE Tasks (Priorität·Typ, Thema, Absender, Wartezeit) und >24 h-Hänger (max. 1 Reminder/24 h)
|
||||
- State: `~/.hermes/state/owner-lane-push.json` (`seen`/`reminded`); Modi `--init` (alle offenen als gesehen), `--dry`
|
||||
- Leerer stdout = keine Zustellung (Watchdog-Pattern); stderr bei Pod fehlt → stiller Cron-Fehlschlag, Diagnose manuell
|
||||
|
||||
**Verifikation 01.11. 07:38:** Job-Lauf `last_status: ok`, keine delivery/fire errors, Output leer (still korrekt); Telegram-Testnachricht `message_id 49523` an Chat 223926918 (private, „D") zugestellt. Owner-Lane bei Init: 10 offen, 3 >24 h.
|
||||
|
||||
**Regel:** Telegram-DM 223926918 = Owner-Push; Telegram-Gruppe −5265906503 = Digest-Gruppe; `origin` = Hermes-Desktop-Chat.
|
||||
|
||||
## 01.11.2026 (07:41–10:45) — Heartbeat-Ausfall: openshell-Gateway-Wedge + Agent-Pod-Verlust (GEHEILT)
|
||||
|
||||
**Meldung:** „Die heartbeats sind aus" — Prometheus nur 8/9 Serien, nur chro-Pod Running.
|
||||
|
||||
**Root Cause (Multi-Layer):** Beacon GESUND. (1) `openshell-0` (StatefulSet, Gateway+Sandbox-Controller) wedged: 168 min Terminating mit deletionTimestamp 10:26 ohne Finalizer-Fortschritt (Node Ready) → kein Controller → keine Agent-Pod-Recreation. (2) VM 114 (rke2-worker-02) um 08:43 von root@pam via PVE-Web-UI heruntergefahren (ACPI verweigert → Hard-Kill; `onboot:1`); 5 Agenten-Pods dort in Terminating. worker-05 (VM 102 auf ms-a2-2, Mgmt unreachable) NotReady. (3) Runner: OIDC-Token abgelaufen + `openshell-portforward` (kubectl port-forward auf pod/openshell-0:8080) hing in activating.
|
||||
|
||||
**Fix-Kette (verifiziert):** `qm start 114` → force-delete openshell-0 (StatefulSet recreatete auf worker-02, 1/1) → headless OIDC-Login (Authelia firstfactor + redirect; Skript-Neubau `/tmp/oidc-login3.sh`, PW `/root/.fleet-authelia-pw` auf Runner) → `systemctl restart openshell-portforward` (17671 listening) → `resume.sh` 8/9 + **ceo separat** (Bug: resume.sh-Liste umfasste nur 8 Agenten → **gefixt: Liste um ceo erweitert auf dem Runner**) → 9/9 Pods Running, 9 Serien (46–283 s), Immich-ML nach Recreate Running.
|
||||
|
||||
**Pitfalls (neu):** (a) openshell-0-Terminating-Wedge = SPOF für ALLE Sandbox-Ops; Heilung = force-delete, danach StatefulSet-Recreation abwarten. (b) Nach Full-Resume `openshell sandbox list` auf 9/9 Ready prüfen, nicht Skript-Output. (c) OIDC ohne Refresh-Token: nach Token-Expiry headless Re-Login nötig (bewährtes Muster in SolDoc). (d) Policy-Hotfix per `kubectl cp` scheitert: Pods uid 10001, `/opt/hermes/fleet` root-owned → Policy-Rollout nur via Image-Rebuild (Kaniko) oder ConfigMap-Mount (struktureller Fix, offen). (e) Kaniko v1.23.2 ohne `--push-retry`: Gitea-Upload-Session läuft bei großem Push ab (BLOB_UPLOAD_UNKNOWN 2× identisch) — dritter Anlauf mit kleinerem Image/Registry-Timeout nötig.
|
||||
|
||||
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
|
||||
|
||||
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`
|
||||
|
||||
Reference in New Issue
Block a user