Auto-sync: 2026-10-30
This commit is contained in:
@@ -921,3 +921,111 @@ owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9
|
||||
geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau.
|
||||
**Lesson:** Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist
|
||||
keine Faelligkeit (rueckbau-*-Praefix = Konvention).
|
||||
|
||||
## 30.10.2026 — Tower Tasks-View + Dead-Letter-Re-Dispatch (Envelope-Vertrag) + Kaniko-Builds im Cluster
|
||||
|
||||
- **Auslöser:** Runner-VM 200 (`10.0.30.124`) hatte einen **ext4-Journal-Hang**
|
||||
(`jbd2` in D, 5,7 kB/s direkte 4-K-Writes) — Tower-Build hing 24 min. Owner
|
||||
sagte „weiter" → Pivot auf **in-cluster Kaniko** (nicht Reboot/Disk-Move).
|
||||
- **Kaniko-Pipeline (NS fleet, dauerhaft):** PVC `fleet-build-src` (cephfs-ssd 4Gi
|
||||
RWX), Secret `fleet-build-push` (dockerconfigjson, out-of-band), Pod
|
||||
`build-loader` als `kubectl cp`-Ziel; Build-Pod
|
||||
`kaniko-<svc>` (`gcr.io/kaniko-project/executor:v1.23.2-debug`,
|
||||
`--skip-tls-verify` PFLICHT wegen self-signed Gitea, `--digest-file` auf dem PVC).
|
||||
Zeiten: board 24–60 s, watcher 21 s, Tower 4 m 56 s (Next.js full).
|
||||
SolDoc `tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md`.
|
||||
- **Tower 0.19 → 0.20** (`d8a233ac…`, Commit `1969132`): neue Views
|
||||
**Tasks** (Spool / Dead-Letter / Alarm) mit Task-Detail-Modal (volles Envelope),
|
||||
**`/healthz`** + **`/api/status`** (maschinenlesbar, fail-loud-read: tote Quelle =
|
||||
degraded, nicht 500), NAR-Historie, Release-Notes-Feed, Board-PVC RO-Mount
|
||||
(`/srv/fleet/board`), `FLEET_TOWER_VERSION`.
|
||||
- **board-service 0.20** (`b7d68298…`): MCP-Tool `redispatch_task` — Dead-Letter-Task
|
||||
erneut zustellen (`uuid4`, 7-Tage-Fenster, idempotent via `re_dispatched_to`
|
||||
+ Scan `re_dispatch_of`, akzeptiert Org-Mitglieder **und** System-Sender
|
||||
`tower-owner`/`deadman-watchdog`).
|
||||
- **watcher 0.23** (`9c048560…`): `REDISPATCH_FIELDS`
|
||||
(`re_dispatch_of`, `re_dispatched_to/_at/_by`) in `KNOWN_OPTIONAL_FIELDS`.
|
||||
- **Bug-Kette (3 Quarantänen, SolDoc bug-fixes/2026-10-30-…-envelope-contract-quarantine.md):**
|
||||
(1) synthetische ID `redis-<uuid>` → Watcher verlangt echte uuid4;
|
||||
(2) Original auf `status=re-dispatched` → Status-Enum kennt den Wert nicht,
|
||||
Dead-Letter-Eintrag verschwand; (3) Zusatzfelder nicht in der Whitelist.
|
||||
**Lehre: Der Spool-Envelope ist ein Contract mit drei Achsen — ID-Form,
|
||||
Status-Enum, Feld-Whitelist.** Provenienz entweder in die Whitelist oder ins
|
||||
Journal. Reparatur aus `_invalid/` NIE mit Zusatzfeldern (`repair_note` → sofort
|
||||
wieder Quarantäne).
|
||||
- **E2E-Beweis (echter Dead-Letter-Task):** `01956904` (2,4 Tage alt, from
|
||||
`tower-owner`) → Re-Dispatch `cc6c6f97` → `task_claimed` by **ceo** nach 8 s →
|
||||
`task_completed` nach ~6 min mit Deliverable (Rollenbeschreibung devops +
|
||||
Release-Note). Tower-DOM (headless Chromium via SSH-Tunnel über .92, weil der
|
||||
Hermes-Host in VLAN 30 liegt und die IP-ACL ihn aussperrt): 61 Dead-Letter-Zeilen,
|
||||
genau **1** Badge `↻ zugestellt cc6c6f97`, 0 Konsolenfehler.
|
||||
- **PITFALLS:** (1) `pkill -f "ssh.*18443:…"` killt die eigene Shell (Muster steht
|
||||
in der eigenen Kommandozeile) → Bracket-Trick `1844[3]`. (2) ArgoCD-Sync meldet
|
||||
Exit 20 „another operation in progress" und wendet trotzdem an — Beweis ist
|
||||
`rollout status` + `imageID`. (3) `add_release_note` akzeptiert nur org.yaml-Agenten
|
||||
(`tower-owner` → Fehler) und max **500 Zeichen**; Chair-Deploys als `agent_id=ceo`
|
||||
mit `[Chair]`-Präfix im Text. (4) `kubectl exec … python3 - <<EOF` ohne `-i`
|
||||
liefert stillschweigend nichts → Script per `kubectl cp`. (5) Kaniko-Push auf
|
||||
existierenden Tag bricht ab; `sed` auf Pod-Manifesten kann still nichts ändern
|
||||
(0.19-Build ging versehentlich auf `:0.18`).
|
||||
- **deadman 0.13.2** (`dd5bcf97…`, Commit `effa78e`): `progress`-Kaskade
|
||||
überspringt `to=tower-owner`. 13 offene Owner-Entscheidungen hielten den Alarm
|
||||
dauerhaft rot (ALARM auf einem Owner-FYI) und schickten dem CEO alle ~2 h einen
|
||||
Deadman-Task — **drittes Vorkommen derselben Semantik-Lücke** (Watcher-Idle-Gate
|
||||
0.22, Autonomie-Kaskade 0.13.1). Regel: „Ist die Fleet untätig?" schließt die
|
||||
Owner-Lane aus, im billigen Gate genauso wie im tiefen Pfad. Nach dem Rollout
|
||||
`progress 0`, `open_tasks 0`, `gateway_ok 1`; ALARM-Linie im Board nachträglich
|
||||
als RESOLVED geschlossen (Pod-Restart verliert den Alarm-Zustand).
|
||||
### Phase-1-Abnahme `p1-e2e-flow` — 4/4 grün (30.10.2026, live bewiesen)
|
||||
|
||||
| Test | Beweis |
|
||||
|---|---|
|
||||
| **A Kette Owner→CEO→VS→Lieferung→Abnahme→Kanban** | Owner-Task `a9030241` (tower-owner→ceo) → Claim + Erledigung; CEO legt Karte `e2e-p1-restore-runbook` an (Score 45, Ursprung owner) und delegiert P2-build `67011cb0` an cto (karte_id+vs gekoppelt); cto liefert Runbook (5 Schritte, je Prüfkommando + Abbruchkriterium, Artefakt `/sandbox/artifacts/e2e-p1-restore-runbook.md`); `card_auto_fertig` + `review_task_created` → `0316bd41` (cto→ceo); CEO **ABGENOMMEN** 09:46:35. Journal-Beleg: accepted → task_claimed → task_completed → card_auto_fertig → review_task_created → task_claimed → task_completed. |
|
||||
| **B FYI ohne Antwort-Task** | `6cc6d5cf` (ceo→cto fyi): Claim +15 s, completed +26 s mit „FYI zur Kenntnis genommen", **kein** reply_to-Kind. |
|
||||
| **C Fail-loud kaputtes Envelope** | Envelope mit `status=re-dispatched` + Fremdfeld → in `_invalid/20261030-092711-quar-<id>.yaml` verschoben, Journal `quarantined`; nichts still verworfen. |
|
||||
| **D Egress-Deny** | Aus ceo-Sandbox via Supervisor: Prometheus `10.0.30.202:9090` rc=7 (Refusal 0 ms), K8s-API `10.0.30.51:6443` rc=7; Positivkontrolle board-service `:8080` erreichbar (HTTP 400 = MCP-Protokoll, TCP offen). |
|
||||
|
||||
**Durchsatz-Beobachtung:** Single-Thread-Worker je Agent ⇒ ein laufender LLM-Turn
|
||||
blockiert Claims; ein Owner-Task wartete 197 s hinter einem Review-Turn. Kette
|
||||
Ende-zu-Ende 09:33:40 → 09:46:35 = **13 min** für 3 Agenten-Turns.
|
||||
|
||||
**Offener Strukturbefund:** devops hat **13** Change-Order-Verzeichnisse in
|
||||
`/sandbox/fleet-change-orders/` (kosten-ampel, flussmetriken, wochenbericht,
|
||||
spool-aging, nar-register, deadman-status, owner-queue, notfall-runbook,
|
||||
task-deadletter, health-ampel …); im Tower-Quellcode integriert sind nur
|
||||
`task-detail`, `nar-historie`, `release-notes-feed` → **10 offen**. Agenten
|
||||
können keine Images bauen und nicht ins IaC-Repo schreiben ⇒ jeder Tower-Deploy
|
||||
läuft über die Chair-Pipeline. Damit ist der Chair der Durchsatz-Deckel für
|
||||
Tower-Features (genau die Vorhersage der Verfassung; verschärft sich mit 26
|
||||
Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
|
||||
(Kaniko+Git-Gate, Owner-GO nötig).
|
||||
|
||||
- **board-service 0.22** (`483d105a…`, Commit `ceacfad`): `dismiss_owner_task`.
|
||||
Befund 30.10.: 13 offene Owner-Tasks, davon 9 reine Quittungen. Der einzige
|
||||
Schliess-Pfad (`decide_owner_task`) erzeugt IMMER einen Folge-Auftrag → für
|
||||
Meldungen strukturell falsch, also blieben sie liegen. Neu: dismiss schliesst
|
||||
ohne Folge-Task (Journal `owner_task_dismissed`). 13/13 geschlossen, 4 echte
|
||||
Anträge als Freigabe an die Antragsteller delegiert (devops/ciso claimten in
|
||||
17–18 s), Inbox 0 offen.
|
||||
- **Owner-Lane-Disziplin** (FLEET-POLICIES §1.3, Owner-Vollmacht 30.10.,
|
||||
Commit `bc1eaf1`): Eskalation an `tower-owner` nur noch bei harter Linie —
|
||||
Egress extern, Schreibzugriff auf Produktions-/Owner-Systeme, Secrets, NEUE
|
||||
externe Exposition, destruktive Eingriffe, Unsicherheit. Operatives im
|
||||
Innenverhältnis (Deploys, Rollouts, Runbooks, Restarts, Grants in
|
||||
10.0.30.0/24 — dauerhaft nur 90 Tage + Rückbau-Karte) entscheidet der CISO
|
||||
selbst; Owner bekommt höchstens `fyi`. CISO-SOUL live deployt; FLEET-POLICIES.md
|
||||
wird per COPY ins Image gebacken → dort erst mit dem nächsten Image-Build
|
||||
wirksam (SOUL = Enforcement-Punkt).
|
||||
- **watcher 0.24** (`547e35eb…`, Commit `da32178`): verwaiste Claims werden
|
||||
automatisch freigegeben. `working` + mtime älter als `ORPHAN_REQUEUE_SECONDS`
|
||||
(7200 s; deckt 2 × `LLM_TIMEOUT` 1800 s) → zurück auf `submitted`, nach
|
||||
`ORPHAN_REQUEUE_MAX` (3) Versuchen `blocked` (sichtbar im Tower). Journal
|
||||
`orphan_requeued` mit Alter/Empfänger/Versuch. Offline-Test 4/4 (3 Stufen +
|
||||
Frisch-Claim-Gegenprobe), Live-E2E: synthetischer Orphan (9007 s) in < 10 s
|
||||
requeued. **Damit ist der Kreis geschlossen: Requêue → `agent_awaiting_claim`
|
||||
→ Claim → complete.** Bis 0.24 blieben tote Claims für immer liegen (Worker
|
||||
hatte kein Re-Own).
|
||||
- **Offen:** Runner-VM 200 ext4-Hang (Optionen Reboot / Disk auf `ceph-flash`);
|
||||
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
|
||||
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
|
||||
im Worker fehlt weiterhin.
|
||||
|
||||
Reference in New Issue
Block a user