Auto-sync: 2026-11-01

This commit is contained in:
Dominik Schön
2026-11-01 22:00:25 +00:00
parent 2053828eaf
commit 21a25a0635
10 changed files with 496 additions and 9 deletions
+100 -5
View File
@@ -182,11 +182,13 @@ LLM-Chokepoint und objektiver Telemetrie.
### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
- **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate,
automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`).
Image `git.schoen.codes/dominik/fleet-spool-watcher` Tag `fleet-v1` =
**digest `sha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf`**
(python:3.11-slim + pyyaml 6.0.2, non-root UID 1000).
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py
591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS).
Image `git.schoen.codes/dominik/fleet-spool-watcher` — **live 0.26 (01.11.2026)**:
digest `sha256:aeb6efc672feabde882ad0256ba8b459b7f348870dba06b94f6e5f8d5ad30beb`
(python:3.11-slim + pyyaml, non-root UID 1000, Kaniko-Pod `watcher-build-026d`;
026/026b scheiterten an TLS-CA bzw. `BLOB_UPLOAD_UNKNOWN` — `--compressed-caching=false`
+ frischer Pod loeste es).
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py,
watcher/deployment.yaml, tests/smoke_test_local.py — **32/32 PASS**).
- **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}).
@@ -201,6 +203,27 @@ LLM-Chokepoint und objektiver Telemetrie.
heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches
sofort).
- **Watcher 0.25-Fix (01.11.):** fyi-Tasks zählen NICHT mehr als offene Arbeit im
Idle-Gate (`_open_task_count`, `maybe_fire.real_ready`). **Korrektur einer
frueheren Fehlaussage:** von 664 fyi waren 651 `completed` — geblockt haben
nur **12 `submitted`** fyi (+1 failed). Echte Arbeit zählt weiter,
`to=tower-owner` (0.22) bleibt ausgenommen. Liveness nur über
`_journal/watcher.tick` (mtime, 10 s) prüfbar — kein Startup-Log by design.
- **Watcher 0.26 fyi-Retention (01.11.):** `phase_archive()` verschiebt fyi
älter `FLEET_FYI_ARCHIVE_DAYS` (default 1, 0=aus) per **`os.replace` nach
`_archive/`** (Move, NIE Delete; Unterordner ausserhalb des Scan-Globs), max
`FLEET_FYI_ARCHIVE_MAX` (250) pro Lauf, alle 300 s; Journal `fyi_archived`
(task_id/file/to/status/alter_tage). Zwei Laeufe: **319 Dateien** (alle fyi
>1 d), top-level 1574→1255; Rest 345 fyi, alle ≤1,0 d.
- **Spool-Bestand 01.11.:** 1574 Envelopes, **664 fyi** (651 completed),
34 submitted (24 tower-owner, 10 ceo).
- **ArgoCD-Sync-Blocker:** Der `fleet`-App-Sync hängt bei
`DaemonSet/fleet-agent-image-prepuller` (8 desired / 7 ready, weil
rke2-worker-05 NotReady ist). ArgoCD wartet auf Healthy und blockiert die
gesamte Sync-Welle. Workaround: Soll-Zustand direkt per `kubectl set image`
setzen (identisch zum Git-Pin) → App danach `Synced`; Root-Fix =
Node-Availability (Parallel-Session) oder Sync-Wave entkoppeln.
### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
- **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi,
healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet).
@@ -1125,3 +1148,75 @@ Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`
## Netzwerk-Policy live ändern ohne Recreation (01.11.2026)
**Problem:** Agent-Sandboxes wurden 29.10. mit Policy v1 erstellt; der `fleet_mcp_deploy_facility`-Endpoint kam erst mit Commit `c0612fb` (31.10.). Bestehende Sandboxes behielten die alte Egress-Boundary — Facility aus der Sandbox nicht erreichbar (DNS ok, TCP deny).
**Lösung (PVC-sicher, kein Pod-Neustart):**
```bash
# auf Runner 10.0.30.124
export OPENSHELL_GATEWAY=fleet OPENSHELL_GATEWAY_INSECURE=true
openshell policy set --policy /root/sandbox-base.yaml --wait <agent>
```
Setzt Policy-Version hoch (1→2), Supervisor lädt sie live. Für alle 8 Standard-Agenten durchgeführt; research bewusst ausgelassen (eigene Internet-Policy, Live-v3 ≠ Git-Stand).
**E2E-Beweis:** `openshell sandbox exec devops -- curl -X POST http://fleet-deploy-facility.fleet.svc.cluster.local:8080/mcp ...` → `serverInfo: deploy-facility`.
**Pitfalls:**
- `kubectl exec` in den Workload-Pod (`default--<agent>`) ist KEIN valider Boundary-Kontext → DNS/HTTP-Tests dort liefern falsche Negative. Nur `openshell sandbox exec` zählt.
- `boundary.json` (Sandbox-Secret) enthält keine Host-Whitelist — nur Session-/TLS-/Identitätsdaten. Enforcement sitzt im Supervisor-Proxy.
- Synthetik-IPs 198.18.0.x = Proxy-Mapping; DNS-Antwort allein beweist keinen erlaubten TCP-Pfad.
- Policy-Dateien: `iac-homelab/clusters/main/fleet-truth/openshell-policies/{sandbox-base,research-sandbox}.yaml`.
## 01.11.2026 (20:00–20:45) — Karten-Bewertungs-Sweep live; zwei Zustell-Blocker behoben
**Feature:** board-service legt alle 900 s `review`-Tasks für Karten im Status `Neu` an (Mindestalter 3600 s, Cooldown 86400 s/Karte, max 5 Karten/Task, ein offener Sweep-Task pro Value Stream). Der Sweep **bewegt keine Karte** — er aktiviert nur den VS-Owner. Kein `karte_id` im Envelope, damit `complete_task` nichts auf `Fertig` koppelt.
**Versionen:** board-service 0.23 `sha256:2d8d3026e02b497dca19b4deda1a5ea2da5ecfdd9980bc395d7796d3745a324e`; spool-watcher 0.25 `sha256:580773d35f679cb450fee692e18d2b1d2334959a1af18e7e93a399055f292b7e`. Commits `801409c`, `e8ef165`, `a233597` (ArgoCD `a233597`).
**Blocker 1 — Dedupe auf mehrdeutigem Typ:** `_open_review_vs()` filterte auf `type == "review"`. Fachliche Abnahme-Tasks der Agenten haben denselben Typ; ein offener `Abnahme: deadman-rezidiv-research-4` (`working`, `vs-fleet-rebuild`) sperrte den ganzen Value Stream (40 fällige Karten). Fix: `_is_card_review_task(env)` = `type=="review" and from=="board-service"`.
**Blocker 2 — Sender-Allowlist-Drift:** Der Spool validiert zweimal — `submit_task.py` beim Schreiben, `watcher_main.py` beim Scan (`validate_schema_loose`). Der Watcher-Pod hat `submit_task.py` **nicht im Image** und hält eine Hardcode-Kopie der Konstanten. `board-service` war nur im Einleger ergänzt → Journal zeigte `accepted` (rc=0), eine Sekunde später `quarantined` („'from' ist kein Mitglied der 9er-Org"), Task in `_invalid/`. **`accepted` ist Schreib-, nicht Zustellbeweis — erst `task_claimed` zählt.**
**Regressionsschutz:** `clusters/main/fleet/spool/test_sender_sync.py` vergleicht beide Konstanten-Dateien per AST (14 Checks): Sendermengen, Typ-Mapping je Sender, `board-service`→nur `review`, keine Kollision System-Sender/Org-Agent. Läuft ohne Import der Module.
**E2E-Beweis:** Sweep-Log `vs-fleet-rebuild -> ceo cards=5` (Task `c5473d17`); die 4 quarantänierten Envelopes zurück in den Spool → `task_claimed by cto`, `agent_claim_active`, 2× `agent_awaiting_claim`, keine neue Quarantäne. Folgelauf 15 min später erzeugte **keinen** neuen Task (Dedupe greift). Karten `e2e-014-owner-idee`/`dauer-tower-dev` unverändert `Neu`. `health()` liefert `card_review: {enabled,last_run,runs,last_result}` als **MCP-Tool** (kein HTTP-Endpunkt — `curl :8080/health` → 404).
**Test-Isolation:** `/tmp/bsvenv` (`mcp==2.3.0`, pyyaml) für `test_card_review.py` (20/20). Kaniko-Builds im Cluster: `bs-build-023c` (board-service), `ws-build-025` (watcher); Registry-Push `BLOB_UPLOAD_UNKNOWN` ist transient → Retry hilft.
## Deadman-Alarm-Routing (01.11.2026, 21:20 UTC) — `7b621ad`, deadman 0.13.3
**Vorfall:** `ceo`-Sandbox stand ab ~18:43 UTC auf `PHASE Error` (Pod weg, kein
Supervisor). Der Deadman erkannte die Stille korrekt (1858 s > 1800 s) und legte
P1-Task `06aa7d55` — mit `to: ceo`, also an den ausgefallenen Agenten selbst.
Der Alarm lag **1 h 43 m** ungesehen, 73 Tasks stauten sich. Heilung war nur
manuell möglich (OIDC-Login ohne Refresh-Token war abgelaufen).
**Fix:** `alarm_recipient(source_key)` in `deadman_main.py` — ist
`source_key == "agent:<ALARM_TARGET>"`, geht der Alarm an `OWNER_TARGET`
(`tower-owner`, kein Agent, HITL-fähig). Alle anderen Alarme unverändert an ceo.
Body trägt `UMLEITUNG:`-Block mit Heilungsweg.
**Sender-Matrix (alle drei Ebenen, sonst Quarantäne):**
`VALID_SYSTEM_RECIPIENT_SENDERS` / `SUBMIT_SYSTEM_RECIPIENT_SENDERS`
`[tower-owner] = {ciso, deadman-watchdog}` — in `spool/submit_task.py`,
`spool/watcher/watcher_main.py` **und** der CM-Kopie `fleet-submit-task`
(`mcp/board-service/deployment.yaml`). NAR-Regel bleibt eng: kein Org-Agent
darf an `tower-owner`; `deadman-watchdog` nur `type: escalation`.
**Tests:** `deadman/test_alarm_routing.py` 19/19 (neu), `spool/test_sender_sync.py`
0 Fehler, echter Watcher-Validator im Pod 6/6 (`validate_schema_loose`).
**Sandbox-Wiederherstellung (Runner, verifiziert):**
`pkill -f "gateway[ ]login"` (Regex-Trick — `pkill -f "openshell gateway login"`
killt die eigene Shell, weil die Kommandozeile das Muster enthält) →
`bash /tmp/oidc-login3.sh` → `✓ Authenticated to gateway 'fleet'` →
`openshell sandbox stop <name>` → `start <name>` → `PHASE Ready`.
Bei `PHASE Error` ist **stop → start** der Weg (start allein reicht nicht).
`/root/resume.sh` startet alle 9 (Liste enthält ceo, am 01.11. gefixt).
**Offen:** Reconcile-Loop für `PHASE Error`-Sandboxes (Selbstheilung);
OIDC-Refresh-Token auf dem Runner. Images: watcher 0.27 `ced4430b…`,
deadman 0.13.3 `d8dbc57a…`. SolDoc
`bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`, Pattern PAT-019.