--- title: Agent-Fleet category: systems status: active created: 2026-10-22 updated: 2026-10-26 --- # Agent-Fleet (Multi-Agent-Plattform) Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem LLM-Chokepoint und objektiver Telemetrie. > **STATUS 25.10.2026:** Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206) > per Q8a-GO **EINGEFROREN** (Crons `.frozen-20261025`, Protokoll > `/srv/fleet-board-freeze/` auf PVE); Deprovisionierung erst nach Phase-1-Grün. > **Aktiv ist der Rebuild v2.5** (lebende Verfassung, Commit 391c9fa): 9 Agenten > (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter > cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truth > `iac-homelab/clusters/main/fleet-truth/org.yaml`. Dieser Wiki-Abschnitt > **Iteration-1-Betrieb** ist historisch (CTs, Poller, WebUI v0.x, B-Inputs, > Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt > „Fleet-Rebuild v2.5 (Phase 0)" unten. ## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026) - **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10. Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt; max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only). - **Phasen:** 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell- Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) · **0.5 p0-image ✓ GRÜN (25.10. spät)** · **0.6 Bifrost-VKs ✓ GRÜN (26.10.)** · **0.7 Spool+Watcher ✓ GRÜN (26.10.)** · **0.8 MCP-Facilities ✓ ALLE 4 GRÜN (26.10.)** · **0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready)** · **0.10 Fleet-DB ✓ GRÜN (26.10.)** · **0.11 Beacon ✓ GRÜN (26.10.)** · **0.12 Deadman ✓ GRÜN (26.10.)** · **0.13 Control Tower ✓ GRÜN (27.10., DOM-Smoke 23/23)** · **0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden)** → Phase 1 Onboarding. - **p0-image (0.5) final:** Agent-Image `git.schoen.codes/dominik/hermes-agent` Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`** (1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile `clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124). - **p1-image v5.1 (28.10., AKTUELL):** Tag `fleet-v5.1` = **digest `sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d`** (Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) **NAR-Verfahren** (Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan- Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien + Worker-Tool-Prompt-Verweis; `to: tower-owner` NUR durch ciso und nur `type: escalation|fyi`, kodiert in 3 Validierungsschichten (submit_task.py + CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py), E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) **Worker Resume-on-Disconnect:** `Gateway disconnected` startet KEIN Re-Execute, sondern beobachtet die Session-DB bis 900 s und completed mit der finalen assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops (RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser; (c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen). Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout — default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert. **Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`) + Prepuller-DS `clusters/main/fleet/agent-image-prepull.yaml` → gateway.toml `default_image` → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task) + Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret `agent-fleet-registry-pull` out-of-band im NS fleet (default-SA imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe `systems/gitea.md` „Container Registry". SolDoc: `docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md`. - **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5 digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER /sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted Key "openshell.gateway" (inline `values:`, nie ArgoCD-parameters — dotted Keys brechen --set-Parsing, CrashLoop). - **ArgoCD-Lektionen (wiederkehrend):** dotted Keys nur inline `values:`; nach Git-Push Root-App (app-of-apps) refreshen; Sync via `kubectl -n argocd exec sts/argocd-application-controller -- argocd app sync --core`; org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/. - **Bifrost (Wiederverwendung Iteration 1):** NS agent-fleet, VIP 10.0.30.210:8080, App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member benannt `[-v]`, Rotation `-v`; Allowlist `^(noris/)?vllm/release/.*`, `key_ids ["*"]`, deny-by-default. Abnahme je VK: Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090. ### p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet) | agent_id | VK | Modell (noris/vllm/release/…) | Secret | |---|---|---|---| | ceo | ceo-v3 | glm-5-3 | fleet-vk-ceo | | cto | cto-v2 | glm-5-3 | fleet-vk-cto | | ciso | ciso-v2 | glm-5-3 | fleet-vk-ciso | | chro | chro-v2 | glm-5-3-flash | fleet-vk-chro | | cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo | | agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach | | coo | coo-v2 | deepseek-v41-flash (reasoning_effort max) | fleet-vk-coo | | devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops | | research | research | deepseek-v41-flash | fleet-vk-research | - Secrets: `kubernetes.io` ESO-ExternalSecrets aus `clusters/main/fleet/vk-secrets.yaml` (1P-Vault „Kubernetes ESO", Items `Agent-Fleet VK `, Feld `password`); Keys `api-key` + `key-name`; Zieldatei `FLEET_BIFROST_API_KEY` definiert in `fleet-truth/bifrost-vks.yaml` (Phase-0.9-Injektion). - **Bifrost-API-Pitfalls:** `POST /api/governance/virtual-keys` verwirft `allow_all_keys` → Key ohne Schlüssel (400 „no keys found"); Fix per `PUT …/{id}` mit `key_ids:["*"]` (PATCH = 405). Echte API nur unter `/api/…` (`/api/v1/…` = SPA-HTML 200!). Modellnamen brauchen Provider-Präfix `noris/`. Reasoning-Modelle liefern bei `max_tokens`-Knappheit leeren Content → Smoke über HTTP-Status + `usage.total_tokens`. ESO-Defaults (`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`) müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff. - **Offen (Owner-GO):** 9 Alt-VKs (`fleet`, `ceo`, `ceo-v2`, `cto`, `ciso`, `chro`, `coo`, `cmo`, `devops`) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern (`VK ceo (v2)`, `coo (v2)`, `cmo (v2)`, `devops (v2)`) löschen. - **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md` ### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts - **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate, automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`). Image `git.schoen.codes/dominik/fleet-spool-watcher` Tag `fleet-v1` = **digest `sha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf`** (python:3.11-slim + pyyaml 6.0.2, non-root UID 1000). Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py 591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS). - **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s, Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}). - **CephFS-Fix:** initContainer `spool-perms` (busybox:1.36, root) legt `_journal/ _runs/ _invalid/` an + chown 1000:1000 — sonst PermissionError (CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks. - **E2E bewiesen:** submitted→dispatched→run_started→run_finished, Status- Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante (exit 127) — beides im Journal + Envelope nachgewiesen. - **Befehlsmuster:** Toolbox-Pod `kubectl -n fleet run spool-e2e --image=python:3.11-slim` + PVC-Mount per --overrides; Einreichung via `kubectl cp` + `kubectl exec -i` heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches sofort). ### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts - **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi, healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet). Manifeste: `clusters/main/fleet/db/` (fleet-db.yaml, schema.yaml). - **App-User `app_fleet`** = CNPG **Managed Role** (`spec.managed.roles`: login, connectionLimit 50, passwordSecret-Ref `fleet-db-app-user` [username+ password]; KEIN superuser/createdb/createrole). Bootstrap-Owner `fleet` (Secret `fleet-db-owner` out-of-band) hat KEIN CREATEROLE — CREATE ROLE im Schema-Job schlägt fehl → Managed Roles sind der Weg. - **7 Tabellen** (additiv, IF NOT EXISTS): members, org_snapshots, provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples. heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta. - **Beweise:** psql select count je Tabelle (Selftest), DROP-Negativtest (verweigert für app_fleet), `SECRET_READBACK_OK`, ArgoCD Synced+Healthy. - **ArgoCD ignoreDifferences-Pitfalls** (Commits 3931c63, 34179d4): K8s-1.35 `status.terminatingReplicas` (jsonPointers) + ~45 CNPG-Webhook-Defaults via **jqPathExpressions in jq-Punktnotation** (`.spec.probes` — Slash-Syntax failt im Diff-Normalizer; Wildcards `[]` nicht `*`). Solution Doc: `docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`. ### p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts - **Deployment `fleet-beacon`** (NS fleet, 1/1, digest `55718277…`), Code aus `/home/debian/workspace/agent-fleet/src/beacon/` (FastAPI, 14/14 Tests), deployt unter `clusters/main/fleet/beacon/` (app.py, deployment.yaml, containerPort 8000, sync-wave 6). Persistenz via Secret `fleet-db-app`. - **3 Root-Causes auf dem Weg (alle gefixt):** (1) app.py liest `DATABASE_URL`, `envFrom: secretRef` liefert aber nur Einzelkeys → healthz 503 (fail-closed). Fix: `valueFrom.secretKeyRef{name: fleet-db-app, key: uri}` (Commit f13c744). (2) Patch-Indent-Bug: `name:` neben statt unter `secretRef` → ArgoCD `ComparisonError: envFrom[0].name: field not declared in schema` blockierte den GESAMTEN App-Sync (Commit fe5cc10). (3) `app_fleet` hatte Tabellen- aber keine **Sequence**-Rechte → `permission denied for sequence heartbeats_heartbeat_id_seq` beim INSERT. Live-GRANT + Git-Fix in schema.yaml (`GRANT USAGE, SELECT ON ALL SEQUENCES` + ALTER DEFAULT PRIVILEGES, Commit ca7660b). - **E2E:** POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → **422** (nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s. - **Sequence-Lektion:** BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences — Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts). ### p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts - **Deployment `fleet-deadman`** (NS fleet, 1/1, sync-wave 7, digest `sha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e` — v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Code `clusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}`. Image python:3.11-slim + pyyaml, **KEIN LLM, kein hermes** (bewiesen: `NO_HERMES`, pip list = stdlib+PyYAML), non-root UID 1000, `/metrics`+`/healthz` auf 8100, readiness/liveness tcpSocket. **Board-PVC rw gemountet** (FLEET_BOARD_DIR). - **VIER Kaskaden (§3.5, v2):** Agent-Silence 1800 s (Quelle Beacon `/metrics` → `beacon_last_heartbeat_age_seconds`), Watcher-Tick 180 s (`_journal/watcher.tick` mtime), Bifrost-Gateway 120 s anhaltend (`/health`), **Beacon-Unerreichbarkeit fail-closed** (EIN `beacon`-Alarm, KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender Alarme). **Edge-Trigger**: ein P1-Eskalations-Task je OK→ALARM an ceo; Heilung löscht den Alert (`GEHEILT`-Log), kein Task-Spam. - **Cold-Start-Semantik (Fix 26.10.):** Agent OHNE je gesehenen Heartbeat = **pending** (KEIN Alarm; Metrik `deadman_agents_pending`). ALARM erst wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß. Unit-Test bewiesen: Cold-Start → 0 `agent:*`-Alarme; Heilung → RESOLVED. - **DEADMAN-ALARM.md** (Board-PVC, HITL-Kanal §3.5): je Ursache EINE `[AKTIV]`-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt `[RESOLVED]` in den append-only-Verlauf; temporäre Datei + os.replace (atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär). - **Metrics:** deadman_silence_seconds{agent}, deadman_alert_active{source}, deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds, deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up. - **Live-Beweis (26.10.):** `agents_pending 8`, `beacon_ok 1`, keine `agent:*`-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK. - **Validator-Konflikt (kritisch):** submit_task.py UND watcher_main.py erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert. Fix: `VALID_SYSTEM_SENDERS=["deadman-watchdog"]` / `SUBMIT_SYSTEM_SENDERS`, nur als Absender, nur `type=escalation`, `to` bleibt 9er-Org. Envelope-Feld heißt **`body`** (Watcher-Whitelist REQUIRED_FIELDS + KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body; `input` → Quarantäne). Beweis: 9/9 Tasks durch `validate_schema_loose`. - **Watcher v2** (digest `sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8`): schreibt `_journal/watcher.tick` (epoch-int, fsync) je Zyklus als Liveness-Signal; System-Sender-Whitelist. - **E2E live:** 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte Heartbeat); Gateway 0, Watcher 0. **Watcher-Kaskade bewiesen**: replicas 0 (via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task `ac15c65b` → replicas 1 → `GEHEILT watcher`, alert 0, Tick 3 s. - **ArgoCD-Job-Immutabilität (neue Lektion):** `fleet-db-schema` Job blockierte JEDEN App-Sync („field is immutable"; `Replace=true` scheitert an fehlendem selector). Lösung: Job als **PostSync-Hook** (`argocd.argoproj.io/hook: PostSync` + `hook-delete-policy: BeforeHookCreation`) → nicht getrackt, konvergiert idempotent bei jedem Sync. Commit 077c5c8. - **Grenze des Kill-Tests:** `kill -STOP 1` im Pod wirkt NICHT (PID-Namespace-Init ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über Git-replicas, nicht über Signale. `kubectl scale` wird von ArgoCD selfHeal binnen ~3 min revertiert → Overrides IMMER via Git. ### p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts - **Baukasten:** alle 4 Facilities nach demselben Muster (mcp==2.3.0, `MCPServer` + `run(transport="streamable-http", stateless_http=True)`, tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate, automountServiceAccountToken false, deadman-cascade-Label, UID 1000, Digest-Pins). Vorlage: `clusters/main/fleet/mcp/org-registry/`. Solution-Doc: `docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md`. - **1/4 org-registry** (digest `sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e`): Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth, Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents. - **2/4 board-service** (digest `sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a`, Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note, get_backlog, get_kanban, health, list_value_streams, move_card, submit_task, submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. **27.10. Fix: alle 54 Validierungen raisen jetzt `ToolError` statt `ValueError`** — das MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat. Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc: `docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md`. - **3/4 telemetry** (digest `sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7`, Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei), get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status (Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud (kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar. - **4/4 provisioning** (digest `sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1`, Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt- ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste), record_provisioning_event (INSERT provisioning_events, psql-bewiesen event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst isError; `none` = noch nicht provisioniert), health (DB-Connect). **Gateway-Call STUBBED** (provision_sandbox_stub → NotImplementedError, Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer board-perms chown. envFrom fleet-db-app: Keys heißen **user/password/host/ port/db** (NICHT DB_USER — ENV-Name = Secret-Key!). - **E2E-Muster (wiederverwendbar):** Test-Skript als ConfigMap + python:3.11-alpine- Pod mit --overrides-Mount; RPC via POST + `Accept: application/json, text/event-stream`, letzte `data: `-Zeile parsen. python:3.11-alpine hat KEIN kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen. ### p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts - **Fleet Control Tower** = Fork `dominik/openshell_controller` (Upstream nemo-shell-dashboard), Next.js 15 Custom-Server `server.mjs` (kein standalone), ns fleet, Pod `fleet-tower-…-bsc2p` 1/1 auf rke2-worker-03. Image `git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814 588117ac03fdeb8c0f2094a90e70dfff34f2e9d2` (Git==Live verifiziert). 5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed (Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task, CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`, force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht `@/lib/…` — tsconfig `@/*`→`./*`). **29.10.: Tower 0.15** (Digest `sha256:00a82fefd1e350b73ae2f1ed288dbf71e04 c719b7b39be96cd314c6a11878854`, Commit `4ecb30e`) = fleet-native **Sandboxes-View** (`/api/fleet/sandboxes` → read-only PromQL gegen kube-state-metrics, NS openshell, Pods `default--`; 9/9 Running, node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views (Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create bewusst NICHT (Creates laufen über Provisioning-Pipeline). - **⚠️ 29.10. Traefik-Regression (behoben):** ArgoCD-`proxy`-Sync 28.10. 22:21:53 (Rev `4ecb30e`) fiel mit Helm-Release #96 zusammen, das OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods trotzdem 1/1 Ready. Fix: Kommentar in `valuesContent` (Hash-Änderung) → Release #97 mit `tower-internal:8445`/`web-internal:8001`/ `websecure-internal:8444`; verify: 200 von 10.0.20.92, 403 von VLAN 30. Merksatz: **nach jedem proxy-App-Sync `helm get values rke2-traefik` prüfen**; `rc=7` = VIP announced/Port zu, Timeout = VIP-Problem. SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md - **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service `traefik-tower-lb`, port 443→targetPort 8445, entryPoint `tower-internal` :8445 — neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`), IngressRoute PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 + 172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls (Interim-CA bis 24.01.2027, CN tower.schoen.codes). `externalTrafficPolicy: Local` PFLICHT für ACL (sonst SNAT). ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017). Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP **`https://10.0.30.213/`** (ohne Portangabe! :8445 ist nur der Container-Port; Cert-Warnung wegklicken). - **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type ∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten; body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO. - **DOM-Smoke 23/23 PASS** (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP — Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+ nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert), Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets. - **Abnahme-Status:** werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen: Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus 10.0.30.x design-gemäß 403. - Solution-Doc: `docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md` (Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding); Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017. ### p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz - **Owner-Kanäle:** Idee→Backlog via Tower-API (Karte e2e-014-owner-idee, score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/ Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build, P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen 400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage + CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über GET /api/fleet/owner/chat — §8-Kriterium erfüllt. - **Beacon Strict-Gate:** ghost→422, devops→200, psql-Zeile sichtbar. - **DB-Selftest:** 7 Tabellen via app_fleet; DROP verweigert („must be owner"); NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED). - **Deadman:** pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7 vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43 (tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool → Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH (kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen). - **Produktionsbug gefunden+gefixt (992cdfb):** tower-owner fehlte in VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab); Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale. SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md. - Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy, Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei. ## Repos & Struktur (Iteration 1 — historisch) - **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML, Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`, inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded). - **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste. Push via `git push canonical HEAD:main` (HTTPS-Auth defekt). ## K8s-Basis (Namespace agent-fleet) - ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests). - **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo). - ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und `agent-fleet-bifrost` (Helm, sync-wave 2). ## LLM-Ingress: Bifrost (A3', produktiv) - **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`, NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam). - SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet). - Provider `noris`: custom provider, `base_provider_type: openai`, `base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret `bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert). - Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`), Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`. **ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json ist eine echte Route). - **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`. Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal, keine Anthropic-Modelle. Kodiert als Regex-Allowlist `^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`, deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10). - **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** → ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit basicAuth gegen `bifrost-admin`. Prometheus-Target UP. - VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld `credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT — 1P-Referenz bleibt über Rollouts stabil. ## 1P-Items (Vault „Kubernetes ESO") | Item | Zweck | Feld(er) | |---|---|---| | `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password | | `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key | | `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential | | `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) | | `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential | ## Beacon (B1+B2, PRODUKTIV seit 22.10.) FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics (`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`, `beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED, Important-Fixes committed `b3b4b9f`). - **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` + `beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`, dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica (100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`. - **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am größten Blob, manuelles docker push aus demselben Daemon ging sofort). - **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples — inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten). - **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403 (Strict-Org-Gate live) · Prometheus-Target UP. - org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto, ciso, chro) — Quelle: Phase-0-Plan Task E1. ## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018) - **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/ **20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter `:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut). Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`, SSH `root@10.0.20.92` + `pct push/exec 161`. - **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider `bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log). - **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer `ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud); Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`; BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats` (task_id board-w1-memo) + Prometheus. - **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md` (Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml` (= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`. - **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z., MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO „Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL → sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. **Liegt zur Genehmigung beim Owner.** ## Board-Sandboxes W1 (23.10. — A16/ADR-019) - **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff). - **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5). - **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails. - **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.** - **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär. - **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363. - **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles). ## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower) - **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail` mit `inbox-/{new,processed}` je Agent (ceo/cto/ciso/chro), via `pct set -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet (2777). Nachrichten = MD-Dateien `-von--.md` mit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar. - **Poller**: systemd `fleet-mail.service` je CT (Restart=always) → `/usr/local/bin/fleet-mail-poller.sh `: **v3.7 (25.10. früh)** — v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP 25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname- Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade** (ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss → Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen: Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16 regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO 43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert nur bei =P`; Poller mappt lokal auf Dateinamen zurück — Output-15×- Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot- sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail (timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie- Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet- Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) → Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost); Restart killt Waisen-Subagenten via pkill "timeout 1500". - **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1 agent-spezifisch („Du bist ()…"), Kontext CHARTER/spec/org, dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.): (1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs) sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung; (2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren; (3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2. (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/ %ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht); Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs. - **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final), `challenges/`, `inbox/`. Owner liest dort freizügig. - **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00 Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail. - **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC = 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all — Alert nur wenn Digest `-final.md` fehlt oder fleet-mail inaktiv (OK = deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min: r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte im Repo `genesis/board-2026-10-23/`, Commit `0917144`). - **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) — niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über den systemd-Poller ist der stabile Weg. ## Konventionen & Regeln - Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner- Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):** CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` · COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config (`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`. **PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort` nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 → Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt `api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung 33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell, Queues drainen. - Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting). - ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release `bifrost` verwaltet nur bifrost-*-Objekte. - ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via `kubectl -n argocd annotate application argocd.argoproj.io/refresh=normal`. ## Offene Punkte - **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner- Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro). - Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics. - Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK. - Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea) doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround: Registry/CI via git.familie-schoen.com routen. - D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion in Hermes-Configs). ## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe) - **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`** (`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`, `Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21). Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über **rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam). CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf KEIN ALTER ROLE). Solutions-Doc: `docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md` - **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag): API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256 `a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) + **Machine-Token** (1P-Item `openshell_controller Machine-Token` + `/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠ Blueprint → 422 BLOCK. - **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role + Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS- scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` + kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck: Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad. - Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`, `b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`, `b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo (`*-von-eigentuemerproxy-b123-*.md`). - Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`, `openshell_controller Machine-Token`. ## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go") - **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163 (`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage (`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU. Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana **10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert (Probe-VK sofort wieder gelöscht). - **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test` (app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota (4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap (ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E). E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe. - **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB, CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail). F-7 Option B (4/8/50) damit formal bestätigt. - **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf `/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content → ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc: `integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md` - Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`, `b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo (`*-von-eigentuemerproxy-b457-*.md`, 13:42). ## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive) - **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder** `https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI → Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1. mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten → v2/OIDC. Nichts gelöscht. - **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**): `:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001` (NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem `traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert ⇒ `.203:80` mit Host-Spoof → 404 (verifiziert). - **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui` (HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls `fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`). Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede** IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still ignoriert (404, kein Log). Das war der ursprüngliche Bug. - **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app` ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py` + `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop). - **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM, Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f). - Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`. ## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s - **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud), `/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by (virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m], 10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`. - **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key- binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke: ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback. - **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒ FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix: `namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben, immer den Backend-NS selektieren. - **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit 23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health, Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh (CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report. ## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung - **Final-State:** Package landete mandatkonform in `clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**, AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox 19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02` trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per- Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück). - **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6 fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes Label-Strippen ODER manueller Delete eines parallelen Actors). **Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage- Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung: alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations `argocd.argoproj.io/compare-options=IgnoreDifference` + `sync-options=Prune=false,Delete=false`. - **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles, eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**; lieber Schutz-Annotations (persistieren) als transiente Spec-Changes. - **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/ Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate. ## Fleet-Board-CM-Sync & LB-Pools (23.10.2026) - Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional. - LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb. - Fleet-Mail: Zustellung = Datei in inbox-/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)". - CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only). ## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert) - **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service` (Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push → systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand). - **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert: T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert); False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes` (UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv. - **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht; CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…` war Bug 1 der Fünf-Bug-Kette (Solution-Doc: `docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`). - **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum — ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01 kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`. (3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4) CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500, `unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit). - **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben), CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B (4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline: Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new. ## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120) - **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin); Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt. - **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264), Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError → Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events. - **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging, negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs): PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.** - **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount ohne Zielarg (MP immer /var/lib/lxc//rootfs); Hollow-Confs unsichtbar in Resources-View. - **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201 (Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin. ## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12) - **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) + CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade). - **Fix (live attach ohne Restart nötig):** `pct set -mp0 /srv/fleet-board,mp=/mnt/fleet-board -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen (`/srv/fleet-mail/inbox-/{new,processed}`) + `pct unmount 202` (stale lock). - **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161 (whitespace-safe sed-Extraktion, Wert via env in python, kein Logging). - **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 + VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id, phase, outcome, detail(jsonb). Controller-Token liegt in CT160 `/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!). ## Klammer-VK-Bug (24.10. Tick, gefixt) - VK-Injektion hinterließ `api_key: ` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK). - Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen. - WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host). - **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`. ## Takt-Learnings 24.10. ~09:00 (Tick 13) - **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen. - **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme. - **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf. - **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst. - **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe. ## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz) - **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN). - **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg. - **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema. - **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt. - **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert). - **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails. - **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live). ## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta) - Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E). - Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok). - CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper . Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming). - Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte). - Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails. ## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta) - DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig. - Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung. - Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md. - PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine. ## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand - **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f ` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host. - **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden. - **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160). - **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]). - **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]). - **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875]. - **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031]. ## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics) - **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt). - **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4). - **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health. - **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT. ## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert") - **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17). - **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund. - **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO. - **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten). - **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom. ## 29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen) - **Owner-Befund:** 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt. - **Fix (iac-homelab `f70fe30`):** - `fleet-spool-watcher 0.17.1` = `sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7` — IdleScheduler: Spool still ≥ `IDLE_SILENCE_SECONDS=900` + keine offenen Tasks → genau EIN Task `from=fleet-scheduler,to=ceo,type=build,P3`; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf). - `fleet-board-service 0.18` = `sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72` — `complete_task` mit `karte_id`/`vs` → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent. - `hermes-agent v5.3` = `sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067` — `FLEET_BEACON_URL` FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung. - `submit_task.py`: `fleet-scheduler` System-Sender (nur `build`), optionale Felder `karte_id`/`vs` (Regex `^[a-z0-9][a-z0-9-]{2,63}$`). - **Beweis 29.10.:** 08:39:51 `idle_trigger_created` (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation `5db4e788` ceo→devops mit `karte_id=rueckbau-nar-edd15ff1` → `card_auto_fertig` + `review_task_created` → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte `it1-tower-02-telemetry-fallback` delegiert. Karte rueckbau: Neu→In Bau→Fertig. - **Rollout:** 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, `deadman_agents_pending 0`, alle `alert_active 0`. - **PITFALL neu (OpenShell-CLI):** `openshell sandbox create --template` schließt `--env` aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest `default_image` nur beim Start → nach Digest-Pin `rollout restart sts/openshell` + `systemctl restart openshell-portforward.service` (.124). - **PITFALL neu (systemd):** `fleet-oidc-login.service` scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → `Environment=HOME=/root` in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, `openshell sandbox list` bricht sonst ab. - SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md` (INDEX Architecture 16), Hindsight-Sync. - **Nachtrag 10:40 — 5. Deadman-Kaskade `progress` (Lücke 4 geschlossen),** Commit `f098091`, Image `fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa`: offener Task (`submitted|working`) mit mtime-Alter > `TASK_STALL_S=5400` → ALARM-Quelle `progress` + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; `from=deadman-watchdog` wird übersprungen, Spool unlesbar = fail-closed. Metriken `deadman_open_tasks`, `deadman_oldest_open_task_age_seconds`, `deadman_alert_active{source="progress"}`. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. **PITFALL:** Test-Tasks mit Nicht-UUID-`task_id` quarantänisiert der Watcher in Sekunden (`_invalid/`) — Test-Tasks immer `uuid4()` + `status: working` (nicht claimbar). - **Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (`rueckbau-nar-edd15ff1`, `it1-tower-02`, `it1-tower-03`, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe `tower-healthz-readonly` → neue Karte `rueckbau-nar-tower-healthz-readonly` (Ablauf 30.11.). Spool 116 Tasks, 0 hängend. ## 29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte - **Owner-Befund (dritte Iteration desselben Symptoms):** „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: **Prompt- und Kostenebene**, nicht Trigger-Ebene. - **RC-1 Identität:** Der Hermes-Identitäts-Slot ist `SOUL.md` im Workspace (`/sandbox/.hermes/SOUL.md`, Loader `agent/system_prompt.py`), NICHT Image und NICHT `config.yaml`. Dort lag nur generischer Hermes-Boilerplate (667 B); `cto`/`research`/`devops` hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin. - **Fix (Commit `a362144`):** `agent-image/fleet/gen_soul.py` erzeugt 9 `SOUL.md` (2,9–4,0 KB) aus `org.yaml` + `FLEET-POLICIES.md` (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report `ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN`, harte Fähigkeitsgrenzen). `deploy_soul.sh` schreibt live + `max_turns 40→20` + `reasoning_effort` (coo/research/devops `low`, Rest `max`). `start-agent.sh` `ensure_soul()` kopiert `soul/.md` aus `/opt/hermes/fleet/soul/` bei fehlend/abweichend. - **Wirkung:** Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → `rc=1` am `max_turns=40`-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (`cto`) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s. - **RC-2 Kosten-Anzeige:** devops verbrannte **8,5 Mio Input-Tokens in 30 min** mit Meta-Analyse der eigenen `state.db`-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower `0 tok/s` für alle: `fleetSource.ts` nutzte `rate(bifrost_input_tokens_total[2m])` ohne Aggregation — `rate()` liefert je VK mehrere Serien (`method`/`model`/`provider`/`fallback_index`), `out[vk].in = v` überschrieb mit der letzten (meist 0). - **Fix (Commit `1407c0e`, Tower `sha256:84a79b99…`):** `sum by (virtual_key_name)(rate(...))` + additives `+=`. **Beweis:** Tower `ceo 4489 / ciso 3516 / devops 9424 tok/s` — identisch mit Prometheus-Gegenprobe. - **RC-3 Ideen waren verboten:** Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … **Keine neuen Karten erfinden**." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.) - **Fix (Commits `ce38c34` watcher 0.18, `3f9f0cd` watcher 0.19, live `sha256:93777fc0…`):** Pflicht-Schritt 4 **IDEATION** — sind < 3 Karten `status=Neu` (ohne `rueckbau-*`, ohne Dauerauftrag `dauer-tower-dev`), erzeugt der CEO genau EINE Idee: selbst eine Karte (`add_backlog_card`, `wert`/`machbarkeit` je **1–10**, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation `cto/cmo/coo/research` (`IDLE_IDEATION_ROLES`, `(epoch//86400) % 4`, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee"). - **Nebenbeweise für Loop-Qualität (gleicher Zeitraum):** `complete_task` mit `karte_id` → Karte `rueckbau-nar-tower-healthz-readonly` automatisch `Fertig` + Review an `ceo`; **CEO hat die Abnahme ZURÜCKGEWIESEN** (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); **ciso triagiert NAR als KRITISCH** (Schreibzugriff Policy-Repo) und eskaliert an `tower-owner` statt zu genehmigen; **devops erkennt fehlenden Cluster-Zugriff** und stellt Änderungsauftrag (`[CHANGE-ORDER]`) an `ciso`. - **PITFALLS:** (1) `SOUL.md` liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) `add_backlog_card`: `wert`/`machbarkeit` sind `1..10` (`SCORE_MIN,SCORE_MAX=1,10`) — Text mit `1-100` wirft ToolError. (4) `rate()` je VK immer `sum by (virtual_key_name)`. (5) Tower bindet auf **Pod-Hostname**, `fetch` mit `127.0.0.1` → ECONNREFUSED (Pod-IP nutzen). (6) `pkill -f ""` killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile). - SolDoc `docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md` (INDEX Architecture 17), Hindsight retain. ## 29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5 - **Entscheid 1b:** Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. **Entscheid 2b:** Ideations-Schwelle `< 3` → `< 5` Karten `Neu`. - **Neu: `fleet-policy-service` 0.1** (`git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e`, Code `clusters/main/fleet/mcp/policy-service/`, Commit `0e7f698`). MCP-Tools: `health`, `policy_list`, `policy_read`, `policy_diff`, `policy_commit`, `policy_status`. Schreibt **nur** `clusters/main/fleet-truth/openshell-policies/.yaml` via **Gitea-Contents-API** (kein git im Pod). - **6 Gates:** Org-Mitglied → Rolle in `POLICY_WRITERS={ciso,devops}` → **Owner-Freigabe** (`grant_task_id` = Spool-Task `from=tower-owner`, `to=`, `type=build`, `topic='FREIGABE: erteilt — …'`, ≤30 Tage) → Pfad-Regex (kein `..`, kein Unterordner) → striktes YAML (`version:1`, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → **Read-back bytegleich**. - **Audit:** Journal-Event `policy_commit` (Pfad, Commit-SHA, Rolle, Grant, `hosts_added/hosts_removed`) — Tower liest dort. - **Token** nur im Pod (`Secret fleet-policy-gitea`, out-of-band). - **Beweise:** 9/9 Negativfaelle aus dem Pod fail-loud (`GATE_FAILS=0`); echter Commit `538359a` als Autor `Fleet devops` mit Owner-Grant `f6dafd60…`, Read-back OK; **Agent-Turn aus dem Sandbox 60 s** (health/list/read valide, beide Negativfaelle greifen). - **Verdrahtung (3 Dinge, sonst unerreichbar):** Deployment+Service → Host in `sandbox-base.yaml` (`fleet_mcp_policy_service:8080`, Chair-Commit) → `mcp_servers.policy` in `/sandbox/.hermes/config.yaml` → **Recreate** (Policy wird beim Create gebunden). devops+ciso recreated, `Phase: Ready`, SOUL 3113/3225 B, `max_turns: 20`. - **watcher 0.20** (`sha256:21ea543c…`, Commit `5279cdc`): Ideations-Schwelle `<5`. Live verifiziert (`ALS 5` im Pod, `ALS 3` weg). - **PITFALLS (neu, alle real):** 1. **OIDC-Token (4 h) abgelaufen → delete UND create scheitern** (`no refresh token available`) — fail-closed, nichts geloescht. Re-Login `/tmp/oidc-login3.sh` auf .124. 2. **`--detach -- sleep infinity` ist die falsche Startzeile** — Sandbox laeuft ohne Runtime (nur `sleep`, keine SOUL/Config). Richtig: `--template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh `. 3. **Recreate = frisches Workspace-PVC**: SOUL+Config weg. `ensure_soul` greift nur, wenn `/opt/hermes/fleet/soul/` **im Image** liegt — das Gateway-`default_image` ist aelter. **LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet.** Sofort-Fix `deploy_soul.sh `; Dauerfix = Agent-Image-Rebuild (offene Karte). 4. **Maskierte Werkzeug-Ausgaben**: venv-Pfad erscheint als `…3.14.9+202****1021-…`; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren `binaries`-Match nie greift. Gegenprobe per `base64`. 5. **PyYAML akzeptiert doppelte Keys** (letzter gewinnt), OpenShell nicht → eigener Strict-Loader. 6. **`kubectl exec`-Prozesse im Sandbox haben KEIN DNS** (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec. - **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium. - **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools. - SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.