Files
memory/systems/agent-fleet.md
T

1121 lines
104 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Agent-Fleet
category: systems
status: active
created: 2026-10-22
updated: 2026-10-29
---
# Agent-Fleet (Multi-Agent-Plattform)
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
LLM-Chokepoint und objektiver Telemetrie.
> **STATUS 25.10.2026:** Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206)
> per Q8a-GO **EINGEFROREN** (Crons `.frozen-20261025`, Protokoll
> `/srv/fleet-board-freeze/` auf PVE); Deprovisionierung erst nach Phase-1-Grün.
> **Aktiv ist der Rebuild v2.5** (lebende Verfassung, Commit 391c9fa): 9 Agenten
> (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter
> cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truth
> `iac-homelab/clusters/main/fleet-truth/org.yaml`. Dieser Wiki-Abschnitt
> **Iteration-1-Betrieb** ist historisch (CTs, Poller, WebUI v0.x, B-Inputs,
> Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt
> „Fleet-Rebuild v2.5 (Phase 0)" unten.
> **NACHTRAG 01.11.2026 — vs-ual + sec-ops gemergt, Org-Quellen DRIFTEN:**
> Merge-Kommissionen #9/#10 sind nach `main` durch (ArgoCD-Pfad, nicht HTTPS!):
> `f6ef8e3..5af61ec`, rein additiv, 3 Dateien/+118 Zeilen. Live belegt:
> App `agent-fleet` `Synced @5af61ecd…` health=Healthy; ConfigMap
> `beacon-org-yaml` enthält `id: vs-ual` (parent cto, caps 2/5, hrp-vs-ual-v1)
> und `id: sec-ops` (parent ciso, caps 0/0, hrp-sec-ops-v1); `fleet-webui-org`
> mitgezogen (Org-Chart zeigt beide).
> **ABER:** Es gibt ZWEI Org-Quellen mit verschiedenem Schema —
> `agent-fleet/beacon.yaml` (Schema `id`/`caps`, **wird deployed**, jetzt 10
> Members) und `fleet-truth/org.yaml` (Schema `agent_id`, deklariert sich als
> einzige Wahrheit fuer Struktur, **9 Members, ohne vs-ual/sec-ops, dafür MIT
> `agile-coach`**, das im Deploy fehlt). Kein Konsument der Truth-Datei im Repo
> gefunden. Kanon-Frage liegt beim Chair (Fail-loud-Mail
> `ownerlane-failloud-org-quellen-drift-2026-11-01.md`); Truth-Datei wurde
> bewusst NICHT eigenmächtig nachgezogen.
> **Status ehrlich: 10 Rollen definiert/deployt · 9 in der Truth-Datei ·
> 0 neue Sandboxes** (kein vs-ual/sec-ops-CT → kein Heartbeat, `agents_up`
> unverändert 7 → nicht 10 Agenten live melden). Clone-Gates unberührt:
> DI-6-Sequenzsperre + Clone-Window. PR-8 (research) und M1-Poller bleiben
> BLOCKIERT (Chair-Corrigenda: research-Stanza existiert mit caps 999/99;
> M1-Datei 3 misst 15.051 B/`aff29d8c…` ≠ Pin 13.623 B/`ee90f486…`).
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
> **BETRIEBSSTATUS 01.11.2026 (gemessen) — KONZERN SCHLÄFT:** In `agent-fleet`
> laufen nur 4 Pods (`agent-fleet-pg-1`, `beacon`, `bifrost-0`, `fleet-webui`);
> **keine Agenten-Sandbox-Pods**. Letzte Heartbeats in DB `fleet.heartbeats`:
> `cto` 30.10. 14:42Z · `ceo` 28.10. 05:38Z · `coo/cmo/chro/devops/ciso`
> 25.10. 17:39–17:40Z. Board + Fleet-Mail auf 10.0.20.92: letzte Konzern-Mail
> Epoch 1792969362 (~25.10.), nur 9 `.md` nach dem 26.10. (davon meine eigenen).
> → Seit dem 25.10. **keine neuen Entscheidungsvorlagen**; wer „offene
> Owner-Freigaben" aufzählt, zählt den Stand des 24.10.-Menüs, nicht Neues.
> `sandboxes`-Tabelle kennt nur 4 Iteration-1-Sandboxes (coo CT202, cmo CT205,
> devops CT206, research CT201) — vs-ual/sec-ops haben keine Zeile.
> **VK-BEFUND (Bifrost-Admin-API, 18 VKs, ALLE `is_active`):** Legacy-Plainnamen
> (`fleet`, `ceo` 482d6ac4, `cto`, `ciso`, `chro`, `coo`, `cmo`, `devops`,
> `agile-coach`, `research`) + `-v2`-Generation (7) + `ceo-v3` (e1ec4afd) leben
> parallel. Die Rotation vom 24.10. hat Schritt 1+2 (Anlegen/CT-Umstellung)
> vollzogen, **Revoke nie** → jeder alte Wert bleibt ein gültiger Schlüssel.
> Revoke = destruktiv (Chair-Dark-Risiko) → Owner-GO-gebunden.
> B3-Quarantäne-Rest auf PVE: `/root/quarantine/vfp-*-20261024-*` (3 Dir, 308 K,
> `vfp-cmo-205-20261024-012637` ist `drwxr-xr-x` = weltlesbar) — Purge
> sequenz-gebunden an Revoke. SEED-E2/E5/E6 + D-5: GO erging 24.10.
> („Go für alle Punkte"), **Vollzug im Board nicht belegt**.
> C1-Bind-Pin: `config.yaml` SOLL `platforms.webhook.extra.host: 10.0.30.230`,
> IST lauscht Gateway-PID auf `0.0.0.0:8644` → Pin wirkt am laufenden Prozess
> nicht; C2-iptables deckt ab (`-A INPUT -s 10.0.30.0/24 --dport 8644 ACCEPT`,
> Rest `DROP`, reboot-fest). Ursache (Config-Key vs. Bind-Code) offen.
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt;
max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
- **Phasen:** 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell-
Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) ·
**0.5 p0-image ✓ GRÜN (25.10. spät)** · **0.6 Bifrost-VKs ✓ GRÜN (26.10.)** ·
**0.7 Spool+Watcher ✓ GRÜN (26.10.)** · **0.8 MCP-Facilities ✓ ALLE 4 GRÜN
(26.10.)** · **0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready)** ·
**0.10 Fleet-DB ✓ GRÜN (26.10.)** · **0.11 Beacon ✓ GRÜN (26.10.)** ·
**0.12 Deadman ✓ GRÜN (26.10.)** · **0.13 Control Tower ✓ GRÜN (27.10.,
DOM-Smoke 23/23)** · **0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden)** →
Phase 1 Onboarding.
- **Value-Streams (31.10., Owner-Direktiven):** Dauermmandate als VS im Board:
**vs-eigenentwicklung** (Owner CTO) = eigenständige Weiterentwicklung des
Fleet-Betriebs (card-to-operate: Idee→Bewertung→Bau mit FREIGABE+CISO-Review
via deploy-facility→Review→Messung); Seeds vs-mandat/vs-retro/
vs-facility-cho-e2e (Facility-E2E notfall-runbook, grant 8c82f94e, CHO
03c73e24, tag tower-v0.2.1); Kick-off-Task 7b199415→CEO. **vs-schoenkitchen**
(Owner CMO) = SchönKitchen-Produktentwicklung im Operating Mode; Seeds
sk-ops-mandat/sk-e2e-regression/sk-feature-backlog/sk-weekly-pitch;
Kick-off-Task c8561b4b→CEO. SchönKitchen-Push-to-Deploy verdrahtet:
git push main → Gitea Actions (gitea-runner-0, NS schoenkitchen) → Image
:latest+:sha → Deployment Recreate+Always-Pull+ArgoCD selfHeal; devops-
Sandbox git.schoen.codes-Egress. Register-Konvention: Neue VS-Zeile via
Board-PVC register.md (kein ArgoCD-Manifest), Karten via add_backlog_card
(titel≤200, Score 1–10 je Dim).
- **p0-image (0.5) final:** Agent-Image `git.schoen.codes/dominik/hermes-agent`
Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`**
(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile
`clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124).
- **p1-image v5.1 (28.10., AKTUELL):** Tag `fleet-v5.1` = **digest
`sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d`**
(Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) **NAR-Verfahren**
(Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan-
Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien
+ Worker-Tool-Prompt-Verweis; `to: tower-owner` NUR durch ciso und nur
`type: escalation|fyi`, kodiert in 3 Validierungsschichten (submit_task.py
+ CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py),
E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) **Worker
Resume-on-Disconnect:** `Gateway disconnected` startet KEIN Re-Execute,
sondern beobachtet die Session-DB bis 900 s und completed mit der finalen
assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops
(RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser;
(c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen).
Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout —
default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert.
**Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`) +
Prepuller-DS `clusters/main/fleet/agent-image-prepull.yaml` → gateway.toml
`default_image` → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest
sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task)
+ Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret
`agent-fleet-registry-pull` out-of-band im NS fleet (default-SA
imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe
`systems/gitea.md` „Container Registry". SolDoc:
`docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md`.
- **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
Key "openshell.gateway" (inline `values:`, nie ArgoCD-parameters — dotted Keys
brechen --set-Parsing, CrashLoop).
- **ArgoCD-Lektionen (wiederkehrend):** dotted Keys nur inline `values:`; nach
Git-Push Root-App (app-of-apps) refreshen; Sync via
`kubectl -n argocd exec sts/argocd-application-controller -- argocd app sync <app> --core`;
org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/.
- **Bifrost (Wiederverwendung Iteration 1):** NS agent-fleet, VIP 10.0.30.210:8080,
App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member
benannt `<agent_id>[-v<n>]`, Rotation `-v<n>`; Allowlist
`^(noris/)?vllm/release/.*`, `key_ids ["*"]`, deny-by-default. Abnahme je VK:
Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090.
### p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet)
| agent_id | VK | Modell (noris/vllm/release/…) | Secret |
|---|---|---|---|
| ceo | ceo-v3 | glm-5-3 | fleet-vk-ceo |
| cto | cto-v2 | glm-5-3 | fleet-vk-cto |
| ciso | ciso-v2 | glm-5-3 | fleet-vk-ciso |
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort max) | fleet-vk-coo |
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
| research | research | deepseek-v41-flash | fleet-vk-research |
- Secrets: `kubernetes.io` ESO-ExternalSecrets aus `clusters/main/fleet/vk-secrets.yaml`
(1P-Vault „Kubernetes ESO", Items `Agent-Fleet VK <vk>`, Feld `password`);
Keys `api-key` + `key-name`; Zieldatei `FLEET_BIFROST_API_KEY` definiert in
`fleet-truth/bifrost-vks.yaml` (Phase-0.9-Injektion).
- **Bifrost-API-Pitfalls:** `POST /api/governance/virtual-keys` verwirft
`allow_all_keys` → Key ohne Schlüssel (400 „no keys found"); Fix per
`PUT …/{id}` mit `key_ids:["*"]` (PATCH = 405). Echte API nur unter `/api/…`
(`/api/v1/…` = SPA-HTML 200!). Modellnamen brauchen Provider-Präfix `noris/`.
Reasoning-Modelle liefern bei `max_tokens`-Knappheit leeren Content → Smoke
über HTTP-Status + `usage.total_tokens`. ESO-Defaults
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff.
- **Offen (Owner-GO):** 9 Alt-VKs (`fleet`, `ceo`, `ceo-v2`, `cto`, `ciso`, `chro`,
`coo`, `cmo`, `devops`) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern
(`VK ceo (v2)`, `coo (v2)`, `cmo (v2)`, `devops (v2)`) löschen.
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
- **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate,
automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`).
Image `git.schoen.codes/dominik/fleet-spool-watcher` Tag `fleet-v1` =
**digest `sha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf`**
(python:3.11-slim + pyyaml 6.0.2, non-root UID 1000).
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py
591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS).
- **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}).
- **CephFS-Fix:** initContainer `spool-perms` (busybox:1.36, root) legt
`_journal/ _runs/ _invalid/` an + chown 1000:1000 — sonst PermissionError
(CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks.
- **E2E bewiesen:** submitted→dispatched→run_started→run_finished, Status-
Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante
(exit 127) — beides im Journal + Envelope nachgewiesen.
- **Befehlsmuster:** Toolbox-Pod `kubectl -n fleet run spool-e2e --image=python:3.11-slim`
+ PVC-Mount per --overrides; Einreichung via `kubectl cp` + `kubectl exec -i`
heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches
sofort).
### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
- **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi,
healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet).
Manifeste: `clusters/main/fleet/db/` (fleet-db.yaml, schema.yaml).
- **App-User `app_fleet`** = CNPG **Managed Role** (`spec.managed.roles`:
login, connectionLimit 50, passwordSecret-Ref `fleet-db-app-user` [username+
password]; KEIN superuser/createdb/createrole). Bootstrap-Owner `fleet`
(Secret `fleet-db-owner` out-of-band) hat KEIN CREATEROLE — CREATE ROLE im
Schema-Job schlägt fehl → Managed Roles sind der Weg.
- **7 Tabellen** (additiv, IF NOT EXISTS): members, org_snapshots,
provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples.
heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta.
- **Beweise:** psql select count je Tabelle (Selftest), DROP-Negativtest
(verweigert für app_fleet), `SECRET_READBACK_OK`, ArgoCD Synced+Healthy.
- **ArgoCD ignoreDifferences-Pitfalls** (Commits 3931c63, 34179d4): K8s-1.35
`status.terminatingReplicas` (jsonPointers) + ~45 CNPG-Webhook-Defaults via
**jqPathExpressions in jq-Punktnotation** (`.spec.probes` — Slash-Syntax
failt im Diff-Normalizer; Wildcards `[]` nicht `*`). Solution Doc:
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`.
### p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts
- **Deployment `fleet-beacon`** (NS fleet, 1/1, digest `55718277…`), Code aus
`/home/debian/workspace/agent-fleet/src/beacon/` (FastAPI, 14/14 Tests),
deployt unter `clusters/main/fleet/beacon/` (app.py, deployment.yaml,
containerPort 8000, sync-wave 6). Persistenz via Secret `fleet-db-app`.
- **3 Root-Causes auf dem Weg (alle gefixt):** (1) app.py liest `DATABASE_URL`,
`envFrom: secretRef` liefert aber nur Einzelkeys → healthz 503 (fail-closed).
Fix: `valueFrom.secretKeyRef{name: fleet-db-app, key: uri}` (Commit f13c744).
(2) Patch-Indent-Bug: `name:` neben statt unter `secretRef` → ArgoCD
`ComparisonError: envFrom[0].name: field not declared in schema` blockierte
den GESAMTEN App-Sync (Commit fe5cc10). (3) `app_fleet` hatte Tabellen- aber
keine **Sequence**-Rechte → `permission denied for sequence
heartbeats_heartbeat_id_seq` beim INSERT. Live-GRANT + Git-Fix in
schema.yaml (`GRANT USAGE, SELECT ON ALL SEQUENCES` + ALTER DEFAULT
PRIVILEGES, Commit ca7660b).
- **E2E:** POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → **422**
(nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s.
- **Sequence-Lektion:** BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences —
Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts).
### p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts
- **Deployment `fleet-deadman`** (NS fleet, 1/1, sync-wave 7, digest
`sha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e`
— v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Code
`clusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}`.
Image python:3.11-slim + pyyaml, **KEIN LLM, kein hermes** (bewiesen: `NO_HERMES`,
pip list = stdlib+PyYAML), non-root UID 1000, `/metrics`+`/healthz` auf 8100,
readiness/liveness tcpSocket. **Board-PVC rw gemountet** (FLEET_BOARD_DIR).
- **VIER Kaskaden (§3.5, v2):** Agent-Silence 1800 s (Quelle Beacon
`/metrics` → `beacon_last_heartbeat_age_seconds`), Watcher-Tick 180 s
(`_journal/watcher.tick` mtime), Bifrost-Gateway 120 s anhaltend
(`/health`), **Beacon-Unerreichbarkeit fail-closed** (EIN `beacon`-Alarm,
KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender
Alarme). **Edge-Trigger**: ein P1-Eskalations-Task je OK→ALARM an ceo;
Heilung löscht den Alert (`GEHEILT`-Log), kein Task-Spam.
- **Cold-Start-Semantik (Fix 26.10.):** Agent OHNE je gesehenen Heartbeat
= **pending** (KEIN Alarm; Metrik `deadman_agents_pending`). ALARM erst
wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten
senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß.
Unit-Test bewiesen: Cold-Start → 0 `agent:*`-Alarme; Heilung → RESOLVED.
- **DEADMAN-ALARM.md** (Board-PVC, HITL-Kanal §3.5): je Ursache EINE
`[AKTIV]`-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt
`[RESOLVED]` in den append-only-Verlauf; temporäre Datei + os.replace
(atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär).
- **Metrics:** deadman_silence_seconds{agent}, deadman_alert_active{source},
deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds,
deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up.
- **Live-Beweis (26.10.):** `agents_pending 8`, `beacon_ok 1`, keine
`agent:*`-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK.
- **Validator-Konflikt (kritisch):** submit_task.py UND watcher_main.py
erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert.
Fix: `VALID_SYSTEM_SENDERS=["deadman-watchdog"]` / `SUBMIT_SYSTEM_SENDERS`,
nur als Absender, nur `type=escalation`, `to` bleibt 9er-Org.
Envelope-Feld heißt **`body`** (Watcher-Whitelist REQUIRED_FIELDS +
KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body;
`input` → Quarantäne). Beweis: 9/9 Tasks durch `validate_schema_loose`.
- **Watcher v2** (digest `sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8`):
schreibt `_journal/watcher.tick` (epoch-int, fsync) je Zyklus als Liveness-Signal;
System-Sender-Whitelist.
- **E2E live:** 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte
Heartbeat); Gateway 0, Watcher 0. **Watcher-Kaskade bewiesen**: replicas 0
(via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task
`ac15c65b` → replicas 1 → `GEHEILT watcher`, alert 0, Tick 3 s.
- **ArgoCD-Job-Immutabilität (neue Lektion):** `fleet-db-schema` Job blockierte
JEDEN App-Sync („field is immutable"; `Replace=true` scheitert an fehlendem
selector). Lösung: Job als **PostSync-Hook** (`argocd.argoproj.io/hook: PostSync`
+ `hook-delete-policy: BeforeHookCreation`) → nicht getrackt, konvergiert
idempotent bei jedem Sync. Commit 077c5c8.
- **Grenze des Kill-Tests:** `kill -STOP 1` im Pod wirkt NICHT (PID-Namespace-Init
ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über
Git-replicas, nicht über Signale. `kubectl scale` wird von ArgoCD selfHeal
binnen ~3 min revertiert → Overrides IMMER via Git.
### p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts
- **Baukasten:** alle 4 Facilities nach demselben Muster (mcp==2.3.0,
`MCPServer` + `run(transport="streamable-http", stateless_http=True)`,
tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate,
automountServiceAccountToken false, deadman-cascade-Label, UID 1000,
Digest-Pins). Vorlage: `clusters/main/fleet/mcp/org-registry/`.
Solution-Doc: `docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md`.
- **1/4 org-registry** (digest `sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e`):
Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth,
Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents.
- **2/4 board-service** (digest `sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a`,
Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note,
get_backlog, get_kanban, health, list_value_streams, move_card, submit_task,
submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. **27.10. Fix:
alle 54 Validierungen raisen jetzt `ToolError` statt `ValueError`** — das
MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing
tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in
Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat.
Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc:
`docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md`.
- **3/4 telemetry** (digest `sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7`,
Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei),
get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status
(Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud
(kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar.
- **4/4 provisioning** (digest `sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1`,
Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt-
ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste),
record_provisioning_event (INSERT provisioning_events, psql-bewiesen
event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst
isError; `none` = noch nicht provisioniert), health (DB-Connect).
**Gateway-Call STUBBED** (provision_sandbox_stub → NotImplementedError,
Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer
board-perms chown. envFrom fleet-db-app: Keys heißen **user/password/host/
port/db** (NICHT DB_USER — ENV-Name = Secret-Key!).
- **E2E-Muster (wiederverwendbar):** Test-Skript als ConfigMap + python:3.11-alpine-
Pod mit --overrides-Mount; RPC via POST + `Accept: application/json,
text/event-stream`, letzte `data: `-Zeile parsen. python:3.11-alpine hat KEIN
kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen.
### p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts
- **Fleet Control Tower** = Fork `dominik/openshell_controller` (Upstream
nemo-shell-dashboard), Next.js 15 Custom-Server `server.mjs` (kein
standalone), ns fleet, Pod `fleet-tower-…-bsc2p` 1/1 auf rke2-worker-03.
Image `git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814
588117ac03fdeb8c0f2094a90e70dfff34f2e9d2` (Git==Live verifiziert).
5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed
(Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task,
CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`,
force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht
`@/lib/…` — tsconfig `@/*`→`./*`).
**29.10.: Tower 0.15** (Digest `sha256:00a82fefd1e350b73ae2f1ed288dbf71e04
c719b7b39be96cd314c6a11878854`, Commit `4ecb30e`) = fleet-native
**Sandboxes-View** (`/api/fleet/sandboxes` → read-only PromQL gegen
kube-state-metrics, NS openshell, Pods `default--<agent>`; 9/9 Running,
node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views
(Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem
Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create
bewusst NICHT (Creates laufen über Provisioning-Pipeline).
- **⚠️ 29.10. Traefik-Regression (behoben):** ArgoCD-`proxy`-Sync
28.10. 22:21:53 (Rev `4ecb30e`) fiel mit Helm-Release #96 zusammen, das
OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein
allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods
trotzdem 1/1 Ready. Fix: Kommentar in `valuesContent` (Hash-Änderung) →
Release #97 mit `tower-internal:8445`/`web-internal:8001`/
`websecure-internal:8444`; verify: 200 von 10.0.20.92, 403 von VLAN 30.
Merksatz: **nach jedem proxy-App-Sync `helm get values rke2-traefik`
prüfen**; `rc=7` = VIP announced/Port zu, Timeout = VIP-Problem.
SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md
- **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service
`traefik-tower-lb`, port 443→targetPort 8445, entryPoint `tower-internal`
:8445 — neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`),
IngressRoute PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 +
172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls
(Interim-CA bis 24.01.2027, CN tower.schoen.codes).
`externalTrafficPolicy: Local` PFLICHT für ACL (sonst SNAT).
ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017).
Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP
**`https://10.0.30.213/`** (ohne Portangabe! :8445 ist nur der
Container-Port; Cert-Warnung wegklicken).
- **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs
via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type
∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten;
body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO.
- **DOM-Smoke 23/23 PASS** (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP —
Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+
nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert),
Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets.
- **Abnahme-Status:** werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen:
Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus
10.0.30.x design-gemäß 403.
- Solution-Doc: `docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md`
(Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding);
Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017.
### p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz
- **Owner-Kanäle:** Idee→Backlog via Tower-API (Karte e2e-014-owner-idee,
score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/
Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build,
P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen
400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage +
CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über
GET /api/fleet/owner/chat — §8-Kriterium erfüllt.
- **Beacon Strict-Gate:** ghost→422, devops→200, psql-Zeile sichtbar.
- **DB-Selftest:** 7 Tabellen via app_fleet; DROP verweigert („must be owner");
NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats
geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED).
- **Deadman:** pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7
vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43
(tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool →
Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH
(kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen).
- **Produktionsbug gefunden+gefixt (992cdfb):** tower-owner fehlte in
VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab);
Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu
gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale.
SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md.
- Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy,
Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei.
## Repos & Struktur (Iteration 1 — historisch)
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
## K8s-Basis (Namespace agent-fleet)
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
`agent-fleet-bifrost` (Helm, sync-wave 2).
## LLM-Ingress: Bifrost (A3', produktiv)
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
- Provider `noris`: custom provider, `base_provider_type: openai`,
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
ist eine echte Route).
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
1P-Referenz bleibt über Rollouts stabil.
## 1P-Items (Vault „Kubernetes ESO")
| Item | Zweck | Feld(er) |
|---|---|---|
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
Important-Fixes committed `b3b4b9f`).
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
(Strict-Org-Gate live) · Prometheus-Target UP.
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
ciso, chro) — Quelle: Phase-0-Plan Task E1.
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
SSH `root@10.0.20.92` + `pct push/exec 161`.
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
(task_id board-w1-memo) + Prometheus.
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
**Liegt zur Genehmigung beim Owner.**
## Board-Sandboxes W1 (23.10. — A16/ADR-019)
- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
- **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail`
mit `inbox-<agent>/{new,processed}` je Agent (ceo/cto/ciso/chro), via
`pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.7 (25.10. früh)** —
v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP
25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname-
Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst
erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE
Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade**
(ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss →
Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein
Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen:
Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt
ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation
am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16
regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO
43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der
Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 +
Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert
nur bei <K laufenden hermes-Calls; Waisen-`timeout 1500`-Kinder
überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur
`<Nr>=P<n>`; Poller mappt lokal auf Dateinamen zurück — Output-15×-
Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot
warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort
verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
(timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard
v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie-
Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach
syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle
<agent> n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet-
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
Restart killt Waisen-Subagenten via pkill "timeout 1500".
- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1
agent-spezifisch („Du bist <agent> (<Rolle>)…"), Kontext CHARTER/spec/org,
dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.):
(1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs)
sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung;
(2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren;
(3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins
eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2.
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/
%ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht);
Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
`challenges/`, `inbox/`. Owner liest dort freizügig.
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht
in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC
= 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all —
Alert nur wenn Digest `<date>-final.md` fehlt oder fleet-mail inaktiv (OK =
deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min:
r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte
im Repo `genesis/board-2026-10-23/`, Commit `0917144`).
- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) —
niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über
den systemd-Poller ist der stabile Weg.
## Konventionen & Regeln
- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner-
Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):**
CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` ·
COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config
(`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`.
**PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort`
nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 →
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der
CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt
`api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein
reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung
33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell,
Queues drainen.
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
`bifrost` verwaltet nur bifrost-*-Objekte.
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
## Offene Punkte
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
Registry/CI via git.familie-schoen.com routen.
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
in Hermes-Configs).
## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`**
(`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`,
`Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21).
Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema
public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über
**rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam).
CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen
intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG
zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U
postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf
KEIN ALTER ROLE). Solutions-Doc:
`docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md`
- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256
`a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) +
**Machine-Token** (1P-Item `openshell_controller Machine-Token` +
`/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠
Blueprint → 422 BLOCK.
- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role +
Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS-
scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default
verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` +
kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck:
Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`,
`b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`,
`b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b123-*.md`).
- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`,
`openshell_controller Machine-Token`.
## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163
(`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage
(`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU.
Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana
**10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im
VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert
(Probe-VK sofort wieder gelöscht).
- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test`
(app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota
(4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap
(ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E).
E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB,
CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail).
F-7 Option B (4/8/50) damit formal bestätigt.
- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf
`/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content
→ ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:
`integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md`
- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`,
`b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b457-*.md`, 13:42).
## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder**
`https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI →
Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1.
mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten →
v2/OIDC. Nichts gelöscht.
- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**):
`:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001`
(NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum
dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem
`traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert
⇒ `.203:80` mit Host-Spoof → 404 (verifiziert).
- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui`
(HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls
`fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`).
Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede**
IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still
ignoriert (404, kein Log). Das war der ursprüngliche Bug.
- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend
verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app`
ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py`
+ `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop).
- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM,
Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind
Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`.
## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie
von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud),
`/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by
(virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m],
10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`.
- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key-
binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke:
ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒
FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:
`namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie
beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben,
immer den Backend-NS selektieren.
- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit
23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health,
Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh
(CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
- **Final-State:** Package landete mandatkonform in
`clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**,
AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox
19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert
NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02`
trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per-
Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
Label-Strippen ODER manueller Delete eines parallelen Actors).
**Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
`argocd.argoproj.io/compare-options=IgnoreDifference` +
`sync-options=Prune=false,Delete=false`.
- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe
Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles,
eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden
resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**;
lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne
Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/
Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
## Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
- Fleet-Mail: Zustellung = Datei in inbox-<role>/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
- **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service`
(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth
fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push →
systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
- **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert:
T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert);
False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes`
(UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv.
- **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht;
CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…`
war Bug 1 der Fünf-Bug-Kette (Solution-Doc:
`docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`).
- **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01
kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`.
(3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4)
CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,
`unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem
Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
- **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus
CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben),
CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B
(4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline:
Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
- **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin);
Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
- **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264),
Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError
→ Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
- **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging,
negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs):
PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.**
- **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount <vmid>
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
- **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) +
CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur
W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
- **Fix (live attach ohne Restart nötig):** `pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board
-mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen
(`/srv/fleet-mail/inbox-<role>/{new,processed}`) + `pct unmount 202` (stale lock).
- **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161
(whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
- **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 +
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
`/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!).
## Klammer-VK-Bug (24.10. Tick, gefixt)
- VK-Injektion hinterließ `api_key: <sk-bf-...>` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
- Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
- **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`.
## Takt-Learnings 24.10. ~09:00 (Tick 13)
- **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
- **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
- **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
- **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
- **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
- **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
- **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
- **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
- **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
- **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
- **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
- **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper <inbox> <pfad>. Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
- **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f <file>` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
- **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden.
- **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
- **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
- **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
- **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
- **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
- **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO.
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.
## 29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen)
- **Owner-Befund:** 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt.
- **Fix (iac-homelab `f70fe30`):**
- `fleet-spool-watcher 0.17.1` = `sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7` — IdleScheduler: Spool still ≥ `IDLE_SILENCE_SECONDS=900` + keine offenen Tasks → genau EIN Task `from=fleet-scheduler,to=ceo,type=build,P3`; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf).
- `fleet-board-service 0.18` = `sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72` — `complete_task` mit `karte_id`/`vs` → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent.
- `hermes-agent v5.3` = `sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067` — `FLEET_BEACON_URL` FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung.
- `submit_task.py`: `fleet-scheduler` System-Sender (nur `build`), optionale Felder `karte_id`/`vs` (Regex `^[a-z0-9][a-z0-9-]{2,63}$`).
- **Beweis 29.10.:** 08:39:51 `idle_trigger_created` (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation `5db4e788` ceo→devops mit `karte_id=rueckbau-nar-edd15ff1` → `card_auto_fertig` + `review_task_created` → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte `it1-tower-02-telemetry-fallback` delegiert. Karte rueckbau: Neu→In Bau→Fertig.
- **Rollout:** 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, `deadman_agents_pending 0`, alle `alert_active 0`.
- **PITFALL neu (OpenShell-CLI):** `openshell sandbox create --template` schließt `--env` aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest `default_image` nur beim Start → nach Digest-Pin `rollout restart sts/openshell` + `systemctl restart openshell-portforward.service` (.124).
- **PITFALL neu (systemd):** `fleet-oidc-login.service` scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → `Environment=HOME=/root` in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, `openshell sandbox list` bricht sonst ab.
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md` (INDEX Architecture 16), Hindsight-Sync.
- **Nachtrag 10:40 — 5. Deadman-Kaskade `progress` (Lücke 4 geschlossen),** Commit `f098091`, Image `fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa`: offener Task (`submitted|working`) mit mtime-Alter > `TASK_STALL_S=5400` → ALARM-Quelle `progress` + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; `from=deadman-watchdog` wird übersprungen, Spool unlesbar = fail-closed. Metriken `deadman_open_tasks`, `deadman_oldest_open_task_age_seconds`, `deadman_alert_active{source="progress"}`. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. **PITFALL:** Test-Tasks mit Nicht-UUID-`task_id` quarantänisiert der Watcher in Sekunden (`_invalid/`) — Test-Tasks immer `uuid4()` + `status: working` (nicht claimbar).
- **Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (`rueckbau-nar-edd15ff1`, `it1-tower-02`, `it1-tower-03`, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe `tower-healthz-readonly` → neue Karte `rueckbau-nar-tower-healthz-readonly` (Ablauf 30.11.). Spool 116 Tasks, 0 hängend.
## 29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte
- **Owner-Befund (dritte Iteration desselben Symptoms):** „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: **Prompt- und Kostenebene**, nicht Trigger-Ebene.
- **RC-1 Identität:** Der Hermes-Identitäts-Slot ist `SOUL.md` im Workspace (`/sandbox/.hermes/SOUL.md`, Loader `agent/system_prompt.py`), NICHT Image und NICHT `config.yaml`. Dort lag nur generischer Hermes-Boilerplate (667 B); `cto`/`research`/`devops` hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin.
- **Fix (Commit `a362144`):** `agent-image/fleet/gen_soul.py` erzeugt 9 `SOUL.md` (2,9–4,0 KB) aus `org.yaml` + `FLEET-POLICIES.md` (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report `ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN`, harte Fähigkeitsgrenzen). `deploy_soul.sh` schreibt live + `max_turns 40→20` + `reasoning_effort` (coo/research/devops `low`, Rest `max`). `start-agent.sh` `ensure_soul()` kopiert `soul/<agent_id>.md` aus `/opt/hermes/fleet/soul/` bei fehlend/abweichend.
- **Wirkung:** Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → `rc=1` am `max_turns=40`-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (`cto`) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s.
- **RC-2 Kosten-Anzeige:** devops verbrannte **8,5 Mio Input-Tokens in 30 min** mit Meta-Analyse der eigenen `state.db`-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower `0 tok/s` für alle: `fleetSource.ts` nutzte `rate(bifrost_input_tokens_total[2m])` ohne Aggregation — `rate()` liefert je VK mehrere Serien (`method`/`model`/`provider`/`fallback_index`), `out[vk].in = v` überschrieb mit der letzten (meist 0).
- **Fix (Commit `1407c0e`, Tower `sha256:84a79b99…`):** `sum by (virtual_key_name)(rate(...))` + additives `+=`. **Beweis:** Tower `ceo 4489 / ciso 3516 / devops 9424 tok/s` — identisch mit Prometheus-Gegenprobe.
- **RC-3 Ideen waren verboten:** Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … **Keine neuen Karten erfinden**." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.)
- **Fix (Commits `ce38c34` watcher 0.18, `3f9f0cd` watcher 0.19, live `sha256:93777fc0…`):** Pflicht-Schritt 4 **IDEATION** — sind < 3 Karten `status=Neu` (ohne `rueckbau-*`, ohne Dauerauftrag `dauer-tower-dev`), erzeugt der CEO genau EINE Idee: selbst eine Karte (`add_backlog_card`, `wert`/`machbarkeit` je **1–10**, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation `cto/cmo/coo/research` (`IDLE_IDEATION_ROLES`, `(epoch//86400) % 4`, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee").
- **Nebenbeweise für Loop-Qualität (gleicher Zeitraum):** `complete_task` mit `karte_id` → Karte `rueckbau-nar-tower-healthz-readonly` automatisch `Fertig` + Review an `ceo`; **CEO hat die Abnahme ZURÜCKGEWIESEN** (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); **ciso triagiert NAR als KRITISCH** (Schreibzugriff Policy-Repo) und eskaliert an `tower-owner` statt zu genehmigen; **devops erkennt fehlenden Cluster-Zugriff** und stellt Änderungsauftrag (`[CHANGE-ORDER]`) an `ciso`.
- **PITFALLS:** (1) `SOUL.md` liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) `add_backlog_card`: `wert`/`machbarkeit` sind `1..10` (`SCORE_MIN,SCORE_MAX=1,10`) — Text mit `1-100` wirft ToolError. (4) `rate()` je VK immer `sum by (virtual_key_name)`. (5) Tower bindet auf **Pod-Hostname**, `fetch` mit `127.0.0.1` → ECONNREFUSED (Pod-IP nutzen). (6) `pkill -f "<scriptname>"` killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile).
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md` (INDEX Architecture 17), Hindsight retain.
## 29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5
- **Entscheid 1b:** Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. **Entscheid 2b:** Ideations-Schwelle `< 3` → `< 5` Karten `Neu`.
- **Neu: `fleet-policy-service` 0.1** (`git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e`, Code `clusters/main/fleet/mcp/policy-service/`, Commit `0e7f698`). MCP-Tools: `health`, `policy_list`, `policy_read`, `policy_diff`, `policy_commit`, `policy_status`. Schreibt **nur** `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via **Gitea-Contents-API** (kein git im Pod).
- **6 Gates:** Org-Mitglied → Rolle in `POLICY_WRITERS={ciso,devops}` → **Owner-Freigabe** (`grant_task_id` = Spool-Task `from=tower-owner`, `to=<caller>`, `type=build`, `topic='FREIGABE: erteilt — …'`, ≤30 Tage) → Pfad-Regex (kein `..`, kein Unterordner) → striktes YAML (`version:1`, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → **Read-back bytegleich**.
- **Audit:** Journal-Event `policy_commit` (Pfad, Commit-SHA, Rolle, Grant, `hosts_added/hosts_removed`) — Tower liest dort.
- **Token** nur im Pod (`Secret fleet-policy-gitea`, out-of-band).
- **Beweise:** 9/9 Negativfaelle aus dem Pod fail-loud (`GATE_FAILS=0`); echter Commit `538359a` als Autor `Fleet devops` mit Owner-Grant `f6dafd60…`, Read-back OK; **Agent-Turn aus dem Sandbox 60 s** (health/list/read valide, beide Negativfaelle greifen).
- **Verdrahtung (3 Dinge, sonst unerreichbar):** Deployment+Service → Host in `sandbox-base.yaml` (`fleet_mcp_policy_service:8080`, Chair-Commit) → `mcp_servers.policy` in `/sandbox/.hermes/config.yaml` → **Recreate** (Policy wird beim Create gebunden). devops+ciso recreated, `Phase: Ready`, SOUL 3113/3225 B, `max_turns: 20`.
- **watcher 0.20** (`sha256:21ea543c…`, Commit `5279cdc`): Ideations-Schwelle `<5`. Live verifiziert (`ALS 5` im Pod, `ALS 3` weg).
- **PITFALLS (neu, alle real):**
1. **OIDC-Token (4 h) abgelaufen → delete UND create scheitern** (`no refresh token available`) — fail-closed, nichts geloescht. Re-Login `/tmp/oidc-login3.sh` auf .124.
2. **`--detach -- sleep infinity` ist die falsche Startzeile** — Sandbox laeuft ohne Runtime (nur `sleep`, keine SOUL/Config). Richtig: `--template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh <agent> <model>`.
3. **Recreate = frisches Workspace-PVC**: SOUL+Config weg. `ensure_soul` greift nur, wenn `/opt/hermes/fleet/soul/` **im Image** liegt — das Gateway-`default_image` ist aelter. **LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet.** Sofort-Fix `deploy_soul.sh <agents>`; Dauerfix = Agent-Image-Rebuild (offene Karte).
4. **Maskierte Werkzeug-Ausgaben**: venv-Pfad erscheint als `…3.14.9+202****1021-…`; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren `binaries`-Match nie greift. Gegenprobe per `base64`.
5. **PyYAML akzeptiert doppelte Keys** (letzter gewinnt), OpenShell nicht → eigener Strict-Loader.
6. **`kubectl exec`-Prozesse im Sandbox haben KEIN DNS** (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec.
- **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
- **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.
## 29.10.2026 (12:30–13:10) — Owner-Entscheide 4a+5a: Autonomie-Kaskade im Deadman; Phantom-Rückbau live passiert und revertiert
- **4a (Deadman-Kaskade `autonomy`)** — live `fleet-deadman@sha256:508f0e60244ba59663f6ef135f6656f089131ffb99d9db3724c08cd4ee73fc83` (Commit `ff7e1b3`, Deployment gepinnt, Rollout grün). Alarm nur wenn **gleichzeitig**: kein offener Agenten-Task (ohne `to=tower-owner`, ohne `from=deadman-watchdog`), ≥1 Karte `Neu` im Board, `idle_age > silence+backoff+AUTONOMY_MARGIN_S(600)` **und** `task_age > silence+600` (Silence-Frist startet bei Task-Bewegung neu — sonst Fehlalarm nach erledigter Arbeit). Schwelle selbstjustierend aus `idle_trigger_created` im Journal (Backoff wächst bis 4 h). Metriken: `deadman_alert_active{source="autonomy"}`, `deadman_autonomy_idle_age_seconds`, `deadman_autonomy_neu_cards`, `deadman_autonomy_task_age_seconds`. Kaltstart (nie gefeuert + nie Task) = kein Alarm.
- Beweise: 11/11 Unit-Tests; isolierter E2E-Job im echten Image (eigener emptyDir): Alarm-Task + `DEADMAN-ALARM.md` + Journal `deadman_alarm` + Heilung, 5/5 Assertions; Live-Alarm `bd326ac7` (Alt-Pod ohne die task_age-Regel → **Fehlalarm 4 min nach Task-Ende**, bestätigt die Regel).
- **Pitfall:** Karten-Parser `split('|')` → Status ist `cells[4]` (Position 0 ist leer), sonst zählt man den Score.
- **Pitfall:** Während Rollout laufen alter und neuer Pod; der alte kann mit alter Logik feuern → `kubectl get pods -o custom-columns` auf `imageID` prüfen.
- **Watcher 0.21** (`sha256:30fedca954eaa62fb4203d821a0c9e7a153dcbc4155f0333dc5f32dbc56b65a2`, Commit `85e1a40`): `OWNER_RECIPIENT="tower-owner"` — Owner-Tasks zählen nicht mehr als offene Arbeit im Idle-Gate. Ursache des 56-min-Stillstands vom Vormittag: zwei P1-Eskalationen an `tower-owner` (nie claimbar) blockierten `open_count == 0`.
- **5a (Phantom-Rückbau) — Eskalation, dann Korrektur:**
- Owner hat die beiden P1-Eskalationen (`b41f03ce`, `3d891388`) um **12:55 selbst im Tower mit [APPROVE] entschieden**, bevor 5a bei mir ankam → Folge-Tasks `FREIGABE: erteilt — …` an devops.
- devops hat daraufhin um **12:58** via policy-service **`clusters/main/fleet-truth/openshell-policies/ceo-sandbox.yaml` erfunden** (Commit `b5643ea`, `network_policies.egress: []`) — einen „Rückbau" eines Grants, den es nie gab; die Datei ist zudem schema-invalid und hätte einen CEO-Recreate ohne jeglichen Netz-Egress hinterlassen.
- **Revertiert** (`0887212`), Datei gelöscht, ArgoCD `Synced` auf `ff7e1b3`. Korrektur-Task `6c226195` (tower-owner→devops, P1) mit Auftrag „prüfen, nichts schreiben, beide Tasks gegenstandslos schließen" — devops hat es selbst geprüft (`policy_list`/`policy_read`), korrekt geantwortet und **keine Datei geschrieben** (in diesem Turn), behauptet aber „ich habe nie eine Datei geschrieben" — falsch, der Commit beweist das Gegenteil: **Agenten-Selbstauskunft ist kein Beweis** (kein Cross-Task-Gedächtnis).
- **Gate-Lücke im policy-service:** `policy_commit` erlaubt das *Anlegen* neuer Dateien; ein „Rollback" kann so zu einer Erfindung werden. Härtung offen (neue Datei nur mit explizitem Flag + Owner-Note).
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-kaskade-deadman.md` (INDEX Architecture 19).
## 29.10.2026 (15:30–17:10) — Worker-Disconnect-Regex-Drift + Single-Claim-Gate (v5.4 / board-service 0.16)
- **Owner-Befund:** „Loop läuft nicht sauber" — Deadline-Trigger `watch-ideation2` feuerte 25 min nicht; 6 `working`-Tasks am CEO blockierten das Idle-Gate.
- **RC-1 Disconnect-Regex:** `worker_loop.py` suchte `Gateway disconnected[^\n]*session_id: …`; tatsächliches `hermes chat`-stderr bei langen Turns = **nur** `session_id: local-<64hex>`. Regex matchte nie → Worker verwarf **im Daemon fertig gelaufene** Turns (Session-DB: 47–48 Msgs, 20 API-Calls, `end_reason=cli_close`), retryte (Duplikat, 68k Input-Tokens) und failte Tasks. **Fix `5de1763`:** `RE_DISCONNECT = session_id:\s*(local-[0-9a-f]+)` + **Erfolgs-Check zuerst** (rc=0 + stdout → return, nie Resume-Pfad).
- **RC-2 Greedy-Claims:** Der Agent hält die Board-MCP-Tools **im LLM-Turn**; während der Worker mit einem Task beschäftigt war, claimte der CEO **9 weitere** (15:58–16:05) und ließ sie bei `cli_close` offen → Waisen (Watcher resettet `working` in `DISPATCH_MODE=agents` bewusst nicht). **Fix `1cf0560` (board-service 0.16, Digest `sha256:3318632c…`):** `claim_next_task` gibt bei eigenem `working`-Task **`OK_OWN_ACTIVE` + genau diesen Task** zurück (Lease: max 1 Claim pro Identität, atomar unter dem Write-Lock). Worker behandelt `task != null` uniform → unterbrochener Claim **resumed statt stapelt**. Restrisiko bounded (1 Waisen-Claim, abgedeckt durch Progress-Kaskade + `orphan_reset_manual`).
- **Agent-Image v5.4** = `git.schoen.codes/dominik/hermes-agent@sha256:27a2f3a29e78831f7e7e9e40d3745cc3b30a7a66fb6b0b51c620021c8b4b10f6` (Commit `a8c07fd`), gepinnt in `clusters/main/apps/openshell.yaml` + `fleet-truth/openshell-values.yaml`; 9/9 Sandboxes recreated (Template `fleet-agent` neu, gateway.toml `default_image`), je 1 Worker + 1 hb-loop, `worker-start` pro Agent.
- **Beweise:** In-Pod-MCP: 2 Claims → dieselbe task_id (`OK_OWN_ACTIVE`); Bestand nach Deploy: genau 1 `working` (Deadman-Eskalation); Auto-Abarbeitung 16:29–16:41 (FYIs instant, 1 Eskalation mit echtem `ERGEBNIS: …`-Note); **Autonomie-Kaskade feuerte produktiv um 17:06:56** („kein Idle-Trigger seit 20496 s, 4 Karten Neu") → CEO claimt 17:07:09.
- **Eigener Incident (ehrlich):** `kill -9 56` in der Sandbox traf den **Main-Prozess** → `ceo`+`devops` `phase: Error` (exit 137), Heilung nur via Gateway-Recreate. **Regel: keine PIDs in Sandboxes killen ohne `/proc/<pid>/cmdline`-Check.**
- **PITFALLS:** Digest-**Präfix**-Replace erzeugt 128-Zeichen-Frankendigest (immer `docker inspect`-Vollstring + grep); Build+Push+Inspect im 420-s-Terminal-Block → Timeout ≠ Fehlschlag (Zustand separat prüfen); `kubectl exec`-Heredoc `<<'PY'` liefert leer (→ `python3 -c`); Sandbox-PID-Kill = MainProcessFailed.
- SolDoc `docs/solutions/bug-fixes/2026-10-29-fleet-worker-disconnect-regex-single-claim-gate.md` (INDEX Bug Fixes 54); Skill `devops/agent-fleet-operations` §34 + `references/fleet-disconnect-regex-claim-gate-2026-10-29.md`.
## 29.10.2026 (17:50–18:05) — Owner-Grant: research bekommt generellen Internet-Egress (OpenShell-Grenzen)
- **Owner-Entscheid** zur NAR-Eskalation `b6072fbd` (www.nvidia.com:443): nicht Einzelhost, sondern **genereller Internetzugriff für research**. Umsetzung Chair-direct.
- **OpenShell-0.1.5-Grenzen (empirisch + Upstream `NVIDIA/OpenShell#3856`, offen):** `host: "*"`/`"**"`/`"*.*"`/`"**.*"` werden abgelehnt; hostless + `allowed_ips` (öffentlicher Raum) lädt, aber **Hostnamen** scheitern (`policy_dns_ineligible` → `transparent_tcp_observation_denied`, synthetische `198.18.0.x`), nur IP-Literale. `host: "**.*.*"` funktioniert für **alle Namen mit ≥3 Labels**. 2-Label-Domains (`nvidia.com`, `arxiv.org`) sind nicht wildcardfähig.
- **Policy live (`research-sandbox.yaml`, Commit `a2fe891`, Sandbox-Policy v3, `policy set --wait`, KEIN Recreate):** Basis + Regel `internet_egress_owner_grant_20261029` mit zwei Endpoints — `ports [80,443]` hostless + `allowed_ips` (51 öffentliche IPv4-CIDRs = 0/0 minus 0/8,10/8,100.64/10,127/8,169.254/16,172.16/12,192.168/16,224/4,240/4) und `host: "**.*.*"` mit **identischer** CIDR-Liste (Constraint: überlappende Endpoints müssen `tls`/`allowed_ips` teilen, sonst `policy set`-Fehler). Binaries = python3.14-Realpfad + curl.
- **Beweise (aus dem Sandbox, `openshell sandbox exec`):** www.nvidia.com **307**, docs.nvidia.com **200**; nvidia.com (2 Labels) DENY; 10.0.30.51:6443 DENY; 169.254.169.254 DENY (always-blocked). **Gegenprobe ceo → www.nvidia.com DENY** (Scope research-only). Sandbox `Ready`, Worker lief weiter.
- **2-Label-Pfad:** `agent_policy_proposals_enabled=true` + `proposal_approval_mode=auto` auf research gesetzt (Advisor-Guide erscheint erst nach Recreate); sonst NAR-Antrag mit exaktem Host an ciso.
- **Konflikt aufgelöst:** Der Agent hatte selbst einen `[CHANGE-ORDER]` an devops gestellt (exakter Host, TTL 15.11.); Chair hat ihn `task_failed by=chair` gesetzt (gegenstandslos — sonst hätte devops eine engere Datei geschrieben und der Grant ginge beim Recreate verloren). Verifikations-/Release-Note-Task `ea9b135f` an research gestellt (tower-owner-Kanal), Agent hat ihn 17:56 geclaimt.
- **Betriebsregel:** Jeder research-Recreate MUSS `research-sandbox.yaml` als `--policy` nutzen (nicht `sandbox-base.yaml`); alle Egress-Verbindungen sind als OCSF-Events auditierbar (`openshell logs research --source sandbox`).
- SolDoc `docs/solutions/integrations/2026-10-29-openshell-internet-egress-grenzen.md` (INDEX Integrations 14).
- **Owner-Entscheid 18:10:** Variante **(a)** — 2-Label-Domains als Einzel-NAR; **Watch für (c) sofort angelegt**: Cron `9576293f24b5` „OpenShell Any-Public-Host Watch (#3856)" (every 12h, Monitor `~/.hermes/scripts/openshell-any-host-watch.py`, deterministische GitHub-Abfrage: issue_state/comments/labels/latest_release/keyword_in_release_notes; kein Agentenlauf ohne Änderung) + Kanban-Karte `dauer-openshell-any-public-host` (Score 63, Neu, Ursprung owner). Bei Verfügbarkeit: Policy auf `host: "*"` umstellen, SSRF-Klammer behalten, arxiv.org als 2-Label-Beweis + ceo-Gegenprobe.
- **Agenten-Gegenprobe (research, Task `ea9b135f` completed):** www.nvidia.com 307, docs.nvidia.com 200, docs.python.org 302, http://docs.nvidia.com 301; nvidia.com + arxiv.org exit 7 — deckt sich mit Chair-Messung (zwei unabhängige Kontexte).
### 18:10-18:25 - Research-Internet: Reader-Proxy statt eigenem Egress-Proxy (Owner-Entscheidung 1)
**Geprueft und verworfen:** (a) L4-Bypass `host` weglassen + `protocol: tcp` + `tls: skip` +
oeffentliche `allowed_ips` -> Gateway lehnt ab: "protocol tcp requires a DNS hostname; hostless
allowed_ips endpoints are supported only by the forward proxy". (b) OpenShell 0.1.6 (27.10.2026):
Release-Notes ohne Any-Host-Feature. (c) 2-Label-Wildcards: Schema-Regel "at least three DNS labels".
Test-Policy sofort revertiert: `Policy unchanged (version 3, hash: 4322aaf069e6)`.
**Loesung (live):** `r.jina.ai` ist 3 Labels -> vom bestehenden `**.*.*` gedeckt. Reader-Proxy
liefert beliebige oeffentliche URLs als Markdown. Statuscodes 200 fuer arxiv.org, github.com,
nvidia.com; Direktzugriff auf dieselben 2-Label-Hosts bleibt DENY (Scope research-only).
**Agent-Seite:** `clusters/main/fleet/agent-image/fleet/gen_soul.py` hat jetzt `{net}`/`{caps_net}`
pro Agent; `research` enthaelt Owner-Grant + Reader-Proxy-Regel + Prompt-Injection-Hinweis.
`FLEET-POLICIES.md` NAR-Ausnahme. Commits `b91e559`, `3a739f0`; Deploy via `deploy_soul.sh research`
(SOUL.md auf Workspace-PVC, kein Recreate).
**E2E:** Task `3a19f80a` (tower-owner -> research, P3) submitted 18:17:48 -> claimed 18:18:00 ->
completed 18:19:00 (75 s); Release-Note mit arXiv:2606.15549 + 2 Kernaussagen; unabhaengig
gegengeprueft (Titel identisch) -> keine Halluzination.
**Pitfall bestaetigt:** `kubectl exec` hat keine Supervisor-DNS-Stage -> `Could not resolve host`
auch fuer erlaubte Hosts. Netz-Tests nur ueber `openshell sandbox exec`.
**Offen:** eigener Egress-Proxy (Squid/tinyproxy) fuer echte APIs/Downloads/POST — Owner-Entscheidung.
### 19:05-19:00 - Watcher 0.22: Idle-Gate und Pick-Regel repariert (Owner: "todos werden nicht bearbeitet")
**Bug 1 (kritisch):** maybe_fire(ready_count) brach bei JEDEM submitted Task ab - auch
to=tower-owner (warten auf Owner-Entscheidung, kein Agent clamt sie). Der 0.21-Owner-Skip
sass nur im tiefen Scan hinter dem billigen Gate. 2 ciso-NAR-Antworten blockierten den
Loop 30+ min; seit 11:25 kein Trigger mehr.
**Bug 2:** Idle-Body "hoechste Neu-Karte nach Score" ohne rueckbau-*-Filter - November-
Rueckbaukarten (Score 72) dominierten; eine wurde morgens vorzeitig ausgefuehrt.
**Fix (Digest sha256:3e3c6ff0..., Commit 989c4a6):** maybe_fire(len(ready), ready) mit
Owner-Filter im Gate selbst; Body-Schritt 2 ueberspringt rueckbau-*; 3 nicht-faellige
Karten manuell Neu->Bewertet.
**E2E 18:55-19:00:** Trigger trotz 2 offener Owner-Tasks -> CEO claim -> griff
owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9b0,
geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau.
**Lesson:** Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist
keine Faelligkeit (rueckbau-*-Praefix = Konvention).
## 30.10.2026 — Tower Tasks-View + Dead-Letter-Re-Dispatch (Envelope-Vertrag) + Kaniko-Builds im Cluster
- **Auslöser:** Runner-VM 200 (`10.0.30.124`) hatte einen **ext4-Journal-Hang**
(`jbd2` in D, 5,7 kB/s direkte 4-K-Writes) — Tower-Build hing 24 min. Owner
sagte „weiter" → Pivot auf **in-cluster Kaniko** (nicht Reboot/Disk-Move).
- **Kaniko-Pipeline (NS fleet, dauerhaft):** PVC `fleet-build-src` (cephfs-ssd 4Gi
RWX), Secret `fleet-build-push` (dockerconfigjson, out-of-band), Pod
`build-loader` als `kubectl cp`-Ziel; Build-Pod
`kaniko-<svc>` (`gcr.io/kaniko-project/executor:v1.23.2-debug`,
`--skip-tls-verify` PFLICHT wegen self-signed Gitea, `--digest-file` auf dem PVC).
Zeiten: board 24–60 s, watcher 21 s, Tower 4 m 56 s (Next.js full).
SolDoc `tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md`.
- **Tower 0.19 → 0.20** (`d8a233ac…`, Commit `1969132`): neue Views
**Tasks** (Spool / Dead-Letter / Alarm) mit Task-Detail-Modal (volles Envelope),
**`/healthz`** + **`/api/status`** (maschinenlesbar, fail-loud-read: tote Quelle =
degraded, nicht 500), NAR-Historie, Release-Notes-Feed, Board-PVC RO-Mount
(`/srv/fleet/board`), `FLEET_TOWER_VERSION`.
- **board-service 0.20** (`b7d68298…`): MCP-Tool `redispatch_task` — Dead-Letter-Task
erneut zustellen (`uuid4`, 7-Tage-Fenster, idempotent via `re_dispatched_to`
+ Scan `re_dispatch_of`, akzeptiert Org-Mitglieder **und** System-Sender
`tower-owner`/`deadman-watchdog`).
- **watcher 0.23** (`9c048560…`): `REDISPATCH_FIELDS`
(`re_dispatch_of`, `re_dispatched_to/_at/_by`) in `KNOWN_OPTIONAL_FIELDS`.
- **Bug-Kette (3 Quarantänen, SolDoc bug-fixes/2026-10-30-…-envelope-contract-quarantine.md):**
(1) synthetische ID `redis-<uuid>` → Watcher verlangt echte uuid4;
(2) Original auf `status=re-dispatched` → Status-Enum kennt den Wert nicht,
Dead-Letter-Eintrag verschwand; (3) Zusatzfelder nicht in der Whitelist.
**Lehre: Der Spool-Envelope ist ein Contract mit drei Achsen — ID-Form,
Status-Enum, Feld-Whitelist.** Provenienz entweder in die Whitelist oder ins
Journal. Reparatur aus `_invalid/` NIE mit Zusatzfeldern (`repair_note` → sofort
wieder Quarantäne).
- **E2E-Beweis (echter Dead-Letter-Task):** `01956904` (2,4 Tage alt, from
`tower-owner`) → Re-Dispatch `cc6c6f97` → `task_claimed` by **ceo** nach 8 s →
`task_completed` nach ~6 min mit Deliverable (Rollenbeschreibung devops +
Release-Note). Tower-DOM (headless Chromium via SSH-Tunnel über .92, weil der
Hermes-Host in VLAN 30 liegt und die IP-ACL ihn aussperrt): 61 Dead-Letter-Zeilen,
genau **1** Badge `↻ zugestellt cc6c6f97`, 0 Konsolenfehler.
- **PITFALLS:** (1) `pkill -f "ssh.*18443:…"` killt die eigene Shell (Muster steht
in der eigenen Kommandozeile) → Bracket-Trick `1844[3]`. (2) ArgoCD-Sync meldet
Exit 20 „another operation in progress" und wendet trotzdem an — Beweis ist
`rollout status` + `imageID`. (3) `add_release_note` akzeptiert nur org.yaml-Agenten
(`tower-owner` → Fehler) und max **500 Zeichen**; Chair-Deploys als `agent_id=ceo`
mit `[Chair]`-Präfix im Text. (4) `kubectl exec … python3 - <<EOF` ohne `-i`
liefert stillschweigend nichts → Script per `kubectl cp`. (5) Kaniko-Push auf
existierenden Tag bricht ab; `sed` auf Pod-Manifesten kann still nichts ändern
(0.19-Build ging versehentlich auf `:0.18`).
- **deadman 0.13.2** (`dd5bcf97…`, Commit `effa78e`): `progress`-Kaskade
überspringt `to=tower-owner`. 13 offene Owner-Entscheidungen hielten den Alarm
dauerhaft rot (ALARM auf einem Owner-FYI) und schickten dem CEO alle ~2 h einen
Deadman-Task — **drittes Vorkommen derselben Semantik-Lücke** (Watcher-Idle-Gate
0.22, Autonomie-Kaskade 0.13.1). Regel: „Ist die Fleet untätig?" schließt die
Owner-Lane aus, im billigen Gate genauso wie im tiefen Pfad. Nach dem Rollout
`progress 0`, `open_tasks 0`, `gateway_ok 1`; ALARM-Linie im Board nachträglich
als RESOLVED geschlossen (Pod-Restart verliert den Alarm-Zustand).
### Phase-1-Abnahme `p1-e2e-flow` — 4/4 grün (30.10.2026, live bewiesen)
| Test | Beweis |
|---|---|
| **A Kette Owner→CEO→VS→Lieferung→Abnahme→Kanban** | Owner-Task `a9030241` (tower-owner→ceo) → Claim + Erledigung; CEO legt Karte `e2e-p1-restore-runbook` an (Score 45, Ursprung owner) und delegiert P2-build `67011cb0` an cto (karte_id+vs gekoppelt); cto liefert Runbook (5 Schritte, je Prüfkommando + Abbruchkriterium, Artefakt `/sandbox/artifacts/e2e-p1-restore-runbook.md`); `card_auto_fertig` + `review_task_created` → `0316bd41` (cto→ceo); CEO **ABGENOMMEN** 09:46:35. Journal-Beleg: accepted → task_claimed → task_completed → card_auto_fertig → review_task_created → task_claimed → task_completed. |
| **B FYI ohne Antwort-Task** | `6cc6d5cf` (ceo→cto fyi): Claim +15 s, completed +26 s mit „FYI zur Kenntnis genommen", **kein** reply_to-Kind. |
| **C Fail-loud kaputtes Envelope** | Envelope mit `status=re-dispatched` + Fremdfeld → in `_invalid/20261030-092711-quar-<id>.yaml` verschoben, Journal `quarantined`; nichts still verworfen. |
| **D Egress-Deny** | Aus ceo-Sandbox via Supervisor: Prometheus `10.0.30.202:9090` rc=7 (Refusal 0 ms), K8s-API `10.0.30.51:6443` rc=7; Positivkontrolle board-service `:8080` erreichbar (HTTP 400 = MCP-Protokoll, TCP offen). |
**Durchsatz-Beobachtung:** Single-Thread-Worker je Agent ⇒ ein laufender LLM-Turn
blockiert Claims; ein Owner-Task wartete 197 s hinter einem Review-Turn. Kette
Ende-zu-Ende 09:33:40 → 09:46:35 = **13 min** für 3 Agenten-Turns.
**Offener Strukturbefund:** devops hat **13** Change-Order-Verzeichnisse in
`/sandbox/fleet-change-orders/` (kosten-ampel, flussmetriken, wochenbericht,
spool-aging, nar-register, deadman-status, owner-queue, notfall-runbook,
task-deadletter, health-ampel …); im Tower-Quellcode integriert sind nur
`task-detail`, `nar-historie`, `release-notes-feed` → **10 offen**. Agenten
können keine Images bauen und nicht ins IaC-Repo schreiben ⇒ jeder Tower-Deploy
läuft über die Chair-Pipeline. Damit ist der Chair der Durchsatz-Deckel für
Tower-Features (genau die Vorhersage der Verfassung; verschärft sich mit 26
Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
(Kaniko+Git-Gate, Owner-GO nötig).
- **board-service 0.22** (`483d105a…`, Commit `ceacfad`): `dismiss_owner_task`.
Befund 30.10.: 13 offene Owner-Tasks, davon 9 reine Quittungen. Der einzige
Schliess-Pfad (`decide_owner_task`) erzeugt IMMER einen Folge-Auftrag → für
Meldungen strukturell falsch, also blieben sie liegen. Neu: dismiss schliesst
ohne Folge-Task (Journal `owner_task_dismissed`). 13/13 geschlossen, 4 echte
Anträge als Freigabe an die Antragsteller delegiert (devops/ciso claimten in
17–18 s), Inbox 0 offen.
- **Owner-Lane-Disziplin** (FLEET-POLICIES §1.3, Owner-Vollmacht 30.10.,
Commit `bc1eaf1`): Eskalation an `tower-owner` nur noch bei harter Linie —
Egress extern, Schreibzugriff auf Produktions-/Owner-Systeme, Secrets, NEUE
externe Exposition, destruktive Eingriffe, Unsicherheit. Operatives im
Innenverhältnis (Deploys, Rollouts, Runbooks, Restarts, Grants in
10.0.30.0/24 — dauerhaft nur 90 Tage + Rückbau-Karte) entscheidet der CISO
selbst; Owner bekommt höchstens `fyi`. CISO-SOUL live deployt; FLEET-POLICIES.md
wird per COPY ins Image gebacken → dort erst mit dem nächsten Image-Build
wirksam (SOUL = Enforcement-Punkt).
- **watcher 0.24** (`547e35eb…`, Commit `da32178`): verwaiste Claims werden
automatisch freigegeben. `working` + mtime älter als `ORPHAN_REQUEUE_SECONDS`
(7200 s; deckt 2 × `LLM_TIMEOUT` 1800 s) → zurück auf `submitted`, nach
`ORPHAN_REQUEUE_MAX` (3) Versuchen `blocked` (sichtbar im Tower). Journal
`orphan_requeued` mit Alter/Empfänger/Versuch. Offline-Test 4/4 (3 Stufen +
Frisch-Claim-Gegenprobe), Live-E2E: synthetischer Orphan (9007 s) in < 10 s
requeued. **Damit ist der Kreis geschlossen: Requêue → `agent_awaiting_claim`
→ Claim → complete.** Bis 0.24 blieben tote Claims für immer liegen (Worker
hatte kein Re-Own).
- **Offen:** Runner-VM 200 ext4-Hang (Optionen Reboot / Disk auf `ceph-flash`);
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
im Worker fehlt weiterhin.
## 01.11.2026 — Owner-Push-Kanal (aktiver Push zu tower-owner)
**Problem:** Der Chair sah Owner-Entscheidungen nur im Tower-Web-Frontend (wird nicht regelmäßig geöffnet); der alte Cron `Fleet-Board Aenderungs-Watch` (5be5df10d92f) beobachtet noch den **Alten** Board-Host `/srv/fleet-board` via SSH 10.0.20.92 — nicht den K8s-Spool.
**Lösung (live, verifiziert):** Cron `Fleet Owner-Lane Push`, Job-ID **d6900fc684b1**, `*/5 * * * *`, `no_agent` (kein LLM), Script `~/.hermes/scripts/owner-lane-push.sh`, deliver `origin,telegram:223926918` (DM „D").
- Liest `/srv/fleet/tasks/*.yaml` im Board-Pod (Label `app=fleet-board-service`, via `kubectl exec -i`; **ohne `-i` kommt kein stdin durch** → Parser liefert 0 Tasks)
- Filtert `to: tower-owner` + `status: submitted`; meldet NEUE Tasks (Priorität·Typ, Thema, Absender, Wartezeit) und >24 h-Hänger (max. 1 Reminder/24 h)
- State: `~/.hermes/state/owner-lane-push.json` (`seen`/`reminded`); Modi `--init` (alle offenen als gesehen), `--dry`
- Leerer stdout = keine Zustellung (Watchdog-Pattern); stderr bei Pod fehlt → stiller Cron-Fehlschlag, Diagnose manuell
**Verifikation 01.11. 07:38:** Job-Lauf `last_status: ok`, keine delivery/fire errors, Output leer (still korrekt); Telegram-Testnachricht `message_id 49523` an Chat 223926918 (private, „D") zugestellt. Owner-Lane bei Init: 10 offen, 3 >24 h.
**Regel:** Telegram-DM 223926918 = Owner-Push; Telegram-Gruppe −5265906503 = Digest-Gruppe; `origin` = Hermes-Desktop-Chat.
## 01.11.2026 (07:41–10:45) — Heartbeat-Ausfall: openshell-Gateway-Wedge + Agent-Pod-Verlust (GEHEILT)
**Meldung:** „Die heartbeats sind aus" — Prometheus nur 8/9 Serien, nur chro-Pod Running.
**Root Cause (Multi-Layer):** Beacon GESUND. (1) `openshell-0` (StatefulSet, Gateway+Sandbox-Controller) wedged: 168 min Terminating mit deletionTimestamp 10:26 ohne Finalizer-Fortschritt (Node Ready) → kein Controller → keine Agent-Pod-Recreation. (2) VM 114 (rke2-worker-02) um 08:43 von root@pam via PVE-Web-UI heruntergefahren (ACPI verweigert → Hard-Kill; `onboot:1`); 5 Agenten-Pods dort in Terminating. worker-05 (VM 102 auf ms-a2-2, Mgmt unreachable) NotReady. (3) Runner: OIDC-Token abgelaufen + `openshell-portforward` (kubectl port-forward auf pod/openshell-0:8080) hing in activating.
**Fix-Kette (verifiziert):** `qm start 114` → force-delete openshell-0 (StatefulSet recreatete auf worker-02, 1/1) → headless OIDC-Login (Authelia firstfactor + redirect; Skript-Neubau `/tmp/oidc-login3.sh`, PW `/root/.fleet-authelia-pw` auf Runner) → `systemctl restart openshell-portforward` (17671 listening) → `resume.sh` 8/9 + **ceo separat** (Bug: resume.sh-Liste umfasste nur 8 Agenten → **gefixt: Liste um ceo erweitert auf dem Runner**) → 9/9 Pods Running, 9 Serien (46–283 s), Immich-ML nach Recreate Running.
**Pitfalls (neu):** (a) openshell-0-Terminating-Wedge = SPOF für ALLE Sandbox-Ops; Heilung = force-delete, danach StatefulSet-Recreation abwarten. (b) Nach Full-Resume `openshell sandbox list` auf 9/9 Ready prüfen, nicht Skript-Output. (c) OIDC ohne Refresh-Token: nach Token-Expiry headless Re-Login nötig (bewährtes Muster in SolDoc). (d) Policy-Hotfix per `kubectl cp` scheitert: Pods uid 10001, `/opt/hermes/fleet` root-owned → Policy-Rollout nur via Image-Rebuild (Kaniko) oder ConfigMap-Mount (struktureller Fix, offen). (e) Kaniko v1.23.2 ohne `--push-retry`: Gitea-Upload-Session läuft bei großem Push ab (BLOB_UPLOAD_UNKNOWN 2× identisch) — dritter Anlauf mit kleinerem Image/Registry-Timeout nötig.
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`