Files
memory/systems/agent-fleet.md
T
2026-11-10 22:00:22 +00:00

149 KiB
Raw Blame History

title, category, status, created, updated
title category status created updated
Agent-Fleet systems active 2026-10-22 2026-10-29

Agent-Fleet (Multi-Agent-Plattform)

Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem LLM-Chokepoint und objektiver Telemetrie.

STATUS 25.10.2026: Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206) per Q8a-GO EINGEFROREN (Crons .frozen-20261025, Protokoll /srv/fleet-board-freeze/ auf PVE); Deprovisionierung erst nach Phase-1-Grün. Aktiv ist der Rebuild v2.5 (lebende Verfassung, Commit 391c9fa): 9 Agenten (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truth iac-homelab/clusters/main/fleet-truth/org.yaml. Dieser Wiki-Abschnitt Iteration-1-Betrieb ist historisch (CTs, Poller, WebUI v0.x, B-Inputs, Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt „Fleet-Rebuild v2.5 (Phase 0)" unten.

NACHTRAG 01.11.2026 — vs-ual + sec-ops gemergt, Org-Quellen DRIFTEN: Merge-Kommissionen #9/#10 sind nach main durch (ArgoCD-Pfad, nicht HTTPS!): f6ef8e3..5af61ec, rein additiv, 3 Dateien/+118 Zeilen. Live belegt: App agent-fleet Synced @5af61ecd… health=Healthy; ConfigMap beacon-org-yaml enthält id: vs-ual (parent cto, caps 2/5, hrp-vs-ual-v1) und id: sec-ops (parent ciso, caps 0/0, hrp-sec-ops-v1); fleet-webui-org mitgezogen (Org-Chart zeigt beide). ABER: Es gibt ZWEI Org-Quellen mit verschiedenem Schema — agent-fleet/beacon.yaml (Schema id/caps, wird deployed, jetzt 10 Members) und fleet-truth/org.yaml (Schema agent_id, deklariert sich als einzige Wahrheit fuer Struktur, 9 Members, ohne vs-ual/sec-ops, dafür MIT agile-coach, das im Deploy fehlt). Kein Konsument der Truth-Datei im Repo gefunden. Kanon-Frage liegt beim Chair (Fail-loud-Mail ownerlane-failloud-org-quellen-drift-2026-11-01.md); Truth-Datei wurde bewusst NICHT eigenmächtig nachgezogen. Status ehrlich: 10 Rollen definiert/deployt · 9 in der Truth-Datei · 0 neue Sandboxes (kein vs-ual/sec-ops-CT → kein Heartbeat, agents_up unverändert 7 → nicht 10 Agenten live melden). Clone-Gates unberührt: DI-6-Sequenzsperre + Clone-Window. PR-8 (research) und M1-Poller bleiben BLOCKIERT (Chair-Corrigenda: research-Stanza existiert mit caps 999/99; M1-Datei 3 misst 15.051 B/aff29d8c… ≠ Pin 13.623 B/ee90f486…).

Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)

BETRIEBSSTATUS 01.11.2026 15:55 UTC (gemessen) — KONZERN WIEDERBELEBT: Stillstand-Ursache war kein Defekt: in allen 8 CTs waren <rolle>-heartbeat.timer und fleet-mail.service disabled (CT201/CT202 zusätzlich ceo-heartbeat.timer masked); letzter Lauf 25.10. 18:39:45, letzter Poller-Stop 19:45:50. Nach enable --now: 7/7 Heartbeat-Timer + 7/7 Mail-Poller active, Heartbeats landen im 60-s-Takt in fleet.heartbeats (Beleg 14:53:11–14:53:46Z). CT201 (research) bleibt dunkel: kein Bifrost-Key + kein research-Timer. In agent-fleet laufen weiterhin nur 4 Pods (pg, beacon, bifrost, fleet-webui) — die Agenten sind CT-Prozesse, keine K8s-Pods; das ist Soll, kein Mangel. VK-INVENTAR 18 → 15 (revoked: agile-coach, ceo, fleet; Rollback-Anker /home/debian/tmp/vk-inventar-vor-revoke-2026-11-01.json). Ist-Verteilung (Join über Key-Suffix): CT161 ceo=ceo-v2, CT163 cto/CT164 ciso/CT165 chro/ CT202 coo/CT205 cmo/CT206 devops = Legacy-Namen, alle HTTP 200. Die Rotation vom 24.10. ist nur für CEO vollzogen; die 6 -v2-Keys sind nirgends installiert und ihr Klartext nicht mehr beschaffbar (Admin-API maskiert value auch beim Einzel-GET) → als Migrationsziel unbrauchbar, Neuaustellung nötig. Host-Hermes hat toten Key sk-bf-…a6a7 (401) in config.yaml. ZWEI BEACONS: agent-fleet/beacon (LB 10.0.30.211, org aus ConfigMap beacon-org-yaml = agent-fleet/beacon.yaml, 10 Rollen, empfängt die Heartbeats) vs fleet/fleet-beacon (nur ClusterIP 10.43.220.85:8000, org aus fleet-truth/org.yaml, 9 Rollen inkl. agile-coach; App fleet = Progressing). Kanon für den Betrieb = agent-fleet/beacon.yaml; Befund als Kopfkommentar in fleet-truth/org.yaml festgeschrieben (Commit a2fa75a), Datei bewusst NICHT gespiegelt (Schema-Divergenz agent_id/wave/al vs id/caps/hrProfileId). B3-Quarantäne gepurged (10 Dateien/308 K, danach 0). SEED-E2/E5/E6 + D-5: GO erging 24.10. („Go für alle Punkte"), Vollzug im Board nicht belegt. C1-Bind-Pin: config.yaml SOLL platforms.webhook.extra.host: 10.0.30.230, IST lauscht Gateway-PID auf 0.0.0.0:8644 → Pin wirkt am laufenden Prozess nicht; C2-iptables deckt ab (-A INPUT -s 10.0.30.0/24 --dport 8644 ACCEPT, Rest DROP, reboot-fest). Ursache (Config-Key vs. Bind-Code) offen.

  • Verfassung: Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10. Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt; max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
  • Phasen: 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell- Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) · 0.5 p0-image ✓ GRÜN (25.10. spät) · 0.6 Bifrost-VKs ✓ GRÜN (26.10.) · 0.7 Spool+Watcher ✓ GRÜN (26.10.) · 0.8 MCP-Facilities ✓ ALLE 4 GRÜN (26.10.) · 0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready) · 0.10 Fleet-DB ✓ GRÜN (26.10.) · 0.11 Beacon ✓ GRÜN (26.10.) · 0.12 Deadman ✓ GRÜN (26.10.) · 0.13 Control Tower ✓ GRÜN (27.10., DOM-Smoke 23/23) · 0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden) → Phase 1 Onboarding.
  • Value-Streams (31.10., Owner-Direktiven): Dauermmandate als VS im Board: vs-eigenentwicklung (Owner CTO) = eigenständige Weiterentwicklung des Fleet-Betriebs (card-to-operate: Idee→Bewertung→Bau mit FREIGABE+CISO-Review via deploy-facility→Review→Messung); Seeds vs-mandat/vs-retro/ vs-facility-cho-e2e (Facility-E2E notfall-runbook, grant 8c82f94e, CHO 03c73e24, tag tower-v0.2.1); Kick-off-Task 7b199415→CEO. vs-schoenkitchen (Owner CMO) = SchönKitchen-Produktentwicklung im Operating Mode; Seeds sk-ops-mandat/sk-e2e-regression/sk-feature-backlog/sk-weekly-pitch; Kick-off-Task c8561b4b→CEO. SchönKitchen-Push-to-Deploy verdrahtet: git push main → Gitea Actions (gitea-runner-0, NS schoenkitchen) → Image :latest+:sha → Deployment Recreate+Always-Pull+ArgoCD selfHeal; devops- Sandbox git.schoen.codes-Egress. Register-Konvention: Neue VS-Zeile via Board-PVC register.md (kein ArgoCD-Manifest), Karten via add_backlog_card (titel≤200, Score 1–10 je Dim).
  • p0-image (0.5) final: Agent-Image git.schoen.codes/dominik/hermes-agent Tag fleet-v1 = digest sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7 (1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile clusters/main/fleet/agent-image/Dockerfile; gebaut auf mgmt-runner .124).
  • p1-image v5.1 (28.10., AKTUELL): Tag fleet-v5.1 = digest sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d (Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) NAR-Verfahren (Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan- Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien
    • Worker-Tool-Prompt-Verweis; to: tower-owner NUR durch ciso und nur type: escalation|fyi, kodiert in 3 Validierungsschichten (submit_task.py
    • CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py), E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) Worker Resume-on-Disconnect: Gateway disconnected startet KEIN Re-Execute, sondern beobachtet die Session-DB bis 900 s und completed mit der finalen assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops (RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser; (c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen). Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout — default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert. Digest-Pin live in OpenShell-Values (sandbox.image.digest) + Prepuller-DS clusters/main/fleet/agent-image-prepull.yaml → gateway.toml default_image → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task)
    • Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret agent-fleet-registry-pull out-of-band im NS fleet (default-SA imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe systems/gitea.md „Container Registry". SolDoc: docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md.
  • OpenShell: NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5 digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER /sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted Key "openshell.gateway" (inline values:, nie ArgoCD-parameters — dotted Keys brechen --set-Parsing, CrashLoop).
  • ArgoCD-Lektionen (wiederkehrend): dotted Keys nur inline values:; nach Git-Push Root-App (app-of-apps) refreshen; Sync via kubectl -n argocd exec sts/argocd-application-controller -- argocd app sync <app> --core; org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/.
  • Bifrost (Wiederverwendung Iteration 1): NS agent-fleet, VIP 10.0.30.210:8080, App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member benannt <agent_id>[-v<n>], Rotation -v<n>; Allowlist ^(noris/)?vllm/release/.*, key_ids ["*"], deny-by-default. Abnahme je VK: Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090.

p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet)

agent_id VK Modell (noris/vllm/release/…) Secret
ceo ceo-v3 glm-5-3 fleet-vk-ceo
cto cto-v2 glm-5-3 fleet-vk-cto
ciso ciso-v2 glm-5-3 fleet-vk-ciso
chro chro-v2 glm-5-3-flash fleet-vk-chro
cmo cmo-v2 glm-5-3-flash fleet-vk-cmo
agile-coach agile-coach glm-5-3-flash fleet-vk-agile-coach
coo coo-v2 deepseek-v41-flash (reasoning_effort max) fleet-vk-coo
devops devops-v2 deepseek-v41-flash fleet-vk-devops
research research deepseek-v41-flash fleet-vk-research
  • Secrets: kubernetes.io ESO-ExternalSecrets aus clusters/main/fleet/vk-secrets.yaml (1P-Vault „Kubernetes ESO", Items Agent-Fleet VK <vk>, Feld password); Keys api-key + key-name; Zieldatei FLEET_BIFROST_API_KEY definiert in fleet-truth/bifrost-vks.yaml (Phase-0.9-Injektion).
  • Bifrost-API-Pitfalls: POST /api/governance/virtual-keys verwirft allow_all_keys → Key ohne Schlüssel (400 „no keys found"); Fix per PUT …/{id} mit key_ids:["*"] (PATCH = 405). Echte API nur unter /api/… (/api/v1/… = SPA-HTML 200!). Modellnamen brauchen Provider-Präfix noris/. Reasoning-Modelle liefern bei max_tokens-Knappheit leeren Content → Smoke über HTTP-Status + usage.total_tokens. ESO-Defaults (conversionStrategy/decodingStrategy/metadataPolicy, deletionPolicy: Retain) müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff.
  • Offen (Owner-GO): 9 Alt-VKs (fleet, ceo, ceo-v2, cto, ciso, chro, coo, cmo, devops) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern (VK ceo (v2), coo (v2), cmo (v2), devops (v2)) löschen.
  • Solution Doc: docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md

p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts

  • Deployment fleet-spool-watcher (NS fleet, 1 Replika, Recreate, automountServiceAccountToken false, Label fleet.noris.de/deadman-cascade: "true"). Image git.schoen.codes/dominik/fleet-spool-watcher — live 0.26 (01.11.2026): digest sha256:aeb6efc672feabde882ad0256ba8b459b7f348870dba06b94f6e5f8d5ad30beb (python:3.11-slim + pyyaml, non-root UID 1000, Kaniko-Pod watcher-build-026d; 026/026b scheiterten an TLS-CA bzw. BLOB_UPLOAD_UNKNOWN — --compressed-caching=false

    • frischer Pod loeste es). Code: clusters/main/fleet/spool/ (submit_task.py, watcher/watcher_main.py, watcher/deployment.yaml, tests/smoke_test_local.py — 32/32 PASS).
  • Watcher-Konfig: scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s, Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD default hermes chat {input} (Platzhalter {input} {agent} {task_id}).

  • CephFS-Fix: initContainer spool-perms (busybox:1.36, root) legt _journal/ _runs/ _invalid/ an + chown 1000:1000 — sonst PermissionError (CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks.

  • E2E bewiesen: submitted→dispatched→run_started→run_finished, Status- Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante (exit 127) — beides im Journal + Envelope nachgewiesen.

  • Befehlsmuster: Toolbox-Pod kubectl -n fleet run spool-e2e --image=python:3.11-slim

    • PVC-Mount per --overrides; Einreichung via kubectl cp + kubectl exec -i heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches sofort).
  • Watcher 0.25-Fix (01.11.): fyi-Tasks zählen NICHT mehr als offene Arbeit im Idle-Gate (_open_task_count, maybe_fire.real_ready). Korrektur einer frueheren Fehlaussage: von 664 fyi waren 651 completed — geblockt haben nur 12 submitted fyi (+1 failed). Echte Arbeit zählt weiter, to=tower-owner (0.22) bleibt ausgenommen. Liveness nur über _journal/watcher.tick (mtime, 10 s) prüfbar — kein Startup-Log by design.

  • Watcher 0.26 fyi-Retention (01.11.): phase_archive() verschiebt fyi älter FLEET_FYI_ARCHIVE_DAYS (default 1, 0=aus) per os.replace nach _archive/ (Move, NIE Delete; Unterordner ausserhalb des Scan-Globs), max FLEET_FYI_ARCHIVE_MAX (250) pro Lauf, alle 300 s; Journal fyi_archived (task_id/file/to/status/alter_tage). Zwei Laeufe: 319 Dateien (alle fyi

    1 d), top-level 1574→1255; Rest 345 fyi, alle ≤1,0 d.

  • Spool-Bestand 01.11.: 1574 Envelopes, 664 fyi (651 completed), 34 submitted (24 tower-owner, 10 ceo).

  • ArgoCD-Sync-Blocker: Der fleet-App-Sync hängt bei DaemonSet/fleet-agent-image-prepuller (8 desired / 7 ready, weil rke2-worker-05 NotReady ist). ArgoCD wartet auf Healthy und blockiert die gesamte Sync-Welle. Workaround: Soll-Zustand direkt per kubectl set image setzen (identisch zum Git-Pin) → App danach Synced; Root-Fix = Node-Availability (Parallel-Session) oder Sync-Wave entkoppeln.

p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts

  • CNPG-Cluster fleet-db (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi, healthy; App-Secrets via CNPG: fleet-db-app Service fleet-db-rw:5432 DB fleet). Manifeste: clusters/main/fleet/db/ (fleet-db.yaml, schema.yaml).
  • App-User app_fleet = CNPG Managed Role (spec.managed.roles: login, connectionLimit 50, passwordSecret-Ref fleet-db-app-user [username+ password]; KEIN superuser/createdb/createrole). Bootstrap-Owner fleet (Secret fleet-db-owner out-of-band) hat KEIN CREATEROLE — CREATE ROLE im Schema-Job schlägt fehl → Managed Roles sind der Weg.
  • 7 Tabellen (additiv, IF NOT EXISTS): members, org_snapshots, provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples. heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta.
  • Beweise: psql select count je Tabelle (Selftest), DROP-Negativtest (verweigert für app_fleet), SECRET_READBACK_OK, ArgoCD Synced+Healthy.
  • ArgoCD ignoreDifferences-Pitfalls (Commits 3931c63, 34179d4): K8s-1.35 status.terminatingReplicas (jsonPointers) + ~45 CNPG-Webhook-Defaults via jqPathExpressions in jq-Punktnotation (.spec.probes — Slash-Syntax failt im Diff-Normalizer; Wildcards [] nicht *). Solution Doc: docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md.

p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts

  • Deployment fleet-beacon (NS fleet, 1/1, digest 55718277…), Code aus /home/debian/workspace/agent-fleet/src/beacon/ (FastAPI, 14/14 Tests), deployt unter clusters/main/fleet/beacon/ (app.py, deployment.yaml, containerPort 8000, sync-wave 6). Persistenz via Secret fleet-db-app.
  • 3 Root-Causes auf dem Weg (alle gefixt): (1) app.py liest DATABASE_URL, envFrom: secretRef liefert aber nur Einzelkeys → healthz 503 (fail-closed). Fix: valueFrom.secretKeyRef{name: fleet-db-app, key: uri} (Commit f13c744). (2) Patch-Indent-Bug: name: neben statt unter secretRef → ArgoCD ComparisonError: envFrom[0].name: field not declared in schema blockierte den GESAMTEN App-Sync (Commit fe5cc10). (3) app_fleet hatte Tabellen- aber keine Sequence-Rechte → permission denied for sequence heartbeats_heartbeat_id_seq beim INSERT. Live-GRANT + Git-Fix in schema.yaml (GRANT USAGE, SELECT ON ALL SEQUENCES + ALTER DEFAULT PRIVILEGES, Commit ca7660b).
  • E2E: POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → 422 (nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s.
  • Sequence-Lektion: BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences — Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts).

p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts

  • Deployment fleet-deadman (NS fleet, 1/1, sync-wave 7, digest sha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e — v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Code clusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}. Image python:3.11-slim + pyyaml, KEIN LLM, kein hermes (bewiesen: NO_HERMES, pip list = stdlib+PyYAML), non-root UID 1000, /metrics+/healthz auf 8100, readiness/liveness tcpSocket. Board-PVC rw gemountet (FLEET_BOARD_DIR).
  • VIER Kaskaden (§3.5, v2): Agent-Silence 1800 s (Quelle Beacon /metrics → beacon_last_heartbeat_age_seconds), Watcher-Tick 180 s (_journal/watcher.tick mtime), Bifrost-Gateway 120 s anhaltend (/health), Beacon-Unerreichbarkeit fail-closed (EIN beacon-Alarm, KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender Alarme). Edge-Trigger: ein P1-Eskalations-Task je OK→ALARM an ceo; Heilung löscht den Alert (GEHEILT-Log), kein Task-Spam.
  • Cold-Start-Semantik (Fix 26.10.): Agent OHNE je gesehenen Heartbeat = pending (KEIN Alarm; Metrik deadman_agents_pending). ALARM erst wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß. Unit-Test bewiesen: Cold-Start → 0 agent:*-Alarme; Heilung → RESOLVED.
  • DEADMAN-ALARM.md (Board-PVC, HITL-Kanal §3.5): je Ursache EINE [AKTIV]-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt [RESOLVED] in den append-only-Verlauf; temporäre Datei + os.replace (atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär).
  • Metrics: deadman_silence_seconds{agent}, deadman_alert_active{source}, deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds, deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up.
  • Live-Beweis (26.10.): agents_pending 8, beacon_ok 1, keine agent:*-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK.
  • Validator-Konflikt (kritisch): submit_task.py UND watcher_main.py erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert. Fix: VALID_SYSTEM_SENDERS=["deadman-watchdog"] / SUBMIT_SYSTEM_SENDERS, nur als Absender, nur type=escalation, to bleibt 9er-Org. Envelope-Feld heißt body (Watcher-Whitelist REQUIRED_FIELDS + KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body; input → Quarantäne). Beweis: 9/9 Tasks durch validate_schema_loose.
  • Watcher v2 (digest sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8): schreibt _journal/watcher.tick (epoch-int, fsync) je Zyklus als Liveness-Signal; System-Sender-Whitelist.
  • E2E live: 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte Heartbeat); Gateway 0, Watcher 0. Watcher-Kaskade bewiesen: replicas 0 (via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task ac15c65b → replicas 1 → GEHEILT watcher, alert 0, Tick 3 s.
  • ArgoCD-Job-Immutabilität (neue Lektion): fleet-db-schema Job blockierte JEDEN App-Sync („field is immutable"; Replace=true scheitert an fehlendem selector). Lösung: Job als PostSync-Hook (argocd.argoproj.io/hook: PostSync
    • hook-delete-policy: BeforeHookCreation) → nicht getrackt, konvergiert idempotent bei jedem Sync. Commit 077c5c8.
  • Grenze des Kill-Tests: kill -STOP 1 im Pod wirkt NICHT (PID-Namespace-Init ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über Git-replicas, nicht über Signale. kubectl scale wird von ArgoCD selfHeal binnen ~3 min revertiert → Overrides IMMER via Git.

p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts

  • Baukasten: alle 4 Facilities nach demselben Muster (mcp==2.3.0, MCPServer + run(transport="streamable-http", stateless_http=True), tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate, automountServiceAccountToken false, deadman-cascade-Label, UID 1000, Digest-Pins). Vorlage: clusters/main/fleet/mcp/org-registry/. Solution-Doc: docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md.
  • 1/4 org-registry (digest sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e): Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth, Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents.
  • 2/4 board-service (digest sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a, Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note, get_backlog, get_kanban, health, list_value_streams, move_card, submit_task, submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. 27.10. Fix: alle 54 Validierungen raisen jetzt ToolError statt ValueError — das MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat. Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc: docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md.
  • 3/4 telemetry (digest sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7, Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei), get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status (Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud (kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar.
  • 4/4 provisioning (digest sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1, Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt- ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste), record_provisioning_event (INSERT provisioning_events, psql-bewiesen event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst isError; none = noch nicht provisioniert), health (DB-Connect). Gateway-Call STUBBED (provision_sandbox_stub → NotImplementedError, Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer board-perms chown. envFrom fleet-db-app: Keys heißen user/password/host/ port/db (NICHT DB_USER — ENV-Name = Secret-Key!).
  • E2E-Muster (wiederverwendbar): Test-Skript als ConfigMap + python:3.11-alpine- Pod mit --overrides-Mount; RPC via POST + Accept: application/json, text/event-stream, letzte data: -Zeile parsen. python:3.11-alpine hat KEIN kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen.

p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts

  • Fleet Control Tower = Fork dominik/openshell_controller (Upstream nemo-shell-dashboard), Next.js 15 Custom-Server server.mjs (kein standalone), ns fleet, Pod fleet-tower-…-bsc2p 1/1 auf rke2-worker-03. Image git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814 588117ac03fdeb8c0f2094a90e70dfff34f2e9d2 (Git==Live verifiziert). 5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed (Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task, CEO-Chat-Threads), Escalation-Historie. 7 API-Routen /api/fleet/*, force-dynamic no-store; Import @/app/lib/fleet/fleetSource (nicht @/lib/… — tsconfig @/*→./*). 29.10.: Tower 0.15 (Digest sha256:00a82fefd1e350b73ae2f1ed288dbf71e04 c719b7b39be96cd314c6a11878854, Commit 4ecb30e) = fleet-native Sandboxes-View (/api/fleet/sandboxes → read-only PromQL gegen kube-state-metrics, NS openshell, Pods default--<agent>; 9/9 Running, node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views (Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create bewusst NICHT (Creates laufen über Provisioning-Pipeline).
  • ⚠️ 29.10. Traefik-Regression (behoben): ArgoCD-proxy-Sync 28.10. 22:21:53 (Rev 4ecb30e) fiel mit Helm-Release #96 zusammen, das OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods trotzdem 1/1 Ready. Fix: Kommentar in valuesContent (Hash-Änderung) → Release #97 mit tower-internal:8445/web-internal:8001/ websecure-internal:8444; verify: 200 von 10.0.20.92, 403 von VLAN 30. Merksatz: nach jedem proxy-App-Sync helm get values rke2-traefik prüfen; rc=7 = VIP announced/Port zu, Timeout = VIP-Problem. SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md
  • Exposure: VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service traefik-tower-lb, port 443→targetPort 8445, entryPoint tower-internal :8445 — neu in clusters/main/proxy/rke2-traefik-helmchartconfig.yaml), IngressRoute PathPrefix / + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 + 172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls (Interim-CA bis 24.01.2027, CN tower.schoen.codes). externalTrafficPolicy: Local PFLICHT für ACL (sonst SNAT). ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017). Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP https://10.0.30.213/ (ohne Portangabe! :8445 ist nur der Container-Port; Cert-Warnung wegklicken).
  • Single-Writer: Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs via board-service MCP-Tool submit_owner_task (from=tower-owner, type ∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten; body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO.
  • DOM-Smoke 23/23 PASS (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP — Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+ nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert), Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets.
  • Abnahme-Status: werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen: Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus 10.0.30.x design-gemäß 403.
  • Solution-Doc: docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md (Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding); Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017.

p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz

  • Owner-Kanäle: Idee→Backlog via Tower-API (Karte e2e-014-owner-idee, score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/ Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build, P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen 400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage + CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über GET /api/fleet/owner/chat — §8-Kriterium erfüllt.
  • Beacon Strict-Gate: ghost→422, devops→200, psql-Zeile sichtbar.
  • DB-Selftest: 7 Tabellen via app_fleet; DROP verweigert („must be owner"); NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED).
  • Deadman: pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7 vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43 (tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool → Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH (kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen).
  • Produktionsbug gefunden+gefixt (992cdfb): tower-owner fehlte in VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab); Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale. SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md.
  • Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy, Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei.

Repos & Struktur (Iteration 1 — historisch)

  • agent-fleet (Gitea, lokal /home/debian/workspace/agent-fleet): Org-YAML, Beacon-Scaffold (src/beacon/), Pläne (docs/plans/2026-10-22-agent-fleet-phase0.md, inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
  • iac-homelab (/home/debian/iac-homelab, Remote canonical = SSH): K8s-Manifeste. Push via git push canonical HEAD:main (HTTPS-Auth defekt).

K8s-Basis (Namespace agent-fleet)

  • ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
  • CNPG agent-fleet-pg (Postgres 17.x): Ready, Hourly-Backups. DB fleet für Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
  • ArgoCD-Apps: agent-fleet (Root-App für den NS, Synced/Healthy) und agent-fleet-bifrost (Helm, sync-wave 2).

LLM-Ingress: Bifrost (A3', produktiv)

  • maximhq/bifrost, Helm-Chart 2.1.45, app v2.3.1, StatefulSet bifrost-0, NS agent-fleet, LoadBalancer-VIP 10.0.30.210:8080 (cilium lb-ipam).
  • SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
  • Provider noris: custom provider, base_provider_type: openai, base_url: https://ai.noris.de, Key via env.NORIS_API_KEY ← ESO-Secret bifrost-noris-key ← 1P noris-api-key (Feld credential, NICHT dupliziert).
  • Admin-API: Basic Auth (ESO-Secret bifrost-admin ← 1P Agent-Fleet Bifrost Admin), Routen /api/governance/virtual-keys[/{id}], /api/keys, /api/providers. ACHTUNG: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json ist eine echte Route).
  • Governance: Plugin aktiv, VK vk-fleet (Name fleet), Header x-bf-vk. Policy (Nutzer-Regel 22.10.): nur vllm/release/*-Modelle — kein qsu-Kanal, keine Anthropic-Modelle. Kodiert als Regex-Allowlist ^(noris/)?vllm/release/.* in provider_configs[].allowed_models, deny-by-default (kein allow_all_providers). Kein Budget-Cap (Amendment A10).
  • Telemetry: Plugin aktiv, /metrics auf dem Haupt-Port hinter Auth → ServiceMonitor bifrost (NS agent-fleet!, Label release: monitoring) mit basicAuth gegen bifrost-admin. Prometheus-Target UP.
  • VK-Wert in 1P-Item Agent-Fleet Fleet-vkey (Vault Kubernetes ESO, Feld credential). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT — 1P-Referenz bleibt über Rollouts stabil.

1P-Items (Vault „Kubernetes ESO")

Item Zweck Feld(er)
Agent-Fleet Bifrost Admin Dashboard/Admin-API username, password
Agent-Fleet Bifrost Encryption DB-Verschlüsselung key
Agent-Fleet Fleet-vkey VK vk-fleet für Agenten credential
Agent-Fleet PG Owner CNPG owner (siehe CNPG)
noris-api-key (bestehend) Upstream-Key ai.noris.de credential

Beacon (B1+B2, PRODUKTIV seit 22.10.)

FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics (beacon_heartbeats_total, beacon_last_heartbeat_age_seconds{agent}, beacon_agents_up ≤120s), GET /healthz. 10 Tests grün (Review APPROVED, Important-Fixes committed b3b4b9f).

  • Deploy: iac-homelab clusters/main/agent-fleet/beacon.yaml + beacon-registry-pull.yaml (ESO ← 1P SchoenKitchen Registry Pull, dockerconfigjson für git.familie-schoen.com). Deployment beacon 1 Replica (100m/128Mi), Service ClusterIP :80, ServiceMonitor release: monitoring.
  • Image: git.familie-schoen.com/dominik/beacon:{SHA,latest} (CI-Workflow build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am größten Blob, manuelles docker push aus demselben Daemon ging sofort).
  • DB: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples — inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
  • E2E (22.10.): healthz 200 · hb ceo 200 → PG-Row · hb intruder 403 (Strict-Org-Gate live) · Prometheus-Target UP.
  • org.yaml-Seed als ConfigMap beacon-org-yaml (Genesis W0/W1: ceo, cto, ciso, chro) — Quelle: Phase-0-Plan Task E1.

CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)

  • CT 161 ceo auf ms-a2-1, IP 10.0.30.162 (VLAN 30), 4 vCPU/8 GB/ 20 GB rootfs auf vm_disks (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter : ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut). Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST pvesh, SSH root@10.0.20.92 + pct push/exec 161.
  • Harness: Hermes (Installer NousResearch) im CT; config.yaml mit Provider bifrost → http://10.0.30.210:8080/v1, VK literal inline (keine Env-Expansion!), Modell noris/vllm/release/glm-5-3. Inferenz via Bifrost verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
  • Herzschlag: /usr/local/bin/ceo-heartbeat.sh via systemd-Timer ceo-heartbeat.timer (60 s, Persistent, oneshot-Service fail-loud); Task-ID aus /var/local/fleet/last_task_id, Default idle; BEACON_URL=http://10.0.30.211. Verifiziert: Rows in heartbeats (task_id board-w1-memo) + Prometheus.
  • Identität: /root/fleet/CHARTER.md (Mandat: Board aus kritischen Gegenspielern + Lead-Hiring), /root/.hermes/memories/USER.md (Owner-Profil), /root/fleet/spec.md (v5.1-Stand), /root/fleet/org.yaml (= ConfigMap beacon-org-yaml). Kopien im Repo: genesis/.
  • W1-Memo: /root/fleet/board/memo-2026-10-22-board-w1.md (205 Z., MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO „Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL → sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. Liegt zur Genehmigung beim Owner.

Board-Sandboxes W1 (23.10. — A16/ADR-019)

  • CT 163 cto (Occam, 10.0.30.163) · CT 164 ciso (Hadrian, 10.0.30.164) · CT 165 chro (Diogenes, 10.0.30.165) — Vollklone von CT 161 (Snapshot w1seed, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
  • Mandate: CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
  • Betriebsregeln für alle: Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
  • Ghost-Heartbeat-Zwischenfall (23.10., behoben): Klone erbten CEO-Timer + last_task_id — feuerten ~7,5 h als ceo (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.
  • Hiring-Governance A16: W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
  • Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"): Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
  • W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC): CTO → memo-2026-10-22-cto-pipeline.md (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → memo-2026-10-22-ciso-baseline.md (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → memo-2026-10-22-chro-w2-profiles.md (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo genesis/ (Commit 901f3ac, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).

Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)

  • Fleet-Mail (Herzstück der 24/7-Autonomie): Host-Verz. /srv/fleet-mail mit inbox-<agent>/{new,processed} je Agent (ceo/cto/ciso/chro), via pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail in alle 4 CTs gemountet (2777). Nachrichten = MD-Dateien <epoch>-von-<agent>-<thema>.md mit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
  • Poller: systemd fleet-mail.service je CT (Restart=always) → /usr/local/bin/fleet-mail-poller.sh <agent>: v3.7 (25.10. früh) — v3.6.2 + SILENT-ACK-KONSUM (Chair-Direktive COMMUNICATION-STOP 25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname- Muster *ack*|*quittung*|*ok-already*|*konsum-*) werden vom Poller selbst erkannt (is_ack_chain) und STILL konsumiert (mv → processed/), OHNE Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die Quittungs-Kaskade (ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss → Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen: Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16 regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO 43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls; Waisen-timeout 1500-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur <Nr>=P<n>; Poller mappt lokal auf Dateinamen zurück — Output-15×- Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: NICHT Prompt-Größe/Encoding (beides widerlegt), sondern vLLM-Slot- sättigung — Subagenten belegen Sequenzen 8–15 min; Triage-Requests stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail (timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard v2). Unit-ExecStartPre killt verwaiste hermes chat/gateway run (Zombie- Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach syslog-TAG journalctl -t fleet-mail, NICHT -u; Zustand: cycle <agent> n=… chunks=X/Y p1..p4=… (X=getriagt, Y=davon OK). Fleet- Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) → Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost); Restart killt Waisen-Subagenten via pkill "timeout 1500".
  • Mailprompt v2 /root/fleet/mailprompt.txt je Agent (25.10.): Zeile 1 agent-spezifisch („Du bist ()…"), Kontext CHARTER/spec/org, dann COMMUNICATION-STOP-Regeln (bindend, Chair-Direktive 25.10.): (1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs) sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung; (2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren; (3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2. (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/ %ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht); Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
  • Board-Board: /srv/fleet-board (mp0) — /digest-*.md (CEO-final), challenges/, inbox/. Owner liest dort freizügig.
  • Kadenz (A7): /etc/cron.d/fleet-meeting im CEO-CT — werktäglich 09:00 Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
  • SC6-Watchdog: Hermes-Cron b28227374068 (monitor-Modus, Mo–Fr 08:20 UTC = 09:20 Berlin), Script ~/.hermes/scripts/fleet-digest-watch.sh, deliver=all — Alert nur wenn Digest <date>-final.md fehlt oder fleet-mail inaktiv (OK = deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min: r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte im Repo genesis/board-2026-10-23/, Commit 0917144).
  • Gotcha Detach: nohup hermes chat & starb lautlos (Exit ohne Log) — niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über den systemd-Poller ist der stabile Weg.

Konventionen & Regeln

  • Fleet-Standard-Modelle: noris/vllm/release/*. Model-Split 25.10. (Owner- Direktive „Last verteilen auf glm5.3, glm flash und deepseek"): CEO/CTO/CISO = glm-5-3 (Reasoning-lastig) · CHRO/CMO = glm-5-3-flash · COO/devops = deepseek-v41-flash. Pinned via model.default je CT-Config (/root/.hermes/config.yaml), Backups .bak-model-split-20261025. PITFALL DeepSeek: V4.1 akzeptiert Hermes' Default-reasoning_effort nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 → Subagenten failen sofort rc=1. Fix: agent.reasoning_effort: low in der CT-Config (202/206). PITFALL Hermes-Config-Schema: Feld heißt api_key (snake_case), nicht apiKey. Flash-Modelle brauchen kein reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung 33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell, Queues drainen.
  • Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
  • ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release bifrost verwaltet nur bifrost-*-Objekte.
  • ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal.

Offene Punkte

  • W1-Board-Genehmigung (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner- Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
  • Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
  • Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
  • Bekannter Defekt (niedrige Prio): Secret git-schoen-codes-tls (ns gitea) doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround: Registry/CI via git.familie-schoen.com routen.
  • D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion in Hermes-Configs).

B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)

  • PB1 Fleet-DB-Zugang CTO: CNPG-Managed-Role fleet_rw (managed.roles in clusters/main/agent-fleet/postgres-cnpg.yaml, Agent-Fleet PG fleet_rw; connectionLimit: 10 — SINGULAR, CRD v0.21). Grants als Owner fleet: CONNECT/TEMP auf DB, USAGE/CREATE auf schema public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über rw-LB-VIP 10.0.30.214:5432 (agent-fleet-pg-rw-lb, Cilium lb-ipam). CT 163: postgresql-client + ~/.pgpass. Reconciler-Jobs im K8s nutzen intern agent-fleet-pg-r…svc statt VIP. PW-Sofort-Rotation: CNPG zieht Secret-Änderungen nicht sekundenschnell → kubectl exec … psql -U postgres (Socket, ohne -h) ALTER ROLE fleet_rw … (DB-Owner fleet darf KEIN ALTER ROLE). Solutions-Doc: docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md
  • PB2 openshell_controller-Vertrag v0 (Controller selbst noch nicht implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag): API-Doku + Blueprint hermes-sandbox v1 (hash-gepinnt, sha256 a5611966…b3f1, Board: blueprint-hermes-sandbox-v1.yaml) + Machine-Token (1P-Item openshell_controller Machine-Token + /root/.secrets/openshell-machine-token in CT 163). T08: preset_hash ≠ Blueprint → 422 BLOCK.
  • PB3 Deploy-Recht NS agent-fleet: SA cto-deployer + Role + Token-Secret (clusters/main/agent-fleet/cto-deployer-rbac.yaml), NS- scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default verweigert, Negativ-Tests live). Kubeconfig /root/.kube/config + kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck: Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
  • Board-Doks: /srv/fleet-board/b1-fleet-db-input.md, b2-openshell-controller-api-v0.md, b3-deploy-recht-input.md, b1-fleet-schema-dump.sql. Mail an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b123-*.md).
  • Neu in 1P (Vault Kubernetes ESO): Agent-Fleet PG fleet_rw, openshell_controller Machine-Token.

B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")

  • PB4 Bifrost-Admin + Monitoring: Admin-API-Creds an CT 163 (~/.secrets/bifrost-admin.json, 600). Scope NUR VK-Anlage (/api/governance/virtual-keys); Provider-/Policy-Änderungen TABU. Monitoring read-only: Prometheus 10.0.30.202:9090, Grafana 10.0.30.201:3000, Loki 10.0.30.207:3100 — anonym erreichbar im VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert (Probe-VK sofort wieder gelöscht).
  • PB5 Test-NS agent-fleet-test: ArgoCD-App agent-fleet-test (app-of-apps clusters/main/apps/agent-fleet-test.yaml) — NS + Quota (4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap (ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E). E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
  • PB7 Capacity: Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB, CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail). F-7 Option B (4/8/50) damit formal bestätigt.
  • PITFALL ArgoCD (neu): Manifest einer unbekannten CustomResource im App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are not valid"); Dotfiles werden NICHT geskippt; JSON-Patch auf /status/operation abgelehnt. Fix: File aus App-Pfad entfernen (Content → ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc: integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md
  • Board-Doks: b4-bifrost-admin-input.md, b5-test-ns-input.md, b7-capacity-input.md; Mails an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b457-*.md, 13:42).

Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)

  • Zugang: http://10.0.30.212 (plaintext, kein Browser-Warning) oder https://10.0.30.212 (TLS, einmalige Self-Signed-Warnung: no-SNI → Traefik-Default-Cert). Kein Client-Zertifikat, kein Login in v1. mTLS-Material (fleet-webui-clientca, Owner-P12) bleibt vorgehalten → v2/OIDC. Nichts gelöscht.
  • Edge: Intern-only LB traefik-internal-lb (VIP 10.0.30.212): :443 → 8444 (EntryPoint websecure-internal) und :80 → 8001 (NEUER dedizierter PLAINTEXT-EntryPoint web-internal). Warum dediziert: EntryPoint web (8000) ist geteilt mit öffentlichem traefik-lb (.203) → Catch-all hätte gespooft werden können; dediziert ⇒ .203:80 mit Host-Spoof → 404 (verifiziert).
  • IngressRoutes (Git, clusters/main/agent-fleet/): fleet-webui (HTTPS, PathPrefix(/), middleware fleet-webui-headers, tls fleet-webui-tls), fleet-webui-http (EntryPoint web-internal). Provider-Filter providers.kubernetescrd.ingressClass=traefik ⇒ jede IngressRoute braucht traefik.io/ingress.class: traefik — sonst still ignoriert (404, kein Log). Das war der ursprüngliche Bug.
  • App: Deployment fleet-webui env REQUIRE_CERT_HEADER=0 (Backend verlangt keinen Cert-Header mehr); auth_interim in CM fleet-webui-app ehrlich = „v1: ip-only, no client-cert". CM hat 2 Keys (server.py
    • sanitize_md.py) — --from-file muss beide liefern (sonst CrashLoop).
  • Noch live-only (CTO-App-Manifest-Lane): Deployment-Env, CM, Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
  • Solutions-Doc: integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md.

Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s

  • Neue Endpunkte: /api/org (org.yaml aus CM fleet-webui-org — Kopie von beacon-org-yaml, Mount /org, Mini-Parser stdlib-only, fail-loud), /api/live/tokens (Prometheus 10.0.30.202:9090, sum by (virtual_key_name) über bifrost_input/output_tokens_total rate[2m], 10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=v0.2.0-live.
  • Per-Agent-VKs: key_ids:["*"]-Fix (s. Solution-Doc bifrost-vk-key- binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke: ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
  • NetPol-Pitfall (2. Mal): Prometheus-VIP .202 per ipBlock-Egress ⇒ FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix: namespaceSelector auf monitoring + Port 9090 — gleiche Klasse wie beacon-Regel. VIPs in Agent-Fleet-NetPol nie per ipBlock erlauben, immer den Backend-NS selektieren.
  • 24/7-Loop: Cron konzern-loop (23d4769ec873, alle 15 min seit 23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health, Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh (CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.

v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung

  • Final-State: Package landete mandatkonform in clusters/main/_archive/webui-v02-backfill/ (Commit 478da727, AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox 19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert NICHT, ArgoCD trackt hier per instance-LABEL und scanned _webui-v02 trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per- Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
  • INCIDENT (unaufgeklärt): Zwischen 19:47–19:52 wurden alle 6 fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes Label-Strippen ODER manueller Delete eines parallelen Actors). Restore byte-exakt aus 3 Quellen (lokale JSON-Dumps 17:35, Stage- Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung: alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations argocd.argoproj.io/compare-options=IgnoreDifference + sync-options=Prune=false,Delete=false.
  • Parallel-Actor-Race: Zweite aktive Session-Linie fuhr dasselbe Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles, eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden resumed. Regel: niemals davon ausgehen, dass ein Toggle hält; lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
  • Open: API-Server-Audit-Logging absent (destruktive Ops ohne Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/ Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.

Fleet-Board-CM-Sync & LB-Pools (23.10.2026)

  • Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
  • LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
  • Fleet-Mail: Zustellung = Datei in inbox-/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
  • CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).

openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)

  • Service: CT 160 (10.0.30.161:8081), systemd openshell-controller.service (Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push → systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
  • API: GET /v1/health (200 db:true), GET/POST /v1/sandboxes. Gates verifiziert: T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert); False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen sandboxes (UNIQUE member_id, Broken-Recycle per UPDATE) + provisioning_events additiv.
  • Blueprint-Pin: BLUEPRINT_SHA256 a5611966…b3f1 (Board-Datei live gehasht; CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo …1418… vs …2818… war Bug 1 der Fünf-Bug-Kette (Solution-Doc: docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md).
  • Pitfalls (verifiziert): (1) LXC- UND QEMU-VMIDs teilen den Nummernraum — ID-Vergabe 200–299 muss /lxc UND /qemu prüfen (VM 200 mgmt-runner-01 kollidierte); pct list zeigt nur CTs. (2) psql-Empty-Checks brauchen -t -A. (3) JSONB via lit(json.dumps(x)), nie json.dumps(json.dumps(x)). (4) CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500, unable to clone mountpoint mp0 type bind) — W1-Klone liefen vor dem Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
  • Aktiver Blocker/Beauftragung: Seed-CT 199 mount-frei via vzdump/restore aus CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben), CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B (4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline: Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.

W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)

  • Blueprint v1.1 ADOPTIERT: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin); Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
  • COO „Taylor" LIVE: CT 202, 10.0.30.166 (vlan30), phase=verified (sbx-1792788409-e5306264), Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError → Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
  • Controller-Fixes: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging, negative Smoke 422 OK. PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs): PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.
  • Pitfalls (live erlebt): pct unlock während Create-Task = Task-Abort; pct mount ohne Zielarg (MP immer /var/lib/lxc//rootfs); Hollow-Confs unsichtbar in Resources-View.
  • Offen: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201 (Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.

W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)

  • Lücke: Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) + CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
  • Fix (live attach ohne Restart nötig): pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail + -onboot 1 + Mailbox-Hostdirs 2777 anlegen (/srv/fleet-mail/inbox-<role>/{new,processed}) + pct unmount 202 (stale lock).
  • VK-Injektion CT205: Placeholder VK-PLACEHOLDER-SET-BY-PROVISIONER → Wert aus CT161 (whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
  • Für jeden künftigen Klon (Kit-Ergänzung): Mailbox-Anlage + mp0/mp1 + onboot=1 + VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id, phase, outcome, detail(jsonb). Controller-Token liegt in CT160 /root/.secrets/openshell-machine-token (64 B — der 1P-Wert ist ein ANDERER/älterer!).

Klammer-VK-Bug (24.10. Tick, gefixt)

  • VK-Injektion hinterließ api_key: <sk-bf-...> (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
  • Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
  • WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
  • Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"): Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: /srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md.

Takt-Learnings 24.10. ~09:00 (Tick 13)

  • last_task_id Invalid-UTF-8 → Beacon 400: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
  • Requeue-Akteur-These fuer CT161 widerlegt: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
  • SSH+Heredoc-Pitfall: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
  • Owner-Gundsatz [1792824363, dauerhaft]: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
  • coo/cmo operabel: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.

DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)

  • Root Cause des Verzugs: Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
  • CM-Fix Variante B: fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + kubectl -n agent-fleet rollout restart deploy/fleet-webui (App cached Org-Daten Point-in-Time). /api/org schachtelt unter org.members (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
  • Daten: topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
  • Bau-Routing: CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
  • Überwachung: cron 7423f0a98e8f (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
  • Provenienz-Konflikt (wichtig für Chair-Direktmails): Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
  • Pitfalls: APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).

24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)

  • Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
  • Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
  • CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper . Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
  • Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
  • Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.

24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)

  • DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
  • Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
  • Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
  • PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.

Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand

  • dd if=X of=X TRUNCATED: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc sync -f <file> statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
  • Phantom-CT-Mapping: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen pct list prüfen, bevor Skripte CT-IDs hardcoden.
  • openshell-controller Unit lebt IM CT 160: Host-Sicht systemctl is-active = "not-found" (EXPECTED, kein Defekt). Realer Check: pct exec 160 -- systemctl is-active openshell-controller.service + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
  • v2.1-Threshold-Activator (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
  • E-2-Rollout-Forensik 24.10. abend: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
  • research #8 entblockt: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
  • CHRO-Config-Lifecycle: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].

Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)

  • E-2 ceo/CT161 LANDED-GRÜN 20:13 (Kit-Lauf CT-Poller; Reassign [1792863449]). nft fleet_e2 (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: SSHD_AFTER=$(systemctl is-active ssh || echo unknown) hängt bei rc=3 (stdout inactive + Fallback unknown) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
  • PITFALL (selbst verschulbt, 20:3x): kubectl patch --type=json mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: kubectl.kubernetes.io/last-applied-configuration-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
  • Fleet-WebUI Health-Check: https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
  • Chair-Session läuft auf hermes-agent-01 (.230) — NICHT auf CT161/ceo. Fleet-CTs via pct exec (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.

Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")

  • Struktur: /srv/fleet-board/value-streams/ = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template templates/value-stream-template.md. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
  • VS-1 Control Tower (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. VS-2 Agent Excellence (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. Agile Coach COO: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
  • Kadenz: min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt /etc/cron.d/fleet-valuestream (CT 161) → TAKT-Mail an CEO.
  • WebUI v0.4.3: Tab "Value Streams" (/api/valuestreams, fail-loud), CM fleet-webui-valuestreams (register/ideen/release-notes.md), Volume-Mount /board/value-streams. Sync: /usr/local/bin/fleet-vs-sync.sh auf CT 163 (Board → CM). CSS-Original: /srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie style.css liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
  • B3-Vollzug: E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel b3-k8s-api) erweitert + reboot-Persistenz (/etc/fleet-e2-egress.nft + systemd fleet-e2-egress.service) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht flush ruleset). CTO hat kubectl, deployt WebUI-Content autonom.

29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen)

  • Owner-Befund: 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt.
  • Fix (iac-homelab f70fe30):
    • fleet-spool-watcher 0.17.1 = sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7 — IdleScheduler: Spool still ≥ IDLE_SILENCE_SECONDS=900 + keine offenen Tasks → genau EIN Task from=fleet-scheduler,to=ceo,type=build,P3; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf).
    • fleet-board-service 0.18 = sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72 — complete_task mit karte_id/vs → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent.
    • hermes-agent v5.3 = sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067 — FLEET_BEACON_URL FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung.
    • submit_task.py: fleet-scheduler System-Sender (nur build), optionale Felder karte_id/vs (Regex ^[a-z0-9][a-z0-9-]{2,63}$).
  • Beweis 29.10.: 08:39:51 idle_trigger_created (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation 5db4e788 ceo→devops mit karte_id=rueckbau-nar-edd15ff1 → card_auto_fertig + review_task_created → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte it1-tower-02-telemetry-fallback delegiert. Karte rueckbau: Neu→In Bau→Fertig.
  • Rollout: 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, deadman_agents_pending 0, alle alert_active 0.
  • PITFALL neu (OpenShell-CLI): openshell sandbox create --template schließt --env aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest default_image nur beim Start → nach Digest-Pin rollout restart sts/openshell + systemctl restart openshell-portforward.service (.124).
  • PITFALL neu (systemd): fleet-oidc-login.service scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → Environment=HOME=/root in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, openshell sandbox list bricht sonst ab.
  • SolDoc docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16), Hindsight-Sync.
  • Nachtrag 10:40 — 5. Deadman-Kaskade progress (Lücke 4 geschlossen), Commit f098091, Image fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa: offener Task (submitted|working) mit mtime-Alter > TASK_STALL_S=5400 → ALARM-Quelle progress + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; from=deadman-watchdog wird übersprungen, Spool unlesbar = fail-closed. Metriken deadman_open_tasks, deadman_oldest_open_task_age_seconds, deadman_alert_active{source="progress"}. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. PITFALL: Test-Tasks mit Nicht-UUID-task_id quarantänisiert der Watcher in Sekunden (_invalid/) — Test-Tasks immer uuid4() + status: working (nicht claimbar).
  • Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick: 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (rueckbau-nar-edd15ff1, it1-tower-02, it1-tower-03, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe tower-healthz-readonly → neue Karte rueckbau-nar-tower-healthz-readonly (Ablauf 30.11.). Spool 116 Tasks, 0 hängend.

29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte

  • Owner-Befund (dritte Iteration desselben Symptoms): „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: Prompt- und Kostenebene, nicht Trigger-Ebene.
  • RC-1 Identität: Der Hermes-Identitäts-Slot ist SOUL.md im Workspace (/sandbox/.hermes/SOUL.md, Loader agent/system_prompt.py), NICHT Image und NICHT config.yaml. Dort lag nur generischer Hermes-Boilerplate (667 B); cto/research/devops hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin.
    • Fix (Commit a362144): agent-image/fleet/gen_soul.py erzeugt 9 SOUL.md (2,9–4,0 KB) aus org.yaml + FLEET-POLICIES.md (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN, harte Fähigkeitsgrenzen). deploy_soul.sh schreibt live + max_turns 40→20 + reasoning_effort (coo/research/devops low, Rest max). start-agent.sh ensure_soul() kopiert soul/<agent_id>.md aus /opt/hermes/fleet/soul/ bei fehlend/abweichend.
    • Wirkung: Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → rc=1 am max_turns=40-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (cto) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s.
  • RC-2 Kosten-Anzeige: devops verbrannte 8,5 Mio Input-Tokens in 30 min mit Meta-Analyse der eigenen state.db-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower 0 tok/s für alle: fleetSource.ts nutzte rate(bifrost_input_tokens_total[2m]) ohne Aggregation — rate() liefert je VK mehrere Serien (method/model/provider/fallback_index), out[vk].in = v überschrieb mit der letzten (meist 0).
    • Fix (Commit 1407c0e, Tower sha256:84a79b99…): sum by (virtual_key_name)(rate(...)) + additives +=. Beweis: Tower ceo 4489 / ciso 3516 / devops 9424 tok/s — identisch mit Prometheus-Gegenprobe.
  • RC-3 Ideen waren verboten: Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … Keine neuen Karten erfinden." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.)
    • Fix (Commits ce38c34 watcher 0.18, 3f9f0cd watcher 0.19, live sha256:93777fc0…): Pflicht-Schritt 4 IDEATION — sind < 3 Karten status=Neu (ohne rueckbau-*, ohne Dauerauftrag dauer-tower-dev), erzeugt der CEO genau EINE Idee: selbst eine Karte (add_backlog_card, wert/machbarkeit je 1–10, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation cto/cmo/coo/research (IDLE_IDEATION_ROLES, (epoch//86400) % 4, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee").
  • Nebenbeweise für Loop-Qualität (gleicher Zeitraum): complete_task mit karte_id → Karte rueckbau-nar-tower-healthz-readonly automatisch Fertig + Review an ceo; CEO hat die Abnahme ZURÜCKGEWIESEN (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); ciso triagiert NAR als KRITISCH (Schreibzugriff Policy-Repo) und eskaliert an tower-owner statt zu genehmigen; devops erkennt fehlenden Cluster-Zugriff und stellt Änderungsauftrag ([CHANGE-ORDER]) an ciso.
  • PITFALLS: (1) SOUL.md liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) add_backlog_card: wert/machbarkeit sind 1..10 (SCORE_MIN,SCORE_MAX=1,10) — Text mit 1-100 wirft ToolError. (4) rate() je VK immer sum by (virtual_key_name). (5) Tower bindet auf Pod-Hostname, fetch mit 127.0.0.1 → ECONNREFUSED (Pod-IP nutzen). (6) pkill -f "<scriptname>" killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile).
  • SolDoc docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md (INDEX Architecture 17), Hindsight retain.

29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5

  • Entscheid 1b: Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. Entscheid 2b: Ideations-Schwelle < 3 → < 5 Karten Neu.
  • Neu: fleet-policy-service 0.1 (git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e, Code clusters/main/fleet/mcp/policy-service/, Commit 0e7f698). MCP-Tools: health, policy_list, policy_read, policy_diff, policy_commit, policy_status. Schreibt nur clusters/main/fleet-truth/openshell-policies/<name>.yaml via Gitea-Contents-API (kein git im Pod).
    • 6 Gates: Org-Mitglied → Rolle in POLICY_WRITERS={ciso,devops} → Owner-Freigabe (grant_task_id = Spool-Task from=tower-owner, to=<caller>, type=build, topic='FREIGABE: erteilt — …', ≤30 Tage) → Pfad-Regex (kein .., kein Unterordner) → striktes YAML (version:1, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → Read-back bytegleich.
    • Audit: Journal-Event policy_commit (Pfad, Commit-SHA, Rolle, Grant, hosts_added/hosts_removed) — Tower liest dort.
    • Token nur im Pod (Secret fleet-policy-gitea, out-of-band).
  • Beweise: 9/9 Negativfaelle aus dem Pod fail-loud (GATE_FAILS=0); echter Commit 538359a als Autor Fleet devops mit Owner-Grant f6dafd60…, Read-back OK; Agent-Turn aus dem Sandbox 60 s (health/list/read valide, beide Negativfaelle greifen).
  • Verdrahtung (3 Dinge, sonst unerreichbar): Deployment+Service → Host in sandbox-base.yaml (fleet_mcp_policy_service:8080, Chair-Commit) → mcp_servers.policy in /sandbox/.hermes/config.yaml → Recreate (Policy wird beim Create gebunden). devops+ciso recreated, Phase: Ready, SOUL 3113/3225 B, max_turns: 20.
  • watcher 0.20 (sha256:21ea543c…, Commit 5279cdc): Ideations-Schwelle <5. Live verifiziert (ALS 5 im Pod, ALS 3 weg).
  • PITFALLS (neu, alle real):
    1. OIDC-Token (4 h) abgelaufen → delete UND create scheitern (no refresh token available) — fail-closed, nichts geloescht. Re-Login /tmp/oidc-login3.sh auf .124.
    2. --detach -- sleep infinity ist die falsche Startzeile — Sandbox laeuft ohne Runtime (nur sleep, keine SOUL/Config). Richtig: --template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh <agent> <model>.
    3. Recreate = frisches Workspace-PVC: SOUL+Config weg. ensure_soul greift nur, wenn /opt/hermes/fleet/soul/ im Image liegt — das Gateway-default_image ist aelter. LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet. Sofort-Fix deploy_soul.sh <agents>; Dauerfix = Agent-Image-Rebuild (offene Karte).
    4. Maskierte Werkzeug-Ausgaben: venv-Pfad erscheint als …3.14.9+202****1021-…; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren binaries-Match nie greift. Gegenprobe per base64.
    5. PyYAML akzeptiert doppelte Keys (letzter gewinnt), OpenShell nicht → eigener Strict-Loader.
    6. kubectl exec-Prozesse im Sandbox haben KEIN DNS (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec.
  • BEFUND (offen, wichtig): Die NAR-Grants, die die Org „zurueckbaut", existierten nie als Policy-Datei — openshell-policies/ enthielt nur sandbox-base.yaml. Karten wie rueckbau-nar-edd15ff1 wurden trotzdem Fertig gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
  • BEFUND (Sicherheit): decide_owner_task/submit_owner_task am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
  • SolDoc docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md (INDEX Architecture 18), Hindsight retain.

29.10.2026 (12:30–13:10) — Owner-Entscheide 4a+5a: Autonomie-Kaskade im Deadman; Phantom-Rückbau live passiert und revertiert

  • 4a (Deadman-Kaskade autonomy) — live fleet-deadman@sha256:508f0e60244ba59663f6ef135f6656f089131ffb99d9db3724c08cd4ee73fc83 (Commit ff7e1b3, Deployment gepinnt, Rollout grün). Alarm nur wenn gleichzeitig: kein offener Agenten-Task (ohne to=tower-owner, ohne from=deadman-watchdog), ≥1 Karte Neu im Board, idle_age > silence+backoff+AUTONOMY_MARGIN_S(600) und task_age > silence+600 (Silence-Frist startet bei Task-Bewegung neu — sonst Fehlalarm nach erledigter Arbeit). Schwelle selbstjustierend aus idle_trigger_created im Journal (Backoff wächst bis 4 h). Metriken: deadman_alert_active{source="autonomy"}, deadman_autonomy_idle_age_seconds, deadman_autonomy_neu_cards, deadman_autonomy_task_age_seconds. Kaltstart (nie gefeuert + nie Task) = kein Alarm.
    • Beweise: 11/11 Unit-Tests; isolierter E2E-Job im echten Image (eigener emptyDir): Alarm-Task + DEADMAN-ALARM.md + Journal deadman_alarm + Heilung, 5/5 Assertions; Live-Alarm bd326ac7 (Alt-Pod ohne die task_age-Regel → Fehlalarm 4 min nach Task-Ende, bestätigt die Regel).
    • Pitfall: Karten-Parser split('|') → Status ist cells[4] (Position 0 ist leer), sonst zählt man den Score.
    • Pitfall: Während Rollout laufen alter und neuer Pod; der alte kann mit alter Logik feuern → kubectl get pods -o custom-columns auf imageID prüfen.
  • Watcher 0.21 (sha256:30fedca954eaa62fb4203d821a0c9e7a153dcbc4155f0333dc5f32dbc56b65a2, Commit 85e1a40): OWNER_RECIPIENT="tower-owner" — Owner-Tasks zählen nicht mehr als offene Arbeit im Idle-Gate. Ursache des 56-min-Stillstands vom Vormittag: zwei P1-Eskalationen an tower-owner (nie claimbar) blockierten open_count == 0.
  • 5a (Phantom-Rückbau) — Eskalation, dann Korrektur:
    • Owner hat die beiden P1-Eskalationen (b41f03ce, 3d891388) um 12:55 selbst im Tower mit [APPROVE] entschieden, bevor 5a bei mir ankam → Folge-Tasks FREIGABE: erteilt — … an devops.
    • devops hat daraufhin um 12:58 via policy-service clusters/main/fleet-truth/openshell-policies/ceo-sandbox.yaml erfunden (Commit b5643ea, network_policies.egress: []) — einen „Rückbau" eines Grants, den es nie gab; die Datei ist zudem schema-invalid und hätte einen CEO-Recreate ohne jeglichen Netz-Egress hinterlassen.
    • Revertiert (0887212), Datei gelöscht, ArgoCD Synced auf ff7e1b3. Korrektur-Task 6c226195 (tower-owner→devops, P1) mit Auftrag „prüfen, nichts schreiben, beide Tasks gegenstandslos schließen" — devops hat es selbst geprüft (policy_list/policy_read), korrekt geantwortet und keine Datei geschrieben (in diesem Turn), behauptet aber „ich habe nie eine Datei geschrieben" — falsch, der Commit beweist das Gegenteil: Agenten-Selbstauskunft ist kein Beweis (kein Cross-Task-Gedächtnis).
    • Gate-Lücke im policy-service: policy_commit erlaubt das Anlegen neuer Dateien; ein „Rollback" kann so zu einer Erfindung werden. Härtung offen (neue Datei nur mit explizitem Flag + Owner-Note).
  • SolDoc docs/solutions/architecture/2026-10-29-fleet-autonomie-kaskade-deadman.md (INDEX Architecture 19).

29.10.2026 (15:30–17:10) — Worker-Disconnect-Regex-Drift + Single-Claim-Gate (v5.4 / board-service 0.16)

  • Owner-Befund: „Loop läuft nicht sauber" — Deadline-Trigger watch-ideation2 feuerte 25 min nicht; 6 working-Tasks am CEO blockierten das Idle-Gate.
  • RC-1 Disconnect-Regex: worker_loop.py suchte Gateway disconnected[^\n]*session_id: …; tatsächliches hermes chat-stderr bei langen Turns = nur session_id: local-<64hex>. Regex matchte nie → Worker verwarf im Daemon fertig gelaufene Turns (Session-DB: 47–48 Msgs, 20 API-Calls, end_reason=cli_close), retryte (Duplikat, 68k Input-Tokens) und failte Tasks. Fix 5de1763: RE_DISCONNECT = session_id:\s*(local-[0-9a-f]+) + Erfolgs-Check zuerst (rc=0 + stdout → return, nie Resume-Pfad).
  • RC-2 Greedy-Claims: Der Agent hält die Board-MCP-Tools im LLM-Turn; während der Worker mit einem Task beschäftigt war, claimte der CEO 9 weitere (15:58–16:05) und ließ sie bei cli_close offen → Waisen (Watcher resettet working in DISPATCH_MODE=agents bewusst nicht). Fix 1cf0560 (board-service 0.16, Digest sha256:3318632c…): claim_next_task gibt bei eigenem working-Task OK_OWN_ACTIVE + genau diesen Task zurück (Lease: max 1 Claim pro Identität, atomar unter dem Write-Lock). Worker behandelt task != null uniform → unterbrochener Claim resumed statt stapelt. Restrisiko bounded (1 Waisen-Claim, abgedeckt durch Progress-Kaskade + orphan_reset_manual).
  • Agent-Image v5.4 = git.schoen.codes/dominik/hermes-agent@sha256:27a2f3a29e78831f7e7e9e40d3745cc3b30a7a66fb6b0b51c620021c8b4b10f6 (Commit a8c07fd), gepinnt in clusters/main/apps/openshell.yaml + fleet-truth/openshell-values.yaml; 9/9 Sandboxes recreated (Template fleet-agent neu, gateway.toml default_image), je 1 Worker + 1 hb-loop, worker-start pro Agent.
  • Beweise: In-Pod-MCP: 2 Claims → dieselbe task_id (OK_OWN_ACTIVE); Bestand nach Deploy: genau 1 working (Deadman-Eskalation); Auto-Abarbeitung 16:29–16:41 (FYIs instant, 1 Eskalation mit echtem ERGEBNIS: …-Note); Autonomie-Kaskade feuerte produktiv um 17:06:56 („kein Idle-Trigger seit 20496 s, 4 Karten Neu") → CEO claimt 17:07:09.
  • Eigener Incident (ehrlich): kill -9 56 in der Sandbox traf den Main-Prozess → ceo+devops phase: Error (exit 137), Heilung nur via Gateway-Recreate. Regel: keine PIDs in Sandboxes killen ohne /proc/<pid>/cmdline-Check.
  • PITFALLS: Digest-Präfix-Replace erzeugt 128-Zeichen-Frankendigest (immer docker inspect-Vollstring + grep); Build+Push+Inspect im 420-s-Terminal-Block → Timeout ≠ Fehlschlag (Zustand separat prüfen); kubectl exec-Heredoc <<'PY' liefert leer (→ python3 -c); Sandbox-PID-Kill = MainProcessFailed.
  • SolDoc docs/solutions/bug-fixes/2026-10-29-fleet-worker-disconnect-regex-single-claim-gate.md (INDEX Bug Fixes 54); Skill devops/agent-fleet-operations §34 + references/fleet-disconnect-regex-claim-gate-2026-10-29.md.

29.10.2026 (17:50–18:05) — Owner-Grant: research bekommt generellen Internet-Egress (OpenShell-Grenzen)

  • Owner-Entscheid zur NAR-Eskalation b6072fbd (www.nvidia.com:443): nicht Einzelhost, sondern genereller Internetzugriff für research. Umsetzung Chair-direct.
  • OpenShell-0.1.5-Grenzen (empirisch + Upstream NVIDIA/OpenShell#3856, offen): host: "*"/"**"/"*.*"/"**.*" werden abgelehnt; hostless + allowed_ips (öffentlicher Raum) lädt, aber Hostnamen scheitern (policy_dns_ineligible → transparent_tcp_observation_denied, synthetische 198.18.0.x), nur IP-Literale. host: "**.*.*" funktioniert für alle Namen mit ≥3 Labels. 2-Label-Domains (nvidia.com, arxiv.org) sind nicht wildcardfähig.
  • Policy live (research-sandbox.yaml, Commit a2fe891, Sandbox-Policy v3, policy set --wait, KEIN Recreate): Basis + Regel internet_egress_owner_grant_20261029 mit zwei Endpoints — ports [80,443] hostless + allowed_ips (51 öffentliche IPv4-CIDRs = 0/0 minus 0/8,10/8,100.64/10,127/8,169.254/16,172.16/12,192.168/16,224/4,240/4) und host: "**.*.*" mit identischer CIDR-Liste (Constraint: überlappende Endpoints müssen tls/allowed_ips teilen, sonst policy set-Fehler). Binaries = python3.14-Realpfad + curl.
  • Beweise (aus dem Sandbox, openshell sandbox exec): www.nvidia.com 307, docs.nvidia.com 200; nvidia.com (2 Labels) DENY; 10.0.30.51:6443 DENY; 169.254.169.254 DENY (always-blocked). Gegenprobe ceo → www.nvidia.com DENY (Scope research-only). Sandbox Ready, Worker lief weiter.
  • 2-Label-Pfad: agent_policy_proposals_enabled=true + proposal_approval_mode=auto auf research gesetzt (Advisor-Guide erscheint erst nach Recreate); sonst NAR-Antrag mit exaktem Host an ciso.
  • Konflikt aufgelöst: Der Agent hatte selbst einen [CHANGE-ORDER] an devops gestellt (exakter Host, TTL 15.11.); Chair hat ihn task_failed by=chair gesetzt (gegenstandslos — sonst hätte devops eine engere Datei geschrieben und der Grant ginge beim Recreate verloren). Verifikations-/Release-Note-Task ea9b135f an research gestellt (tower-owner-Kanal), Agent hat ihn 17:56 geclaimt.
  • Betriebsregel: Jeder research-Recreate MUSS research-sandbox.yaml als --policy nutzen (nicht sandbox-base.yaml); alle Egress-Verbindungen sind als OCSF-Events auditierbar (openshell logs research --source sandbox).
  • SolDoc docs/solutions/integrations/2026-10-29-openshell-internet-egress-grenzen.md (INDEX Integrations 14).
  • Owner-Entscheid 18:10: Variante (a) — 2-Label-Domains als Einzel-NAR; Watch für (c) sofort angelegt: Cron 9576293f24b5 „OpenShell Any-Public-Host Watch (#3856)" (every 12h, Monitor ~/.hermes/scripts/openshell-any-host-watch.py, deterministische GitHub-Abfrage: issue_state/comments/labels/latest_release/keyword_in_release_notes; kein Agentenlauf ohne Änderung) + Kanban-Karte dauer-openshell-any-public-host (Score 63, Neu, Ursprung owner). Bei Verfügbarkeit: Policy auf host: "*" umstellen, SSRF-Klammer behalten, arxiv.org als 2-Label-Beweis + ceo-Gegenprobe.
  • Agenten-Gegenprobe (research, Task ea9b135f completed): www.nvidia.com 307, docs.nvidia.com 200, docs.python.org 302, http://docs.nvidia.com 301; nvidia.com + arxiv.org exit 7 — deckt sich mit Chair-Messung (zwei unabhängige Kontexte).

18:10-18:25 - Research-Internet: Reader-Proxy statt eigenem Egress-Proxy (Owner-Entscheidung 1)

Geprueft und verworfen: (a) L4-Bypass host weglassen + protocol: tcp + tls: skip + oeffentliche allowed_ips -> Gateway lehnt ab: "protocol tcp requires a DNS hostname; hostless allowed_ips endpoints are supported only by the forward proxy". (b) OpenShell 0.1.6 (27.10.2026): Release-Notes ohne Any-Host-Feature. (c) 2-Label-Wildcards: Schema-Regel "at least three DNS labels". Test-Policy sofort revertiert: Policy unchanged (version 3, hash: 4322aaf069e6).

Loesung (live): r.jina.ai ist 3 Labels -> vom bestehenden **.*.* gedeckt. Reader-Proxy liefert beliebige oeffentliche URLs als Markdown. Statuscodes 200 fuer arxiv.org, github.com, nvidia.com; Direktzugriff auf dieselben 2-Label-Hosts bleibt DENY (Scope research-only).

Agent-Seite: clusters/main/fleet/agent-image/fleet/gen_soul.py hat jetzt {net}/{caps_net} pro Agent; research enthaelt Owner-Grant + Reader-Proxy-Regel + Prompt-Injection-Hinweis. FLEET-POLICIES.md NAR-Ausnahme. Commits b91e559, 3a739f0; Deploy via deploy_soul.sh research (SOUL.md auf Workspace-PVC, kein Recreate).

E2E: Task 3a19f80a (tower-owner -> research, P3) submitted 18:17:48 -> claimed 18:18:00 -> completed 18:19:00 (75 s); Release-Note mit arXiv:2606.15549 + 2 Kernaussagen; unabhaengig gegengeprueft (Titel identisch) -> keine Halluzination.

Pitfall bestaetigt: kubectl exec hat keine Supervisor-DNS-Stage -> Could not resolve host auch fuer erlaubte Hosts. Netz-Tests nur ueber openshell sandbox exec.

Offen: eigener Egress-Proxy (Squid/tinyproxy) fuer echte APIs/Downloads/POST — Owner-Entscheidung.

19:05-19:00 - Watcher 0.22: Idle-Gate und Pick-Regel repariert (Owner: "todos werden nicht bearbeitet")

Bug 1 (kritisch): maybe_fire(ready_count) brach bei JEDEM submitted Task ab - auch to=tower-owner (warten auf Owner-Entscheidung, kein Agent clamt sie). Der 0.21-Owner-Skip sass nur im tiefen Scan hinter dem billigen Gate. 2 ciso-NAR-Antworten blockierten den Loop 30+ min; seit 11:25 kein Trigger mehr. Bug 2: Idle-Body "hoechste Neu-Karte nach Score" ohne rueckbau--Filter - November- Rueckbaukarten (Score 72) dominierten; eine wurde morgens vorzeitig ausgefuehrt. Fix (Digest sha256:3e3c6ff0..., Commit 989c4a6): maybe_fire(len(ready), ready) mit Owner-Filter im Gate selbst; Body-Schritt 2 ueberspringt rueckbau-; 3 nicht-faellige Karten manuell Neu->Bewertet. E2E 18:55-19:00: Trigger trotz 2 offener Owner-Tasks -> CEO claim -> griff owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9b0, geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau. Lesson: Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist keine Faelligkeit (rueckbau-*-Praefix = Konvention).

30.10.2026 — Tower Tasks-View + Dead-Letter-Re-Dispatch (Envelope-Vertrag) + Kaniko-Builds im Cluster

  • Auslöser: Runner-VM 200 (10.0.30.124) hatte einen ext4-Journal-Hang (jbd2 in D, 5,7 kB/s direkte 4-K-Writes) — Tower-Build hing 24 min. Owner sagte „weiter" → Pivot auf in-cluster Kaniko (nicht Reboot/Disk-Move).
  • Kaniko-Pipeline (NS fleet, dauerhaft): PVC fleet-build-src (cephfs-ssd 4Gi RWX), Secret fleet-build-push (dockerconfigjson, out-of-band), Pod build-loader als kubectl cp-Ziel; Build-Pod kaniko-<svc> (gcr.io/kaniko-project/executor:v1.23.2-debug, --skip-tls-verify PFLICHT wegen self-signed Gitea, --digest-file auf dem PVC). Zeiten: board 24–60 s, watcher 21 s, Tower 4 m 56 s (Next.js full). SolDoc tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md.
  • Tower 0.19 → 0.20 (d8a233ac…, Commit 1969132): neue Views Tasks (Spool / Dead-Letter / Alarm) mit Task-Detail-Modal (volles Envelope), /healthz + /api/status (maschinenlesbar, fail-loud-read: tote Quelle = degraded, nicht 500), NAR-Historie, Release-Notes-Feed, Board-PVC RO-Mount (/srv/fleet/board), FLEET_TOWER_VERSION.
  • board-service 0.20 (b7d68298…): MCP-Tool redispatch_task — Dead-Letter-Task erneut zustellen (uuid4, 7-Tage-Fenster, idempotent via re_dispatched_to
    • Scan re_dispatch_of, akzeptiert Org-Mitglieder und System-Sender tower-owner/deadman-watchdog).
  • watcher 0.23 (9c048560…): REDISPATCH_FIELDS (re_dispatch_of, re_dispatched_to/_at/_by) in KNOWN_OPTIONAL_FIELDS.
  • Bug-Kette (3 Quarantänen, SolDoc bug-fixes/2026-10-30-…-envelope-contract-quarantine.md): (1) synthetische ID redis-<uuid> → Watcher verlangt echte uuid4; (2) Original auf status=re-dispatched → Status-Enum kennt den Wert nicht, Dead-Letter-Eintrag verschwand; (3) Zusatzfelder nicht in der Whitelist. Lehre: Der Spool-Envelope ist ein Contract mit drei Achsen — ID-Form, Status-Enum, Feld-Whitelist. Provenienz entweder in die Whitelist oder ins Journal. Reparatur aus _invalid/ NIE mit Zusatzfeldern (repair_note → sofort wieder Quarantäne).
  • E2E-Beweis (echter Dead-Letter-Task): 01956904 (2,4 Tage alt, from tower-owner) → Re-Dispatch cc6c6f97 → task_claimed by ceo nach 8 s → task_completed nach ~6 min mit Deliverable (Rollenbeschreibung devops + Release-Note). Tower-DOM (headless Chromium via SSH-Tunnel über .92, weil der Hermes-Host in VLAN 30 liegt und die IP-ACL ihn aussperrt): 61 Dead-Letter-Zeilen, genau 1 Badge ↻ zugestellt cc6c6f97, 0 Konsolenfehler.
  • PITFALLS: (1) pkill -f "ssh.*18443:…" killt die eigene Shell (Muster steht in der eigenen Kommandozeile) → Bracket-Trick 1844[3]. (2) ArgoCD-Sync meldet Exit 20 „another operation in progress" und wendet trotzdem an — Beweis ist rollout status + imageID. (3) add_release_note akzeptiert nur org.yaml-Agenten (tower-owner → Fehler) und max 500 Zeichen; Chair-Deploys als agent_id=ceo mit [Chair]-Präfix im Text. (4) kubectl exec … python3 - <<EOF ohne -i liefert stillschweigend nichts → Script per kubectl cp. (5) Kaniko-Push auf existierenden Tag bricht ab; sed auf Pod-Manifesten kann still nichts ändern (0.19-Build ging versehentlich auf :0.18).
  • deadman 0.13.2 (dd5bcf97…, Commit effa78e): progress-Kaskade überspringt to=tower-owner. 13 offene Owner-Entscheidungen hielten den Alarm dauerhaft rot (ALARM auf einem Owner-FYI) und schickten dem CEO alle ~2 h einen Deadman-Task — drittes Vorkommen derselben Semantik-Lücke (Watcher-Idle-Gate 0.22, Autonomie-Kaskade 0.13.1). Regel: „Ist die Fleet untätig?" schließt die Owner-Lane aus, im billigen Gate genauso wie im tiefen Pfad. Nach dem Rollout progress 0, open_tasks 0, gateway_ok 1; ALARM-Linie im Board nachträglich als RESOLVED geschlossen (Pod-Restart verliert den Alarm-Zustand).

Phase-1-Abnahme p1-e2e-flow — 4/4 grün (30.10.2026, live bewiesen)

Test Beweis
A Kette Owner→CEO→VS→Lieferung→Abnahme→Kanban Owner-Task a9030241 (tower-owner→ceo) → Claim + Erledigung; CEO legt Karte e2e-p1-restore-runbook an (Score 45, Ursprung owner) und delegiert P2-build 67011cb0 an cto (karte_id+vs gekoppelt); cto liefert Runbook (5 Schritte, je Prüfkommando + Abbruchkriterium, Artefakt /sandbox/artifacts/e2e-p1-restore-runbook.md); card_auto_fertig + review_task_created → 0316bd41 (cto→ceo); CEO ABGENOMMEN 09:46:35. Journal-Beleg: accepted → task_claimed → task_completed → card_auto_fertig → review_task_created → task_claimed → task_completed.
B FYI ohne Antwort-Task 6cc6d5cf (ceo→cto fyi): Claim +15 s, completed +26 s mit „FYI zur Kenntnis genommen", kein reply_to-Kind.
C Fail-loud kaputtes Envelope Envelope mit status=re-dispatched + Fremdfeld → in _invalid/20261030-092711-quar-<id>.yaml verschoben, Journal quarantined; nichts still verworfen.
D Egress-Deny Aus ceo-Sandbox via Supervisor: Prometheus 10.0.30.202:9090 rc=7 (Refusal 0 ms), K8s-API 10.0.30.51:6443 rc=7; Positivkontrolle board-service :8080 erreichbar (HTTP 400 = MCP-Protokoll, TCP offen).

Durchsatz-Beobachtung: Single-Thread-Worker je Agent ⇒ ein laufender LLM-Turn blockiert Claims; ein Owner-Task wartete 197 s hinter einem Review-Turn. Kette Ende-zu-Ende 09:33:40 → 09:46:35 = 13 min für 3 Agenten-Turns.

Offener Strukturbefund: devops hat 13 Change-Order-Verzeichnisse in /sandbox/fleet-change-orders/ (kosten-ampel, flussmetriken, wochenbericht, spool-aging, nar-register, deadman-status, owner-queue, notfall-runbook, task-deadletter, health-ampel …); im Tower-Quellcode integriert sind nur task-detail, nar-historie, release-notes-feed → 10 offen. Agenten können keine Images bauen und nicht ins IaC-Repo schreiben ⇒ jeder Tower-Deploy läuft über die Chair-Pipeline. Damit ist der Chair der Durchsatz-Deckel für Tower-Features (genau die Vorhersage der Verfassung; verschärft sich mit 26 Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility (Kaniko+Git-Gate, Owner-GO nötig).

  • board-service 0.22 (483d105a…, Commit ceacfad): dismiss_owner_task. Befund 30.10.: 13 offene Owner-Tasks, davon 9 reine Quittungen. Der einzige Schliess-Pfad (decide_owner_task) erzeugt IMMER einen Folge-Auftrag → für Meldungen strukturell falsch, also blieben sie liegen. Neu: dismiss schliesst ohne Folge-Task (Journal owner_task_dismissed). 13/13 geschlossen, 4 echte Anträge als Freigabe an die Antragsteller delegiert (devops/ciso claimten in 17–18 s), Inbox 0 offen.
  • Owner-Lane-Disziplin (FLEET-POLICIES §1.3, Owner-Vollmacht 30.10., Commit bc1eaf1): Eskalation an tower-owner nur noch bei harter Linie — Egress extern, Schreibzugriff auf Produktions-/Owner-Systeme, Secrets, NEUE externe Exposition, destruktive Eingriffe, Unsicherheit. Operatives im Innenverhältnis (Deploys, Rollouts, Runbooks, Restarts, Grants in 10.0.30.0/24 — dauerhaft nur 90 Tage + Rückbau-Karte) entscheidet der CISO selbst; Owner bekommt höchstens fyi. CISO-SOUL live deployt; FLEET-POLICIES.md wird per COPY ins Image gebacken → dort erst mit dem nächsten Image-Build wirksam (SOUL = Enforcement-Punkt).
  • watcher 0.24 (547e35eb…, Commit da32178): verwaiste Claims werden automatisch freigegeben. working + mtime älter als ORPHAN_REQUEUE_SECONDS (7200 s; deckt 2 × LLM_TIMEOUT 1800 s) → zurück auf submitted, nach ORPHAN_REQUEUE_MAX (3) Versuchen blocked (sichtbar im Tower). Journal orphan_requeued mit Alter/Empfänger/Versuch. Offline-Test 4/4 (3 Stufen + Frisch-Claim-Gegenprobe), Live-E2E: synthetischer Orphan (9007 s) in < 10 s requeued. Damit ist der Kreis geschlossen: Requêue → agent_awaiting_claim → Claim → complete. Bis 0.24 blieben tote Claims für immer liegen (Worker hatte kein Re-Own).
  • Offen: Runner-VM 200 ext4-Hang (Optionen Reboot / Disk auf ceph-flash); Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab (Waisen in working) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own im Worker fehlt weiterhin.

01.11.2026 — Owner-Push-Kanal (aktiver Push zu tower-owner)

Problem: Der Chair sah Owner-Entscheidungen nur im Tower-Web-Frontend (wird nicht regelmäßig geöffnet); der alte Cron Fleet-Board Aenderungs-Watch (5be5df10d92f) beobachtet noch den Alten Board-Host /srv/fleet-board via SSH 10.0.20.92 — nicht den K8s-Spool.

Lösung (live, verifiziert): Cron Fleet Owner-Lane Push, Job-ID d6900fc684b1, */5 * * * *, no_agent (kein LLM), Script ~/.hermes/scripts/owner-lane-push.sh, deliver origin,telegram:223926918 (DM „D").

  • Liest /srv/fleet/tasks/*.yaml im Board-Pod (Label app=fleet-board-service, via kubectl exec -i; ohne -i kommt kein stdin durch → Parser liefert 0 Tasks)
  • Filtert to: tower-owner + status: submitted; meldet NEUE Tasks (Priorität·Typ, Thema, Absender, Wartezeit) und >24 h-Hänger (max. 1 Reminder/24 h)
  • State: ~/.hermes/state/owner-lane-push.json (seen/reminded); Modi --init (alle offenen als gesehen), --dry
  • Leerer stdout = keine Zustellung (Watchdog-Pattern); stderr bei Pod fehlt → stiller Cron-Fehlschlag, Diagnose manuell

Verifikation 01.11. 07:38: Job-Lauf last_status: ok, keine delivery/fire errors, Output leer (still korrekt); Telegram-Testnachricht message_id 49523 an Chat 223926918 (private, „D") zugestellt. Owner-Lane bei Init: 10 offen, 3 >24 h.

Regel: Telegram-DM 223926918 = Owner-Push; Telegram-Gruppe −5265906503 = Digest-Gruppe; origin = Hermes-Desktop-Chat.

01.11.2026 (07:41–10:45) — Heartbeat-Ausfall: openshell-Gateway-Wedge + Agent-Pod-Verlust (GEHEILT)

Meldung: „Die heartbeats sind aus" — Prometheus nur 8/9 Serien, nur chro-Pod Running.

Root Cause (Multi-Layer): Beacon GESUND. (1) openshell-0 (StatefulSet, Gateway+Sandbox-Controller) wedged: 168 min Terminating mit deletionTimestamp 10:26 ohne Finalizer-Fortschritt (Node Ready) → kein Controller → keine Agent-Pod-Recreation. (2) VM 114 (rke2-worker-02) um 08:43 von root@pam via PVE-Web-UI heruntergefahren (ACPI verweigert → Hard-Kill; onboot:1); 5 Agenten-Pods dort in Terminating. worker-05 (VM 102 auf ms-a2-2, Mgmt unreachable) NotReady. (3) Runner: OIDC-Token abgelaufen + openshell-portforward (kubectl port-forward auf pod/openshell-0:8080) hing in activating.

Fix-Kette (verifiziert): qm start 114 → force-delete openshell-0 (StatefulSet recreatete auf worker-02, 1/1) → headless OIDC-Login (Authelia firstfactor + redirect; Skript-Neubau /tmp/oidc-login3.sh, PW /root/.fleet-authelia-pw auf Runner) → systemctl restart openshell-portforward (17671 listening) → resume.sh 8/9 + ceo separat (Bug: resume.sh-Liste umfasste nur 8 Agenten → gefixt: Liste um ceo erweitert auf dem Runner) → 9/9 Pods Running, 9 Serien (46–283 s), Immich-ML nach Recreate Running.

Pitfalls (neu): (a) openshell-0-Terminating-Wedge = SPOF für ALLE Sandbox-Ops; Heilung = force-delete, danach StatefulSet-Recreation abwarten. (b) Nach Full-Resume openshell sandbox list auf 9/9 Ready prüfen, nicht Skript-Output. (c) OIDC ohne Refresh-Token: nach Token-Expiry headless Re-Login nötig (bewährtes Muster in SolDoc). (d) Policy-Hotfix per kubectl cp scheitert: Pods uid 10001, /opt/hermes/fleet root-owned → Policy-Rollout nur via Image-Rebuild (Kaniko) oder ConfigMap-Mount (struktureller Fix, offen). (e) Kaniko v1.23.2 ohne --push-retry: Gitea-Upload-Session läuft bei großem Push ab (BLOB_UPLOAD_UNKNOWN 2× identisch) — dritter Anlauf mit kleinerem Image/Registry-Timeout nötig.

Folge-Arbeiten offen: Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).

SolDoc: docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md

Netzwerk-Policy live ändern ohne Recreation (01.11.2026)

Problem: Agent-Sandboxes wurden 29.10. mit Policy v1 erstellt; der fleet_mcp_deploy_facility-Endpoint kam erst mit Commit c0612fb (31.10.). Bestehende Sandboxes behielten die alte Egress-Boundary — Facility aus der Sandbox nicht erreichbar (DNS ok, TCP deny).

Lösung (PVC-sicher, kein Pod-Neustart):

# auf Runner 10.0.30.124
export OPENSHELL_GATEWAY=fleet OPENSHELL_GATEWAY_INSECURE=true
openshell policy set --policy /root/sandbox-base.yaml --wait <agent>

Setzt Policy-Version hoch (1→2), Supervisor lädt sie live. Für alle 8 Standard-Agenten durchgeführt; research bewusst ausgelassen (eigene Internet-Policy, Live-v3 ≠ Git-Stand).

E2E-Beweis: openshell sandbox exec devops -- curl -X POST http://fleet-deploy-facility.fleet.svc.cluster.local:8080/mcp ... → serverInfo: deploy-facility.

Pitfalls:

  • kubectl exec in den Workload-Pod (default--<agent>) ist KEIN valider Boundary-Kontext → DNS/HTTP-Tests dort liefern falsche Negative. Nur openshell sandbox exec zählt.
  • boundary.json (Sandbox-Secret) enthält keine Host-Whitelist — nur Session-/TLS-/Identitätsdaten. Enforcement sitzt im Supervisor-Proxy.
  • Synthetik-IPs 198.18.0.x = Proxy-Mapping; DNS-Antwort allein beweist keinen erlaubten TCP-Pfad.
  • Policy-Dateien: iac-homelab/clusters/main/fleet-truth/openshell-policies/{sandbox-base,research-sandbox}.yaml.

01.11.2026 (20:00–20:45) — Karten-Bewertungs-Sweep live; zwei Zustell-Blocker behoben

Feature: board-service legt alle 900 s review-Tasks für Karten im Status Neu an (Mindestalter 3600 s, Cooldown 86400 s/Karte, max 5 Karten/Task, ein offener Sweep-Task pro Value Stream). Der Sweep bewegt keine Karte — er aktiviert nur den VS-Owner. Kein karte_id im Envelope, damit complete_task nichts auf Fertig koppelt.

Versionen: board-service 0.23 sha256:2d8d3026e02b497dca19b4deda1a5ea2da5ecfdd9980bc395d7796d3745a324e; spool-watcher 0.25 sha256:580773d35f679cb450fee692e18d2b1d2334959a1af18e7e93a399055f292b7e. Commits 801409c, e8ef165, a233597 (ArgoCD a233597).

Blocker 1 — Dedupe auf mehrdeutigem Typ: _open_review_vs() filterte auf type == "review". Fachliche Abnahme-Tasks der Agenten haben denselben Typ; ein offener Abnahme: deadman-rezidiv-research-4 (working, vs-fleet-rebuild) sperrte den ganzen Value Stream (40 fällige Karten). Fix: _is_card_review_task(env) = type=="review" and from=="board-service".

Blocker 2 — Sender-Allowlist-Drift: Der Spool validiert zweimal — submit_task.py beim Schreiben, watcher_main.py beim Scan (validate_schema_loose). Der Watcher-Pod hat submit_task.py nicht im Image und hält eine Hardcode-Kopie der Konstanten. board-service war nur im Einleger ergänzt → Journal zeigte accepted (rc=0), eine Sekunde später quarantined („'from' ist kein Mitglied der 9er-Org"), Task in _invalid/. accepted ist Schreib-, nicht Zustellbeweis — erst task_claimed zählt.

Regressionsschutz: clusters/main/fleet/spool/test_sender_sync.py vergleicht beide Konstanten-Dateien per AST (14 Checks): Sendermengen, Typ-Mapping je Sender, board-service→nur review, keine Kollision System-Sender/Org-Agent. Läuft ohne Import der Module.

E2E-Beweis: Sweep-Log vs-fleet-rebuild -> ceo cards=5 (Task c5473d17); die 4 quarantänierten Envelopes zurück in den Spool → task_claimed by cto, agent_claim_active, 2× agent_awaiting_claim, keine neue Quarantäne. Folgelauf 15 min später erzeugte keinen neuen Task (Dedupe greift). Karten e2e-014-owner-idee/dauer-tower-dev unverändert Neu. health() liefert card_review: {enabled,last_run,runs,last_result} als MCP-Tool (kein HTTP-Endpunkt — curl :8080/health → 404).

Test-Isolation: /tmp/bsvenv (mcp==2.3.0, pyyaml) für test_card_review.py (20/20). Kaniko-Builds im Cluster: bs-build-023c (board-service), ws-build-025 (watcher); Registry-Push BLOB_UPLOAD_UNKNOWN ist transient → Retry hilft.

Deadman-Alarm-Routing (01.11.2026, 21:20 UTC) — 7b621ad, deadman 0.13.3

Vorfall: ceo-Sandbox stand ab ~18:43 UTC auf PHASE Error (Pod weg, kein Supervisor). Der Deadman erkannte die Stille korrekt (1858 s > 1800 s) und legte P1-Task 06aa7d55 — mit to: ceo, also an den ausgefallenen Agenten selbst. Der Alarm lag 1 h 43 m ungesehen, 73 Tasks stauten sich. Heilung war nur manuell möglich (OIDC-Login ohne Refresh-Token war abgelaufen).

Fix: alarm_recipient(source_key) in deadman_main.py — ist source_key == "agent:<ALARM_TARGET>", geht der Alarm an OWNER_TARGET (tower-owner, kein Agent, HITL-fähig). Alle anderen Alarme unverändert an ceo. Body trägt UMLEITUNG:-Block mit Heilungsweg.

Sender-Matrix (alle drei Ebenen, sonst Quarantäne): VALID_SYSTEM_RECIPIENT_SENDERS / SUBMIT_SYSTEM_RECIPIENT_SENDERS [tower-owner] = {ciso, deadman-watchdog} — in spool/submit_task.py, spool/watcher/watcher_main.py und der CM-Kopie fleet-submit-task (mcp/board-service/deployment.yaml). NAR-Regel bleibt eng: kein Org-Agent darf an tower-owner; deadman-watchdog nur type: escalation.

Tests: deadman/test_alarm_routing.py 19/19 (neu), spool/test_sender_sync.py 0 Fehler, echter Watcher-Validator im Pod 6/6 (validate_schema_loose).

Sandbox-Wiederherstellung (Runner, verifiziert): pkill -f "gateway[ ]login" (Regex-Trick — pkill -f "openshell gateway login" killt die eigene Shell, weil die Kommandozeile das Muster enthält) → bash /tmp/oidc-login3.sh → ✓ Authenticated to gateway 'fleet' → openshell sandbox stop <name> → start <name> → PHASE Ready. Bei PHASE Error ist stop → start der Weg (start allein reicht nicht). /root/resume.sh startet alle 9 (Liste enthält ceo, am 01.11. gefixt).

Offen: Reconcile-Loop für PHASE Error-Sandboxes (Selbstheilung); OIDC-Refresh-Token auf dem Runner. Images: watcher 0.27 ced4430b…, deadman 0.13.3 d8dbc57a…. SolDoc bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md, Pattern PAT-019.

02.11.2026 — Governance 1–3, attention-Rückkanal, Gitea-OCI-Fix

Drei strukturelle Übernahmen aus dsh-superagent (Commit 66e3f0a, c71e036; SolDoc architecture/2026-11-02-fleet-governance-outbox-mandat-observe.md):

  1. Outbox — submit_task.py schreibt nach tasks/_outbox/<id>.yaml; der Watcher-Publisher prüft mit validate_schema_loose (demselben Code, der später liest) und verschiebt erst dann atomar nach tasks/. Journal-Kette outboxed → published → task_claimed → task_completed. Grund: 62 Quarantäne-Dateien aus „accepted, 1 s später abgelehnt".
  2. Mandat light — authorized_by, policy_version, scope, strength (explicit|inferred), mode (observe|auto, nur System-Sender). FLEET_CARD_REVIEW_MODE steuert den Karten-Sweep: observe journalisiert nur (card_review_would_submit), auto stellt zu. Live auf auto (2.11.).
  3. Strukturierte Attention — attention: {question, options[2..5]} + MCP attention_summary().

attention-Rückkanal (board-service 0.25 59529660…): MCP-Tool answer_attention(task_id, answer) setzt attention.answer/answered_at/ answered_by, journalisiert attention_answered und legt beim fragenden Agenten einen fyi-Reply-Task an (from=tower-owner, reply_to=<task_id>, P1). Idempotent (OK_ALREADY). tower-owner darf als Sender jetzt auch fyi (in submit_task.py, watcher_main.py, Inline-CM). attention_summary zählt beantwortete Fragen nicht mehr. Live bewiesen: waiting_on_person 1 → 0, Antwort-Task f0418d90… bei devops, Idempotenz OK_ALREADY.

SOUL: gen_soul.py-Template hat Regel 5 („Warten auf einen Menschen ist ein Zustand, kein Freitext") + attention_* in der Tool-Signatur; 9/9 live via deploy_soul.sh. Vorher geprüft: Live-SOUL war byte-identisch mit generiert → kein Handarbeitsverlust.

Gitea-OCI-Fix (Commit 271d702) — zwei Defekte, ein Fehlerbild:

  • Realm kam als http:// (GuessCurrentHostURL bei PUBLIC_URL_DETECTION=auto ohne X-Forwarded-Proto hinter Traefik) → Go-Clients verlieren beim Redirect den Auth-Header. Fix: PUBLIC_URL_DETECTION: never → Realm aus ROOT_URL. App-of-apps-Falle: erst argocd app sync root, sonst behält die App die alten Values und der Sync meldet trotzdem Succeeded.
  • Kaniko las /kaniko/.docker/config.json; Secret fleet-build-push liefert .dockerconfigjson → Push anonym. Fix: items:-Mapping im Pod-Spec. Beleg: Token-Request anonym 2,1 ms vs. Basic-Auth 17,5 ms (bcrypt). SolDoc bug-fixes/2026-11-02-kaniko-push-401-gitea-realm-und-secret-mapping.md.

Tower: neue View „Wartet auf mich" (AttentionPanel + /api/fleet/attention). Zeigt nur Tasks mit strukturierter Frage, Optionen als Buttons, Freitextfeld; Antwort via answer_attention.

02.11.2026 (Nachtrag) — Schema-Drift: der Rückkanal quarantänisierte sich selbst

answer_attention schrieb answer/answered_at/answered_by in den attention-Block; beide Validatoren erlaubten nur question/options. Da jeder Statuswechsel neu validiert, wanderte jeder beantwortete Task nach /srv/fleet/tasks/_invalid/ — sichtbar nur am Quarantäne-Zähler (62→63). Fund war ein Zufall beim Aufräumen, nicht ein Alarm.

Fix (059f7cd, board-service 0.26 sha256:1837ef9b, watcher 0.30 sha256:6f415d38): ATTENTION_FIELDS / GOV_ATTENTION_FIELDS erweitert plus Validierung des Antwort-Tripels — alle drei Felder oder keins, answer 1..2000, answered_at Integer, und answered_by != from. Letzteres ist der eigentliche Gewinn: sonst könnte ein Agent seine eigene Rückfrage mit „ja" beantworten und sich selbst ein GO geben — ein Autonomie-Leck genau an der Mensch-Schnittstelle. test_governance_sync 31/31 (6 neue Fälle, beide Implementierungen). Live-E2E mit dem zuvor gestorbenen Task 8281e059: submitted/working/complete alle quarantänefrei, completed.

Struktureller Punkt (offen): Die Wahrheit über ein Envelope-Feld steht an drei Orten — spool/submit_task.py, spool/watcher/watcher_main.py, Inline-CM fleet-submit-task in board-service/deployment.yaml. sync_submit_cm.py hält Kopie 3 synchron, test_governance_sync.py prüft 1↔2. Was fehlt: ein Test „setzt irgendein Schreiber ein Feld, das die Validatoren nicht kennen?". Zweiter Drift dieser Klasse innerhalb von 24 h (vorher Sender-Allowlist).

Test-Pitfalls, teuer gelernt: claim_next_task setzt nur status=working (claimed_by/claimed_at sind unerlaubt und quarantänisieren selbst — mein Test hat seinen eigenen Fehler gemessen); submit_task liefert verschachtelt {"result","task":{"task_id"}}; attention gibt es nur als flache Parameter attention_question/attention_options; from_agent unterliegt dem Strict-Gate (tower-owner ist kein Org-Agent), to nicht; Single-Claim-Gate liefert OK_OWN_ACTIVE.

Build-Infra: clusters/main/fleet/build/build-image.sh — Kaniko-Pod aus versionierter Vorlage statt /tmp-YAML, mit dem Pflicht-items:-Mapping. Erster Praxiseinsatz: beide Images in 4 min.

02.11.2026 — CEO-Egress: Landlock-Pfad, Binary-Identität, Policy-Approval

Nach dem Image-Move (v5.5, Hermes real unter /usr/local/hermes, /opt/hermes als Symlink) war ceo als einziger Agent ohne Netz. Drei unabhängige Gates:

  1. Landlock verweigerte den Spawn von start-agent.sh (Pfad nicht in filesystem_policy.read_only); Fix im Image (Commit d36f334).
  2. Binary-Identität: Network-Regeln matchen binaries[].path exakt. Der reale Interpreter ist /usr/local/hermes/tools/…/python3.14; die Policy listete nur /opt/hermes/…. Fix d431f6d, Pfad-Reparatur 5d039ea (der erste Patch hatte den Pfad per sed auf /opt/hermes/ gekürzt).
  3. Policy-Approval: Der Gateway staged neue Endpoint-Namen (Policy DNS staged unapproved … for TCP policy review). Default --approval-mode manual hält jede Proposal im Review-Inbox; mit --approval-mode auto wird fleet-board-service nach ~20 s gemappt (CONFIG:PUBLISHED … mapping_id=…). Freigabe kommt eine Runde später — der Heartbeat 11:09:36 scheiterte, 11:19:36 lief er, danach alle 300 s.

Endzustand: 9/9 Agent-Pods Running, 10/10 Fleet-Deployments ready, deadman_silence_seconds{agent="ceo"} 292 (< 300 s), alle deadman_alert_active = 0. Der CEO arbeitet Tasks ab (u. a. die Deadman-Eskalation seines eigenen Ausfalls).

Lehren: Sandbox-Diagnose nur über das Supervisor-Log (ALLOWED/DENIED mit Pfad + Regelname); kubectl exec umgeht die Policy und beweist nichts. Policy-YAML nie per sed erzeugen (Pfad-Trunkierung), policy set scheitert auf laufender Sandbox an Bestandspfaden → policy update.

Rollout v5.5 auf alle neun Agenten (02.11., 12:11–12:32)

Alle acht übrigen Agenten wurden migriert (coo als Pilot, dann chro, agile-coach, cmo, research, cto, devops, ciso). Skript: ~/workspace/fleet-rollout/{rollout-agent.sh,run-all.sh}, Logs daneben, Backups unter ~/fleet-workspace-backups/<agent>-<ts>.tgz.

Ablauf je Agent: tar czf aus dem Pod → openshell sandbox delete → create … --approval-mode auto → auf Ready warten → kubectl cp + tar xzf -C /sandbox --no-overwrite-dir → Egress-Check. Dauer ~1–7 min/Agent, weil das Bild nach dem ersten Pull auf den Nodes gecacht ist (Erstpull: 3 m 48 s).

Recreate kostet den Workspace: Der PVC hat einen OwnerRef auf die Sandbox und wird mitgelöscht; der neue Sandbox erhält einen frischen workspace-default--* PVC. Größen nach Restore deckungsgleich (cto 84 MB, ciso 117, devops 113, research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB).

Egress-Freigabe ist ein zweistufiger, asynchroner Vorgang: Nach dem ersten Verbindungsversuch staged der Supervisor den DNS-Namen (Policy DNS staged unapproved … for TCP policy review) und reicht selbst Policy-Chunks ein (add-rule allow_fleet_beacon_…, resolved_from:sandbox). Das Gateway gibt sie automatisch frei, solange der Prover-Delta leer ist (OCSF CONFIG:APPROVED … auto-approve, prover_delta:empty, Policy-Revision Loaded). Bis der Supervisor die neue Revision geladen hat, vergeht ein weiterer Heartbeat-Zyklus — pro Agent also 5–10 min bis hb ok, mit --approval-mode auto ohne jede Handarbeit.

Endstand: 9/9 Pods auf 013bfac8, 9/9 hb ok, deadman_alert_active alle 0 (max. Stille 230 s), 10/10 Deployments ready, Quarantäne unverändert 64. Offen in der Owner-Lane: 32 Tasks an tower-owner (nicht Agenten-Backlog).

03.11.2026 — Loops griffen nicht: Bewertet-Sackgasse + verlorene Inferenz

Owner-Befund: 52 Karten auf Bewertet, Agents idle. Vier Schichten, jede maskierte die nächste:

  1. Sackgasse: Bewertungs-Sweep macht Neu → Bewertet; der Idle-Trigger kannte nur Neu. Der CEO meldete im Turn „0x Neu; 43 Bewertet". Fix: Umsetzungs-Sweep (board-service 0.26 3d0a5945…, alle 900 s): je VS die höchsten Bewertet-Karten (Score, rueckbau- ausgenommen, max 3/Task, max 1 offener Task je VS) als build an den VS-Owner, plus Stall-Erkennung (In Bau ohne offenen Auftrag > 48 h). Sender-Allowlist board-service: review+build in allen drei Kopien. Idle-Trigger kennt jetzt Neu oder Bewertet (watcher 0.31 7bcb5be2…). Deadman zählt Bewertet mit (0.13.4 a2ef7364…) — vorher schwieg er genau in diesem Zustand.
  2. Worker maskierte Fehl-Turns: Abschlussnotiz „Your request was not processed…" = FAILED_TURN_NOTICE; 24 Tasks galten als completed ohne Arbeit. Guard im Worker (Retry/fail_task) ist noch offen.
  3. Sandbox ohne Basis-Policy: openshell sandbox create braucht --policy <yaml>; ohne sie antwortet das Gateway „no policy".
  4. Inferenz doppelt gebrochen: (a) --provider fleet-bifrost-<agent> fehlte beim Recreate; (b) Provider hielten die 13-Zeichen-Platzhalter aus 1P (VK coo (v2)) statt der echten 42-Zeichen-VKs (VK coo-v2) → provider update für alle neun; (c) Roh-IP 10.0.30.210:8080 wird vom Proxy nicht abgefangen — nur Cluster-DNS; (d) der Sandbox-Env trägt einen 64-Zeichen-Handle, der nur bei passendem Profil-Host gegen das Secret getauscht wird → Provider-Profil fleet-bifrost von IP auf bifrost.agent-fleet.svc.cluster.local umgestellt (profile import).

Verifiziert: coo (deepseek-v41-flash) und cto (glm-5-3) antworten in 20–37 s; vs-fleet-rebuild Bewertet 44→41, In Bau 1→4; 9/9 hb ok, Deadman 0/14.

Pitfalls: Platzhalter vs. echter VK an der Länge erkennbar (13 vs 42); kubectl exec umgeht die Sandbox-Policy (curl-Tests wertlos); Profil-Host und Policy-Endpoint müssen identisch sein, sonst 403 mit Handle als Bearer. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md.

04.11.2026 — Owner-Triage R4, Stall-Wachen live, gitea-mcp-Facility, deploy-facility v0.2, Rollback

Owner-Lane: Runde 4 über 75 Tasks (18 GO / 57 Quittierung, 0 unbekannt) — danach Lane leer. GOs: gitops-Hire-Kette (2. Build-Agent unter cto, A16-Vote 5/5 JA), board-register-Flip-Defekt (register.md Rueckflip nach move_card), telemetry CO-REV-C, telemetry query_prometheus v5.6-failed-turn-Befund (worker_loop Auto-Completion Z.361-379). Stall-Wachen von der Org selbst gebaut+angenommen: 11 Abnahmen working-stall-wache completed, submitted-stall-wache live (Nachbesserung bei devops) — der 21-h-Stall von 03.11. wird künftig in Minuten gefangen.

gitea-mcp-Facility (P1 schoenkitchen): offizieller gitea-mcp v1.12.0 als eigenes Image git.schoen.codes/dominik/gitea-mcp@sha256:3a1ed989… (Binary-Release, docker.gitea.com-Image existiert nicht; HTTP-stateless POST /mcp + /healthz). Bot-User fleet-bot (Token via gitea admin user generate-access-token, Scopes write:repository,write:issue,read:user; Collaborator-write NUR dominik/schoenkitchen; 1P-Item „Gitea fleet-bot Token (gitea-mcp)"; Secret gitea-mcp-token out-of-band). 48 Tools; Agenten sehen nur Tools, nie Token.

PITFALLS (04.11.):

  • git.schoen.codes präsentiert VERSCHIEDENE Self-Signed-Certs je Pfad (lokal E4:0B…, in-cluster F8:A6…) — CA-Bundle für in-cluster-Clients IM POD extrahieren, GITEA_CA_CERT (nativer CA-Support, kein Insecure-Bypass).
  • patch-Tool + Chat-Redaction: 202****1021 aus Summaries hat 4 echte Pfade (20261021) korrumpiert — Kontext NIE aus komprimierten Transkripten, immer aus Quelldatei; Terminal-Ausgabe redigiert selbst → Base64-Verifikation.
  • submit_task: from_agent (nicht from); tower-owner nur über submit_owner_task (Strict-Gate).

Agent-Anbindung: gitea-Server in 9/9 Sandbox-Configs (text-insert nach ^mcp_servers:), Netzwerk-Regel fleet_mcp_gitea in sandbox-base.yaml, Boundary-Regeneration per openshell sandbox stop && start (holt neue Policy-Revision; Egress-Beweis je 9× ALLOWED für devops/cmo/cto). Rest 6 bei natürlichem Recreate.

deploy-facility v0.2 (sha256:39901570…): PRODUCTS-Allowlist {tower, schoenkitchen} (git-truth im Code, nicht env), deploy_image(product,…) + deploy_tower-Kompat-Wrapper; schoenkitchen-pin_re matcht :tag UND @sha256: (erster Pin ersetzt :latest). Achtung: schoenkitchen-App läuft noch über git-clone-Overlay — Pin wirkt erst nach Overlay-Entfernung (Produkt-Team).

Rollback: clusters/main/fleet/build/rollback-image.sh <pin-file> [steps-back] — N-ten frueheren Digest aus Git-Historie, committet+pusht, an tower.yaml bewiesen.

Commits: de0a580 (facility), 5303256 (CA), 2b9ce0a (Policy+Seed, Pfad-Reparatur), 67bcb8f (v0.2+Rollback). FYI an cmo+devops (0c2168d6/fc63f085) published. SolDoc: architecture/2026-11-04-schoenkitchen-p1-gitea-mcp-kaniko-allowlist-rollback.md.

04.11.2026 (Abend) — gitops-Rollout S1-S6 VOLLZOGEN (Chair, EXEC-HANDOFF e12c10f9)

Agent gitops LIVE (10. Agent, operative, parent cto, wave 1, al 1, model deepseek-v41-flash): Sandbox default--gitops 2c66fc12, Image fleet-agent-image v5.6 @sha256:f55f82aa (10 Souls), VK gitops 164fd4a4 (Bifrost, Completion 200, ~284k tok/30m), Heartbeat ~79s, Prepuller 8/8 auf v5.6. S5-Routing CHO->gitops AKTIV (R1-R4, Weichen-Owner cto; Overflow devops>20 -> gitops). Beleg: Test-CHO 907bc425 to=gitops published+claimed+completed; VORHER-Rejekt 3554ee29 (9er-Org). K1/K2-Messreihe: Basis 66 offen/36.6h aeltester (ohne fyi), 3 Checks/24h, Abnahme danach durch ceo/cto.

KRITISCHER PITFALL (Org-Spiegel): Agentenliste ist 4× gepflegt — org.yaml + org-truth-configmap (regen! sha-Annotation) + 3 hardcodierte frozensets: spool/submit_task.py VALID_AGENTS, Inline-CM fleet-submit-task (sync_submit_cm.py!), watcher_main.py SUBMIT_VALID_AGENTS. Ohne alle 3: Task an neuen Agenten wird synchron INVALID + im Outbox rejected (outbox- in _invalid/, kein Quarantine-Event). CM-Mount braucht Pod-Restart. DB-Tabellen members/sandboxes waren LEER (Stub nie aktiviert) -> SQL-Sync aus org.yaml (10 Member ON CONFLICT) + sandboxes-Zeile; get_sandbox_status(alle)=none war vorher Normalzustand. EXEC-HANDOFF-Digest 64b987.. war Soul-DATEI-Hash, nicht Image-Digest.

Commits: a72c246 (S1-S3), e075439 (VK-ES), prepuller-pin, 06630a5 (3 Agentenlisten), a9bdc0e (watcher 0.33 42a3b3de). 1P: "Agent-Fleet VK gitops" (Kubernetes ESO). Bifrost-Admin: 1P "Agent-Fleet Bifrost Admin" (Basic-Auth gegen /api/governance/virtual-keys, Bearer/X-Admin-Key funktionieren NICHT). fyi-Zaehlung: watcher 0.25/0.26 exempte fyi von offener Arbeit + Archiviert — alter watcher-fyi-fix-Todo war stale. SolDoc: bug-fixes/2026-11-04-gitops-rollout-org-spiegel-agentenlisten.md.

05.11.2026 — Arbeitsteilung: CHO-Weiche im SOUL, Produkt-PR-Bruecke, erster PR #1

Symptom: gitops (10. Agent) hatte dauerhaft 0 Inbox-Items; erster schoenkitchen-PR kam nicht zustande, obwohl 4/5 P1-Kinderwahl-Tasks completed waren ("kein Commit/Push/CI" — Text-Artefakt-Konvention).

Drei Root Causes: (1) Es gibt keinen Verteiler — Arbeit entsteht nur durch to=<agent>-Adressierung; Idle-Trigger kennt operative Rollen NICHT (IDLE_IDEATION_ROLES = cto/cmo/coo/research/agile-coach/chro) → operative Agenten haben keinen Selbststart. (2) S5-Weiche R1-R4 war Dokument/Entscheidung, aber nicht im cto-SOUL. (3) "Kein Cluster-Zugriff → Text-Artefakt" galt unterschiedslos — die letzte Meile Artefakt→Repo hatte keinen Besitzer, obwohl gitea-mcp (48 Tools, Schreibrecht via fleet-bot) seit dem schoenkitchen-P1 bereitstand.

Fix (Commit 585eeb8): cto-SOUL = "DU BIST DIE CHO-WEICHE R1-R4" (R1 strukturell→gitops, R2 Betrieb/Produkt→devops, R3 Overflow devops>20→gitops, R4 Envelope-Doku; "gitops hat keinen Selbststart"). devops+gitops-SOUL: "AUSNAHME PRODUKT-CODE: Branch+PR ueber mcp_gitea_*, CI blockiert Merge, Review Owner, kein Direkt-Push auf main". deploy_soul.sh: gitops in AGENTS-Liste + effort low.

Vierte hardcodierte Agentenliste: deploy_soul.sh hatte AGENTS ohne gitops → gitops' SOUL war beim Rollout NIE deployt (live 4295B alt). Nach jedem neuen Agenten: grep -rn "ceo cto ciso" clusters/.

Beweis: PR #1 dominik/schoenkitchen#1 (fleet-bot, feat/kinderwahl-endpunkte→main, +833/-0 in 7 Dateien, CI success Run 127) — API-verifiziert. cto wandte Weiche an (R1/R2 gesetzt, P1-Handover b2183e31 fuer Bestands-Tasks — Redispatch existiert nur fuer Dead-Letter). gitops: erster echter R1-CHO 4ab3c718 (add_backlog_card Komma-Sanitisierung, RFC-4180 register_codec.py) claimed 07:33 completed 07:54. Queue: devops 47 offen (von 66), gitops 0. SolDoc: architecture/2026-11-05-fleet-arbeitsteilung-cho-weiche-produkt-pr.md.

Regel: Health (Heartbeat/VK/Sandbox Ready) beweist Betrieb, nicht Arbeit. Arbeitsnachweis = geclaimte/completed Tasks. Neue operative Rollen brauchen eine Zuweisungsquelle im Owner-SOUL, nicht nur im Dokument.

05.11.2026 (2) — Owner-Lane 65→6: Register-Zeilendefekt als Wurzel des Schein-Staus

Kernbefund: ideen-register.md (vs-fleet-rebuild) hatte ab 04.11. 16:27 eine Zeile mit 9 statt 6 Zellen (Titel task-lost-cause-taxonomie mit Kommas ungequotet). get_kanban/get_backlog fail-loud → Board des groessten VS 22 h unlesbar → keine Karte abschliessbar → devops-Stau → ciso eskalierte denselben Defekt 30× in die Owner-Lane. Das Erklaermuster gilt generell: viele Eskalationen desselben Themas = ein Defekt, nicht 30 Auftraege.

Fix: Zeile 201 neu geschrieben (RFC-4180-Quoting), Backup .bak-2026-11-05-chair; 199×6 Zellen; get_kanban/get_backlog gruen (197 Karten).

Nebenbefunde + Fixes:

  • Weichen-Cooldown war am falschen Schluessel (busy_agent statt ziel) → Sperre wirkte nie → 28 WEICHE-AUDITs/3 h. watcher 0.37 (sha256:33420cba…, be6f17c), Tests 20/20.
  • cto war spool-blind → board-service 0.27 (sha256:657bab44…, d6b9795) mit list_open_tasks(agent_id, include_fyi, limit), read-only, Tests 7/7.
  • sandboxes-Tabelle hatte nur gitops → get_sandbox_status(devops)=none (falscher Alarm). 10 Mitglieder aus Live-Pods nachgetragen, gitops-Duplikat geloescht.

Triage-Muster (verbindlich): erst Defekt fixen, dann quittieren; Dubletten auf ein Paket konsolidieren und Originale mit Verweis quittieren; Beleg (Datei/Zeile/Backup/Tool) in die Quittung; Owner-Entscheidungen (Policy-Wortlaut, PVC, PR-Merge, Governance) bleiben offen.

Ergebnis: Owner-Lane 65 → 6 (bewusst offen: 2ae3fb35 envelope Rev D, 6b813142 shared artifacts PVC, 2edad98c FLEET-POLICIES 1.6, 8bba1cf2 Sandbox-View, 66792d25 PR #2, ad6adbca Lieferintegritaet). gitops lieferte in ~1 h 5 Change-Packages (deadman-beacon-metrics, NAR-SSOT-A1 3 Patches, policy-exec-7grants, grant-stop-prometheus-read, Register-Writer-Haertung) — Beweis: adressiert = arbeitet, unbeschaeftigt = idle by design.

Pitfalls: decide_owner_task nur approve|decline (Quittung = dismiss_owner_task); MCP-Schreibaufrufe ~20–40 s → Triage in Bloecken 5–8 und python3 -u, sonst Timeout/verlorener Puffer. SolDoc: bug-fixes/2026-11-05-owner-lane-triage-register-defekt-gitops.md.

05.11.2026 (3) — Review-Gate 4/4 live; Sandbox-Auto-Heilung bewiesen

Owner-Direktive: PR-Reviews durch ciso/cto/coo/cmo, Merge auf main nur bei 4/4, autonom durch die Fleet. Owner-Freigaben laufen ab jetzt ausschließlich über Gitea-PRs (nie Chat/Board/mündlich).

Review-Gate (bewiesen)

  • Agenten-Accounts ciso/cto/coo/cmo + Tokens (40 Zeichen, Scope write:repository), Secret fleet-review-tokens in NS fleet (out-of-band, nie in Git/Sandbox/Log).
  • read genügt: Kommentar 201, Review-Approval 200, Lesen 200 — kein Push-Recht nötig.
  • Branch-Protection main (dominik/schoenkitchen): required_approvals=4, Whitelist ciso/cmo/coo/cto, dismiss_stale, block_on_rejected_reviews, enable_push=false, Merge-Whitelist nur fleet-bot.
  • Pitfall: Statuscheck-Kontext muss exakt CI / test (pull_request) heißen — sonst blockiert ein nie-grüner Check jeden Merge.
  • Serverseitig: gitea_gate.py im board-service (gitea_pr_*-Tools) prüft 4/4 + CI vor dem Merge erneut; Fehler als JSON, nicht als ToolError.
  • Pitfall: gitea_pr_comment hat keine Gate-Wirkung (State COMMENT, Autor fleet-bot). Formal zählt nur gitea_pr_review mit eigenem Reviewer-Account — Review-Aufträge müssen das Werkzeug nennen und gitea_review_status als Selbstkontrolle verlangen.

Erstes echtes Review-Ergebnis (PR #2 schoenkitchen)

3 von 4 Reviews = 3× REQUEST_CHANGES, komplementär: coo (Router nicht in app.py, Migration fehlt, kein Runbook) · cto (toter Code, Store ohne Tests, TOCTOU in speichere_wahl) · cmo (technische IDs statt Namen, stumme Fehler, unbeschriftete Buttons). Nachbesserung an devops (5b47ece7, 7 gebündelte Befunde). Merge bleibt bei 0/4 gesperrt.

Sandbox-Auto-Heilung (E2E scharf bewiesen)

fleet-sandbox-healer.sh + systemd-Timer (2 min) auf mgmt-runner: erkennt Suspended=True/Ready=False>300 s, erneuert OIDC headless, stop→start, max 150 s auf Ready, fyi an ceo. Grenzen: 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Kill-Test default--gitops: 19:12:01 PodTerminated → 19:15:02 ✓ Started → Ready, Pod 1/1.

  • Pitfall 1: systemd-Units brauchen Environment=HOME=/root — sonst Unknown gateway 'fleet' (sieht wie abgelaufenes Token aus; Auth-Check nutzt denselben Aufruf).
  • Pitfall 2: kubectl … | python3 - <<'PY' → Heredoc frisst stdin; python3 <(cat <<'PY' … PY).
  • IaC: clusters/main/fleet/ops/sandbox-healer/ (Skript, Unit, Timer, README) — Commit b652bb0.

Watcher 0.38.1

Digest sha256:cc325dcb…: tower-owner darf jetzt auch type=review einlegen (Chair-Review-Aufträge). Vorher quarantänierte der Watcher sie („System-Sender mit unzulaessigem type“).

05.11.2026 (4) — PR 15/16/17-Rollout; Policy-Schema-Defekte; gitops-Pilot v5.7

  • Merge-Reihenfolge 15→16→17: Gitea lehnt Parallell-Merges mit 405 "Please try again later" ab — einfach versetzt mergen, KEIN Konflikt.
  • Drei Policy-Fehlerklassen, die nur am Gateway sichtbar sind: (1) nar_*/valid_until sind keine Schemafelder, (2) method/path sind keine Endpoint-Felder (Schema: host, ports, allowed_ips, protocol, tls, enforcement, access), (3) Overlap auf gleicher host:port mit konfligierendem Protokoll (rest vs mcp) → network endpoint ambiguity validation failed. Fix-Commit 8686743 (nar-SSOT als Kommentare, Befristung via Rueckbau-Karte).
  • openshell policy set <agent> --policy <file> --wait setzt Policies LIVE (Worker laeuft weiter) — Recreate nur noetig, wenn sich das IMAGE aendert. cto v11, ceo v10, devops v12 live.
  • deadman ist KEINE Sandbox → sandbox-Policy-Grants wirken dort nicht.
  • gitops-Regenerate: Backup→delete→create→Restore geklappt; mid-Task-Kill wurde vom System verschlungen (Task blieb working, Agent re-claimte). Image v5.7 df08791f, §1.6 im Image bewiesen.
  • Offen: writeback-Egress-TLS bricht im Broker (Handshake ok, dann decode error/EOF, curl 56) — RCA-Task 64a8fefc an cto. v5.7-Rollout auf 9 restliche Agenten ausstehend.
  • openshell-values.yaml war v4-Stand (a08fa5fe/hermes-agent) — auf fleet-agent-image v5.7 umgestellt (e5205c8): Live-Images heissen fleet-agent-image, nicht hermes-agent.

05.11.2026 (5) — v5.7 auf 10/10 Agenten; Rollout-Methode Live-Policy-Export

  • Sandbox-Rollout ohne Policy-Verlust: Live-Policy je Agent via openshell policy get <a> --base -o json exportieren, d["policy"] als Policy-Datei verwenden (JSON ist gueltiges YAML, enthaelt filesystem_policy + network_policies + version). Die Live-Policies sind STRENG VOR den Repo-Dateien zu bevorzugen: auto-genehmigte Egress-Chunks (allow_openrouter/nousresearch/models.dev/raw.githubusercontent/gitea-mcp/...) existieren nur live — Repo-Dateien sind unvollstaendig (Befund: ciso 8, research 12, coo 5 Extraregeln).
  • Rollout-Bewiesen: delete+create mit exportierter Live-Policy + v5.7 + provider + start-agent.sh → 10/10 Ready, §1.6 überall, SOUL/config per tar-restore.
  • Modelle je Agent (aus config.yaml): ceo/cto/ciso glm-5-3; chro/cmo/agile-coach glm-5-3-flash; coo/research/devops deepseek-v41-flash; gitops deepseek-v41-flash.
  • tar-backup des /sandbox: rc=1 ("file changed as we read it", state.db/gateway.sock live) ist OK und bei laufenden Agenten die NORM — nur rc>=2/leer ist ein harter Fehler.
  • OIDC-Stunden-Token fällt in langen Rollouts aus — Auth-Retry (relogin + retry) in jede lange Runner-Sequenz einbauen.
  • Backup-Groessen: devops 206 MB, ceo 81 MB, cto 80 MB, research 39 MB, Rest 7-40 MB.

05.11.2026 (6) — PR-#2-Stall: zwei echte Blocker (Facility-Identitaet + Maskierung)

  • Facility vs. Board-Tool: cto gab sein PR-#2-Verdikt zuerst per gitea-mcp-Facility ab — die authentifiziert als fleet-bot, und fleet-bot ist der PR-AUTOR -> Gitea: "reject your own pull is not allowed". Formale Reviews gehen NUR ueber das Board-Service-Tool gitea_pr_review mit reviewer= (eigene Tokens, ciso/coo/cmo haben so formal abgelehnt). Reviewer-Auftraege muessen das Werkzeug explizit vorgeben.
  • WebUI-Maskierung frisst Branch-Namen: der Branch "feat/sk-u-kinderwahl" wird von der Oberflaeche als "feat/" maskiert (sk-...-Muster = Key-Detektion). Wer den angezeigten Namen kopiert, uebertraegt das Maskierungssyntax-Muster in Fleet-Tasks — devops fand dann natuerlich keinen Branch "feat/". Regel: Branch-/Ident-Namen mit echten Bytes via base64 ermitteln und in Task-Bodies einsetzen, nie aus angezeigtem Text kopieren.
  • PR-#2-Stand: 3 formale REQUEST_CHANGES (coo/cmo/ciso), cto zieht formal nach (efdaf19d), devops bekam echte Branch-Adresse + 7 Befunde erneut (6877bf8c).

05.11.2026 (7) — Register-Sprengung durch Pipe im Titel; gitops-Queue-Pathologie

  • Defekt: Ein Karten-Titel mit literalem | (Regex-Alternation: sandbox_unreachable|queue_overflow|claim_lost|ttl_expired) sprengte die Pipe-Tabelle in ideen-register.md (Zeile 319: 9 statt 6 Zellen) -> _load_cards wirft fuer den ganzen VS 9 Zellen, erwartet 6 -> get_kanban/get_backlog failen -> JEDER lesende Agent legt einen Register-Reparatur-Task an (17 Duplikate in gitops' Queue). Fix: Zeile 319 manuell repariert (Backup .bak-*-chair), board-service 0.30 (sha256:b1090c19…): _render_backlog ersetzt | im Titel durch ¦, add_backlog_card saniert beim Aufnehmen. Verifiziert: 315 Karten laden sauber.
  • Queue-Pathologie: gitops hatte 46 offene Tasks (17 Register-Reparaturen, jetzt moot; 4 CO-5.1-„Transfer TEIL x/3"-Pakete von devops). Die Transfer-Tasks sind Chunk-Schleusung durch Prompt-Texte (weil Sandboxes isoliert sind) und sprengen das 30-min-Turn-Limit (TimeoutExpired 1800 s) — gitops verbrennt pro Versuch eine halbe Stunde, fail_task scheitert danach teils, weil der Sender den Task schon completed hat. Richtung: Datei-Austausch ueber das jetzt vorhandene RWX-Volume fleet-artifacts oder gitea-mcp statt Prompt-Chunks; Transport-Auftraege nicht als 3-Teile-Bundle an Agenten.
  • Lehre: Board-Reader sind fail-loud — ein einziger defekter Register-Eintrag legt Lesen fuer den gesamten VS lahm und erzeugt Reparatur-Task-Spam bei allen Agenten. Titel-Sanitizing gehoert in Writer UND Renderer (doppelt), nicht nur in die Handkorrektur.

05.11.2026 (8) — cancel_task (board-service 0.31): Rueckzugsweg fuer gegenstandslose Tasks

  • Neu: cancel_task(task_id, agent_id, reason) — berechtigt sind Absender oder tower-owner (Chair); nur status=submitted; working nie (Arbeitsverlust, fail loud); reason Pflicht (<=500). Envelope wandert nach /srv/fleet/tasks/_withdrawn/ (Bytes erhalten, +withdrawn_by/reason/at), Journal-Event task_withdrawn; kein neuer Status, weil der Watcher nur submitted|working|completed|failed|blocked kennt (ALLOWED_STATUSES) — alles andere landet in _invalid/. 16/16 Unit-Checks (test_cancel_task.py).
  • Image: git.schoen.codes/dominik/fleet-board-service@sha256:054980d3906c4b6352b06aceb00f6c9f0771c5ee3b04913bd51ca8600a5710be (0.31, Commit f707279), live; 0.30 davor (b1090c19…) brachte den Pipe-Guard.
  • Wirkung: gitops-Queue 43 -> 27 submitted + 1 working; 17 Dateien in _withdrawn/ (15 Register-Duplikate + 2 Diagnose-Proben); Rundruf-fyi an agile-coach/ceo/chro/ciso/devops (Task-IDs 5e667642, 738345a5, 9b456ada, c2a75562, 6cd521f8).
  • Offen/beobachtet: _journal/journal.logl enthaelt 15 alte abgeschnittene Zeilen (time_epoch ~1793689734, 04.11.) — Auswertungen brauchen tolerantes Parsen (bad_line -> skip). Die letzten drei task_withdrawn sind vollstaendig JSON.
  • Transport-Antipattern bleibt: Dateien als TEIL x/3-Prompt-Chunks durch Agenten schleusen sprengt das 30-min-Turn-Limit; korrekt ist RWX fleet-artifacts oder gitea-mcp.

06.11.2026 — devops-OOM bewiesen (4Gi) + Heiler-Sturm gestoppt

  • devops-Sandbox starb ab 00:30Z alle ~10 min. Waechter (15-s-Raster, /tmp/devops-death-watch.log) hat den Kill festgehalten: exitCode 137, reason OOMKilled, finishedAt 05:16:50Z bei startedAt 05:07:23Z — 2-Gi-Limit gesprengt (Peaks vorher 1721-1848 MB). Fix: limits.memory: 4Gi bei Request 2Gi (Burstable, worker-03 hatte 7 GiB frei), Live-Patch am CR + stop->start (bei PHASE Error immer erst stop).
  • Heiler 0.2 (Commit 1a2ff36): Eskalation je Sandbox einmal je 12 h (ESCALATION_REPEAT_S=43200), attempts_reset nach erfolgreicher Heilung (Erfolge zaehlen nicht mehr gegen das Limit), attempts_prune erhaelt den escalations-Block. Vorher: 122 identische ceo-fyis „Sandbox devops bleibt tot" (alle 2 min ab 02:26Z).
  • ceo-Inbox 133 -> 12 (122 Duplikate via cancel_task zurueckgezogen, 1 Aufloesungs-fyi c1f46447).
  • Messartefakt-Lehre: „gitops 0 tok/s" war falsch — 2-min-Rate kann zwischen Turns legitim 0 sein; rate[5m]=407, Spitze 5440 tok/s, increase[1h]=6,49 Mio Tokens. Vor dem Handeln Quelle pruefen. cto/cmo mit 0 tok/s sind echt idle (HB frisch, CPU ~0, keine offenen Tasks).
  • Offener Engpass: tower-owner 57 offene Tasks (Owner-Lane), gitops 73, devops 65.

06.11. Follow-up: 8Gi, Watcher-TOCTOU, Heiler-Restore (06:05-06:10Z)

  • devops+gitops auf 8Gi (Owner-Go). 4Gi reichte nicht: 2. OOM um 05:42:06Z, echter Peak container_memory_max_usage_bytes=3809 MB (30-s-Raster verpasst die Kill-Spitze). max_usage ist die verlaessliche Metrik, nicht working_set-max_over_time.
  • Auto-Heilung war inaktiv (Unit+Skript fehlten auf mgmt-runner-01). Restore per base64-Pipe (scp ging still verloren; 0-Byte-Unit = systemd "masked"). Rollout-Guard-Bug: sp.get("replicas",0) → Default 1.
  • fleet-spool-watcher crashloopte (FileNotFoundError, TOCTUV zwischen Listing und Lesen; Verschiebungen nach _withdrawn/ killen den Watcher) → Dispatch-Ausfall. Fix 0.39 (Commit 1007d96, Digest 793e3425...): except FileNotFoundError: continue.
  • Heiler-State-Pfad: /var/lib/fleet-sandbox-healer/attempts.json ("healer"!). Alte 3 Versuche blockierten; Reset noetig.
  • Kill-Test bewiesen: Pod-Kill → GEHEILT nach ~3 min, Ready, 8Gi aktiv.
  • Offen: Guard schweigt bei Dauer-Rollout endlos; devops-3,8-GiB-Ursache ungeklaert.

06.11. PR-Watch (board-service 0.32.1)

  • Vorfall: Task 6877bf8c (PR #2 Nachbesserung) endete completed mit Notiz „Arbeitsstand/Sichtung", ohne Commit. Branch-Head ed790b26 blieb 23 h stehen, 4× REQUEST_CHANGES offen, niemand hat es bemerkt.
  • Ursache: complete_task prüft kein Artefakt; kein Sweep liest den PR-Zustand.
  • Fix: pr_watch.py + Thread im board-service (Commit 449e9b0/6985c84, Digests 2c426283 / 87f3dede). Kriterium: Änderungswunsch offen und Head älter als 4 h; ein Task je (repo,PR,SHA); Marker pr-stall:<repo>#<pr>:<sha12>; Cooldown 6 h aus dem Journal; Empfänger cto (board-service darf nur review).
  • E2E: 12:23 Task an cto → 12:26 cto→devops „Rework PR 2" (submitted).
  • Offen: gitea-mcp-Token hat kein read:organization (403 bei list repositories).

07.11.2026 — Neuer Value Stream vs-imkerei (Owner-Direktive)

  • Repo: dominik/imkerei_verwaltung (Gitea, privat, ID 373) = Fork von github.com/dsgrafiniert/imkerei_verwaltung (Upstream-HEAD dab2481 „Version 1.2.1", byte-identisch auf main gepusht; Stack laut Repo: ANLEITUNG.md/AENDERUNGEN.md, web/, installation/). Fork-Disziplin: kein Auto-Merge, Sync nur bei Upstream-Release. Lokaler Clone mit beiden Remotes: ~/workspace/imkerei_verwaltung (upstream + gitea/ssh://10.0.30.200).
  • Zugriff: fleet-bot Collaborator-Write (204) — Agenten bauen Branch+PR via gitea-mcp wie bei schoenkitchen.
  • VS: register.md-Zeile vs-imkerei | cmo | Imkerei-Verwaltung … Karte bis Betrieb; VS-Dir mit leeren ideen-register.md/release-notes.md; Seed-Karten (ursprung owner): imk-bestandsaufnahme (8×9=72), imk-erster-nutzen (9×6=54).
  • Kick-off: Owner-Task 034ad90c… (tower-owner→ceo, type=build, P2, requires_ack) via submit_owner_task — published im Spool, wartet auf CEO-Claim.
  • Muster (wiederverwendbar): board-service-MCP hat KEIN curl im Image — python3-Client (mcp_call.py, initialize→tools/call, SSE-letzte-data:-Zeile) per kubectl cp in den Board-Pod; add_backlog_card braucht karte_id (Regex ^[a-z0-9][a-z0-9-]{2,63}$) + ursprung; Neue VS = register-Zeile per Datei + Dir-Seed per Datei + Karten/Task via MCP.
  • Release-Notes-Befund (07.11.): Dateien sind top-prependiert; vs-fleet-rebuild ~640 Einträge/24h (Kapazitäts-/Verlust-Welle), vs-schoenkitchen 1, vs-eigenentwicklung 0.

07.11. Balancing der Value Streams

  • Befund: vs-fleet-rebuild 1785 Karten (1283 Neu), andere VS 0 Neu; 1169 der Neu-Karten mit Praefix kap-/rca-, agent-generiert.
  • Ursachen: (a) Watcher-Rezidiv-Cooldown schrieb (kind, ziel), pruefte (kind, agent) -> wirkte nie -> 345 RCA-Tasks in 4 Tagen; (b) Idle-Ideation hatte vs-fleet-rebuild in allen Schritten hart kodiert.
  • Fix: watcher 0.40 (Cooldown je Ausloeser + VS-Rotation via balance_status), board-service 0.34 (Gate: max_open 400, Tagesrate 10 Agent-Karten/VS, Anteil nur Bericht; Tool balance_status; Sweeps least-loaded-first).
  • Bestand: 1150 Loop-Artefakte archiviert -> vs-fleet-rebuild/archiv/ideen-register-archiv-2026-11-07.md, Register 635 Karten.
  • Verifiziert: Gate blockt fleet-rebuild (92 Agent-Karten/24h), imkerei PASS, Owner-Karten PASS.

10.11. Ideations-Takt (Nachtrag)

  • Warum keine Ideen: Idle-Trigger bricht bei open_count > 0 ab -> bei Dauerbacklog feuert er nie (0 Events/48h). Zusaetzlich hatte der Kapazitaets-Cooldown denselben Schluessel-Fehler wie der Rezidiv (schrieb (kind, ziel), prueft (kind, agent)) -> 277 KAPAZITAET-Tasks/48h.
  • watcher 0.42 (Digest 718691e0): Cooldown je Ausloeser; periodischer Ideations-Takt alle 6 h (IDLE_IDEATION_INTERVAL_SECONDS) unabhaengig vom Spool; Owner-Rotation vs-eigenentwicklung:cto,vs-schoenkitchen:cmo, vs-imkerei:cmo,vs-fleet-rebuild:ceo; Dedupe ueber offene IDEATION-ZYKLUS:-Tasks; Journal ideation_tick_created.
  • 0.41-Crash (AttributeError next_ideation) in 0.41.1 gefixt: Feld am IdleScheduler initialisieren, nicht nur in den Opts.
  • Verifiziert: erster Ideation-Task 10.11. 08:48 -> ceo; seit Deploy 0 Prozess-Trigger; Rotation im Unit-Test (cmo/vs-schoenkitchen).

10.11. Regression: add_backlog_card deregistriert (0.33 -> 0.35 behoben)

  • Beim Balancing-Einbau (0.33) rutschte @mcp.tool() von add_backlog_card auf _balance_snapshot -> Tool fehlte in der MCP-Registry, Agenten konnten KEINE Karten anlegen. cmo meldete es in einer Notiz.
  • Fix 0.35 (Digest 2a651525): Dekorator zurueck; Registry-Check server.mcp._tool_manager.list_tools() (28 Tools, add_backlog_card dabei, _balance_snapshot nicht).
  • Tagesrate 10 -> 25 Agent-Karten/VS/24h (Flood war ~580/Tag); Ideations-Takt 1h.
  • Beweis: fleet-rebuild 667 -> 669 Karten; Ideation-Task 18:26 -> cmo/vs-imkerei working.
  • Pruefroutine: nach jedem board-service-Patch Tool-Liste verifizieren, nicht nur py_compile.