Files
memory/systems/agent-fleet.md
T
2026-10-24 22:01:00 +00:00

422 lines
37 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Agent-Fleet
category: systems
status: active
created: 2026-10-22
updated: 2026-10-23
---
# Agent-Fleet (Multi-Agent-Plattform)
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
## Repos & Struktur
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
## K8s-Basis (Namespace agent-fleet)
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
`agent-fleet-bifrost` (Helm, sync-wave 2).
## LLM-Ingress: Bifrost (A3', produktiv)
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
- Provider `noris`: custom provider, `base_provider_type: openai`,
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
ist eine echte Route).
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
1P-Referenz bleibt über Rollouts stabil.
## 1P-Items (Vault „Kubernetes ESO")
| Item | Zweck | Feld(er) |
|---|---|---|
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
Important-Fixes committed `b3b4b9f`).
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
(Strict-Org-Gate live) · Prometheus-Target UP.
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
ciso, chro) — Quelle: Phase-0-Plan Task E1.
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
SSH `root@10.0.20.92` + `pct push/exec 161`.
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
(task_id board-w1-memo) + Prometheus.
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
**Liegt zur Genehmigung beim Owner.**
## Board-Sandboxes W1 (23.10. — A16/ADR-019)
- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
- **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail`
mit `inbox-<agent>/{new,processed}` je Agent (ceo/cto/ciso/chro), via
`pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.6 (24.10. spät)** —
ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick
priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+
Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe
P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls;
Waisen-`timeout 1500`-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE
(Modell antwortet nur `<Nr>=P<n>`; Poller mappt lokal auf Dateinamen
zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf
freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung
sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
(timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard
v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie-
Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach
syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle
<agent> n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet-
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
Restart killt Waisen-Subagenten via pkill "timeout 1500".
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
`challenges/`, `inbox/`. Owner liest dort freizügig.
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht
in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC
= 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all —
Alert nur wenn Digest `<date>-final.md` fehlt oder fleet-mail inaktiv (OK =
deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min:
r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte
im Repo `genesis/board-2026-10-23/`, Commit `0917144`).
- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) —
niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über
den systemd-Poller ist der stabile Weg.
## Konventionen & Regeln
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
über Aliase im VK oder weitere VKs).
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
`bifrost` verwaltet nur bifrost-*-Objekte.
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
## Offene Punkte
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
Registry/CI via git.familie-schoen.com routen.
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
in Hermes-Configs).
## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`**
(`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`,
`Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21).
Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema
public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über
**rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam).
CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen
intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG
zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U
postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf
KEIN ALTER ROLE). Solutions-Doc:
`docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md`
- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256
`a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) +
**Machine-Token** (1P-Item `openshell_controller Machine-Token` +
`/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠
Blueprint → 422 BLOCK.
- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role +
Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS-
scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default
verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` +
kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck:
Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`,
`b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`,
`b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b123-*.md`).
- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`,
`openshell_controller Machine-Token`.
## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163
(`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage
(`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU.
Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana
**10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im
VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert
(Probe-VK sofort wieder gelöscht).
- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test`
(app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota
(4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap
(ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E).
E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB,
CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail).
F-7 Option B (4/8/50) damit formal bestätigt.
- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf
`/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content
→ ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:
`integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md`
- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`,
`b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b457-*.md`, 13:42).
## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder**
`https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI →
Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1.
mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten →
v2/OIDC. Nichts gelöscht.
- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**):
`:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001`
(NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum
dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem
`traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert
⇒ `.203:80` mit Host-Spoof → 404 (verifiziert).
- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui`
(HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls
`fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`).
Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede**
IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still
ignoriert (404, kein Log). Das war der ursprüngliche Bug.
- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend
verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app`
ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py`
+ `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop).
- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM,
Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind
Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`.
## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie
von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud),
`/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by
(virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m],
10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`.
- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key-
binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke:
ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒
FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:
`namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie
beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben,
immer den Backend-NS selektieren.
- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit
23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health,
Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh
(CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
- **Final-State:** Package landete mandatkonform in
`clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**,
AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox
19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert
NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02`
trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per-
Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
Label-Strippen ODER manueller Delete eines parallelen Actors).
**Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
`argocd.argoproj.io/compare-options=IgnoreDifference` +
`sync-options=Prune=false,Delete=false`.
- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe
Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles,
eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden
resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**;
lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne
Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/
Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
## Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
- Fleet-Mail: Zustellung = Datei in inbox-<role>/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
- **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service`
(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth
fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push →
systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
- **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert:
T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert);
False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes`
(UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv.
- **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht;
CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…`
war Bug 1 der Fünf-Bug-Kette (Solution-Doc:
`docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`).
- **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01
kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`.
(3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4)
CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,
`unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem
Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
- **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus
CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben),
CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B
(4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline:
Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
- **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin);
Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
- **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264),
Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError
→ Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
- **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging,
negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs):
PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.**
- **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount <vmid>
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
- **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) +
CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur
W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
- **Fix (live attach ohne Restart nötig):** `pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board
-mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen
(`/srv/fleet-mail/inbox-<role>/{new,processed}`) + `pct unmount 202` (stale lock).
- **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161
(whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
- **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 +
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
`/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!).
## Klammer-VK-Bug (24.10. Tick, gefixt)
- VK-Injektion hinterließ `api_key: <sk-bf-...>` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
- Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
- **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`.
## Takt-Learnings 24.10. ~09:00 (Tick 13)
- **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
- **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
- **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
- **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
- **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
- **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
- **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
- **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
- **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
- **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
- **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
- **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper <inbox> <pfad>. Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
- **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f <file>` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
- **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden.
- **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
- **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
- **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
- **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
- **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
- **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.