Files
memory/systems/agent-fleet.md
T

340 lines
24 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Agent-Fleet
category: systems
status: active
created: 2026-10-22
updated: 2026-10-23
---
# Agent-Fleet (Multi-Agent-Plattform)
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
## Repos & Struktur
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
## K8s-Basis (Namespace agent-fleet)
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
`agent-fleet-bifrost` (Helm, sync-wave 2).
## LLM-Ingress: Bifrost (A3', produktiv)
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
- Provider `noris`: custom provider, `base_provider_type: openai`,
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
ist eine echte Route).
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
1P-Referenz bleibt über Rollouts stabil.
## 1P-Items (Vault „Kubernetes ESO")
| Item | Zweck | Feld(er) |
|---|---|---|
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
Important-Fixes committed `b3b4b9f`).
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
(Strict-Org-Gate live) · Prometheus-Target UP.
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
ciso, chro) — Quelle: Phase-0-Plan Task E1.
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
SSH `root@10.0.20.92` + `pct push/exec 161`.
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
(task_id board-w1-memo) + Prometheus.
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
**Liegt zur Genehmigung beim Owner.**
## Board-Sandboxes W1 (23.10. — A16/ADR-019)
- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail`
mit `inbox-<agent>/{new,processed}` je Agent (ceo/cto/ciso/chro), via
`pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
`/usr/local/bin/fleet-mail-poller.sh <agent>`: pollt 60 s, verarbeitet seriell
mit `hermes chat -q` (timeout 1500 s, -Q quiet), verschiebt nach `processed/`,
Run-Logs als `<msg>.run.log` daneben; Fehler → `/var/local/fleet/mail-errors.log`
+ logger (fail loud). Task-ID aus Subject ins Heartbeat.
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
`challenges/`, `inbox/`. Owner liest dort freizügig.
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht
in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC
= 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all —
Alert nur wenn Digest `<date>-final.md` fehlt oder fleet-mail inaktiv (OK =
deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min:
r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte
im Repo `genesis/board-2026-10-23/`, Commit `0917144`).
- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) —
niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über
den systemd-Poller ist der stabile Weg.
## Konventionen & Regeln
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
über Aliase im VK oder weitere VKs).
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
`bifrost` verwaltet nur bifrost-*-Objekte.
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
## Offene Punkte
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
Registry/CI via git.familie-schoen.com routen.
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
in Hermes-Configs).
## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`**
(`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`,
`Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21).
Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema
public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über
**rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam).
CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen
intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG
zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U
postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf
KEIN ALTER ROLE). Solutions-Doc:
`docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md`
- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256
`a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) +
**Machine-Token** (1P-Item `openshell_controller Machine-Token` +
`/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠
Blueprint → 422 BLOCK.
- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role +
Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS-
scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default
verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` +
kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck:
Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`,
`b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`,
`b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b123-*.md`).
- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`,
`openshell_controller Machine-Token`.
## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163
(`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage
(`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU.
Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana
**10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im
VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert
(Probe-VK sofort wieder gelöscht).
- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test`
(app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota
(4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap
(ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E).
E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB,
CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail).
F-7 Option B (4/8/50) damit formal bestätigt.
- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf
`/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content
→ ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:
`integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md`
- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`,
`b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo
(`*-von-eigentuemerproxy-b457-*.md`, 13:42).
## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder**
`https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI →
Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1.
mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten →
v2/OIDC. Nichts gelöscht.
- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**):
`:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001`
(NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum
dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem
`traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert
⇒ `.203:80` mit Host-Spoof → 404 (verifiziert).
- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui`
(HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls
`fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`).
Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede**
IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still
ignoriert (404, kein Log). Das war der ursprüngliche Bug.
- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend
verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app`
ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py`
+ `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop).
- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM,
Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind
Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`.
## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie
von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud),
`/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by
(virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m],
10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`.
- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key-
binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke:
ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒
FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:
`namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie
beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben,
immer den Backend-NS selektieren.
- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit
23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health,
Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh
(CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
- **Final-State:** Package landete mandatkonform in
`clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**,
AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox
19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert
NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02`
trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per-
Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
Label-Strippen ODER manueller Delete eines parallelen Actors).
**Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
`argocd.argoproj.io/compare-options=IgnoreDifference` +
`sync-options=Prune=false,Delete=false`.
- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe
Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles,
eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden
resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**;
lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne
Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/
Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
## Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
- Fleet-Mail: Zustellung = Datei in inbox-<role>/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
- **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service`
(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth
fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push →
systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
- **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert:
T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert);
False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes`
(UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv.
- **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht;
CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…`
war Bug 1 der Fünf-Bug-Kette (Solution-Doc:
`docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`).
- **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01
kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`.
(3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4)
CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,
`unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem
Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
- **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus
CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben),
CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B
(4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline:
Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
- **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin);
Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
- **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264),
Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError
→ Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
- **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging,
negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs):
PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.**
- **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount <vmid>
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.