Files
memory/systems/agent-fleet.md
T

23 KiB
Raw Blame History

title, category, status, created, updated
title category status created updated
Agent-Fleet systems active 2026-10-22 2026-10-23

Agent-Fleet (Multi-Agent-Plattform)

Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.

Repos & Struktur

  • agent-fleet (Gitea, lokal /home/debian/workspace/agent-fleet): Org-YAML, Beacon-Scaffold (src/beacon/), Pläne (docs/plans/2026-10-22-agent-fleet-phase0.md, inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
  • iac-homelab (/home/debian/iac-homelab, Remote canonical = SSH): K8s-Manifeste. Push via git push canonical HEAD:main (HTTPS-Auth defekt).

K8s-Basis (Namespace agent-fleet)

  • ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
  • CNPG agent-fleet-pg (Postgres 17.x): Ready, Hourly-Backups. DB fleet für Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
  • ArgoCD-Apps: agent-fleet (Root-App für den NS, Synced/Healthy) und agent-fleet-bifrost (Helm, sync-wave 2).

LLM-Ingress: Bifrost (A3', produktiv)

  • maximhq/bifrost, Helm-Chart 2.1.45, app v2.3.1, StatefulSet bifrost-0, NS agent-fleet, LoadBalancer-VIP 10.0.30.210:8080 (cilium lb-ipam).
  • SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
  • Provider noris: custom provider, base_provider_type: openai, base_url: https://ai.noris.de, Key via env.NORIS_API_KEY ← ESO-Secret bifrost-noris-key ← 1P noris-api-key (Feld credential, NICHT dupliziert).
  • Admin-API: Basic Auth (ESO-Secret bifrost-admin ← 1P Agent-Fleet Bifrost Admin), Routen /api/governance/virtual-keys[/{id}], /api/keys, /api/providers. ACHTUNG: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json ist eine echte Route).
  • Governance: Plugin aktiv, VK vk-fleet (Name fleet), Header x-bf-vk. Policy (Nutzer-Regel 22.10.): nur vllm/release/*-Modelle — kein qsu-Kanal, keine Anthropic-Modelle. Kodiert als Regex-Allowlist ^(noris/)?vllm/release/.* in provider_configs[].allowed_models, deny-by-default (kein allow_all_providers). Kein Budget-Cap (Amendment A10).
  • Telemetry: Plugin aktiv, /metrics auf dem Haupt-Port hinter Auth → ServiceMonitor bifrost (NS agent-fleet!, Label release: monitoring) mit basicAuth gegen bifrost-admin. Prometheus-Target UP.
  • VK-Wert in 1P-Item Agent-Fleet Fleet-vkey (Vault Kubernetes ESO, Feld credential). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT — 1P-Referenz bleibt über Rollouts stabil.

1P-Items (Vault „Kubernetes ESO")

Item Zweck Feld(er)
Agent-Fleet Bifrost Admin Dashboard/Admin-API username, password
Agent-Fleet Bifrost Encryption DB-Verschlüsselung key
Agent-Fleet Fleet-vkey VK vk-fleet für Agenten credential
Agent-Fleet PG Owner CNPG owner (siehe CNPG)
noris-api-key (bestehend) Upstream-Key ai.noris.de credential

Beacon (B1+B2, PRODUKTIV seit 22.10.)

FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics (beacon_heartbeats_total, beacon_last_heartbeat_age_seconds{agent}, beacon_agents_up ≤120s), GET /healthz. 10 Tests grün (Review APPROVED, Important-Fixes committed b3b4b9f).

  • Deploy: iac-homelab clusters/main/agent-fleet/beacon.yaml + beacon-registry-pull.yaml (ESO ← 1P SchoenKitchen Registry Pull, dockerconfigjson für git.familie-schoen.com). Deployment beacon 1 Replica (100m/128Mi), Service ClusterIP :80, ServiceMonitor release: monitoring.
  • Image: git.familie-schoen.com/dominik/beacon:{SHA,latest} (CI-Workflow build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am größten Blob, manuelles docker push aus demselben Daemon ging sofort).
  • DB: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples — inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
  • E2E (22.10.): healthz 200 · hb ceo 200 → PG-Row · hb intruder 403 (Strict-Org-Gate live) · Prometheus-Target UP.
  • org.yaml-Seed als ConfigMap beacon-org-yaml (Genesis W0/W1: ceo, cto, ciso, chro) — Quelle: Phase-0-Plan Task E1.

CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)

  • CT 161 ceo auf ms-a2-1, IP 10.0.30.162 (VLAN 30), 4 vCPU/8 GB/ 20 GB rootfs auf vm_disks (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter : ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut). Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST pvesh, SSH root@10.0.20.92 + pct push/exec 161.
  • Harness: Hermes (Installer NousResearch) im CT; config.yaml mit Provider bifrost → http://10.0.30.210:8080/v1, VK literal inline (keine Env-Expansion!), Modell noris/vllm/release/glm-5-3. Inferenz via Bifrost verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
  • Herzschlag: /usr/local/bin/ceo-heartbeat.sh via systemd-Timer ceo-heartbeat.timer (60 s, Persistent, oneshot-Service fail-loud); Task-ID aus /var/local/fleet/last_task_id, Default idle; BEACON_URL=http://10.0.30.211. Verifiziert: Rows in heartbeats (task_id board-w1-memo) + Prometheus.
  • Identität: /root/fleet/CHARTER.md (Mandat: Board aus kritischen Gegenspielern + Lead-Hiring), /root/.hermes/memories/USER.md (Owner-Profil), /root/fleet/spec.md (v5.1-Stand), /root/fleet/org.yaml (= ConfigMap beacon-org-yaml). Kopien im Repo: genesis/.
  • W1-Memo: /root/fleet/board/memo-2026-10-22-board-w1.md (205 Z., MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO „Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL → sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. Liegt zur Genehmigung beim Owner.

Board-Sandboxes W1 (23.10. — A16/ADR-019)

  • CT 163 cto (Occam, 10.0.30.163) · CT 164 ciso (Hadrian, 10.0.30.164) · CT 165 chro (Diogenes, 10.0.30.165) — Vollklone von CT 161 (Snapshot w1seed, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
  • Mandate: CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
  • Betriebsregeln für alle: Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
  • Ghost-Heartbeat-Zwischenfall (23.10., behoben): Klone erbten CEO-Timer + last_task_id — feuerten ~7,5 h als ceo (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.
  • Hiring-Governance A16: W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
  • W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC): CTO → memo-2026-10-22-cto-pipeline.md (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → memo-2026-10-22-ciso-baseline.md (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → memo-2026-10-22-chro-w2-profiles.md (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo genesis/ (Commit 901f3ac, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).

Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)

  • Fleet-Mail (Herzstück der 24/7-Autonomie): Host-Verz. /srv/fleet-mail mit inbox-<agent>/{new,processed} je Agent (ceo/cto/ciso/chro), via pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail in alle 4 CTs gemountet (2777). Nachrichten = MD-Dateien <epoch>-von-<agent>-<thema>.md mit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
  • Poller: systemd fleet-mail.service je CT (Restart=always) → /usr/local/bin/fleet-mail-poller.sh <agent>: pollt 60 s, verarbeitet seriell mit hermes chat -q (timeout 1500 s, -Q quiet), verschiebt nach processed/, Run-Logs als <msg>.run.log daneben; Fehler → /var/local/fleet/mail-errors.log
    • logger (fail loud). Task-ID aus Subject ins Heartbeat.
  • Mailprompt /root/fleet/mailprompt.txt je Agent: Kommunikationsregeln (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
  • Board-Board: /srv/fleet-board (mp0) — /digest-*.md (CEO-final), challenges/, inbox/. Owner liest dort freizügig.
  • Kadenz (A7): /etc/cron.d/fleet-meeting im CEO-CT — werktäglich 09:00 Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
  • SC6-Watchdog: Hermes-Cron b28227374068 (monitor-Modus, Mo–Fr 08:20 UTC = 09:20 Berlin), Script ~/.hermes/scripts/fleet-digest-watch.sh, deliver=all — Alert nur wenn Digest <date>-final.md fehlt oder fleet-mail inaktiv (OK = deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min: r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte im Repo genesis/board-2026-10-23/, Commit 0917144).
  • Gotcha Detach: nohup hermes chat & starb lautlos (Exit ohne Log) — niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über den systemd-Poller ist der stabile Weg.

Konventionen & Regeln

  • Fleet-Standard-Modelle: noris/vllm/release/* (heavy=default/light-Tiers später über Aliase im VK oder weitere VKs).
  • Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
  • ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release bifrost verwaltet nur bifrost-*-Objekte.
  • ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal.

Offene Punkte

  • W1-Board-Genehmigung (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner- Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
  • Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
  • Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
  • Bekannter Defekt (niedrige Prio): Secret git-schoen-codes-tls (ns gitea) doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround: Registry/CI via git.familie-schoen.com routen.
  • D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion in Hermes-Configs).

B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)

  • PB1 Fleet-DB-Zugang CTO: CNPG-Managed-Role fleet_rw (managed.roles in clusters/main/agent-fleet/postgres-cnpg.yaml, Agent-Fleet PG fleet_rw; connectionLimit: 10 — SINGULAR, CRD v0.21). Grants als Owner fleet: CONNECT/TEMP auf DB, USAGE/CREATE auf schema public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über rw-LB-VIP 10.0.30.214:5432 (agent-fleet-pg-rw-lb, Cilium lb-ipam). CT 163: postgresql-client + ~/.pgpass. Reconciler-Jobs im K8s nutzen intern agent-fleet-pg-r…svc statt VIP. PW-Sofort-Rotation: CNPG zieht Secret-Änderungen nicht sekundenschnell → kubectl exec … psql -U postgres (Socket, ohne -h) ALTER ROLE fleet_rw … (DB-Owner fleet darf KEIN ALTER ROLE). Solutions-Doc: docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md
  • PB2 openshell_controller-Vertrag v0 (Controller selbst noch nicht implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag): API-Doku + Blueprint hermes-sandbox v1 (hash-gepinnt, sha256 a5611966…b3f1, Board: blueprint-hermes-sandbox-v1.yaml) + Machine-Token (1P-Item openshell_controller Machine-Token + /root/.secrets/openshell-machine-token in CT 163). T08: preset_hash ≠ Blueprint → 422 BLOCK.
  • PB3 Deploy-Recht NS agent-fleet: SA cto-deployer + Role + Token-Secret (clusters/main/agent-fleet/cto-deployer-rbac.yaml), NS- scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default verweigert, Negativ-Tests live). Kubeconfig /root/.kube/config + kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck: Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
  • Board-Doks: /srv/fleet-board/b1-fleet-db-input.md, b2-openshell-controller-api-v0.md, b3-deploy-recht-input.md, b1-fleet-schema-dump.sql. Mail an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b123-*.md).
  • Neu in 1P (Vault Kubernetes ESO): Agent-Fleet PG fleet_rw, openshell_controller Machine-Token.

B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")

  • PB4 Bifrost-Admin + Monitoring: Admin-API-Creds an CT 163 (~/.secrets/bifrost-admin.json, 600). Scope NUR VK-Anlage (/api/governance/virtual-keys); Provider-/Policy-Änderungen TABU. Monitoring read-only: Prometheus 10.0.30.202:9090, Grafana 10.0.30.201:3000, Loki 10.0.30.207:3100 — anonym erreichbar im VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert (Probe-VK sofort wieder gelöscht).
  • PB5 Test-NS agent-fleet-test: ArgoCD-App agent-fleet-test (app-of-apps clusters/main/apps/agent-fleet-test.yaml) — NS + Quota (4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap (ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E). E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
  • PB7 Capacity: Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB, CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail). F-7 Option B (4/8/50) damit formal bestätigt.
  • PITFALL ArgoCD (neu): Manifest einer unbekannten CustomResource im App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are not valid"); Dotfiles werden NICHT geskippt; JSON-Patch auf /status/operation abgelehnt. Fix: File aus App-Pfad entfernen (Content → ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc: integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md
  • Board-Doks: b4-bifrost-admin-input.md, b5-test-ns-input.md, b7-capacity-input.md; Mails an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b457-*.md, 13:42).

Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)

  • Zugang: http://10.0.30.212 (plaintext, kein Browser-Warning) oder https://10.0.30.212 (TLS, einmalige Self-Signed-Warnung: no-SNI → Traefik-Default-Cert). Kein Client-Zertifikat, kein Login in v1. mTLS-Material (fleet-webui-clientca, Owner-P12) bleibt vorgehalten → v2/OIDC. Nichts gelöscht.
  • Edge: Intern-only LB traefik-internal-lb (VIP 10.0.30.212): :443 → 8444 (EntryPoint websecure-internal) und :80 → 8001 (NEUER dedizierter PLAINTEXT-EntryPoint web-internal). Warum dediziert: EntryPoint web (8000) ist geteilt mit öffentlichem traefik-lb (.203) → Catch-all hätte gespooft werden können; dediziert ⇒ .203:80 mit Host-Spoof → 404 (verifiziert).
  • IngressRoutes (Git, clusters/main/agent-fleet/): fleet-webui (HTTPS, PathPrefix(/), middleware fleet-webui-headers, tls fleet-webui-tls), fleet-webui-http (EntryPoint web-internal). Provider-Filter providers.kubernetescrd.ingressClass=traefik ⇒ jede IngressRoute braucht traefik.io/ingress.class: traefik — sonst still ignoriert (404, kein Log). Das war der ursprüngliche Bug.
  • App: Deployment fleet-webui env REQUIRE_CERT_HEADER=0 (Backend verlangt keinen Cert-Header mehr); auth_interim in CM fleet-webui-app ehrlich = „v1: ip-only, no client-cert". CM hat 2 Keys (server.py
    • sanitize_md.py) — --from-file muss beide liefern (sonst CrashLoop).
  • Noch live-only (CTO-App-Manifest-Lane): Deployment-Env, CM, Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
  • Solutions-Doc: integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md.

Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s

  • Neue Endpunkte: /api/org (org.yaml aus CM fleet-webui-org — Kopie von beacon-org-yaml, Mount /org, Mini-Parser stdlib-only, fail-loud), /api/live/tokens (Prometheus 10.0.30.202:9090, sum by (virtual_key_name) über bifrost_input/output_tokens_total rate[2m], 10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=v0.2.0-live.
  • Per-Agent-VKs: key_ids:["*"]-Fix (s. Solution-Doc bifrost-vk-key- binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke: ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
  • NetPol-Pitfall (2. Mal): Prometheus-VIP .202 per ipBlock-Egress ⇒ FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix: namespaceSelector auf monitoring + Port 9090 — gleiche Klasse wie beacon-Regel. VIPs in Agent-Fleet-NetPol nie per ipBlock erlauben, immer den Backend-NS selektieren.
  • 24/7-Loop: Cron konzern-loop (23d4769ec873, alle 15 min seit 23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health, Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh (CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.

v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung

  • Final-State: Package landete mandatkonform in clusters/main/_archive/webui-v02-backfill/ (Commit 478da727, AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox 19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert NICHT, ArgoCD trackt hier per instance-LABEL und scanned _webui-v02 trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per- Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
  • INCIDENT (unaufgeklärt): Zwischen 19:47–19:52 wurden alle 6 fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes Label-Strippen ODER manueller Delete eines parallelen Actors). Restore byte-exakt aus 3 Quellen (lokale JSON-Dumps 17:35, Stage- Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung: alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations argocd.argoproj.io/compare-options=IgnoreDifference + sync-options=Prune=false,Delete=false.
  • Parallel-Actor-Race: Zweite aktive Session-Linie fuhr dasselbe Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles, eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden resumed. Regel: niemals davon ausgehen, dass ein Toggle hält; lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
  • Open: API-Server-Audit-Logging absent (destruktive Ops ohne Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/ Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.

Fleet-Board-CM-Sync & LB-Pools (23.10.2026)

  • Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
  • LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
  • Fleet-Mail: Zustellung = Datei in inbox-/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
  • CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).

openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)

  • Service: CT 160 (10.0.30.161:8081), systemd openshell-controller.service (Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push → systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
  • API: GET /v1/health (200 db:true), GET/POST /v1/sandboxes. Gates verifiziert: T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert); False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen sandboxes (UNIQUE member_id, Broken-Recycle per UPDATE) + provisioning_events additiv.
  • Blueprint-Pin: BLUEPRINT_SHA256 a5611966…b3f1 (Board-Datei live gehasht; CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo …1418… vs …2818… war Bug 1 der Fünf-Bug-Kette (Solution-Doc: docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md).
  • Pitfalls (verifiziert): (1) LXC- UND QEMU-VMIDs teilen den Nummernraum — ID-Vergabe 200–299 muss /lxc UND /qemu prüfen (VM 200 mgmt-runner-01 kollidierte); pct list zeigt nur CTs. (2) psql-Empty-Checks brauchen -t -A. (3) JSONB via lit(json.dumps(x)), nie json.dumps(json.dumps(x)). (4) CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500, unable to clone mountpoint mp0 type bind) — W1-Klone liefen vor dem Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
  • Aktiver Blocker/Beauftragung: Seed-CT 199 mount-frei via vzdump/restore aus CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben), CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B (4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline: Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.