56 KiB
title, category, status, created, updated
| title | category | status | created | updated |
|---|---|---|---|---|
| Agent-Fleet | systems | active | 2026-10-22 | 2026-10-26 |
Agent-Fleet (Multi-Agent-Plattform)
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem LLM-Chokepoint und objektiver Telemetrie.
STATUS 25.10.2026: Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206) per Q8a-GO EINGEFROREN (Crons
.frozen-20261025, Protokoll/srv/fleet-board-freeze/auf PVE); Deprovisionierung erst nach Phase-1-Grün. Aktiv ist der Rebuild v2.5 (lebende Verfassung, Commit 391c9fa): 9 Agenten (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truthiac-homelab/clusters/main/fleet-truth/org.yaml. Dieser Wiki-Abschnitt Iteration-1-Betrieb ist historisch (CTs, Poller, WebUI v0.x, B-Inputs, Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt „Fleet-Rebuild v2.5 (Phase 0)" unten.
Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
- Verfassung: Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10. Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt; max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
- Phasen: 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell- Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) · 0.5 p0-image ✓ GRÜN (25.10. spät) · 0.6 Bifrost-VKs ✓ GRÜN (26.10.) · 0.7 Spool+Watcher ✓ GRÜN (26.10.) · 0.8 MCP-Facilities ✓ ALLE 4 GRÜN (26.10.) · 0.9 Sandboxes · 0.10 Fleet-DB ✓ GRÜN (26.10.) · 0.11 Beacon ✓ GRÜN (26.10.) · 0.12 Deadman ✓ GRÜN (26.10.) · 0.13 Control Tower · 0.14 E2E → dann Phase 1 Onboarding.
- p0-image (0.5) final: Agent-Image
git.schoen.codes/dominik/hermes-agentTagfleet-v1= digestsha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfileclusters/main/fleet/agent-image/Dockerfile; gebaut auf mgmt-runner .124). Digest-Pin live in OpenShell-Values (sandbox.image.digest, Commit 640e051, App-Spec + fleet-truth synchron) → gateway.tomldefault_image→ ArgoCD Synced/Healthy. Pull-Secretagent-fleet-registry-pullout-of-band im NS fleet (default-SA imagePullSecrets; nicht im Git). E2E: Kubelet-Pull 34,6 s auf rke2-cp-01, Container-Start, jq 1.7. Push-Root-Causes + Runbook: sieesystems/gitea.md„Container Registry". - OpenShell: NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
Key "openshell.gateway" (inline
values:, nie ArgoCD-parameters — dotted Keys brechen --set-Parsing, CrashLoop). - ArgoCD-Lektionen (wiederkehrend): dotted Keys nur inline
values:; nach Git-Push Root-App (app-of-apps) refreshen; Sync viakubectl -n argocd exec sts/argocd-application-controller -- argocd app sync <app> --core; org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/. - Bifrost (Wiederverwendung Iteration 1): NS agent-fleet, VIP 10.0.30.210:8080,
App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member
benannt
<agent_id>[-v<n>], Rotation-v<n>; Allowlist^(noris/)?vllm/release/.*,key_ids ["*"], deny-by-default. Abnahme je VK: Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090.
p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet)
| agent_id | VK | Modell (noris/vllm/release/…) | Secret |
|---|---|---|---|
| ceo | ceo-v3 | glm-5-3 | fleet-vk-ceo |
| cto | cto-v2 | glm-5-3 | fleet-vk-cto |
| ciso | ciso-v2 | glm-5-3 | fleet-vk-ciso |
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort low) | fleet-vk-coo |
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
| research | research | deepseek-v41-flash | fleet-vk-research |
- Secrets:
kubernetes.ioESO-ExternalSecrets ausclusters/main/fleet/vk-secrets.yaml(1P-Vault „Kubernetes ESO", ItemsAgent-Fleet VK <vk>, Feldpassword); Keysapi-key+key-name; ZieldateiFLEET_BIFROST_API_KEYdefiniert infleet-truth/bifrost-vks.yaml(Phase-0.9-Injektion). - Bifrost-API-Pitfalls:
POST /api/governance/virtual-keysverwirftallow_all_keys→ Key ohne Schlüssel (400 „no keys found"); Fix perPUT …/{id}mitkey_ids:["*"](PATCH = 405). Echte API nur unter/api/…(/api/v1/…= SPA-HTML 200!). Modellnamen brauchen Provider-Präfixnoris/. Reasoning-Modelle liefern beimax_tokens-Knappheit leeren Content → Smoke über HTTP-Status +usage.total_tokens. ESO-Defaults (conversionStrategy/decodingStrategy/metadataPolicy,deletionPolicy: Retain) müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff. - Offen (Owner-GO): 9 Alt-VKs (
fleet,ceo,ceo-v2,cto,ciso,chro,coo,cmo,devops) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern (VK ceo (v2),coo (v2),cmo (v2),devops (v2)) löschen. - Solution Doc:
docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md
p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
- Deployment
fleet-spool-watcher(NS fleet, 1 Replika, Recreate, automountServiceAccountToken false, Labelfleet.noris.de/deadman-cascade: "true"). Imagegit.schoen.codes/dominik/fleet-spool-watcherTagfleet-v1= digestsha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf(python:3.11-slim + pyyaml 6.0.2, non-root UID 1000). Code:clusters/main/fleet/spool/(submit_task.py, watcher/watcher_main.py 591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS). - Watcher-Konfig: scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
default
hermes chat {input}(Platzhalter {input} {agent} {task_id}). - CephFS-Fix: initContainer
spool-perms(busybox:1.36, root) legt_journal/ _runs/ _invalid/an + chown 1000:1000 — sonst PermissionError (CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks. - E2E bewiesen: submitted→dispatched→run_started→run_finished, Status- Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante (exit 127) — beides im Journal + Envelope nachgewiesen.
- Befehlsmuster: Toolbox-Pod
kubectl -n fleet run spool-e2e --image=python:3.11-slim- PVC-Mount per --overrides; Einreichung via
kubectl cp+kubectl exec -iheredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches sofort).
- PVC-Mount per --overrides; Einreichung via
p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
- CNPG-Cluster
fleet-db(NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi, healthy; App-Secrets via CNPG:fleet-db-appService fleet-db-rw:5432 DB fleet). Manifeste:clusters/main/fleet/db/(fleet-db.yaml, schema.yaml). - App-User
app_fleet= CNPG Managed Role (spec.managed.roles: login, connectionLimit 50, passwordSecret-Reffleet-db-app-user[username+ password]; KEIN superuser/createdb/createrole). Bootstrap-Ownerfleet(Secretfleet-db-ownerout-of-band) hat KEIN CREATEROLE — CREATE ROLE im Schema-Job schlägt fehl → Managed Roles sind der Weg. - 7 Tabellen (additiv, IF NOT EXISTS): members, org_snapshots, provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples. heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta.
- Beweise: psql select count je Tabelle (Selftest), DROP-Negativtest
(verweigert für app_fleet),
SECRET_READBACK_OK, ArgoCD Synced+Healthy. - ArgoCD ignoreDifferences-Pitfalls (Commits 3931c63, 34179d4): K8s-1.35
status.terminatingReplicas(jsonPointers) + ~45 CNPG-Webhook-Defaults via jqPathExpressions in jq-Punktnotation (.spec.probes— Slash-Syntax failt im Diff-Normalizer; Wildcards[]nicht*). Solution Doc:docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md.
p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts
- Deployment
fleet-beacon(NS fleet, 1/1, digest55718277…), Code aus/home/debian/workspace/agent-fleet/src/beacon/(FastAPI, 14/14 Tests), deployt unterclusters/main/fleet/beacon/(app.py, deployment.yaml, containerPort 8000, sync-wave 6). Persistenz via Secretfleet-db-app. - 3 Root-Causes auf dem Weg (alle gefixt): (1) app.py liest
DATABASE_URL,envFrom: secretRefliefert aber nur Einzelkeys → healthz 503 (fail-closed). Fix:valueFrom.secretKeyRef{name: fleet-db-app, key: uri}(Commit f13c744). (2) Patch-Indent-Bug:name:neben statt untersecretRef→ ArgoCDComparisonError: envFrom[0].name: field not declared in schemablockierte den GESAMTEN App-Sync (Commit fe5cc10). (3)app_fleethatte Tabellen- aber keine Sequence-Rechte →permission denied for sequence heartbeats_heartbeat_id_seqbeim INSERT. Live-GRANT + Git-Fix in schema.yaml (GRANT USAGE, SELECT ON ALL SEQUENCES+ ALTER DEFAULT PRIVILEGES, Commit ca7660b). - E2E: POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → 422 (nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s.
- Sequence-Lektion: BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences — Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts).
p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts
- Deployment
fleet-deadman(NS fleet, 1/1, sync-wave 7, digestsha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e— v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Codeclusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}. Image python:3.11-slim + pyyaml, KEIN LLM, kein hermes (bewiesen:NO_HERMES, pip list = stdlib+PyYAML), non-root UID 1000,/metrics+/healthzauf 8100, readiness/liveness tcpSocket. Board-PVC rw gemountet (FLEET_BOARD_DIR). - VIER Kaskaden (§3.5, v2): Agent-Silence 1800 s (Quelle Beacon
/metrics→beacon_last_heartbeat_age_seconds), Watcher-Tick 180 s (_journal/watcher.tickmtime), Bifrost-Gateway 120 s anhaltend (/health), Beacon-Unerreichbarkeit fail-closed (EINbeacon-Alarm, KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender Alarme). Edge-Trigger: ein P1-Eskalations-Task je OK→ALARM an ceo; Heilung löscht den Alert (GEHEILT-Log), kein Task-Spam. - Cold-Start-Semantik (Fix 26.10.): Agent OHNE je gesehenen Heartbeat
= pending (KEIN Alarm; Metrik
deadman_agents_pending). ALARM erst wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß. Unit-Test bewiesen: Cold-Start → 0agent:*-Alarme; Heilung → RESOLVED. - DEADMAN-ALARM.md (Board-PVC, HITL-Kanal §3.5): je Ursache EINE
[AKTIV]-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt[RESOLVED]in den append-only-Verlauf; temporäre Datei + os.replace (atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär). - Metrics: deadman_silence_seconds{agent}, deadman_alert_active{source}, deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds, deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up.
- Live-Beweis (26.10.):
agents_pending 8,beacon_ok 1, keineagent:*-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK. - Validator-Konflikt (kritisch): submit_task.py UND watcher_main.py
erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert.
Fix:
VALID_SYSTEM_SENDERS=["deadman-watchdog"]/SUBMIT_SYSTEM_SENDERS, nur als Absender, nurtype=escalation,tobleibt 9er-Org. Envelope-Feld heißtbody(Watcher-Whitelist REQUIRED_FIELDS + KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body;input→ Quarantäne). Beweis: 9/9 Tasks durchvalidate_schema_loose. - Watcher v2 (digest
sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8): schreibt_journal/watcher.tick(epoch-int, fsync) je Zyklus als Liveness-Signal; System-Sender-Whitelist. - E2E live: 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte
Heartbeat); Gateway 0, Watcher 0. Watcher-Kaskade bewiesen: replicas 0
(via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task
ac15c65b→ replicas 1 →GEHEILT watcher, alert 0, Tick 3 s. - ArgoCD-Job-Immutabilität (neue Lektion):
fleet-db-schemaJob blockierte JEDEN App-Sync („field is immutable";Replace=truescheitert an fehlendem selector). Lösung: Job als PostSync-Hook (argocd.argoproj.io/hook: PostSynchook-delete-policy: BeforeHookCreation) → nicht getrackt, konvergiert idempotent bei jedem Sync. Commit 077c5c8.
- Grenze des Kill-Tests:
kill -STOP 1im Pod wirkt NICHT (PID-Namespace-Init ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über Git-replicas, nicht über Signale.kubectl scalewird von ArgoCD selfHeal binnen ~3 min revertiert → Overrides IMMER via Git.
p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts
- Baukasten: alle 4 Facilities nach demselben Muster (mcp==2.3.0,
MCPServer+run(transport="streamable-http", stateless_http=True), tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate, automountServiceAccountToken false, deadman-cascade-Label, UID 1000, Digest-Pins). Vorlage:clusters/main/fleet/mcp/org-registry/. Solution-Doc:docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md. - 1/4 org-registry (digest
sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e): Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth, Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents. - 2/4 board-service (digest
sha256:b2b3c6125004103e8c83889c0ffc6f80ad75291c8e458f49cb9210b7cb66be6a, Commit 356bfcb): 7 Tools (add_backlog_card, add_release_note, get_backlog, get_kanban, health, list_value_streams, move_card); Single-Writer aufs Board-PVC, Spool-Submit; E2E 13/13 (Karte e2e-001, Spool-Quittung). - 3/4 telemetry (digest
sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7, Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei), get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status (Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud (kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar. - 4/4 provisioning (digest
sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1, Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt- ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste), record_provisioning_event (INSERT provisioning_events, psql-bewiesen event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst isError;none= noch nicht provisioniert), health (DB-Connect). Gateway-Call STUBBED (provision_sandbox_stub → NotImplementedError, Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer board-perms chown. envFrom fleet-db-app: Keys heißen user/password/host/ port/db (NICHT DB_USER — ENV-Name = Secret-Key!). - E2E-Muster (wiederverwendbar): Test-Skript als ConfigMap + python:3.11-alpine-
Pod mit --overrides-Mount; RPC via POST +
Accept: application/json, text/event-stream, letztedata:-Zeile parsen. python:3.11-alpine hat KEIN kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen.
Repos & Struktur (Iteration 1 — historisch)
- agent-fleet (Gitea, lokal
/home/debian/workspace/agent-fleet): Org-YAML, Beacon-Scaffold (src/beacon/), Pläne (docs/plans/2026-10-22-agent-fleet-phase0.md, inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded). - iac-homelab (
/home/debian/iac-homelab, Remotecanonical= SSH): K8s-Manifeste. Push viagit push canonical HEAD:main(HTTPS-Auth defekt).
K8s-Basis (Namespace agent-fleet)
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
- CNPG
agent-fleet-pg(Postgres 17.x): Ready, Hourly-Backups. DBfleetfür Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo). - ArgoCD-Apps:
agent-fleet(Root-App für den NS, Synced/Healthy) undagent-fleet-bifrost(Helm, sync-wave 2).
LLM-Ingress: Bifrost (A3', produktiv)
- maximhq/bifrost, Helm-Chart 2.1.45, app v2.3.1, StatefulSet
bifrost-0, NS agent-fleet, LoadBalancer-VIP 10.0.30.210:8080 (cilium lb-ipam). - SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
- Provider
noris: custom provider,base_provider_type: openai,base_url: https://ai.noris.de, Key viaenv.NORIS_API_KEY← ESO-Secretbifrost-noris-key← 1Pnoris-api-key(Feldcredential, NICHT dupliziert). - Admin-API: Basic Auth (ESO-Secret
bifrost-admin← 1PAgent-Fleet Bifrost Admin), Routen/api/governance/virtual-keys[/{id}],/api/keys,/api/providers. ACHTUNG: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json ist eine echte Route). - Governance: Plugin aktiv, VK
vk-fleet(Namefleet), Headerx-bf-vk. Policy (Nutzer-Regel 22.10.): nurvllm/release/*-Modelle — kein qsu-Kanal, keine Anthropic-Modelle. Kodiert als Regex-Allowlist^(noris/)?vllm/release/.*inprovider_configs[].allowed_models, deny-by-default (keinallow_all_providers). Kein Budget-Cap (Amendment A10). - Telemetry: Plugin aktiv,
/metricsauf dem Haupt-Port hinter Auth → ServiceMonitorbifrost(NS agent-fleet!, Labelrelease: monitoring) mit basicAuth gegenbifrost-admin. Prometheus-Target UP. - VK-Wert in 1P-Item
Agent-Fleet Fleet-vkey(Vault Kubernetes ESO, Feldcredential). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT — 1P-Referenz bleibt über Rollouts stabil.
1P-Items (Vault „Kubernetes ESO")
| Item | Zweck | Feld(er) |
|---|---|---|
Agent-Fleet Bifrost Admin |
Dashboard/Admin-API | username, password |
Agent-Fleet Bifrost Encryption |
DB-Verschlüsselung | key |
Agent-Fleet Fleet-vkey |
VK vk-fleet für Agenten |
credential |
Agent-Fleet PG Owner |
CNPG owner | (siehe CNPG) |
noris-api-key (bestehend) |
Upstream-Key ai.noris.de | credential |
Beacon (B1+B2, PRODUKTIV seit 22.10.)
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
(beacon_heartbeats_total, beacon_last_heartbeat_age_seconds{agent},
beacon_agents_up ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
Important-Fixes committed b3b4b9f).
- Deploy: iac-homelab
clusters/main/agent-fleet/beacon.yaml+beacon-registry-pull.yaml(ESO ← 1PSchoenKitchen Registry Pull, dockerconfigjson für git.familie-schoen.com). Deploymentbeacon1 Replica (100m/128Mi), Service ClusterIP :80, ServiceMonitorrelease: monitoring. - Image:
git.familie-schoen.com/dominik/beacon:{SHA,latest}(CI-Workflow build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am größten Blob, manuelles docker push aus demselben Daemon ging sofort). - DB: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples — inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
- E2E (22.10.): healthz 200 · hb ceo 200 → PG-Row · hb intruder 403 (Strict-Org-Gate live) · Prometheus-Target UP.
- org.yaml-Seed als ConfigMap
beacon-org-yaml(Genesis W0/W1: ceo, cto, ciso, chro) — Quelle: Phase-0-Plan Task E1.
CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
- CT 161
ceoauf ms-a2-1, IP 10.0.30.162 (VLAN 30), 4 vCPU/8 GB/ 20 GB rootfs aufvm_disks(Regel: Agent-CTs ≈ 20 GiB — Zahl hinter:ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut). Blueprint: CT 160 (fleet-control); Provisionierung via PVE-RESTpvesh, SSHroot@10.0.20.92+pct push/exec 161. - Harness: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
bifrost→http://10.0.30.210:8080/v1, VK literal inline (keine Env-Expansion!), Modellnoris/vllm/release/glm-5-3. Inferenz via Bifrost verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log). - Herzschlag:
/usr/local/bin/ceo-heartbeat.shvia systemd-Timerceo-heartbeat.timer(60 s, Persistent, oneshot-Service fail-loud); Task-ID aus/var/local/fleet/last_task_id, Defaultidle; BEACON_URL=http://10.0.30.211. Verifiziert: Rows inheartbeats(task_id board-w1-memo) + Prometheus. - Identität:
/root/fleet/CHARTER.md(Mandat: Board aus kritischen Gegenspielern + Lead-Hiring),/root/.hermes/memories/USER.md(Owner-Profil),/root/fleet/spec.md(v5.1-Stand),/root/fleet/org.yaml(= ConfigMap beacon-org-yaml). Kopien im Repo:genesis/. - W1-Memo:
/root/fleet/board/memo-2026-10-22-board-w1.md(205 Z., MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO „Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL → sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. Liegt zur Genehmigung beim Owner.
Board-Sandboxes W1 (23.10. — A16/ADR-019)
- CT 163
cto(Occam, 10.0.30.163) · CT 164ciso(Hadrian, 10.0.30.164) · CT 165chro(Diogenes, 10.0.30.165) — Vollklone von CT 161 (Snapshotw1seed, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff). - Mandate: CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
- Betriebsregeln für alle: Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
- Ghost-Heartbeat-Zwischenfall (23.10., behoben): Klone erbten CEO-Timer +
last_task_id— feuerten ~7,5 h alsceo(1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken. - Hiring-Governance A16: W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
- Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"): Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
- W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC): CTO →
memo-2026-10-22-cto-pipeline.md(Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO →memo-2026-10-22-ciso-baseline.md(Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO →memo-2026-10-22-chro-w2-profiles.md(W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repogenesis/(Commit901f3ac, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
- Fleet-Mail (Herzstück der 24/7-Autonomie): Host-Verz.
/srv/fleet-mailmitinbox-<agent>/{new,processed}je Agent (ceo/cto/ciso/chro), viapct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mailin alle 4 CTs gemountet (2777). Nachrichten = MD-Dateien<epoch>-von-<agent>-<thema>.mdmit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar. - Poller: systemd
fleet-mail.serviceje CT (Restart=always) →/usr/local/bin/fleet-mail-poller.sh <agent>: v3.7 (25.10. früh) — v3.6.2 + SILENT-ACK-KONSUM (Chair-Direktive COMMUNICATION-STOP 25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname- Muster*ack*|*quittung*|*ok-already*|*konsum-*) werden vom Poller selbst erkannt (is_ack_chain) und STILL konsumiert (mv → processed/), OHNE Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die Quittungs-Kaskade (ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss → Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen: Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16 regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO 43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls; Waisen-timeout 1500-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur<Nr>=P<n>; Poller mappt lokal auf Dateinamen zurück — Output-15×- Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: NICHT Prompt-Größe/Encoding (beides widerlegt), sondern vLLM-Slot- sättigung — Subagenten belegen Sequenzen 8–15 min; Triage-Requests stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail (timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard v2). Unit-ExecStartPre killt verwaistehermes chat/gateway run(Zombie- Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach syslog-TAGjournalctl -t fleet-mail, NICHT-u; Zustand:cycle <agent> n=… chunks=X/Y p1..p4=…(X=getriagt, Y=davon OK). Fleet- Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) → Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost); Restart killt Waisen-Subagenten via pkill "timeout 1500". - Mailprompt v2
/root/fleet/mailprompt.txtje Agent (25.10.): Zeile 1 agent-spezifisch („Du bist ()…"), Kontext CHARTER/spec/org, dann COMMUNICATION-STOP-Regeln (bindend, Chair-Direktive 25.10.): (1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs) sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung; (2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren; (3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2. (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/ %ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht); Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs. - Board-Board:
/srv/fleet-board(mp0) —/digest-*.md(CEO-final),challenges/,inbox/. Owner liest dort freizügig. - Kadenz (A7):
/etc/cron.d/fleet-meetingim CEO-CT — werktäglich 09:00 Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail. - SC6-Watchdog: Hermes-Cron
b28227374068(monitor-Modus, Mo–Fr 08:20 UTC = 09:20 Berlin), Script~/.hermes/scripts/fleet-digest-watch.sh, deliver=all — Alert nur wenn Digest<date>-final.mdfehlt oder fleet-mail inaktiv (OK = deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min: r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte im Repogenesis/board-2026-10-23/, Commit0917144). - Gotcha Detach:
nohup hermes chat &starb lautlos (Exit ohne Log) — niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über den systemd-Poller ist der stabile Weg.
Konventionen & Regeln
- Fleet-Standard-Modelle:
noris/vllm/release/*. Model-Split 25.10. (Owner- Direktive „Last verteilen auf glm5.3, glm flash und deepseek"): CEO/CTO/CISO =glm-5-3(Reasoning-lastig) · CHRO/CMO =glm-5-3-flash· COO/devops =deepseek-v41-flash. Pinned viamodel.defaultje CT-Config (/root/.hermes/config.yaml), Backups.bak-model-split-20261025. PITFALL DeepSeek: V4.1 akzeptiert Hermes' Default-reasoning_effortnicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 → Subagenten failen sofort rc=1. Fix:agent.reasoning_effort: lowin der CT-Config (202/206). PITFALL Hermes-Config-Schema: Feld heißtapi_key(snake_case), nichtapiKey. Flash-Modelle brauchen kein reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung 33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell, Queues drainen. - Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
bifrostverwaltet nur bifrost-*-Objekte. - ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal.
Offene Punkte
- W1-Board-Genehmigung (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner- Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
- Bekannter Defekt (niedrige Prio): Secret
git-schoen-codes-tls(ns gitea) doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround: Registry/CI via git.familie-schoen.com routen. - D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion in Hermes-Configs).
B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
- PB1 Fleet-DB-Zugang CTO: CNPG-Managed-Role
fleet_rw(managed.rolesinclusters/main/agent-fleet/postgres-cnpg.yaml,Agent-Fleet PG fleet_rw;connectionLimit: 10— SINGULAR, CRD v0.21). Grants als Ownerfleet: CONNECT/TEMP auf DB, USAGE/CREATE auf schema public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über rw-LB-VIP 10.0.30.214:5432 (agent-fleet-pg-rw-lb, Cilium lb-ipam). CT 163: postgresql-client +~/.pgpass. Reconciler-Jobs im K8s nutzen internagent-fleet-pg-r…svcstatt VIP. PW-Sofort-Rotation: CNPG zieht Secret-Änderungen nicht sekundenschnell →kubectl exec … psql -U postgres(Socket, ohne -h)ALTER ROLE fleet_rw …(DB-Owner fleet darf KEIN ALTER ROLE). Solutions-Doc:docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md - PB2 openshell_controller-Vertrag v0 (Controller selbst noch nicht
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
API-Doku + Blueprint
hermes-sandboxv1 (hash-gepinnt, sha256a5611966…b3f1, Board:blueprint-hermes-sandbox-v1.yaml) + Machine-Token (1P-Itemopenshell_controller Machine-Token+/root/.secrets/openshell-machine-tokenin CT 163). T08: preset_hash ≠ Blueprint → 422 BLOCK. - PB3 Deploy-Recht NS agent-fleet: SA
cto-deployer+ Role + Token-Secret (clusters/main/agent-fleet/cto-deployer-rbac.yaml), NS- scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default verweigert, Negativ-Tests live). Kubeconfig/root/.kube/config+ kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck: Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad. - Board-Doks:
/srv/fleet-board/b1-fleet-db-input.md,b2-openshell-controller-api-v0.md,b3-deploy-recht-input.md,b1-fleet-schema-dump.sql. Mail an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b123-*.md). - Neu in 1P (Vault Kubernetes ESO):
Agent-Fleet PG fleet_rw,openshell_controller Machine-Token.
B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
- PB4 Bifrost-Admin + Monitoring: Admin-API-Creds an CT 163
(
~/.secrets/bifrost-admin.json, 600). Scope NUR VK-Anlage (/api/governance/virtual-keys); Provider-/Policy-Änderungen TABU. Monitoring read-only: Prometheus 10.0.30.202:9090, Grafana 10.0.30.201:3000, Loki 10.0.30.207:3100 — anonym erreichbar im VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert (Probe-VK sofort wieder gelöscht). - PB5 Test-NS
agent-fleet-test: ArgoCD-Appagent-fleet-test(app-of-appsclusters/main/apps/agent-fleet-test.yaml) — NS + Quota (4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap (ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E). E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe. - PB7 Capacity: Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB, CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail). F-7 Option B (4/8/50) damit formal bestätigt.
- PITFALL ArgoCD (neu): Manifest einer unbekannten CustomResource im
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
not valid"); Dotfiles werden NICHT geskippt; JSON-Patch auf
/status/operationabgelehnt. Fix: File aus App-Pfad entfernen (Content → ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md - Board-Doks:
b4-bifrost-admin-input.md,b5-test-ns-input.md,b7-capacity-input.md; Mails an inbox-cto + inbox-ceo (*-von-eigentuemerproxy-b457-*.md, 13:42).
Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
- Zugang:
http://10.0.30.212(plaintext, kein Browser-Warning) oderhttps://10.0.30.212(TLS, einmalige Self-Signed-Warnung: no-SNI → Traefik-Default-Cert). Kein Client-Zertifikat, kein Login in v1. mTLS-Material (fleet-webui-clientca, Owner-P12) bleibt vorgehalten → v2/OIDC. Nichts gelöscht. - Edge: Intern-only LB
traefik-internal-lb(VIP 10.0.30.212)::443 → 8444(EntryPointwebsecure-internal) und:80 → 8001(NEUER dedizierter PLAINTEXT-EntryPointweb-internal). Warum dediziert: EntryPointweb(8000) ist geteilt mit öffentlichemtraefik-lb(.203) → Catch-all hätte gespooft werden können; dediziert ⇒.203:80mit Host-Spoof → 404 (verifiziert). - IngressRoutes (Git,
clusters/main/agent-fleet/):fleet-webui(HTTPS,PathPrefix(/), middlewarefleet-webui-headers, tlsfleet-webui-tls),fleet-webui-http(EntryPointweb-internal). Provider-Filterproviders.kubernetescrd.ingressClass=traefik⇒ jede IngressRoute brauchttraefik.io/ingress.class: traefik— sonst still ignoriert (404, kein Log). Das war der ursprüngliche Bug. - App: Deployment
fleet-webuienvREQUIRE_CERT_HEADER=0(Backend verlangt keinen Cert-Header mehr);auth_interimin CMfleet-webui-appehrlich = „v1: ip-only, no client-cert". CM hat 2 Keys (server.pysanitize_md.py) —--from-filemuss beide liefern (sonst CrashLoop).
- Noch live-only (CTO-App-Manifest-Lane): Deployment-Env, CM, Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
- Solutions-Doc:
integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md.
Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
- Neue Endpunkte:
/api/org(org.yaml aus CMfleet-webui-org— Kopie vonbeacon-org-yaml, Mount/org, Mini-Parser stdlib-only, fail-loud),/api/live/tokens(Prometheus10.0.30.202:9090,sum by (virtual_key_name)überbifrost_input/output_tokens_totalrate[2m], 10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=v0.2.0-live. - Per-Agent-VKs:
key_ids:["*"]-Fix (s. Solution-Doc bifrost-vk-key- binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke: ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback. - NetPol-Pitfall (2. Mal): Prometheus-VIP .202 per
ipBlock-Egress ⇒ FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:namespaceSelectoraufmonitoring+ Port 9090 — gleiche Klasse wie beacon-Regel. VIPs in Agent-Fleet-NetPol nie per ipBlock erlauben, immer den Backend-NS selektieren. - 24/7-Loop: Cron
konzern-loop(23d4769ec873, alle 15 min seit 23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health, Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh (CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
- Final-State: Package landete mandatkonform in
clusters/main/_archive/webui-v02-backfill/(Commit 478da727, AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox 19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert NICHT, ArgoCD trackt hier per instance-LABEL und scanned_webui-v02trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per- Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück). - INCIDENT (unaufgeklärt): Zwischen 19:47–19:52 wurden alle 6
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
Label-Strippen ODER manueller Delete eines parallelen Actors).
Restore byte-exakt aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
argocd.argoproj.io/compare-options=IgnoreDifference+sync-options=Prune=false,Delete=false. - Parallel-Actor-Race: Zweite aktive Session-Linie fuhr dasselbe Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles, eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden resumed. Regel: niemals davon ausgehen, dass ein Toggle hält; lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
- Open: API-Server-Audit-Logging absent (destruktive Ops ohne Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/ Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
- Fleet-Mail: Zustellung = Datei in inbox-/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
- Service: CT 160 (
10.0.30.161:8081), systemdopenshell-controller.service(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push → systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand). - API: GET /v1/health (200
db:true), GET/POST /v1/sandboxes. Gates verifiziert: T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert); False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellensandboxes(UNIQUE member_id, Broken-Recycle per UPDATE) +provisioning_eventsadditiv. - Blueprint-Pin: BLUEPRINT_SHA256
a5611966…b3f1(Board-Datei live gehasht; CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo…1418…vs…2818…war Bug 1 der Fünf-Bug-Kette (Solution-Doc:docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md). - Pitfalls (verifiziert): (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
ID-Vergabe 200–299 muss
/lxcUND/qemuprüfen (VM 200 mgmt-runner-01 kollidierte);pct listzeigt nur CTs. (2) psql-Empty-Checks brauchen-t -A. (3) JSONB vialit(json.dumps(x)), niejson.dumps(json.dumps(x)). (4) CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,unable to clone mountpoint mp0 type bind) — W1-Klone liefen vor dem Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit). - Aktiver Blocker/Beauftragung: Seed-CT 199 mount-frei via vzdump/restore aus CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben), CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B (4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline: Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
- Blueprint v1.1 ADOPTIERT: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin); Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
- COO „Taylor" LIVE: CT 202, 10.0.30.166 (vlan30), phase=verified (sbx-1792788409-e5306264), Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError → Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
- Controller-Fixes: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging, negative Smoke 422 OK. PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs): PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.
- Pitfalls (live erlebt): pct unlock während Create-Task = Task-Abort; pct mount ohne Zielarg (MP immer /var/lib/lxc//rootfs); Hollow-Confs unsichtbar in Resources-View.
- Offen: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201 (Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
- Lücke: Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) + CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
- Fix (live attach ohne Restart nötig):
pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail+-onboot 1+ Mailbox-Hostdirs 2777 anlegen (/srv/fleet-mail/inbox-<role>/{new,processed}) +pct unmount 202(stale lock). - VK-Injektion CT205: Placeholder
VK-PLACEHOLDER-SET-BY-PROVISIONER→ Wert aus CT161 (whitespace-safe sed-Extraktion, Wert via env in python, kein Logging). - Für jeden künftigen Klon (Kit-Ergänzung): Mailbox-Anlage + mp0/mp1 + onboot=1 +
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
/root/.secrets/openshell-machine-token(64 B — der 1P-Wert ist ein ANDERER/älterer!).
Klammer-VK-Bug (24.10. Tick, gefixt)
- VK-Injektion hinterließ
api_key: <sk-bf-...>(Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK). - Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
- Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"): Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger:
/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md.
Takt-Learnings 24.10. ~09:00 (Tick 13)
- last_task_id Invalid-UTF-8 → Beacon 400: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
- Requeue-Akteur-These fuer CT161 widerlegt: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
- SSH+Heredoc-Pitfall: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
- Owner-Gundsatz [1792824363, dauerhaft]: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
- coo/cmo operabel: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
- Root Cause des Verzugs: Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
- CM-Fix Variante B: fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt +
kubectl -n agent-fleet rollout restart deploy/fleet-webui(App cached Org-Daten Point-in-Time). /api/org schachtelt unterorg.members(nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg. - Daten: topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
- Bau-Routing: CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
- Überwachung: cron
7423f0a98e8f(*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert). - Provenienz-Konflikt (wichtig für Chair-Direktmails): Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
- Pitfalls: APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper . Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
- dd if=X of=X TRUNCATED: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc
sync -f <file>statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host. - Phantom-CT-Mapping: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen
pct listprüfen, bevor Skripte CT-IDs hardcoden. - openshell-controller Unit lebt IM CT 160: Host-Sicht
systemctl is-active= "not-found" (EXPECTED, kein Defekt). Realer Check:pct exec 160 -- systemctl is-active openshell-controller.service+ curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160). - v2.1-Threshold-Activator (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
- E-2-Rollout-Forensik 24.10. abend: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
- research #8 entblockt: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
- CHRO-Config-Lifecycle: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
- E-2 ceo/CT161 LANDED-GRÜN 20:13 (Kit-Lauf CT-Poller; Reassign [1792863449]). nft
fleet_e2(Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10:SSHD_AFTER=$(systemctl is-active ssh || echo unknown)hängt bei rc=3 (stdoutinactive+ Fallbackunknown) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt). - PITFALL (selbst verschulbt, 20:3x):
kubectl patch --type=jsonmit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle:kubectl.kubernetes.io/last-applied-configuration-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4). - Fleet-WebUI Health-Check: https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
- Chair-Session läuft auf hermes-agent-01 (.230) — NICHT auf CT161/ceo. Fleet-CTs via
pct exec(PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
- Struktur:
/srv/fleet-board/value-streams/= register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Templatetemplates/value-stream-template.md. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17). - VS-1 Control Tower (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. VS-2 Agent Excellence (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. Agile Coach COO: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
- Kadenz: min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt
/etc/cron.d/fleet-valuestream(CT 161) → TAKT-Mail an CEO. - WebUI v0.4.3: Tab "Value Streams" (
/api/valuestreams, fail-loud), CMfleet-webui-valuestreams(register/ideen/release-notes.md), Volume-Mount/board/value-streams. Sync:/usr/local/bin/fleet-vs-sync.shauf CT 163 (Board → CM). CSS-Original:/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css(PITFALL: jsonpath-Abfrage von Keys mit Punkten wiestyle.cssliefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten). - B3-Vollzug: E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel
b3-k8s-api) erweitert + reboot-Persistenz (/etc/fleet-e2-egress.nft+ systemdfleet-e2-egress.service) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf machtflush ruleset). CTO hat kubectl, deployt WebUI-Content autonom.