463 lines
41 KiB
Markdown
463 lines
41 KiB
Markdown
---
|
||
title: Agent-Fleet
|
||
category: systems
|
||
status: active
|
||
created: 2026-10-22
|
||
updated: 2026-10-23
|
||
---
|
||
|
||
# Agent-Fleet (Multi-Agent-Plattform)
|
||
|
||
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
|
||
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
|
||
|
||
## Repos & Struktur
|
||
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
|
||
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
|
||
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
|
||
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
|
||
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
|
||
|
||
## K8s-Basis (Namespace agent-fleet)
|
||
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
|
||
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
|
||
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
|
||
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
|
||
`agent-fleet-bifrost` (Helm, sync-wave 2).
|
||
|
||
## LLM-Ingress: Bifrost (A3', produktiv)
|
||
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
|
||
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
|
||
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
|
||
- Provider `noris`: custom provider, `base_provider_type: openai`,
|
||
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
|
||
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
|
||
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
|
||
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
|
||
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
|
||
ist eine echte Route).
|
||
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
|
||
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
|
||
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
|
||
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
|
||
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
|
||
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
|
||
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
|
||
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
|
||
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
|
||
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
|
||
1P-Referenz bleibt über Rollouts stabil.
|
||
|
||
## 1P-Items (Vault „Kubernetes ESO")
|
||
| Item | Zweck | Feld(er) |
|
||
|---|---|---|
|
||
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
|
||
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
|
||
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
|
||
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
|
||
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
|
||
|
||
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
|
||
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
|
||
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
|
||
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
|
||
Important-Fixes committed `b3b4b9f`).
|
||
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
|
||
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
|
||
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
|
||
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
|
||
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
|
||
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
|
||
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
|
||
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
|
||
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
|
||
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
|
||
(Strict-Org-Gate live) · Prometheus-Target UP.
|
||
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
|
||
ciso, chro) — Quelle: Phase-0-Plan Task E1.
|
||
|
||
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
|
||
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
|
||
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
|
||
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
|
||
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
|
||
SSH `root@10.0.20.92` + `pct push/exec 161`.
|
||
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
|
||
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
|
||
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
|
||
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
|
||
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
|
||
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
|
||
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
|
||
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
|
||
(task_id board-w1-memo) + Prometheus.
|
||
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
|
||
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
|
||
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
|
||
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
|
||
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
|
||
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
|
||
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
|
||
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
|
||
**Liegt zur Genehmigung beim Owner.**
|
||
|
||
## Board-Sandboxes W1 (23.10. — A16/ADR-019)
|
||
- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
|
||
- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
|
||
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
|
||
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
|
||
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
|
||
- **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
|
||
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
|
||
|
||
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
|
||
- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail`
|
||
mit `inbox-<agent>/{new,processed}` je Agent (ceo/cto/ciso/chro), via
|
||
`pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet
|
||
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
|
||
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
|
||
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
|
||
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.7 (25.10. früh)** —
|
||
v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP
|
||
25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname-
|
||
Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst
|
||
erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE
|
||
Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade**
|
||
(ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss →
|
||
Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein
|
||
Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen:
|
||
Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt
|
||
ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation
|
||
am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16
|
||
regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO
|
||
43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der
|
||
Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 +
|
||
Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert
|
||
nur bei <K laufenden hermes-Calls; Waisen-`timeout 1500`-Kinder
|
||
überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur
|
||
`<Nr>=P<n>`; Poller mappt lokal auf Dateinamen zurück — Output-15×-
|
||
Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot
|
||
warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort
|
||
verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
|
||
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
|
||
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
|
||
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
|
||
(timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard
|
||
v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie-
|
||
Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach
|
||
syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle
|
||
<agent> n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet-
|
||
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
|
||
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
|
||
Restart killt Waisen-Subagenten via pkill "timeout 1500".
|
||
- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1
|
||
agent-spezifisch („Du bist <agent> (<Rolle>)…"), Kontext CHARTER/spec/org,
|
||
dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.):
|
||
(1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs)
|
||
sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung;
|
||
(2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren;
|
||
(3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins
|
||
eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2.
|
||
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
||
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
||
Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/
|
||
%ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht);
|
||
Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
|
||
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
|
||
`challenges/`, `inbox/`. Owner liest dort freizügig.
|
||
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
|
||
Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht
|
||
in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
|
||
- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC
|
||
= 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all —
|
||
Alert nur wenn Digest `<date>-final.md` fehlt oder fleet-mail inaktiv (OK =
|
||
deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min:
|
||
r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte
|
||
im Repo `genesis/board-2026-10-23/`, Commit `0917144`).
|
||
- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) —
|
||
niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über
|
||
den systemd-Poller ist der stabile Weg.
|
||
|
||
## Konventionen & Regeln
|
||
- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner-
|
||
Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):**
|
||
CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` ·
|
||
COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config
|
||
(`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`.
|
||
**PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort`
|
||
nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 →
|
||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der
|
||
CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt
|
||
`api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein
|
||
reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung
|
||
33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell,
|
||
Queues drainen.
|
||
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
|
||
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
|
||
`bifrost` verwaltet nur bifrost-*-Objekte.
|
||
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
|
||
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
|
||
|
||
## Offene Punkte
|
||
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
|
||
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
|
||
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
|
||
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
|
||
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
|
||
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
|
||
Registry/CI via git.familie-schoen.com routen.
|
||
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
|
||
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
|
||
in Hermes-Configs).
|
||
|
||
## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
|
||
- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`**
|
||
(`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`,
|
||
`Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21).
|
||
Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema
|
||
public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über
|
||
**rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam).
|
||
CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen
|
||
intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG
|
||
zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U
|
||
postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf
|
||
KEIN ALTER ROLE). Solutions-Doc:
|
||
`docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md`
|
||
- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht
|
||
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
|
||
API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256
|
||
`a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) +
|
||
**Machine-Token** (1P-Item `openshell_controller Machine-Token` +
|
||
`/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠
|
||
Blueprint → 422 BLOCK.
|
||
- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role +
|
||
Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS-
|
||
scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default
|
||
verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` +
|
||
kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck:
|
||
Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
|
||
- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`,
|
||
`b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`,
|
||
`b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo
|
||
(`*-von-eigentuemerproxy-b123-*.md`).
|
||
- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`,
|
||
`openshell_controller Machine-Token`.
|
||
|
||
## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
|
||
- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163
|
||
(`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage
|
||
(`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU.
|
||
Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana
|
||
**10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im
|
||
VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert
|
||
(Probe-VK sofort wieder gelöscht).
|
||
- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test`
|
||
(app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota
|
||
(4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap
|
||
(ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E).
|
||
E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
|
||
- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB,
|
||
CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail).
|
||
F-7 Option B (4/8/50) damit formal bestätigt.
|
||
- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im
|
||
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
|
||
not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf
|
||
`/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content
|
||
→ ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:
|
||
`integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md`
|
||
- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`,
|
||
`b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo
|
||
(`*-von-eigentuemerproxy-b457-*.md`, 13:42).
|
||
|
||
## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
|
||
- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder**
|
||
`https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI →
|
||
Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1.
|
||
mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten →
|
||
v2/OIDC. Nichts gelöscht.
|
||
- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**):
|
||
`:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001`
|
||
(NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum
|
||
dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem
|
||
`traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert
|
||
⇒ `.203:80` mit Host-Spoof → 404 (verifiziert).
|
||
- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui`
|
||
(HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls
|
||
`fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`).
|
||
Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede**
|
||
IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still
|
||
ignoriert (404, kein Log). Das war der ursprüngliche Bug.
|
||
- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend
|
||
verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app`
|
||
ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py`
|
||
+ `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop).
|
||
- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM,
|
||
Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind
|
||
Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
|
||
- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`.
|
||
|
||
## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
|
||
- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie
|
||
von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud),
|
||
`/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by
|
||
(virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m],
|
||
10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`.
|
||
- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key-
|
||
binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke:
|
||
ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
|
||
- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒
|
||
FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:
|
||
`namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie
|
||
beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben,
|
||
immer den Backend-NS selektieren.
|
||
- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit
|
||
23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health,
|
||
Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh
|
||
(CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
|
||
|
||
## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
|
||
- **Final-State:** Package landete mandatkonform in
|
||
`clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**,
|
||
AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox
|
||
19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert
|
||
NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02`
|
||
trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per-
|
||
Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
|
||
- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6
|
||
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
|
||
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
|
||
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
|
||
Label-Strippen ODER manueller Delete eines parallelen Actors).
|
||
**Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
|
||
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
|
||
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
|
||
`argocd.argoproj.io/compare-options=IgnoreDifference` +
|
||
`sync-options=Prune=false,Delete=false`.
|
||
- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe
|
||
Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles,
|
||
eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden
|
||
resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**;
|
||
lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
|
||
- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne
|
||
Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/
|
||
Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
|
||
|
||
|
||
## Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
|
||
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
|
||
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
|
||
- Fleet-Mail: Zustellung = Datei in inbox-<role>/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
|
||
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
|
||
|
||
## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
|
||
- **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service`
|
||
(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth
|
||
fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push →
|
||
systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
|
||
- **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert:
|
||
T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert);
|
||
False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes`
|
||
(UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv.
|
||
- **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht;
|
||
CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…`
|
||
war Bug 1 der Fünf-Bug-Kette (Solution-Doc:
|
||
`docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`).
|
||
- **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
|
||
ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01
|
||
kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`.
|
||
(3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4)
|
||
CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,
|
||
`unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem
|
||
Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
|
||
- **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus
|
||
CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben),
|
||
CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B
|
||
(4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline:
|
||
Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
|
||
|
||
## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
|
||
- **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin);
|
||
Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
|
||
- **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264),
|
||
Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError
|
||
→ Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
|
||
- **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging,
|
||
negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs):
|
||
PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.**
|
||
- **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount <vmid>
|
||
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
|
||
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
|
||
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
|
||
|
||
## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
|
||
- **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) +
|
||
CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur
|
||
W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
|
||
- **Fix (live attach ohne Restart nötig):** `pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board
|
||
-mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen
|
||
(`/srv/fleet-mail/inbox-<role>/{new,processed}`) + `pct unmount 202` (stale lock).
|
||
- **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161
|
||
(whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
|
||
- **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 +
|
||
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
|
||
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
|
||
`/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!).
|
||
## Klammer-VK-Bug (24.10. Tick, gefixt)
|
||
- VK-Injektion hinterließ `api_key: <sk-bf-...>` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
|
||
- Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
|
||
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
|
||
- **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`.
|
||
|
||
## Takt-Learnings 24.10. ~09:00 (Tick 13)
|
||
- **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
|
||
- **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
|
||
- **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
|
||
- **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
|
||
- **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
|
||
|
||
## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
|
||
- **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
|
||
- **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
|
||
- **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
|
||
- **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
|
||
- **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
|
||
- **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
|
||
- **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
|
||
|
||
|
||
## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
|
||
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
|
||
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
|
||
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper <inbox> <pfad>. Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
|
||
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
|
||
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
|
||
|
||
## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
|
||
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
|
||
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
|
||
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
|
||
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
|
||
|
||
## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
|
||
- **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f <file>` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
|
||
- **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden.
|
||
- **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
|
||
- **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
|
||
- **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
|
||
- **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
|
||
- **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
|
||
|
||
## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
|
||
- **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
|
||
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
|
||
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
|
||
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
|
||
|
||
## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
|
||
- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
|
||
- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
|
||
- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO.
|
||
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
|
||
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.
|
||
|