From c26664e20279da514e57a0c79994ced04f5bd33f Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Thu, 22 Oct 2026 22:00:42 +0000 Subject: [PATCH] Auto-sync: 2026-10-22 --- index.md | 1 + log.md | 20 +++++++ systems/agent-fleet.md | 123 +++++++++++++++++++++++++++++++++++++++++ 3 files changed, 144 insertions(+) create mode 100644 systems/agent-fleet.md diff --git a/index.md b/index.md index 19bf699..ef9b83a 100644 --- a/index.md +++ b/index.md @@ -48,6 +48,7 @@ - [[systems/schoenkitchen]] — Essensplanungs-App: FastAPI:8420, CT99999-Traefik, Jinja2-Pitfall (aus nutri-L0 ausgelagert 10/2026) - [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026) - [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen) +- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026) ## Concepts - [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs diff --git a/log.md b/log.md index ad1a17e..87f2163 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,24 @@ # Memory Log +## [2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas +- B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target `beacon` UP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest. +- SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats). +- ARGOCD-GOTCHA: Sync-Operation wartet bei sync-wave-Health-Gating ENDLOS auf ein mid-sync gelöschtes Objekt; /operation-Removal per JSON-Patch wird abgelehnt (invalid), Retry weckt die alte Operation. Zuverlässiger Unlock = Supersede via neue Revision (kosmetischer Annotation-Bump + Push, hier Commit ecbef3c). Regel: Wave-Objekte nie löschen, solange eine Operation wartet. +- ESO-GOTCHA: Brandneues ExternalSecret wurde vom 18d alten Controller ignoriert (0 Reconciles, keine Conditions); nach `rollout restart deployment/external-secrets` + Re-Apply instant sync <10s. Probe-ES in 2 Namespaces bewies Controller/Store intakt. Causality nicht sauber isoliert (ArgoCD-Wedge überlagerte) — Verdacht stale Watches. +- REGISTRY-FLAKE-RCA: CI-Run 94 starb am größten Blob (Gitea PutBlobsUpload 500 unexpected EOF), manuelles docker push DESSELBEN Images aus DEMSELBEN dind-Daemon ging sofort durch → transienter Hairpin-Flaker, Workflow (klassisches build+push, GW aus /proc/net/route) unverändert korrekt. +- iac-homelab: beacon.yaml + beacon-registry-pull.yaml (ESO←1P `SchoenKitchen Registry Pull`, dockerconfigjson) + ecbef3c via canonical; ArgoCD-App Synced/Healthy. +- Solution Doc: bug-fixes/2026-10-22-argocd-stuck-sync-wave-health-gate.md; Wiki systems/agent-fleet.md (Beacon produktiv, Offene Punkte aktualisiert). + +## [2026-10-22] agent-fleet-phase0 | Bifrost-LLM-Ingress live (LiteLLM-Pivot) + Beacon v0 approved +- PIVOT: Nutzer-Entscheidung „Bifrost statt LiteLLM" — ai.noris.de ist selbst Bifrost-Gateway (gleicher Upstream-Dialekt). Plan-Doc im agent-fleet-Repo mit Pivot-Vermerk gepatcht (LiteLLM-Abschnitte A3/A4 superseded), Commit 2663870. +- A3' FERTIG: maximhq/bifrost (Chart 2.1.45, app v2.3.1) als StatefulSet bifrost-0 im NS agent-fleet, VIP 10.0.30.210:8080 (cilium lb-ipam), SQLite auf ceph-flash PVC 5Gi. Provider noris (openai-Dialekt → ai.noris.de), Key via ESO aus bestehendem 1P noris-api-key (kein Dupe). E2E-Inference verifiziert. +- MODELL-POLICY (Nutzer-Regeln 22.10.): VK vk-fleet erlaubt NUR vllm/release/* (regex ^(noris/)?vllm/release/.*), deny-by-default, kein qsu, keine Anthropic-Modelle, kein Budget-Cap (A10). Live getestet: qsu→403, anthropic→403, release→200 (glm-5-3 + flash). VK-Wert in 1P 'Agent-Fleet Fleet-vkey' (Feld credential); Bifrost regeneriert VK-Secret bei Config-Changes NICHT. +- METRICS-FALLE: /metrics liegt HINTER der Auth-Middleware (Pivot-Annahme widerlegt) → ServiceMonitor im NS agent-fleet mit basicAuth gegen bifrost-admin; Prometheus-Target UP. Weitere Fallen: SPA-Fallback fälscht HTTP 200 (nur application/json = echte Route), Modellnamen brauchen noris/-Präfix, ArgoCD-CLI vom Host tot (ClusterIP) → Refresh via kubectl annotate. +- B1 FERTIG: Beacon-Scaffold (Heartbeat-API, /metrics, 10 Tests) — Review APPROVED, beide Important-Funde gefixt (Int-Coercion 400 statt 500, Prom-Label-Escaping), Commits 5660738+b3b4b9f im agent-fleet-Repo (lokal). +- iac-homelab: Commits 24da51d→c761e8a→ad04ff5→fcb5a05 via Remote canonical (SSH); alle ArgoCD-Apps Synced/Healthy. +- Solution Doc: integration/2026-10-22-bifrost-helm-deployment-gotchas.md; Wiki NEU: systems/agent-fleet.md. +- OFFEN: B2 (Beacon-Deploy: Image-Build, Manifeste, schema.sql→CNPG), D1 (CT fleet-control), Governor-Skeleton, Tier-Aliase heavy/default/light. + ## [2026-10-21] evcc-alwayscharge | Nächtliches Netzladen der SMA-Wallbox: stiller UI-Override als Root Cause - SYMPTOM: Kona lud über Nacht dauerhaft ~3,5 kW Netzstrom (2 Nächte, 74 kWh, ~24 €). evcc-Log zeigte 0 W — weil das vorgelegte Log erst NACH einem evcc-Restart begann (Sessions enden/starten bei Restarts!). Beweis führte erst `/api/sessions`: Zähler 4041,459→4084,424 kWh exakt über das Nachtfenster. - ROOT CAUSE: `alwaysCharge=on` (evcc-UI „Mit min. laden ∞"), versehentlich 14.10. 19:53 gesetzt — übersteuert smart/PV-Modus still; das Log begründet NIE, warum geladen wird. Technische Ansteuerung (HA-Template-Charger) war korrekt. Fix: `select.evcc_wallbox_always_charge`→off, doppelt verifiziert (HA-State + evcc-API). @@ -565,3 +584,4 @@ - Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5 %, Muskulatur 61,2 kg, Wasser 50,8 %, Knochen 3,24 kg. Kette: 92,4 (10.10.) → 92,7 (15.10.) → 93,1 (19.10.). Memory-Fragment "dd14, 92,1 NEW LOW" ließ sich weder in HA noch in Sessions reproduzieren → als unbestätigt markiert, aus Telemetrie-Fragment entfernt. - Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0). - DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert. +- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md. diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md new file mode 100644 index 0000000..a1884c8 --- /dev/null +++ b/systems/agent-fleet.md @@ -0,0 +1,123 @@ +--- +title: Agent-Fleet +category: systems +status: active +created: 2026-10-22 +updated: 2026-10-22 +--- + +# Agent-Fleet (Multi-Agent-Plattform) + +Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem +LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut. + +## Repos & Struktur +- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML, + Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`, + inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded). +- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste. + Push via `git push canonical HEAD:main` (HTTPS-Auth defekt). + +## K8s-Basis (Namespace agent-fleet) +- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests). +- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für + Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo). +- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und + `agent-fleet-bifrost` (Helm, sync-wave 2). + +## LLM-Ingress: Bifrost (A3', produktiv) +- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`, + NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam). +- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet). +- Provider `noris`: custom provider, `base_provider_type: openai`, + `base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret + `bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert). +- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`), + Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`. + **ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json + ist eine echte Route). +- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`. + Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal, + keine Anthropic-Modelle. Kodiert als Regex-Allowlist + `^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`, + deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10). +- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** → + ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit + basicAuth gegen `bifrost-admin`. Prometheus-Target UP. +- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld + `credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT — + 1P-Referenz bleibt über Rollouts stabil. + +## 1P-Items (Vault „Kubernetes ESO") +| Item | Zweck | Feld(er) | +|---|---|---| +| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password | +| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key | +| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential | +| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) | +| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential | + +## Beacon (B1+B2, PRODUKTIV seit 22.10.) +FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics +(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`, +`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED, +Important-Fixes committed `b3b4b9f`). +- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` + + `beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`, + dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica + (100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`. +- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow + build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am + größten Blob, manuelles docker push aus demselben Daemon ging sofort). +- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples — + inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten). +- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403 + (Strict-Org-Gate live) · Prometheus-Target UP. +- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto, + ciso, chro) — Quelle: Phase-0-Plan Task E1. + +## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018) +- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/ + **20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter + `:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut). + Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`, + SSH `root@10.0.20.92` + `pct push/exec 161`. +- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider + `bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine + Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost + verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log). +- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer + `ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud); + Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`; + BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats` + (task_id board-w1-memo) + Prometheus. +- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen + Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md` + (Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml` + (= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`. +- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z., + MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO + „Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL → + sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. + **Liegt zur Genehmigung beim Owner.** + +## Konventionen & Regeln +- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später + über Aliase im VK oder weitere VKs). +- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting). +- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release + `bifrost` verwaltet nur bifrost-*-Objekte. +- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via + `kubectl -n argocd annotate application argocd.argoproj.io/refresh=normal`. + +## Offene Punkte +- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner- + Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro). +- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics. +- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK. +- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea) + doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround: + Registry/CI via git.familie-schoen.com routen. +- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden + („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion + in Hermes-Configs).