Auto-sync: 2026-10-22
This commit is contained in:
@@ -48,6 +48,7 @@
|
||||
- [[systems/schoenkitchen]] — Essensplanungs-App: FastAPI:8420, CT99999-Traefik, Jinja2-Pitfall (aus nutri-L0 ausgelagert 10/2026)
|
||||
- [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026)
|
||||
- [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen)
|
||||
- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026)
|
||||
|
||||
## Concepts
|
||||
- [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs
|
||||
|
||||
@@ -1,5 +1,24 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas
|
||||
- B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target `beacon` UP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest.
|
||||
- SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats).
|
||||
- ARGOCD-GOTCHA: Sync-Operation wartet bei sync-wave-Health-Gating ENDLOS auf ein mid-sync gelöschtes Objekt; /operation-Removal per JSON-Patch wird abgelehnt (invalid), Retry weckt die alte Operation. Zuverlässiger Unlock = Supersede via neue Revision (kosmetischer Annotation-Bump + Push, hier Commit ecbef3c). Regel: Wave-Objekte nie löschen, solange eine Operation wartet.
|
||||
- ESO-GOTCHA: Brandneues ExternalSecret wurde vom 18d alten Controller ignoriert (0 Reconciles, keine Conditions); nach `rollout restart deployment/external-secrets` + Re-Apply instant sync <10s. Probe-ES in 2 Namespaces bewies Controller/Store intakt. Causality nicht sauber isoliert (ArgoCD-Wedge überlagerte) — Verdacht stale Watches.
|
||||
- REGISTRY-FLAKE-RCA: CI-Run 94 starb am größten Blob (Gitea PutBlobsUpload 500 unexpected EOF), manuelles docker push DESSELBEN Images aus DEMSELBEN dind-Daemon ging sofort durch → transienter Hairpin-Flaker, Workflow (klassisches build+push, GW aus /proc/net/route) unverändert korrekt.
|
||||
- iac-homelab: beacon.yaml + beacon-registry-pull.yaml (ESO←1P `SchoenKitchen Registry Pull`, dockerconfigjson) + ecbef3c via canonical; ArgoCD-App Synced/Healthy.
|
||||
- Solution Doc: bug-fixes/2026-10-22-argocd-stuck-sync-wave-health-gate.md; Wiki systems/agent-fleet.md (Beacon produktiv, Offene Punkte aktualisiert).
|
||||
|
||||
## [2026-10-22] agent-fleet-phase0 | Bifrost-LLM-Ingress live (LiteLLM-Pivot) + Beacon v0 approved
|
||||
- PIVOT: Nutzer-Entscheidung „Bifrost statt LiteLLM" — ai.noris.de ist selbst Bifrost-Gateway (gleicher Upstream-Dialekt). Plan-Doc im agent-fleet-Repo mit Pivot-Vermerk gepatcht (LiteLLM-Abschnitte A3/A4 superseded), Commit 2663870.
|
||||
- A3' FERTIG: maximhq/bifrost (Chart 2.1.45, app v2.3.1) als StatefulSet bifrost-0 im NS agent-fleet, VIP 10.0.30.210:8080 (cilium lb-ipam), SQLite auf ceph-flash PVC 5Gi. Provider noris (openai-Dialekt → ai.noris.de), Key via ESO aus bestehendem 1P noris-api-key (kein Dupe). E2E-Inference verifiziert.
|
||||
- MODELL-POLICY (Nutzer-Regeln 22.10.): VK vk-fleet erlaubt NUR vllm/release/* (regex ^(noris/)?vllm/release/.*), deny-by-default, kein qsu, keine Anthropic-Modelle, kein Budget-Cap (A10). Live getestet: qsu→403, anthropic→403, release→200 (glm-5-3 + flash). VK-Wert in 1P 'Agent-Fleet Fleet-vkey' (Feld credential); Bifrost regeneriert VK-Secret bei Config-Changes NICHT.
|
||||
- METRICS-FALLE: /metrics liegt HINTER der Auth-Middleware (Pivot-Annahme widerlegt) → ServiceMonitor im NS agent-fleet mit basicAuth gegen bifrost-admin; Prometheus-Target UP. Weitere Fallen: SPA-Fallback fälscht HTTP 200 (nur application/json = echte Route), Modellnamen brauchen noris/-Präfix, ArgoCD-CLI vom Host tot (ClusterIP) → Refresh via kubectl annotate.
|
||||
- B1 FERTIG: Beacon-Scaffold (Heartbeat-API, /metrics, 10 Tests) — Review APPROVED, beide Important-Funde gefixt (Int-Coercion 400 statt 500, Prom-Label-Escaping), Commits 5660738+b3b4b9f im agent-fleet-Repo (lokal).
|
||||
- iac-homelab: Commits 24da51d→c761e8a→ad04ff5→fcb5a05 via Remote canonical (SSH); alle ArgoCD-Apps Synced/Healthy.
|
||||
- Solution Doc: integration/2026-10-22-bifrost-helm-deployment-gotchas.md; Wiki NEU: systems/agent-fleet.md.
|
||||
- OFFEN: B2 (Beacon-Deploy: Image-Build, Manifeste, schema.sql→CNPG), D1 (CT fleet-control), Governor-Skeleton, Tier-Aliase heavy/default/light.
|
||||
|
||||
## [2026-10-21] evcc-alwayscharge | Nächtliches Netzladen der SMA-Wallbox: stiller UI-Override als Root Cause
|
||||
- SYMPTOM: Kona lud über Nacht dauerhaft ~3,5 kW Netzstrom (2 Nächte, 74 kWh, ~24 €). evcc-Log zeigte 0 W — weil das vorgelegte Log erst NACH einem evcc-Restart begann (Sessions enden/starten bei Restarts!). Beweis führte erst `/api/sessions`: Zähler 4041,459→4084,424 kWh exakt über das Nachtfenster.
|
||||
- ROOT CAUSE: `alwaysCharge=on` (evcc-UI „Mit min. laden ∞"), versehentlich 14.10. 19:53 gesetzt — übersteuert smart/PV-Modus still; das Log begründet NIE, warum geladen wird. Technische Ansteuerung (HA-Template-Charger) war korrekt. Fix: `select.evcc_wallbox_always_charge`→off, doppelt verifiziert (HA-State + evcc-API).
|
||||
@@ -565,3 +584,4 @@
|
||||
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5 %, Muskulatur 61,2 kg, Wasser 50,8 %, Knochen 3,24 kg. Kette: 92,4 (10.10.) → 92,7 (15.10.) → 93,1 (19.10.). Memory-Fragment "dd14, 92,1 NEW LOW" ließ sich weder in HA noch in Sessions reproduzieren → als unbestätigt markiert, aus Telemetrie-Fragment entfernt.
|
||||
- Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0).
|
||||
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
|
||||
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
|
||||
|
||||
@@ -0,0 +1,123 @@
|
||||
---
|
||||
title: Agent-Fleet
|
||||
category: systems
|
||||
status: active
|
||||
created: 2026-10-22
|
||||
updated: 2026-10-22
|
||||
---
|
||||
|
||||
# Agent-Fleet (Multi-Agent-Plattform)
|
||||
|
||||
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
|
||||
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
|
||||
|
||||
## Repos & Struktur
|
||||
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
|
||||
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
|
||||
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
|
||||
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
|
||||
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
|
||||
|
||||
## K8s-Basis (Namespace agent-fleet)
|
||||
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
|
||||
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
|
||||
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
|
||||
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
|
||||
`agent-fleet-bifrost` (Helm, sync-wave 2).
|
||||
|
||||
## LLM-Ingress: Bifrost (A3', produktiv)
|
||||
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
|
||||
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
|
||||
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
|
||||
- Provider `noris`: custom provider, `base_provider_type: openai`,
|
||||
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
|
||||
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
|
||||
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
|
||||
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
|
||||
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
|
||||
ist eine echte Route).
|
||||
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
|
||||
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
|
||||
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
|
||||
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
|
||||
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
|
||||
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
|
||||
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
|
||||
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
|
||||
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
|
||||
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
|
||||
1P-Referenz bleibt über Rollouts stabil.
|
||||
|
||||
## 1P-Items (Vault „Kubernetes ESO")
|
||||
| Item | Zweck | Feld(er) |
|
||||
|---|---|---|
|
||||
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
|
||||
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
|
||||
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
|
||||
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
|
||||
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
|
||||
|
||||
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
|
||||
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
|
||||
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
|
||||
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
|
||||
Important-Fixes committed `b3b4b9f`).
|
||||
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
|
||||
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
|
||||
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
|
||||
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
|
||||
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
|
||||
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
|
||||
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
|
||||
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
|
||||
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
|
||||
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
|
||||
(Strict-Org-Gate live) · Prometheus-Target UP.
|
||||
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
|
||||
ciso, chro) — Quelle: Phase-0-Plan Task E1.
|
||||
|
||||
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
|
||||
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
|
||||
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
|
||||
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
|
||||
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
|
||||
SSH `root@10.0.20.92` + `pct push/exec 161`.
|
||||
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
|
||||
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
|
||||
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
|
||||
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
|
||||
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
|
||||
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
|
||||
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
|
||||
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
|
||||
(task_id board-w1-memo) + Prometheus.
|
||||
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
|
||||
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
|
||||
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
|
||||
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
|
||||
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
|
||||
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
|
||||
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
|
||||
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
|
||||
**Liegt zur Genehmigung beim Owner.**
|
||||
|
||||
## Konventionen & Regeln
|
||||
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
|
||||
über Aliase im VK oder weitere VKs).
|
||||
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
|
||||
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
|
||||
`bifrost` verwaltet nur bifrost-*-Objekte.
|
||||
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
|
||||
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
|
||||
|
||||
## Offene Punkte
|
||||
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
|
||||
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
|
||||
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
|
||||
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
|
||||
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
|
||||
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
|
||||
Registry/CI via git.familie-schoen.com routen.
|
||||
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
|
||||
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
|
||||
in Hermes-Configs).
|
||||
Reference in New Issue
Block a user