124 lines
7.0 KiB
Markdown
124 lines
7.0 KiB
Markdown
---
|
||
title: Agent-Fleet
|
||
category: systems
|
||
status: active
|
||
created: 2026-10-22
|
||
updated: 2026-10-22
|
||
---
|
||
|
||
# Agent-Fleet (Multi-Agent-Plattform)
|
||
|
||
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
|
||
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
|
||
|
||
## Repos & Struktur
|
||
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
|
||
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
|
||
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
|
||
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
|
||
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
|
||
|
||
## K8s-Basis (Namespace agent-fleet)
|
||
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
|
||
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
|
||
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
|
||
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
|
||
`agent-fleet-bifrost` (Helm, sync-wave 2).
|
||
|
||
## LLM-Ingress: Bifrost (A3', produktiv)
|
||
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
|
||
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
|
||
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
|
||
- Provider `noris`: custom provider, `base_provider_type: openai`,
|
||
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
|
||
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
|
||
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
|
||
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
|
||
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
|
||
ist eine echte Route).
|
||
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
|
||
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
|
||
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
|
||
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
|
||
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
|
||
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
|
||
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
|
||
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
|
||
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
|
||
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
|
||
1P-Referenz bleibt über Rollouts stabil.
|
||
|
||
## 1P-Items (Vault „Kubernetes ESO")
|
||
| Item | Zweck | Feld(er) |
|
||
|---|---|---|
|
||
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
|
||
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
|
||
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
|
||
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
|
||
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
|
||
|
||
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
|
||
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
|
||
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
|
||
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
|
||
Important-Fixes committed `b3b4b9f`).
|
||
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
|
||
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
|
||
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
|
||
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
|
||
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
|
||
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
|
||
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
|
||
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
|
||
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
|
||
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
|
||
(Strict-Org-Gate live) · Prometheus-Target UP.
|
||
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
|
||
ciso, chro) — Quelle: Phase-0-Plan Task E1.
|
||
|
||
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
|
||
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
|
||
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
|
||
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
|
||
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
|
||
SSH `root@10.0.20.92` + `pct push/exec 161`.
|
||
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
|
||
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
|
||
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
|
||
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
|
||
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
|
||
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
|
||
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
|
||
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
|
||
(task_id board-w1-memo) + Prometheus.
|
||
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
|
||
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
|
||
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
|
||
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
|
||
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
|
||
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
|
||
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
|
||
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
|
||
**Liegt zur Genehmigung beim Owner.**
|
||
|
||
## Konventionen & Regeln
|
||
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
|
||
über Aliase im VK oder weitere VKs).
|
||
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
|
||
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
|
||
`bifrost` verwaltet nur bifrost-*-Objekte.
|
||
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
|
||
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
|
||
|
||
## Offene Punkte
|
||
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
|
||
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
|
||
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
|
||
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
|
||
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
|
||
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
|
||
Registry/CI via git.familie-schoen.com routen.
|
||
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
|
||
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
|
||
in Hermes-Configs).
|