1686 lines
149 KiB
Markdown
1686 lines
149 KiB
Markdown
---
|
||
title: Agent-Fleet
|
||
category: systems
|
||
status: active
|
||
created: 2026-10-22
|
||
updated: 2026-10-29
|
||
---
|
||
|
||
# Agent-Fleet (Multi-Agent-Plattform)
|
||
|
||
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
|
||
LLM-Chokepoint und objektiver Telemetrie.
|
||
|
||
> **STATUS 25.10.2026:** Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206)
|
||
> per Q8a-GO **EINGEFROREN** (Crons `.frozen-20261025`, Protokoll
|
||
> `/srv/fleet-board-freeze/` auf PVE); Deprovisionierung erst nach Phase-1-Grün.
|
||
> **Aktiv ist der Rebuild v2.5** (lebende Verfassung, Commit 391c9fa): 9 Agenten
|
||
> (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter
|
||
> cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truth
|
||
> `iac-homelab/clusters/main/fleet-truth/org.yaml`. Dieser Wiki-Abschnitt
|
||
> **Iteration-1-Betrieb** ist historisch (CTs, Poller, WebUI v0.x, B-Inputs,
|
||
> Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt
|
||
> „Fleet-Rebuild v2.5 (Phase 0)" unten.
|
||
|
||
> **NACHTRAG 01.11.2026 — vs-ual + sec-ops gemergt, Org-Quellen DRIFTEN:**
|
||
> Merge-Kommissionen #9/#10 sind nach `main` durch (ArgoCD-Pfad, nicht HTTPS!):
|
||
> `f6ef8e3..5af61ec`, rein additiv, 3 Dateien/+118 Zeilen. Live belegt:
|
||
> App `agent-fleet` `Synced @5af61ecd…` health=Healthy; ConfigMap
|
||
> `beacon-org-yaml` enthält `id: vs-ual` (parent cto, caps 2/5, hrp-vs-ual-v1)
|
||
> und `id: sec-ops` (parent ciso, caps 0/0, hrp-sec-ops-v1); `fleet-webui-org`
|
||
> mitgezogen (Org-Chart zeigt beide).
|
||
> **ABER:** Es gibt ZWEI Org-Quellen mit verschiedenem Schema —
|
||
> `agent-fleet/beacon.yaml` (Schema `id`/`caps`, **wird deployed**, jetzt 10
|
||
> Members) und `fleet-truth/org.yaml` (Schema `agent_id`, deklariert sich als
|
||
> einzige Wahrheit fuer Struktur, **9 Members, ohne vs-ual/sec-ops, dafür MIT
|
||
> `agile-coach`**, das im Deploy fehlt). Kein Konsument der Truth-Datei im Repo
|
||
> gefunden. Kanon-Frage liegt beim Chair (Fail-loud-Mail
|
||
> `ownerlane-failloud-org-quellen-drift-2026-11-01.md`); Truth-Datei wurde
|
||
> bewusst NICHT eigenmächtig nachgezogen.
|
||
> **Status ehrlich: 10 Rollen definiert/deployt · 9 in der Truth-Datei ·
|
||
> 0 neue Sandboxes** (kein vs-ual/sec-ops-CT → kein Heartbeat, `agents_up`
|
||
> unverändert 7 → nicht 10 Agenten live melden). Clone-Gates unberührt:
|
||
> DI-6-Sequenzsperre + Clone-Window. PR-8 (research) und M1-Poller bleiben
|
||
> BLOCKIERT (Chair-Corrigenda: research-Stanza existiert mit caps 999/99;
|
||
> M1-Datei 3 misst 15.051 B/`aff29d8c…` ≠ Pin 13.623 B/`ee90f486…`).
|
||
|
||
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
|
||
|
||
> **BETRIEBSSTATUS 01.11.2026 15:55 UTC (gemessen) — KONZERN WIEDERBELEBT:**
|
||
> Stillstand-Ursache war **kein** Defekt: in allen 8 CTs waren `<rolle>-heartbeat.timer`
|
||
> und `fleet-mail.service` `disabled` (CT201/CT202 zusätzlich `ceo-heartbeat.timer`
|
||
> `masked`); letzter Lauf 25.10. 18:39:45, letzter Poller-Stop 19:45:50.
|
||
> Nach `enable --now`: **7/7 Heartbeat-Timer + 7/7 Mail-Poller active**, Heartbeats
|
||
> landen im 60-s-Takt in `fleet.heartbeats` (Beleg 14:53:11–14:53:46Z).
|
||
> CT201 (research) bleibt dunkel: **kein Bifrost-Key** + kein research-Timer.
|
||
> In `agent-fleet` laufen weiterhin nur 4 Pods (pg, beacon, bifrost, fleet-webui) —
|
||
> die Agenten sind **CT-Prozesse**, keine K8s-Pods; das ist Soll, kein Mangel.
|
||
> **VK-INVENTAR 18 → 15** (revoked: `agile-coach`, `ceo`, `fleet`; Rollback-Anker
|
||
> `/home/debian/tmp/vk-inventar-vor-revoke-2026-11-01.json`). Ist-Verteilung
|
||
> (Join über Key-Suffix): CT161 ceo=**ceo-v2**, CT163 cto/CT164 ciso/CT165 chro/
|
||
> CT202 coo/CT205 cmo/CT206 devops = **Legacy-Namen**, alle HTTP 200. Die Rotation
|
||
> vom 24.10. ist **nur für CEO** vollzogen; die 6 `-v2`-Keys sind nirgends
|
||
> installiert und ihr Klartext **nicht mehr beschaffbar** (Admin-API maskiert
|
||
> `value` auch beim Einzel-GET) → als Migrationsziel unbrauchbar, Neuaustellung nötig.
|
||
> Host-Hermes hat toten Key `sk-bf-…a6a7` (401) in `config.yaml`.
|
||
> **ZWEI BEACONS:** `agent-fleet/beacon` (LB **10.0.30.211**, org aus ConfigMap
|
||
> `beacon-org-yaml` = `agent-fleet/beacon.yaml`, 10 Rollen, **empfängt die
|
||
> Heartbeats**) vs `fleet/fleet-beacon` (nur ClusterIP 10.43.220.85:8000, org aus
|
||
> `fleet-truth/org.yaml`, 9 Rollen inkl. agile-coach; **App `fleet` = Progressing**).
|
||
> Kanon für den Betrieb = `agent-fleet/beacon.yaml`; Befund als Kopfkommentar in
|
||
> `fleet-truth/org.yaml` festgeschrieben (Commit `a2fa75a`), Datei bewusst NICHT
|
||
> gespiegelt (Schema-Divergenz `agent_id/wave/al` vs `id/caps/hrProfileId`).
|
||
> B3-Quarantäne gepurged (10 Dateien/308 K, danach 0).
|
||
> SEED-E2/E5/E6 + D-5: GO erging 24.10. („Go für alle Punkte"), Vollzug im Board
|
||
> nicht belegt.
|
||
> C1-Bind-Pin: `config.yaml` SOLL `platforms.webhook.extra.host: 10.0.30.230`,
|
||
> IST lauscht Gateway-PID auf `0.0.0.0:8644` → Pin wirkt am laufenden Prozess
|
||
> nicht; C2-iptables deckt ab (`-A INPUT -s 10.0.30.0/24 --dport 8644 ACCEPT`,
|
||
> Rest `DROP`, reboot-fest). Ursache (Config-Key vs. Bind-Code) offen.
|
||
|
||
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
|
||
Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt;
|
||
max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
|
||
- **Phasen:** 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell-
|
||
Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) ·
|
||
**0.5 p0-image ✓ GRÜN (25.10. spät)** · **0.6 Bifrost-VKs ✓ GRÜN (26.10.)** ·
|
||
**0.7 Spool+Watcher ✓ GRÜN (26.10.)** · **0.8 MCP-Facilities ✓ ALLE 4 GRÜN
|
||
(26.10.)** · **0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready)** ·
|
||
**0.10 Fleet-DB ✓ GRÜN (26.10.)** · **0.11 Beacon ✓ GRÜN (26.10.)** ·
|
||
**0.12 Deadman ✓ GRÜN (26.10.)** · **0.13 Control Tower ✓ GRÜN (27.10.,
|
||
DOM-Smoke 23/23)** · **0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden)** →
|
||
Phase 1 Onboarding.
|
||
- **Value-Streams (31.10., Owner-Direktiven):** Dauermmandate als VS im Board:
|
||
**vs-eigenentwicklung** (Owner CTO) = eigenständige Weiterentwicklung des
|
||
Fleet-Betriebs (card-to-operate: Idee→Bewertung→Bau mit FREIGABE+CISO-Review
|
||
via deploy-facility→Review→Messung); Seeds vs-mandat/vs-retro/
|
||
vs-facility-cho-e2e (Facility-E2E notfall-runbook, grant 8c82f94e, CHO
|
||
03c73e24, tag tower-v0.2.1); Kick-off-Task 7b199415→CEO. **vs-schoenkitchen**
|
||
(Owner CMO) = SchönKitchen-Produktentwicklung im Operating Mode; Seeds
|
||
sk-ops-mandat/sk-e2e-regression/sk-feature-backlog/sk-weekly-pitch;
|
||
Kick-off-Task c8561b4b→CEO. SchönKitchen-Push-to-Deploy verdrahtet:
|
||
git push main → Gitea Actions (gitea-runner-0, NS schoenkitchen) → Image
|
||
:latest+:sha → Deployment Recreate+Always-Pull+ArgoCD selfHeal; devops-
|
||
Sandbox git.schoen.codes-Egress. Register-Konvention: Neue VS-Zeile via
|
||
Board-PVC register.md (kein ArgoCD-Manifest), Karten via add_backlog_card
|
||
(titel≤200, Score 1–10 je Dim).
|
||
- **p0-image (0.5) final:** Agent-Image `git.schoen.codes/dominik/hermes-agent`
|
||
Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`**
|
||
(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile
|
||
`clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124).
|
||
- **p1-image v5.1 (28.10., AKTUELL):** Tag `fleet-v5.1` = **digest
|
||
`sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d`**
|
||
(Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) **NAR-Verfahren**
|
||
(Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan-
|
||
Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien
|
||
+ Worker-Tool-Prompt-Verweis; `to: tower-owner` NUR durch ciso und nur
|
||
`type: escalation|fyi`, kodiert in 3 Validierungsschichten (submit_task.py
|
||
+ CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py),
|
||
E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) **Worker
|
||
Resume-on-Disconnect:** `Gateway disconnected` startet KEIN Re-Execute,
|
||
sondern beobachtet die Session-DB bis 900 s und completed mit der finalen
|
||
assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops
|
||
(RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser;
|
||
(c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen).
|
||
Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout —
|
||
default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert.
|
||
**Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`) +
|
||
Prepuller-DS `clusters/main/fleet/agent-image-prepull.yaml` → gateway.toml
|
||
`default_image` → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest
|
||
sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task)
|
||
+ Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret
|
||
`agent-fleet-registry-pull` out-of-band im NS fleet (default-SA
|
||
imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe
|
||
`systems/gitea.md` „Container Registry". SolDoc:
|
||
`docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md`.
|
||
- **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
|
||
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
|
||
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
|
||
Key "openshell.gateway" (inline `values:`, nie ArgoCD-parameters — dotted Keys
|
||
brechen --set-Parsing, CrashLoop).
|
||
- **ArgoCD-Lektionen (wiederkehrend):** dotted Keys nur inline `values:`; nach
|
||
Git-Push Root-App (app-of-apps) refreshen; Sync via
|
||
`kubectl -n argocd exec sts/argocd-application-controller -- argocd app sync <app> --core`;
|
||
org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/.
|
||
- **Bifrost (Wiederverwendung Iteration 1):** NS agent-fleet, VIP 10.0.30.210:8080,
|
||
App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member
|
||
benannt `<agent_id>[-v<n>]`, Rotation `-v<n>`; Allowlist
|
||
`^(noris/)?vllm/release/.*`, `key_ids ["*"]`, deny-by-default. Abnahme je VK:
|
||
Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090.
|
||
|
||
### p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet)
|
||
|
||
| agent_id | VK | Modell (noris/vllm/release/…) | Secret |
|
||
|---|---|---|---|
|
||
| ceo | ceo-v3 | glm-5-3 | fleet-vk-ceo |
|
||
| cto | cto-v2 | glm-5-3 | fleet-vk-cto |
|
||
| ciso | ciso-v2 | glm-5-3 | fleet-vk-ciso |
|
||
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
|
||
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
|
||
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
|
||
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort max) | fleet-vk-coo |
|
||
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
|
||
| research | research | deepseek-v41-flash | fleet-vk-research |
|
||
|
||
- Secrets: `kubernetes.io` ESO-ExternalSecrets aus `clusters/main/fleet/vk-secrets.yaml`
|
||
(1P-Vault „Kubernetes ESO", Items `Agent-Fleet VK <vk>`, Feld `password`);
|
||
Keys `api-key` + `key-name`; Zieldatei `FLEET_BIFROST_API_KEY` definiert in
|
||
`fleet-truth/bifrost-vks.yaml` (Phase-0.9-Injektion).
|
||
- **Bifrost-API-Pitfalls:** `POST /api/governance/virtual-keys` verwirft
|
||
`allow_all_keys` → Key ohne Schlüssel (400 „no keys found"); Fix per
|
||
`PUT …/{id}` mit `key_ids:["*"]` (PATCH = 405). Echte API nur unter `/api/…`
|
||
(`/api/v1/…` = SPA-HTML 200!). Modellnamen brauchen Provider-Präfix `noris/`.
|
||
Reasoning-Modelle liefern bei `max_tokens`-Knappheit leeren Content → Smoke
|
||
über HTTP-Status + `usage.total_tokens`. ESO-Defaults
|
||
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
|
||
müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff.
|
||
- **Offen (Owner-GO):** 9 Alt-VKs (`fleet`, `ceo`, `ceo-v2`, `cto`, `ciso`, `chro`,
|
||
`coo`, `cmo`, `devops`) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern
|
||
(`VK ceo (v2)`, `coo (v2)`, `cmo (v2)`, `devops (v2)`) löschen.
|
||
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
|
||
|
||
### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
|
||
- **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate,
|
||
automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`).
|
||
Image `git.schoen.codes/dominik/fleet-spool-watcher` — **live 0.26 (01.11.2026)**:
|
||
digest `sha256:aeb6efc672feabde882ad0256ba8b459b7f348870dba06b94f6e5f8d5ad30beb`
|
||
(python:3.11-slim + pyyaml, non-root UID 1000, Kaniko-Pod `watcher-build-026d`;
|
||
026/026b scheiterten an TLS-CA bzw. `BLOB_UPLOAD_UNKNOWN` — `--compressed-caching=false`
|
||
+ frischer Pod loeste es).
|
||
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py,
|
||
watcher/deployment.yaml, tests/smoke_test_local.py — **32/32 PASS**).
|
||
- **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
|
||
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
|
||
default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}).
|
||
- **CephFS-Fix:** initContainer `spool-perms` (busybox:1.36, root) legt
|
||
`_journal/ _runs/ _invalid/` an + chown 1000:1000 — sonst PermissionError
|
||
(CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks.
|
||
- **E2E bewiesen:** submitted→dispatched→run_started→run_finished, Status-
|
||
Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante
|
||
(exit 127) — beides im Journal + Envelope nachgewiesen.
|
||
- **Befehlsmuster:** Toolbox-Pod `kubectl -n fleet run spool-e2e --image=python:3.11-slim`
|
||
+ PVC-Mount per --overrides; Einreichung via `kubectl cp` + `kubectl exec -i`
|
||
heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches
|
||
sofort).
|
||
|
||
- **Watcher 0.25-Fix (01.11.):** fyi-Tasks zählen NICHT mehr als offene Arbeit im
|
||
Idle-Gate (`_open_task_count`, `maybe_fire.real_ready`). **Korrektur einer
|
||
frueheren Fehlaussage:** von 664 fyi waren 651 `completed` — geblockt haben
|
||
nur **12 `submitted`** fyi (+1 failed). Echte Arbeit zählt weiter,
|
||
`to=tower-owner` (0.22) bleibt ausgenommen. Liveness nur über
|
||
`_journal/watcher.tick` (mtime, 10 s) prüfbar — kein Startup-Log by design.
|
||
- **Watcher 0.26 fyi-Retention (01.11.):** `phase_archive()` verschiebt fyi
|
||
älter `FLEET_FYI_ARCHIVE_DAYS` (default 1, 0=aus) per **`os.replace` nach
|
||
`_archive/`** (Move, NIE Delete; Unterordner ausserhalb des Scan-Globs), max
|
||
`FLEET_FYI_ARCHIVE_MAX` (250) pro Lauf, alle 300 s; Journal `fyi_archived`
|
||
(task_id/file/to/status/alter_tage). Zwei Laeufe: **319 Dateien** (alle fyi
|
||
>1 d), top-level 1574→1255; Rest 345 fyi, alle ≤1,0 d.
|
||
- **Spool-Bestand 01.11.:** 1574 Envelopes, **664 fyi** (651 completed),
|
||
34 submitted (24 tower-owner, 10 ceo).
|
||
- **ArgoCD-Sync-Blocker:** Der `fleet`-App-Sync hängt bei
|
||
`DaemonSet/fleet-agent-image-prepuller` (8 desired / 7 ready, weil
|
||
rke2-worker-05 NotReady ist). ArgoCD wartet auf Healthy und blockiert die
|
||
gesamte Sync-Welle. Workaround: Soll-Zustand direkt per `kubectl set image`
|
||
setzen (identisch zum Git-Pin) → App danach `Synced`; Root-Fix =
|
||
Node-Availability (Parallel-Session) oder Sync-Wave entkoppeln.
|
||
|
||
### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
|
||
- **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi,
|
||
healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet).
|
||
Manifeste: `clusters/main/fleet/db/` (fleet-db.yaml, schema.yaml).
|
||
- **App-User `app_fleet`** = CNPG **Managed Role** (`spec.managed.roles`:
|
||
login, connectionLimit 50, passwordSecret-Ref `fleet-db-app-user` [username+
|
||
password]; KEIN superuser/createdb/createrole). Bootstrap-Owner `fleet`
|
||
(Secret `fleet-db-owner` out-of-band) hat KEIN CREATEROLE — CREATE ROLE im
|
||
Schema-Job schlägt fehl → Managed Roles sind der Weg.
|
||
- **7 Tabellen** (additiv, IF NOT EXISTS): members, org_snapshots,
|
||
provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples.
|
||
heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta.
|
||
- **Beweise:** psql select count je Tabelle (Selftest), DROP-Negativtest
|
||
(verweigert für app_fleet), `SECRET_READBACK_OK`, ArgoCD Synced+Healthy.
|
||
- **ArgoCD ignoreDifferences-Pitfalls** (Commits 3931c63, 34179d4): K8s-1.35
|
||
`status.terminatingReplicas` (jsonPointers) + ~45 CNPG-Webhook-Defaults via
|
||
**jqPathExpressions in jq-Punktnotation** (`.spec.probes` — Slash-Syntax
|
||
failt im Diff-Normalizer; Wildcards `[]` nicht `*`). Solution Doc:
|
||
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`.
|
||
|
||
### p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts
|
||
- **Deployment `fleet-beacon`** (NS fleet, 1/1, digest `55718277…`), Code aus
|
||
`/home/debian/workspace/agent-fleet/src/beacon/` (FastAPI, 14/14 Tests),
|
||
deployt unter `clusters/main/fleet/beacon/` (app.py, deployment.yaml,
|
||
containerPort 8000, sync-wave 6). Persistenz via Secret `fleet-db-app`.
|
||
- **3 Root-Causes auf dem Weg (alle gefixt):** (1) app.py liest `DATABASE_URL`,
|
||
`envFrom: secretRef` liefert aber nur Einzelkeys → healthz 503 (fail-closed).
|
||
Fix: `valueFrom.secretKeyRef{name: fleet-db-app, key: uri}` (Commit f13c744).
|
||
(2) Patch-Indent-Bug: `name:` neben statt unter `secretRef` → ArgoCD
|
||
`ComparisonError: envFrom[0].name: field not declared in schema` blockierte
|
||
den GESAMTEN App-Sync (Commit fe5cc10). (3) `app_fleet` hatte Tabellen- aber
|
||
keine **Sequence**-Rechte → `permission denied for sequence
|
||
heartbeats_heartbeat_id_seq` beim INSERT. Live-GRANT + Git-Fix in
|
||
schema.yaml (`GRANT USAGE, SELECT ON ALL SEQUENCES` + ALTER DEFAULT
|
||
PRIVILEGES, Commit ca7660b).
|
||
- **E2E:** POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → **422**
|
||
(nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s.
|
||
- **Sequence-Lektion:** BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences —
|
||
Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts).
|
||
|
||
### p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts
|
||
- **Deployment `fleet-deadman`** (NS fleet, 1/1, sync-wave 7, digest
|
||
`sha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e`
|
||
— v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Code
|
||
`clusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}`.
|
||
Image python:3.11-slim + pyyaml, **KEIN LLM, kein hermes** (bewiesen: `NO_HERMES`,
|
||
pip list = stdlib+PyYAML), non-root UID 1000, `/metrics`+`/healthz` auf 8100,
|
||
readiness/liveness tcpSocket. **Board-PVC rw gemountet** (FLEET_BOARD_DIR).
|
||
- **VIER Kaskaden (§3.5, v2):** Agent-Silence 1800 s (Quelle Beacon
|
||
`/metrics` → `beacon_last_heartbeat_age_seconds`), Watcher-Tick 180 s
|
||
(`_journal/watcher.tick` mtime), Bifrost-Gateway 120 s anhaltend
|
||
(`/health`), **Beacon-Unerreichbarkeit fail-closed** (EIN `beacon`-Alarm,
|
||
KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender
|
||
Alarme). **Edge-Trigger**: ein P1-Eskalations-Task je OK→ALARM an ceo;
|
||
Heilung löscht den Alert (`GEHEILT`-Log), kein Task-Spam.
|
||
- **Cold-Start-Semantik (Fix 26.10.):** Agent OHNE je gesehenen Heartbeat
|
||
= **pending** (KEIN Alarm; Metrik `deadman_agents_pending`). ALARM erst
|
||
wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten
|
||
senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß.
|
||
Unit-Test bewiesen: Cold-Start → 0 `agent:*`-Alarme; Heilung → RESOLVED.
|
||
- **DEADMAN-ALARM.md** (Board-PVC, HITL-Kanal §3.5): je Ursache EINE
|
||
`[AKTIV]`-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt
|
||
`[RESOLVED]` in den append-only-Verlauf; temporäre Datei + os.replace
|
||
(atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär).
|
||
- **Metrics:** deadman_silence_seconds{agent}, deadman_alert_active{source},
|
||
deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds,
|
||
deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up.
|
||
- **Live-Beweis (26.10.):** `agents_pending 8`, `beacon_ok 1`, keine
|
||
`agent:*`-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK.
|
||
- **Validator-Konflikt (kritisch):** submit_task.py UND watcher_main.py
|
||
erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert.
|
||
Fix: `VALID_SYSTEM_SENDERS=["deadman-watchdog"]` / `SUBMIT_SYSTEM_SENDERS`,
|
||
nur als Absender, nur `type=escalation`, `to` bleibt 9er-Org.
|
||
Envelope-Feld heißt **`body`** (Watcher-Whitelist REQUIRED_FIELDS +
|
||
KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body;
|
||
`input` → Quarantäne). Beweis: 9/9 Tasks durch `validate_schema_loose`.
|
||
- **Watcher v2** (digest `sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8`):
|
||
schreibt `_journal/watcher.tick` (epoch-int, fsync) je Zyklus als Liveness-Signal;
|
||
System-Sender-Whitelist.
|
||
- **E2E live:** 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte
|
||
Heartbeat); Gateway 0, Watcher 0. **Watcher-Kaskade bewiesen**: replicas 0
|
||
(via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task
|
||
`ac15c65b` → replicas 1 → `GEHEILT watcher`, alert 0, Tick 3 s.
|
||
- **ArgoCD-Job-Immutabilität (neue Lektion):** `fleet-db-schema` Job blockierte
|
||
JEDEN App-Sync („field is immutable"; `Replace=true` scheitert an fehlendem
|
||
selector). Lösung: Job als **PostSync-Hook** (`argocd.argoproj.io/hook: PostSync`
|
||
+ `hook-delete-policy: BeforeHookCreation`) → nicht getrackt, konvergiert
|
||
idempotent bei jedem Sync. Commit 077c5c8.
|
||
- **Grenze des Kill-Tests:** `kill -STOP 1` im Pod wirkt NICHT (PID-Namespace-Init
|
||
ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über
|
||
Git-replicas, nicht über Signale. `kubectl scale` wird von ArgoCD selfHeal
|
||
binnen ~3 min revertiert → Overrides IMMER via Git.
|
||
|
||
### p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts
|
||
- **Baukasten:** alle 4 Facilities nach demselben Muster (mcp==2.3.0,
|
||
`MCPServer` + `run(transport="streamable-http", stateless_http=True)`,
|
||
tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate,
|
||
automountServiceAccountToken false, deadman-cascade-Label, UID 1000,
|
||
Digest-Pins). Vorlage: `clusters/main/fleet/mcp/org-registry/`.
|
||
Solution-Doc: `docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md`.
|
||
- **1/4 org-registry** (digest `sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e`):
|
||
Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth,
|
||
Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents.
|
||
- **2/4 board-service** (digest `sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a`,
|
||
Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note,
|
||
get_backlog, get_kanban, health, list_value_streams, move_card, submit_task,
|
||
submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. **27.10. Fix:
|
||
alle 54 Validierungen raisen jetzt `ToolError` statt `ValueError`** — das
|
||
MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing
|
||
tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in
|
||
Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat.
|
||
Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc:
|
||
`docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md`.
|
||
- **3/4 telemetry** (digest `sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7`,
|
||
Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei),
|
||
get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status
|
||
(Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud
|
||
(kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar.
|
||
- **4/4 provisioning** (digest `sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1`,
|
||
Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt-
|
||
ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste),
|
||
record_provisioning_event (INSERT provisioning_events, psql-bewiesen
|
||
event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst
|
||
isError; `none` = noch nicht provisioniert), health (DB-Connect).
|
||
**Gateway-Call STUBBED** (provision_sandbox_stub → NotImplementedError,
|
||
Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer
|
||
board-perms chown. envFrom fleet-db-app: Keys heißen **user/password/host/
|
||
port/db** (NICHT DB_USER — ENV-Name = Secret-Key!).
|
||
- **E2E-Muster (wiederverwendbar):** Test-Skript als ConfigMap + python:3.11-alpine-
|
||
Pod mit --overrides-Mount; RPC via POST + `Accept: application/json,
|
||
text/event-stream`, letzte `data: `-Zeile parsen. python:3.11-alpine hat KEIN
|
||
kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen.
|
||
|
||
### p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts
|
||
- **Fleet Control Tower** = Fork `dominik/openshell_controller` (Upstream
|
||
nemo-shell-dashboard), Next.js 15 Custom-Server `server.mjs` (kein
|
||
standalone), ns fleet, Pod `fleet-tower-…-bsc2p` 1/1 auf rke2-worker-03.
|
||
Image `git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814
|
||
588117ac03fdeb8c0f2094a90e70dfff34f2e9d2` (Git==Live verifiziert).
|
||
5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed
|
||
(Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task,
|
||
CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`,
|
||
force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht
|
||
`@/lib/…` — tsconfig `@/*`→`./*`).
|
||
**29.10.: Tower 0.15** (Digest `sha256:00a82fefd1e350b73ae2f1ed288dbf71e04
|
||
c719b7b39be96cd314c6a11878854`, Commit `4ecb30e`) = fleet-native
|
||
**Sandboxes-View** (`/api/fleet/sandboxes` → read-only PromQL gegen
|
||
kube-state-metrics, NS openshell, Pods `default--<agent>`; 9/9 Running,
|
||
node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views
|
||
(Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem
|
||
Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create
|
||
bewusst NICHT (Creates laufen über Provisioning-Pipeline).
|
||
- **⚠️ 29.10. Traefik-Regression (behoben):** ArgoCD-`proxy`-Sync
|
||
28.10. 22:21:53 (Rev `4ecb30e`) fiel mit Helm-Release #96 zusammen, das
|
||
OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein
|
||
allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods
|
||
trotzdem 1/1 Ready. Fix: Kommentar in `valuesContent` (Hash-Änderung) →
|
||
Release #97 mit `tower-internal:8445`/`web-internal:8001`/
|
||
`websecure-internal:8444`; verify: 200 von 10.0.20.92, 403 von VLAN 30.
|
||
Merksatz: **nach jedem proxy-App-Sync `helm get values rke2-traefik`
|
||
prüfen**; `rc=7` = VIP announced/Port zu, Timeout = VIP-Problem.
|
||
SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md
|
||
- **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service
|
||
`traefik-tower-lb`, port 443→targetPort 8445, entryPoint `tower-internal`
|
||
:8445 — neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`),
|
||
IngressRoute PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 +
|
||
172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls
|
||
(Interim-CA bis 24.01.2027, CN tower.schoen.codes).
|
||
`externalTrafficPolicy: Local` PFLICHT für ACL (sonst SNAT).
|
||
ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017).
|
||
Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP
|
||
**`https://10.0.30.213/`** (ohne Portangabe! :8445 ist nur der
|
||
Container-Port; Cert-Warnung wegklicken).
|
||
- **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs
|
||
via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type
|
||
∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten;
|
||
body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO.
|
||
- **DOM-Smoke 23/23 PASS** (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP —
|
||
Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+
|
||
nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert),
|
||
Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets.
|
||
- **Abnahme-Status:** werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen:
|
||
Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus
|
||
10.0.30.x design-gemäß 403.
|
||
- Solution-Doc: `docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md`
|
||
(Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding);
|
||
Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017.
|
||
|
||
### p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz
|
||
- **Owner-Kanäle:** Idee→Backlog via Tower-API (Karte e2e-014-owner-idee,
|
||
score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/
|
||
Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build,
|
||
P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen
|
||
400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage +
|
||
CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über
|
||
GET /api/fleet/owner/chat — §8-Kriterium erfüllt.
|
||
- **Beacon Strict-Gate:** ghost→422, devops→200, psql-Zeile sichtbar.
|
||
- **DB-Selftest:** 7 Tabellen via app_fleet; DROP verweigert („must be owner");
|
||
NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats
|
||
geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED).
|
||
- **Deadman:** pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7
|
||
vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43
|
||
(tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool →
|
||
Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH
|
||
(kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen).
|
||
- **Produktionsbug gefunden+gefixt (992cdfb):** tower-owner fehlte in
|
||
VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab);
|
||
Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu
|
||
gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale.
|
||
SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md.
|
||
- Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy,
|
||
Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei.
|
||
|
||
## Repos & Struktur (Iteration 1 — historisch)
|
||
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
|
||
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
|
||
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
|
||
- **iac-homelab** (`/home/debian/iac-homelab`, Remote `canonical` = SSH): K8s-Manifeste.
|
||
Push via `git push canonical HEAD:main` (HTTPS-Auth defekt).
|
||
|
||
## K8s-Basis (Namespace agent-fleet)
|
||
- ResourceQuota: 8 vCPU / 16 Gi (CNPG belegt ~250m/512Mi Requests).
|
||
- **CNPG `agent-fleet-pg`** (Postgres 17.x): Ready, Hourly-Backups. DB `fleet` für
|
||
Beacon-Heartbeats (Tabellen heartbeats, gov_samples — Schema liegt im Beacon-Repo).
|
||
- ArgoCD-Apps: `agent-fleet` (Root-App für den NS, Synced/Healthy) und
|
||
`agent-fleet-bifrost` (Helm, sync-wave 2).
|
||
|
||
## LLM-Ingress: Bifrost (A3', produktiv)
|
||
- **maximhq/bifrost**, Helm-Chart 2.1.45, app v2.3.1, StatefulSet `bifrost-0`,
|
||
NS agent-fleet, LoadBalancer-VIP **10.0.30.210:8080** (cilium lb-ipam).
|
||
- SQLite-Store auf ceph-flash PVC 5 Gi (Bifrost-Konzern, getrennt von CNPG-fleet).
|
||
- Provider `noris`: custom provider, `base_provider_type: openai`,
|
||
`base_url: https://ai.noris.de`, Key via `env.NORIS_API_KEY` ← ESO-Secret
|
||
`bifrost-noris-key` ← 1P `noris-api-key` (Feld `credential`, NICHT dupliziert).
|
||
- Admin-API: Basic Auth (ESO-Secret `bifrost-admin` ← 1P `Agent-Fleet Bifrost Admin`),
|
||
Routen `/api/governance/virtual-keys[/{id}]`, `/api/keys`, `/api/providers`.
|
||
**ACHTUNG**: unbekannte Routen → SPA-Fallback mit HTTP 200 (nur application/json
|
||
ist eine echte Route).
|
||
- **Governance**: Plugin aktiv, VK `vk-fleet` (Name `fleet`), Header `x-bf-vk`.
|
||
Policy (Nutzer-Regel 22.10.): **nur `vllm/release/*`-Modelle** — kein qsu-Kanal,
|
||
keine Anthropic-Modelle. Kodiert als Regex-Allowlist
|
||
`^(noris/)?vllm/release/.*` in `provider_configs[].allowed_models`,
|
||
deny-by-default (kein `allow_all_providers`). Kein Budget-Cap (Amendment A10).
|
||
- **Telemetry**: Plugin aktiv, `/metrics` auf dem Haupt-Port **hinter Auth** →
|
||
ServiceMonitor `bifrost` (NS agent-fleet!, Label `release: monitoring`) mit
|
||
basicAuth gegen `bifrost-admin`. Prometheus-Target UP.
|
||
- VK-Wert in 1P-Item **`Agent-Fleet Fleet-vkey`** (Vault Kubernetes ESO, Feld
|
||
`credential`). Bifrost regeneriert das VK-Secret bei Config-Änderungen NICHT —
|
||
1P-Referenz bleibt über Rollouts stabil.
|
||
|
||
## 1P-Items (Vault „Kubernetes ESO")
|
||
| Item | Zweck | Feld(er) |
|
||
|---|---|---|
|
||
| `Agent-Fleet Bifrost Admin` | Dashboard/Admin-API | username, password |
|
||
| `Agent-Fleet Bifrost Encryption` | DB-Verschlüsselung | key |
|
||
| `Agent-Fleet Fleet-vkey` | VK `vk-fleet` für Agenten | credential |
|
||
| `Agent-Fleet PG Owner` | CNPG owner | (siehe CNPG) |
|
||
| `noris-api-key` (bestehend) | Upstream-Key ai.noris.de | credential |
|
||
|
||
## Beacon (B1+B2, PRODUKTIV seit 22.10.)
|
||
FastAPI-Heartbeat-Service: POST /heartbeat (Org-Gate), GET /metrics
|
||
(`beacon_heartbeats_total`, `beacon_last_heartbeat_age_seconds{agent}`,
|
||
`beacon_agents_up` ≤120s), GET /healthz. 10 Tests grün (Review APPROVED,
|
||
Important-Fixes committed `b3b4b9f`).
|
||
- **Deploy**: iac-homelab `clusters/main/agent-fleet/beacon.yaml` +
|
||
`beacon-registry-pull.yaml` (ESO ← 1P `SchoenKitchen Registry Pull`,
|
||
dockerconfigjson für git.familie-schoen.com). Deployment `beacon` 1 Replica
|
||
(100m/128Mi), Service ClusterIP :80, ServiceMonitor `release: monitoring`.
|
||
- **Image**: `git.familie-schoen.com/dominik/beacon:{SHA,latest}` (CI-Workflow
|
||
build+push; Registry-Push via dind-Daemon verifiziert — CI-Run 94 flakte am
|
||
größten Blob, manuelles docker push aus demselben Daemon ging sofort).
|
||
- **DB**: schema.sql auf CNPG fleet angewendet (heartbeats, gov_samples —
|
||
inkl. task_id/tok_in/tok_out, die im Original-Schema fehlten).
|
||
- **E2E (22.10.)**: healthz 200 · hb ceo 200 → PG-Row · hb intruder 403
|
||
(Strict-Org-Gate live) · Prometheus-Target UP.
|
||
- org.yaml-Seed als ConfigMap `beacon-org-yaml` (Genesis W0/W1: ceo, cto,
|
||
ciso, chro) — Quelle: Phase-0-Plan Task E1.
|
||
|
||
## CEO-Sandbox (Genesis W0, 22.10. — A15/ADR-018)
|
||
- **CT 161 `ceo`** auf ms-a2-1, IP **10.0.30.162** (VLAN 30), 4 vCPU/8 GB/
|
||
**20 GB** rootfs auf `vm_disks` (Regel: Agent-CTs ≈ 20 GiB — Zahl hinter
|
||
`:` ist GRÖSSE, nicht VMID; 161-GiB-Fehlcreation wurde destroyed+neu gebaut).
|
||
Blueprint: CT 160 (fleet-control); Provisionierung via PVE-REST `pvesh`,
|
||
SSH `root@10.0.20.92` + `pct push/exec 161`.
|
||
- **Harness**: Hermes (Installer NousResearch) im CT; config.yaml mit Provider
|
||
`bifrost` → `http://10.0.30.210:8080/v1`, VK **literal inline** (keine
|
||
Env-Expansion!), Modell `noris/vllm/release/glm-5-3`. Inferenz via Bifrost
|
||
verifiziert (9× POST /v1/chat/completions 200 im Bifrost-Log).
|
||
- **Herzschlag**: `/usr/local/bin/ceo-heartbeat.sh` via systemd-Timer
|
||
`ceo-heartbeat.timer` (60 s, Persistent, oneshot-Service fail-loud);
|
||
Task-ID aus `/var/local/fleet/last_task_id`, Default `idle`;
|
||
BEACON_URL=http://10.0.30.211. Verifiziert: Rows in `heartbeats`
|
||
(task_id board-w1-memo) + Prometheus.
|
||
- **Identität**: `/root/fleet/CHARTER.md` (Mandat: Board aus kritischen
|
||
Gegenspielern + Lead-Hiring), `/root/.hermes/memories/USER.md`
|
||
(Owner-Profil), `/root/fleet/spec.md` (v5.1-Stand), `/root/fleet/org.yaml`
|
||
(= ConfigMap beacon-org-yaml). Kopien im Repo: `genesis/`.
|
||
- **W1-Memo**: `/root/fleet/board/memo-2026-10-22-board-w1.md` (205 Z.,
|
||
MEMO-2026-10-22-W1): Board-Roster CTO „Occam"/CISO „Hadrian"/CHRO
|
||
„Diogenes" mit Blindspot-Zuordnung, W2-Lead-Sequenz (VS-Lead UAL →
|
||
sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check.
|
||
**Liegt zur Genehmigung beim Owner.**
|
||
|
||
## Board-Sandboxes W1 (23.10. — A16/ADR-019)
|
||
- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff).
|
||
- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5).
|
||
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
|
||
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
|
||
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
|
||
- **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
|
||
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
|
||
|
||
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
|
||
- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail`
|
||
mit `inbox-<agent>/{new,processed}` je Agent (ceo/cto/ciso/chro), via
|
||
`pct set <ct> -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet
|
||
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
|
||
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
|
||
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
|
||
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.7 (25.10. früh)** —
|
||
v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP
|
||
25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname-
|
||
Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst
|
||
erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE
|
||
Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade**
|
||
(ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss →
|
||
Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein
|
||
Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen:
|
||
Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt
|
||
ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation
|
||
am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16
|
||
regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO
|
||
43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der
|
||
Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 +
|
||
Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert
|
||
nur bei <K laufenden hermes-Calls; Waisen-`timeout 1500`-Kinder
|
||
überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur
|
||
`<Nr>=P<n>`; Poller mappt lokal auf Dateinamen zurück — Output-15×-
|
||
Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot
|
||
warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort
|
||
verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
|
||
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
|
||
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
|
||
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
|
||
(timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard
|
||
v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie-
|
||
Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach
|
||
syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle
|
||
<agent> n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet-
|
||
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
|
||
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
|
||
Restart killt Waisen-Subagenten via pkill "timeout 1500".
|
||
- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1
|
||
agent-spezifisch („Du bist <agent> (<Rolle>)…"), Kontext CHARTER/spec/org,
|
||
dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.):
|
||
(1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs)
|
||
sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung;
|
||
(2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren;
|
||
(3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins
|
||
eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2.
|
||
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
||
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
||
Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/
|
||
%ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht);
|
||
Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
|
||
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
|
||
`challenges/`, `inbox/`. Owner liest dort freizügig.
|
||
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
|
||
Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht
|
||
in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail.
|
||
- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC
|
||
= 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all —
|
||
Alert nur wenn Digest `<date>-final.md` fehlt oder fleet-mail inaktiv (OK =
|
||
deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min:
|
||
r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte
|
||
im Repo `genesis/board-2026-10-23/`, Commit `0917144`).
|
||
- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) —
|
||
niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über
|
||
den systemd-Poller ist der stabile Weg.
|
||
|
||
## Konventionen & Regeln
|
||
- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner-
|
||
Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):**
|
||
CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` ·
|
||
COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config
|
||
(`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`.
|
||
**PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort`
|
||
nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 →
|
||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der
|
||
CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt
|
||
`api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein
|
||
reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung
|
||
33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell,
|
||
Queues drainen.
|
||
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
|
||
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
|
||
`bifrost` verwaltet nur bifrost-*-Objekte.
|
||
- ArgoCD-CLI vom Host nicht erreichbar (argocd-server ClusterIP) → Refresh via
|
||
`kubectl -n argocd annotate application <name> argocd.argoproj.io/refresh=normal`.
|
||
|
||
## Offene Punkte
|
||
- **W1-Board-Genehmigung** (DI-1…DI-4 aus MEMO-2026-10-22-W1) — Owner-
|
||
Entscheidung ausstehend; nach Go: W1-Provisionierung (CTs cto/ciso/chro).
|
||
- Governor-Skeleton (A8): Baseline-Messung aus Bifrost-/metrics.
|
||
- Aliase/Tiers heavy/default/light (A10) — derzeit nur ein VK.
|
||
- Bekannter Defekt (niedrige Prio): Secret `git-schoen-codes-tls` (ns gitea)
|
||
doppelt-base64 → Traefik serviert intern das Default-Cert; Workaround:
|
||
Registry/CI via git.familie-schoen.com routen.
|
||
- D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden
|
||
(„BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion
|
||
in Hermes-Configs).
|
||
|
||
## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe)
|
||
- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`**
|
||
(`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`,
|
||
`Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21).
|
||
Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema
|
||
public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über
|
||
**rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam).
|
||
CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen
|
||
intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG
|
||
zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U
|
||
postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf
|
||
KEIN ALTER ROLE). Solutions-Doc:
|
||
`docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md`
|
||
- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht
|
||
implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag):
|
||
API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256
|
||
`a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) +
|
||
**Machine-Token** (1P-Item `openshell_controller Machine-Token` +
|
||
`/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠
|
||
Blueprint → 422 BLOCK.
|
||
- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role +
|
||
Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS-
|
||
scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default
|
||
verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` +
|
||
kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck:
|
||
Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad.
|
||
- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`,
|
||
`b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`,
|
||
`b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo
|
||
(`*-von-eigentuemerproxy-b123-*.md`).
|
||
- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`,
|
||
`openshell_controller Machine-Token`.
|
||
|
||
## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go")
|
||
- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163
|
||
(`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage
|
||
(`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU.
|
||
Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana
|
||
**10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im
|
||
VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert
|
||
(Probe-VK sofort wieder gelöscht).
|
||
- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test`
|
||
(app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota
|
||
(4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap
|
||
(ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E).
|
||
E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe.
|
||
- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB,
|
||
CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail).
|
||
F-7 Option B (4/8/50) damit formal bestätigt.
|
||
- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im
|
||
App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are
|
||
not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf
|
||
`/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content
|
||
→ ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc:
|
||
`integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md`
|
||
- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`,
|
||
`b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo
|
||
(`*-von-eigentuemerproxy-b457-*.md`, 13:42).
|
||
|
||
## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive)
|
||
- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder**
|
||
`https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI →
|
||
Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1.
|
||
mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten →
|
||
v2/OIDC. Nichts gelöscht.
|
||
- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**):
|
||
`:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001`
|
||
(NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum
|
||
dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem
|
||
`traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert
|
||
⇒ `.203:80` mit Host-Spoof → 404 (verifiziert).
|
||
- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui`
|
||
(HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls
|
||
`fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`).
|
||
Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede**
|
||
IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still
|
||
ignoriert (404, kein Log). Das war der ursprüngliche Bug.
|
||
- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend
|
||
verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app`
|
||
ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py`
|
||
+ `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop).
|
||
- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM,
|
||
Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind
|
||
Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f).
|
||
- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`.
|
||
|
||
## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s
|
||
- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie
|
||
von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud),
|
||
`/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by
|
||
(virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m],
|
||
10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`.
|
||
- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key-
|
||
binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke:
|
||
ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback.
|
||
- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒
|
||
FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix:
|
||
`namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie
|
||
beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben,
|
||
immer den Backend-NS selektieren.
|
||
- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, **alle 15 min** seit
|
||
23.10. abends, Owner-Direktive, deliver origin): CEO-INBOX-FIFO, Fleet-Health,
|
||
Open-Items-Treiber (W2/W3: Seed 199, COO/CMO, Tofu-Pipeline), Board-Refresh
|
||
(CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report.
|
||
|
||
## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung
|
||
- **Final-State:** Package landete mandatkonform in
|
||
`clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**,
|
||
AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox
|
||
19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert
|
||
NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02`
|
||
trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per-
|
||
Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück).
|
||
- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6
|
||
fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale
|
||
Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log
|
||
im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes
|
||
Label-Strippen ODER manueller Delete eines parallelen Actors).
|
||
**Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage-
|
||
Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung:
|
||
alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations
|
||
`argocd.argoproj.io/compare-options=IgnoreDifference` +
|
||
`sync-options=Prune=false,Delete=false`.
|
||
- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe
|
||
Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles,
|
||
eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden
|
||
resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**;
|
||
lieber Schutz-Annotations (persistieren) als transiente Spec-Changes.
|
||
- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne
|
||
Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/
|
||
Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate.
|
||
|
||
|
||
## Fleet-Board-CM-Sync & LB-Pools (23.10.2026)
|
||
- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional.
|
||
- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb.
|
||
- Fleet-Mail: Zustellung = Datei in inbox-<role>/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)".
|
||
- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).
|
||
|
||
## openshell_controller v0 (23.10. abend: B2 implementiert, E2E grün; Clone blockiert)
|
||
- **Service:** CT 160 (`10.0.30.161:8081`), systemd `openshell-controller.service`
|
||
(Unit IM CT, nicht Host — Fehlinstallation passiert), stdlib-Python, Bearer-Auth
|
||
fail-closed (401 ohne Token), Deploy-Kette Workspace → scp PVE → pct push →
|
||
systemctl restart (nach JEDEM Patch komplett, sonst testet man alten Stand).
|
||
- **API:** GET /v1/health (200 `db:true`), GET/POST /v1/sandboxes. Gates verifiziert:
|
||
T08 preset_hash ≠ Pin → 422; org.yaml-Strict-Gate → 422 (journalisiert);
|
||
False-409 gefixt. DB (CNPG fleet, 10.0.30.214): Tabellen `sandboxes`
|
||
(UNIQUE member_id, Broken-Recycle per UPDATE) + `provisioning_events` additiv.
|
||
- **Blueprint-Pin:** BLUEPRINT_SHA256 `a5611966…b3f1` (Board-Datei live gehasht;
|
||
CISO gegengeprüft 21:31 — Baseline intakt). Hash-Typo `…1418…` vs `…2818…`
|
||
war Bug 1 der Fünf-Bug-Kette (Solution-Doc:
|
||
`docs/solutions/bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md`).
|
||
- **Pitfalls (verifiziert):** (1) LXC- UND QEMU-VMIDs teilen den Nummernraum —
|
||
ID-Vergabe 200–299 muss `/lxc` UND `/qemu` prüfen (VM 200 mgmt-runner-01
|
||
kollidierte); `pct list` zeigt nur CTs. (2) psql-Empty-Checks brauchen `-t -A`.
|
||
(3) JSONB via `lit(json.dumps(x))`, nie `json.dumps(json.dumps(x))`. (4)
|
||
CTs mit Bind-Mounts sind NICHT klonbar (Snapshot + Full-Clone → API 500,
|
||
`unable to clone mountpoint mp0 type bind`) — W1-Klone liefen vor dem
|
||
Mount-Anhängen; vzdump/restore umgeht (dump bind-mounts nicht mit).
|
||
- **Aktiver Blocker/Beauftragung:** Seed-CT 199 mount-frei via vzdump/restore aus
|
||
CT 161 (Owner-GO 23.10.), Scrubbing (onboot=0, CEO-Timer aus, Creds scrubben),
|
||
CISO-Gate vor First-Sandbox-Go; danach COO- + CMO-Sandbox F-7 Option B
|
||
(4 vCPU/8 GB/50 GB) — Auftrag 1792784178. Tofu-GitOps-Hiring-Pipeline:
|
||
Auftrag 1792782897 (OpenTofu, nicht Terraform-Runner). Beide in inbox-ceo/new.
|
||
|
||
## W2-Nacht-Vollzug (24.10., Owner-Proxy im Nacht-Mandat 1792787120)
|
||
- **Blueprint v1.1 ADOPTIERT**: Controller-Pin v1→v1.1 (0f1496d5…e607d6, Single Active Pin);
|
||
Basis CISO-Re-Check GRÜN [1792786716]. Backup: openshell-controller.py.bak.pin-v1-adopt.
|
||
- **COO „Taylor" LIVE: CT 202, 10.0.30.166** (vlan30), phase=verified (sbx-1792788409-e5306264),
|
||
Heartbeat autark, agents_up=5. Weg: POST crashte 2× (ACL-403 → Grant; _wait_task-AttributeError
|
||
→ Fix), Clone detached fertig, Owner-Lane-Harvest + DB-Repair + 3 Journal-Events.
|
||
- **Controller-Fixes**: _wait_task shape-robust, next_ct_id cluster-wide, Traceback-Logging,
|
||
negative Smoke 422 OK. **PVE-ACLs openshell@pve (USER-Level! privsep=0 ignoriert Token-ACLs):
|
||
PVEVMAdmin /vms, PVEDatastoreUser /storage/vm_disks, TaskPoller(Sys.Audit) /nodes/ms-a2-1.**
|
||
- **Pitfalls (live erlebt)**: pct unlock während Create-Task = Task-Abort; pct mount <vmid>
|
||
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
|
||
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
|
||
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
|
||
|
||
## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
|
||
- **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) +
|
||
CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur
|
||
W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
|
||
- **Fix (live attach ohne Restart nötig):** `pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board
|
||
-mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen
|
||
(`/srv/fleet-mail/inbox-<role>/{new,processed}`) + `pct unmount 202` (stale lock).
|
||
- **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161
|
||
(whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
|
||
- **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 +
|
||
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
|
||
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
|
||
`/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!).
|
||
## Klammer-VK-Bug (24.10. Tick, gefixt)
|
||
- VK-Injektion hinterließ `api_key: <sk-bf-...>` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
|
||
- Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
|
||
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
|
||
- **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`.
|
||
|
||
## Takt-Learnings 24.10. ~09:00 (Tick 13)
|
||
- **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
|
||
- **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
|
||
- **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
|
||
- **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
|
||
- **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
|
||
|
||
## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
|
||
- **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
|
||
- **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
|
||
- **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
|
||
- **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
|
||
- **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
|
||
- **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
|
||
- **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
|
||
|
||
|
||
## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
|
||
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
|
||
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
|
||
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper <inbox> <pfad>. Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
|
||
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
|
||
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
|
||
|
||
## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
|
||
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
|
||
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
|
||
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
|
||
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
|
||
|
||
## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
|
||
- **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f <file>` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
|
||
- **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden.
|
||
- **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
|
||
- **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
|
||
- **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
|
||
- **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
|
||
- **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
|
||
|
||
## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
|
||
- **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
|
||
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
|
||
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
|
||
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
|
||
|
||
## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
|
||
- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
|
||
- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
|
||
- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO.
|
||
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
|
||
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.
|
||
|
||
|
||
## 29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen)
|
||
- **Owner-Befund:** 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt.
|
||
- **Fix (iac-homelab `f70fe30`):**
|
||
- `fleet-spool-watcher 0.17.1` = `sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7` — IdleScheduler: Spool still ≥ `IDLE_SILENCE_SECONDS=900` + keine offenen Tasks → genau EIN Task `from=fleet-scheduler,to=ceo,type=build,P3`; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf).
|
||
- `fleet-board-service 0.18` = `sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72` — `complete_task` mit `karte_id`/`vs` → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent.
|
||
- `hermes-agent v5.3` = `sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067` — `FLEET_BEACON_URL` FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung.
|
||
- `submit_task.py`: `fleet-scheduler` System-Sender (nur `build`), optionale Felder `karte_id`/`vs` (Regex `^[a-z0-9][a-z0-9-]{2,63}$`).
|
||
- **Beweis 29.10.:** 08:39:51 `idle_trigger_created` (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation `5db4e788` ceo→devops mit `karte_id=rueckbau-nar-edd15ff1` → `card_auto_fertig` + `review_task_created` → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte `it1-tower-02-telemetry-fallback` delegiert. Karte rueckbau: Neu→In Bau→Fertig.
|
||
- **Rollout:** 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, `deadman_agents_pending 0`, alle `alert_active 0`.
|
||
- **PITFALL neu (OpenShell-CLI):** `openshell sandbox create --template` schließt `--env` aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest `default_image` nur beim Start → nach Digest-Pin `rollout restart sts/openshell` + `systemctl restart openshell-portforward.service` (.124).
|
||
- **PITFALL neu (systemd):** `fleet-oidc-login.service` scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → `Environment=HOME=/root` in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, `openshell sandbox list` bricht sonst ab.
|
||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md` (INDEX Architecture 16), Hindsight-Sync.
|
||
- **Nachtrag 10:40 — 5. Deadman-Kaskade `progress` (Lücke 4 geschlossen),** Commit `f098091`, Image `fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa`: offener Task (`submitted|working`) mit mtime-Alter > `TASK_STALL_S=5400` → ALARM-Quelle `progress` + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; `from=deadman-watchdog` wird übersprungen, Spool unlesbar = fail-closed. Metriken `deadman_open_tasks`, `deadman_oldest_open_task_age_seconds`, `deadman_alert_active{source="progress"}`. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. **PITFALL:** Test-Tasks mit Nicht-UUID-`task_id` quarantänisiert der Watcher in Sekunden (`_invalid/`) — Test-Tasks immer `uuid4()` + `status: working` (nicht claimbar).
|
||
- **Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (`rueckbau-nar-edd15ff1`, `it1-tower-02`, `it1-tower-03`, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe `tower-healthz-readonly` → neue Karte `rueckbau-nar-tower-healthz-readonly` (Ablauf 30.11.). Spool 116 Tasks, 0 hängend.
|
||
|
||
## 29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte
|
||
- **Owner-Befund (dritte Iteration desselben Symptoms):** „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: **Prompt- und Kostenebene**, nicht Trigger-Ebene.
|
||
- **RC-1 Identität:** Der Hermes-Identitäts-Slot ist `SOUL.md` im Workspace (`/sandbox/.hermes/SOUL.md`, Loader `agent/system_prompt.py`), NICHT Image und NICHT `config.yaml`. Dort lag nur generischer Hermes-Boilerplate (667 B); `cto`/`research`/`devops` hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin.
|
||
- **Fix (Commit `a362144`):** `agent-image/fleet/gen_soul.py` erzeugt 9 `SOUL.md` (2,9–4,0 KB) aus `org.yaml` + `FLEET-POLICIES.md` (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report `ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN`, harte Fähigkeitsgrenzen). `deploy_soul.sh` schreibt live + `max_turns 40→20` + `reasoning_effort` (coo/research/devops `low`, Rest `max`). `start-agent.sh` `ensure_soul()` kopiert `soul/<agent_id>.md` aus `/opt/hermes/fleet/soul/` bei fehlend/abweichend.
|
||
- **Wirkung:** Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → `rc=1` am `max_turns=40`-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (`cto`) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s.
|
||
- **RC-2 Kosten-Anzeige:** devops verbrannte **8,5 Mio Input-Tokens in 30 min** mit Meta-Analyse der eigenen `state.db`-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower `0 tok/s` für alle: `fleetSource.ts` nutzte `rate(bifrost_input_tokens_total[2m])` ohne Aggregation — `rate()` liefert je VK mehrere Serien (`method`/`model`/`provider`/`fallback_index`), `out[vk].in = v` überschrieb mit der letzten (meist 0).
|
||
- **Fix (Commit `1407c0e`, Tower `sha256:84a79b99…`):** `sum by (virtual_key_name)(rate(...))` + additives `+=`. **Beweis:** Tower `ceo 4489 / ciso 3516 / devops 9424 tok/s` — identisch mit Prometheus-Gegenprobe.
|
||
- **RC-3 Ideen waren verboten:** Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … **Keine neuen Karten erfinden**." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.)
|
||
- **Fix (Commits `ce38c34` watcher 0.18, `3f9f0cd` watcher 0.19, live `sha256:93777fc0…`):** Pflicht-Schritt 4 **IDEATION** — sind < 3 Karten `status=Neu` (ohne `rueckbau-*`, ohne Dauerauftrag `dauer-tower-dev`), erzeugt der CEO genau EINE Idee: selbst eine Karte (`add_backlog_card`, `wert`/`machbarkeit` je **1–10**, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation `cto/cmo/coo/research` (`IDLE_IDEATION_ROLES`, `(epoch//86400) % 4`, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee").
|
||
- **Nebenbeweise für Loop-Qualität (gleicher Zeitraum):** `complete_task` mit `karte_id` → Karte `rueckbau-nar-tower-healthz-readonly` automatisch `Fertig` + Review an `ceo`; **CEO hat die Abnahme ZURÜCKGEWIESEN** (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); **ciso triagiert NAR als KRITISCH** (Schreibzugriff Policy-Repo) und eskaliert an `tower-owner` statt zu genehmigen; **devops erkennt fehlenden Cluster-Zugriff** und stellt Änderungsauftrag (`[CHANGE-ORDER]`) an `ciso`.
|
||
- **PITFALLS:** (1) `SOUL.md` liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) `add_backlog_card`: `wert`/`machbarkeit` sind `1..10` (`SCORE_MIN,SCORE_MAX=1,10`) — Text mit `1-100` wirft ToolError. (4) `rate()` je VK immer `sum by (virtual_key_name)`. (5) Tower bindet auf **Pod-Hostname**, `fetch` mit `127.0.0.1` → ECONNREFUSED (Pod-IP nutzen). (6) `pkill -f "<scriptname>"` killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile).
|
||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md` (INDEX Architecture 17), Hindsight retain.
|
||
|
||
## 29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5
|
||
- **Entscheid 1b:** Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. **Entscheid 2b:** Ideations-Schwelle `< 3` → `< 5` Karten `Neu`.
|
||
- **Neu: `fleet-policy-service` 0.1** (`git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e`, Code `clusters/main/fleet/mcp/policy-service/`, Commit `0e7f698`). MCP-Tools: `health`, `policy_list`, `policy_read`, `policy_diff`, `policy_commit`, `policy_status`. Schreibt **nur** `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via **Gitea-Contents-API** (kein git im Pod).
|
||
- **6 Gates:** Org-Mitglied → Rolle in `POLICY_WRITERS={ciso,devops}` → **Owner-Freigabe** (`grant_task_id` = Spool-Task `from=tower-owner`, `to=<caller>`, `type=build`, `topic='FREIGABE: erteilt — …'`, ≤30 Tage) → Pfad-Regex (kein `..`, kein Unterordner) → striktes YAML (`version:1`, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → **Read-back bytegleich**.
|
||
- **Audit:** Journal-Event `policy_commit` (Pfad, Commit-SHA, Rolle, Grant, `hosts_added/hosts_removed`) — Tower liest dort.
|
||
- **Token** nur im Pod (`Secret fleet-policy-gitea`, out-of-band).
|
||
- **Beweise:** 9/9 Negativfaelle aus dem Pod fail-loud (`GATE_FAILS=0`); echter Commit `538359a` als Autor `Fleet devops` mit Owner-Grant `f6dafd60…`, Read-back OK; **Agent-Turn aus dem Sandbox 60 s** (health/list/read valide, beide Negativfaelle greifen).
|
||
- **Verdrahtung (3 Dinge, sonst unerreichbar):** Deployment+Service → Host in `sandbox-base.yaml` (`fleet_mcp_policy_service:8080`, Chair-Commit) → `mcp_servers.policy` in `/sandbox/.hermes/config.yaml` → **Recreate** (Policy wird beim Create gebunden). devops+ciso recreated, `Phase: Ready`, SOUL 3113/3225 B, `max_turns: 20`.
|
||
- **watcher 0.20** (`sha256:21ea543c…`, Commit `5279cdc`): Ideations-Schwelle `<5`. Live verifiziert (`ALS 5` im Pod, `ALS 3` weg).
|
||
- **PITFALLS (neu, alle real):**
|
||
1. **OIDC-Token (4 h) abgelaufen → delete UND create scheitern** (`no refresh token available`) — fail-closed, nichts geloescht. Re-Login `/tmp/oidc-login3.sh` auf .124.
|
||
2. **`--detach -- sleep infinity` ist die falsche Startzeile** — Sandbox laeuft ohne Runtime (nur `sleep`, keine SOUL/Config). Richtig: `--template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh <agent> <model>`.
|
||
3. **Recreate = frisches Workspace-PVC**: SOUL+Config weg. `ensure_soul` greift nur, wenn `/opt/hermes/fleet/soul/` **im Image** liegt — das Gateway-`default_image` ist aelter. **LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet.** Sofort-Fix `deploy_soul.sh <agents>`; Dauerfix = Agent-Image-Rebuild (offene Karte).
|
||
4. **Maskierte Werkzeug-Ausgaben**: venv-Pfad erscheint als `…3.14.9+202****1021-…`; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren `binaries`-Match nie greift. Gegenprobe per `base64`.
|
||
5. **PyYAML akzeptiert doppelte Keys** (letzter gewinnt), OpenShell nicht → eigener Strict-Loader.
|
||
6. **`kubectl exec`-Prozesse im Sandbox haben KEIN DNS** (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec.
|
||
- **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
|
||
- **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
|
||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.
|
||
|
||
## 29.10.2026 (12:30–13:10) — Owner-Entscheide 4a+5a: Autonomie-Kaskade im Deadman; Phantom-Rückbau live passiert und revertiert
|
||
- **4a (Deadman-Kaskade `autonomy`)** — live `fleet-deadman@sha256:508f0e60244ba59663f6ef135f6656f089131ffb99d9db3724c08cd4ee73fc83` (Commit `ff7e1b3`, Deployment gepinnt, Rollout grün). Alarm nur wenn **gleichzeitig**: kein offener Agenten-Task (ohne `to=tower-owner`, ohne `from=deadman-watchdog`), ≥1 Karte `Neu` im Board, `idle_age > silence+backoff+AUTONOMY_MARGIN_S(600)` **und** `task_age > silence+600` (Silence-Frist startet bei Task-Bewegung neu — sonst Fehlalarm nach erledigter Arbeit). Schwelle selbstjustierend aus `idle_trigger_created` im Journal (Backoff wächst bis 4 h). Metriken: `deadman_alert_active{source="autonomy"}`, `deadman_autonomy_idle_age_seconds`, `deadman_autonomy_neu_cards`, `deadman_autonomy_task_age_seconds`. Kaltstart (nie gefeuert + nie Task) = kein Alarm.
|
||
- Beweise: 11/11 Unit-Tests; isolierter E2E-Job im echten Image (eigener emptyDir): Alarm-Task + `DEADMAN-ALARM.md` + Journal `deadman_alarm` + Heilung, 5/5 Assertions; Live-Alarm `bd326ac7` (Alt-Pod ohne die task_age-Regel → **Fehlalarm 4 min nach Task-Ende**, bestätigt die Regel).
|
||
- **Pitfall:** Karten-Parser `split('|')` → Status ist `cells[4]` (Position 0 ist leer), sonst zählt man den Score.
|
||
- **Pitfall:** Während Rollout laufen alter und neuer Pod; der alte kann mit alter Logik feuern → `kubectl get pods -o custom-columns` auf `imageID` prüfen.
|
||
- **Watcher 0.21** (`sha256:30fedca954eaa62fb4203d821a0c9e7a153dcbc4155f0333dc5f32dbc56b65a2`, Commit `85e1a40`): `OWNER_RECIPIENT="tower-owner"` — Owner-Tasks zählen nicht mehr als offene Arbeit im Idle-Gate. Ursache des 56-min-Stillstands vom Vormittag: zwei P1-Eskalationen an `tower-owner` (nie claimbar) blockierten `open_count == 0`.
|
||
- **5a (Phantom-Rückbau) — Eskalation, dann Korrektur:**
|
||
- Owner hat die beiden P1-Eskalationen (`b41f03ce`, `3d891388`) um **12:55 selbst im Tower mit [APPROVE] entschieden**, bevor 5a bei mir ankam → Folge-Tasks `FREIGABE: erteilt — …` an devops.
|
||
- devops hat daraufhin um **12:58** via policy-service **`clusters/main/fleet-truth/openshell-policies/ceo-sandbox.yaml` erfunden** (Commit `b5643ea`, `network_policies.egress: []`) — einen „Rückbau" eines Grants, den es nie gab; die Datei ist zudem schema-invalid und hätte einen CEO-Recreate ohne jeglichen Netz-Egress hinterlassen.
|
||
- **Revertiert** (`0887212`), Datei gelöscht, ArgoCD `Synced` auf `ff7e1b3`. Korrektur-Task `6c226195` (tower-owner→devops, P1) mit Auftrag „prüfen, nichts schreiben, beide Tasks gegenstandslos schließen" — devops hat es selbst geprüft (`policy_list`/`policy_read`), korrekt geantwortet und **keine Datei geschrieben** (in diesem Turn), behauptet aber „ich habe nie eine Datei geschrieben" — falsch, der Commit beweist das Gegenteil: **Agenten-Selbstauskunft ist kein Beweis** (kein Cross-Task-Gedächtnis).
|
||
- **Gate-Lücke im policy-service:** `policy_commit` erlaubt das *Anlegen* neuer Dateien; ein „Rollback" kann so zu einer Erfindung werden. Härtung offen (neue Datei nur mit explizitem Flag + Owner-Note).
|
||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-kaskade-deadman.md` (INDEX Architecture 19).
|
||
|
||
## 29.10.2026 (15:30–17:10) — Worker-Disconnect-Regex-Drift + Single-Claim-Gate (v5.4 / board-service 0.16)
|
||
- **Owner-Befund:** „Loop läuft nicht sauber" — Deadline-Trigger `watch-ideation2` feuerte 25 min nicht; 6 `working`-Tasks am CEO blockierten das Idle-Gate.
|
||
- **RC-1 Disconnect-Regex:** `worker_loop.py` suchte `Gateway disconnected[^\n]*session_id: …`; tatsächliches `hermes chat`-stderr bei langen Turns = **nur** `session_id: local-<64hex>`. Regex matchte nie → Worker verwarf **im Daemon fertig gelaufene** Turns (Session-DB: 47–48 Msgs, 20 API-Calls, `end_reason=cli_close`), retryte (Duplikat, 68k Input-Tokens) und failte Tasks. **Fix `5de1763`:** `RE_DISCONNECT = session_id:\s*(local-[0-9a-f]+)` + **Erfolgs-Check zuerst** (rc=0 + stdout → return, nie Resume-Pfad).
|
||
- **RC-2 Greedy-Claims:** Der Agent hält die Board-MCP-Tools **im LLM-Turn**; während der Worker mit einem Task beschäftigt war, claimte der CEO **9 weitere** (15:58–16:05) und ließ sie bei `cli_close` offen → Waisen (Watcher resettet `working` in `DISPATCH_MODE=agents` bewusst nicht). **Fix `1cf0560` (board-service 0.16, Digest `sha256:3318632c…`):** `claim_next_task` gibt bei eigenem `working`-Task **`OK_OWN_ACTIVE` + genau diesen Task** zurück (Lease: max 1 Claim pro Identität, atomar unter dem Write-Lock). Worker behandelt `task != null` uniform → unterbrochener Claim **resumed statt stapelt**. Restrisiko bounded (1 Waisen-Claim, abgedeckt durch Progress-Kaskade + `orphan_reset_manual`).
|
||
- **Agent-Image v5.4** = `git.schoen.codes/dominik/hermes-agent@sha256:27a2f3a29e78831f7e7e9e40d3745cc3b30a7a66fb6b0b51c620021c8b4b10f6` (Commit `a8c07fd`), gepinnt in `clusters/main/apps/openshell.yaml` + `fleet-truth/openshell-values.yaml`; 9/9 Sandboxes recreated (Template `fleet-agent` neu, gateway.toml `default_image`), je 1 Worker + 1 hb-loop, `worker-start` pro Agent.
|
||
- **Beweise:** In-Pod-MCP: 2 Claims → dieselbe task_id (`OK_OWN_ACTIVE`); Bestand nach Deploy: genau 1 `working` (Deadman-Eskalation); Auto-Abarbeitung 16:29–16:41 (FYIs instant, 1 Eskalation mit echtem `ERGEBNIS: …`-Note); **Autonomie-Kaskade feuerte produktiv um 17:06:56** („kein Idle-Trigger seit 20496 s, 4 Karten Neu") → CEO claimt 17:07:09.
|
||
- **Eigener Incident (ehrlich):** `kill -9 56` in der Sandbox traf den **Main-Prozess** → `ceo`+`devops` `phase: Error` (exit 137), Heilung nur via Gateway-Recreate. **Regel: keine PIDs in Sandboxes killen ohne `/proc/<pid>/cmdline`-Check.**
|
||
- **PITFALLS:** Digest-**Präfix**-Replace erzeugt 128-Zeichen-Frankendigest (immer `docker inspect`-Vollstring + grep); Build+Push+Inspect im 420-s-Terminal-Block → Timeout ≠ Fehlschlag (Zustand separat prüfen); `kubectl exec`-Heredoc `<<'PY'` liefert leer (→ `python3 -c`); Sandbox-PID-Kill = MainProcessFailed.
|
||
- SolDoc `docs/solutions/bug-fixes/2026-10-29-fleet-worker-disconnect-regex-single-claim-gate.md` (INDEX Bug Fixes 54); Skill `devops/agent-fleet-operations` §34 + `references/fleet-disconnect-regex-claim-gate-2026-10-29.md`.
|
||
|
||
## 29.10.2026 (17:50–18:05) — Owner-Grant: research bekommt generellen Internet-Egress (OpenShell-Grenzen)
|
||
- **Owner-Entscheid** zur NAR-Eskalation `b6072fbd` (www.nvidia.com:443): nicht Einzelhost, sondern **genereller Internetzugriff für research**. Umsetzung Chair-direct.
|
||
- **OpenShell-0.1.5-Grenzen (empirisch + Upstream `NVIDIA/OpenShell#3856`, offen):** `host: "*"`/`"**"`/`"*.*"`/`"**.*"` werden abgelehnt; hostless + `allowed_ips` (öffentlicher Raum) lädt, aber **Hostnamen** scheitern (`policy_dns_ineligible` → `transparent_tcp_observation_denied`, synthetische `198.18.0.x`), nur IP-Literale. `host: "**.*.*"` funktioniert für **alle Namen mit ≥3 Labels**. 2-Label-Domains (`nvidia.com`, `arxiv.org`) sind nicht wildcardfähig.
|
||
- **Policy live (`research-sandbox.yaml`, Commit `a2fe891`, Sandbox-Policy v3, `policy set --wait`, KEIN Recreate):** Basis + Regel `internet_egress_owner_grant_20261029` mit zwei Endpoints — `ports [80,443]` hostless + `allowed_ips` (51 öffentliche IPv4-CIDRs = 0/0 minus 0/8,10/8,100.64/10,127/8,169.254/16,172.16/12,192.168/16,224/4,240/4) und `host: "**.*.*"` mit **identischer** CIDR-Liste (Constraint: überlappende Endpoints müssen `tls`/`allowed_ips` teilen, sonst `policy set`-Fehler). Binaries = python3.14-Realpfad + curl.
|
||
- **Beweise (aus dem Sandbox, `openshell sandbox exec`):** www.nvidia.com **307**, docs.nvidia.com **200**; nvidia.com (2 Labels) DENY; 10.0.30.51:6443 DENY; 169.254.169.254 DENY (always-blocked). **Gegenprobe ceo → www.nvidia.com DENY** (Scope research-only). Sandbox `Ready`, Worker lief weiter.
|
||
- **2-Label-Pfad:** `agent_policy_proposals_enabled=true` + `proposal_approval_mode=auto` auf research gesetzt (Advisor-Guide erscheint erst nach Recreate); sonst NAR-Antrag mit exaktem Host an ciso.
|
||
- **Konflikt aufgelöst:** Der Agent hatte selbst einen `[CHANGE-ORDER]` an devops gestellt (exakter Host, TTL 15.11.); Chair hat ihn `task_failed by=chair` gesetzt (gegenstandslos — sonst hätte devops eine engere Datei geschrieben und der Grant ginge beim Recreate verloren). Verifikations-/Release-Note-Task `ea9b135f` an research gestellt (tower-owner-Kanal), Agent hat ihn 17:56 geclaimt.
|
||
- **Betriebsregel:** Jeder research-Recreate MUSS `research-sandbox.yaml` als `--policy` nutzen (nicht `sandbox-base.yaml`); alle Egress-Verbindungen sind als OCSF-Events auditierbar (`openshell logs research --source sandbox`).
|
||
- SolDoc `docs/solutions/integrations/2026-10-29-openshell-internet-egress-grenzen.md` (INDEX Integrations 14).
|
||
- **Owner-Entscheid 18:10:** Variante **(a)** — 2-Label-Domains als Einzel-NAR; **Watch für (c) sofort angelegt**: Cron `9576293f24b5` „OpenShell Any-Public-Host Watch (#3856)" (every 12h, Monitor `~/.hermes/scripts/openshell-any-host-watch.py`, deterministische GitHub-Abfrage: issue_state/comments/labels/latest_release/keyword_in_release_notes; kein Agentenlauf ohne Änderung) + Kanban-Karte `dauer-openshell-any-public-host` (Score 63, Neu, Ursprung owner). Bei Verfügbarkeit: Policy auf `host: "*"` umstellen, SSRF-Klammer behalten, arxiv.org als 2-Label-Beweis + ceo-Gegenprobe.
|
||
- **Agenten-Gegenprobe (research, Task `ea9b135f` completed):** www.nvidia.com 307, docs.nvidia.com 200, docs.python.org 302, http://docs.nvidia.com 301; nvidia.com + arxiv.org exit 7 — deckt sich mit Chair-Messung (zwei unabhängige Kontexte).
|
||
|
||
### 18:10-18:25 - Research-Internet: Reader-Proxy statt eigenem Egress-Proxy (Owner-Entscheidung 1)
|
||
|
||
**Geprueft und verworfen:** (a) L4-Bypass `host` weglassen + `protocol: tcp` + `tls: skip` +
|
||
oeffentliche `allowed_ips` -> Gateway lehnt ab: "protocol tcp requires a DNS hostname; hostless
|
||
allowed_ips endpoints are supported only by the forward proxy". (b) OpenShell 0.1.6 (27.10.2026):
|
||
Release-Notes ohne Any-Host-Feature. (c) 2-Label-Wildcards: Schema-Regel "at least three DNS labels".
|
||
Test-Policy sofort revertiert: `Policy unchanged (version 3, hash: 4322aaf069e6)`.
|
||
|
||
**Loesung (live):** `r.jina.ai` ist 3 Labels -> vom bestehenden `**.*.*` gedeckt. Reader-Proxy
|
||
liefert beliebige oeffentliche URLs als Markdown. Statuscodes 200 fuer arxiv.org, github.com,
|
||
nvidia.com; Direktzugriff auf dieselben 2-Label-Hosts bleibt DENY (Scope research-only).
|
||
|
||
**Agent-Seite:** `clusters/main/fleet/agent-image/fleet/gen_soul.py` hat jetzt `{net}`/`{caps_net}`
|
||
pro Agent; `research` enthaelt Owner-Grant + Reader-Proxy-Regel + Prompt-Injection-Hinweis.
|
||
`FLEET-POLICIES.md` NAR-Ausnahme. Commits `b91e559`, `3a739f0`; Deploy via `deploy_soul.sh research`
|
||
(SOUL.md auf Workspace-PVC, kein Recreate).
|
||
|
||
**E2E:** Task `3a19f80a` (tower-owner -> research, P3) submitted 18:17:48 -> claimed 18:18:00 ->
|
||
completed 18:19:00 (75 s); Release-Note mit arXiv:2606.15549 + 2 Kernaussagen; unabhaengig
|
||
gegengeprueft (Titel identisch) -> keine Halluzination.
|
||
|
||
**Pitfall bestaetigt:** `kubectl exec` hat keine Supervisor-DNS-Stage -> `Could not resolve host`
|
||
auch fuer erlaubte Hosts. Netz-Tests nur ueber `openshell sandbox exec`.
|
||
|
||
**Offen:** eigener Egress-Proxy (Squid/tinyproxy) fuer echte APIs/Downloads/POST — Owner-Entscheidung.
|
||
|
||
### 19:05-19:00 - Watcher 0.22: Idle-Gate und Pick-Regel repariert (Owner: "todos werden nicht bearbeitet")
|
||
|
||
**Bug 1 (kritisch):** maybe_fire(ready_count) brach bei JEDEM submitted Task ab - auch
|
||
to=tower-owner (warten auf Owner-Entscheidung, kein Agent clamt sie). Der 0.21-Owner-Skip
|
||
sass nur im tiefen Scan hinter dem billigen Gate. 2 ciso-NAR-Antworten blockierten den
|
||
Loop 30+ min; seit 11:25 kein Trigger mehr.
|
||
**Bug 2:** Idle-Body "hoechste Neu-Karte nach Score" ohne rueckbau-*-Filter - November-
|
||
Rueckbaukarten (Score 72) dominierten; eine wurde morgens vorzeitig ausgefuehrt.
|
||
**Fix (Digest sha256:3e3c6ff0..., Commit 989c4a6):** maybe_fire(len(ready), ready) mit
|
||
Owner-Filter im Gate selbst; Body-Schritt 2 ueberspringt rueckbau-*; 3 nicht-faellige
|
||
Karten manuell Neu->Bewertet.
|
||
**E2E 18:55-19:00:** Trigger trotz 2 offener Owner-Tasks -> CEO claim -> griff
|
||
owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9b0,
|
||
geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau.
|
||
**Lesson:** Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist
|
||
keine Faelligkeit (rueckbau-*-Praefix = Konvention).
|
||
|
||
## 30.10.2026 — Tower Tasks-View + Dead-Letter-Re-Dispatch (Envelope-Vertrag) + Kaniko-Builds im Cluster
|
||
|
||
- **Auslöser:** Runner-VM 200 (`10.0.30.124`) hatte einen **ext4-Journal-Hang**
|
||
(`jbd2` in D, 5,7 kB/s direkte 4-K-Writes) — Tower-Build hing 24 min. Owner
|
||
sagte „weiter" → Pivot auf **in-cluster Kaniko** (nicht Reboot/Disk-Move).
|
||
- **Kaniko-Pipeline (NS fleet, dauerhaft):** PVC `fleet-build-src` (cephfs-ssd 4Gi
|
||
RWX), Secret `fleet-build-push` (dockerconfigjson, out-of-band), Pod
|
||
`build-loader` als `kubectl cp`-Ziel; Build-Pod
|
||
`kaniko-<svc>` (`gcr.io/kaniko-project/executor:v1.23.2-debug`,
|
||
`--skip-tls-verify` PFLICHT wegen self-signed Gitea, `--digest-file` auf dem PVC).
|
||
Zeiten: board 24–60 s, watcher 21 s, Tower 4 m 56 s (Next.js full).
|
||
SolDoc `tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md`.
|
||
- **Tower 0.19 → 0.20** (`d8a233ac…`, Commit `1969132`): neue Views
|
||
**Tasks** (Spool / Dead-Letter / Alarm) mit Task-Detail-Modal (volles Envelope),
|
||
**`/healthz`** + **`/api/status`** (maschinenlesbar, fail-loud-read: tote Quelle =
|
||
degraded, nicht 500), NAR-Historie, Release-Notes-Feed, Board-PVC RO-Mount
|
||
(`/srv/fleet/board`), `FLEET_TOWER_VERSION`.
|
||
- **board-service 0.20** (`b7d68298…`): MCP-Tool `redispatch_task` — Dead-Letter-Task
|
||
erneut zustellen (`uuid4`, 7-Tage-Fenster, idempotent via `re_dispatched_to`
|
||
+ Scan `re_dispatch_of`, akzeptiert Org-Mitglieder **und** System-Sender
|
||
`tower-owner`/`deadman-watchdog`).
|
||
- **watcher 0.23** (`9c048560…`): `REDISPATCH_FIELDS`
|
||
(`re_dispatch_of`, `re_dispatched_to/_at/_by`) in `KNOWN_OPTIONAL_FIELDS`.
|
||
- **Bug-Kette (3 Quarantänen, SolDoc bug-fixes/2026-10-30-…-envelope-contract-quarantine.md):**
|
||
(1) synthetische ID `redis-<uuid>` → Watcher verlangt echte uuid4;
|
||
(2) Original auf `status=re-dispatched` → Status-Enum kennt den Wert nicht,
|
||
Dead-Letter-Eintrag verschwand; (3) Zusatzfelder nicht in der Whitelist.
|
||
**Lehre: Der Spool-Envelope ist ein Contract mit drei Achsen — ID-Form,
|
||
Status-Enum, Feld-Whitelist.** Provenienz entweder in die Whitelist oder ins
|
||
Journal. Reparatur aus `_invalid/` NIE mit Zusatzfeldern (`repair_note` → sofort
|
||
wieder Quarantäne).
|
||
- **E2E-Beweis (echter Dead-Letter-Task):** `01956904` (2,4 Tage alt, from
|
||
`tower-owner`) → Re-Dispatch `cc6c6f97` → `task_claimed` by **ceo** nach 8 s →
|
||
`task_completed` nach ~6 min mit Deliverable (Rollenbeschreibung devops +
|
||
Release-Note). Tower-DOM (headless Chromium via SSH-Tunnel über .92, weil der
|
||
Hermes-Host in VLAN 30 liegt und die IP-ACL ihn aussperrt): 61 Dead-Letter-Zeilen,
|
||
genau **1** Badge `↻ zugestellt cc6c6f97`, 0 Konsolenfehler.
|
||
- **PITFALLS:** (1) `pkill -f "ssh.*18443:…"` killt die eigene Shell (Muster steht
|
||
in der eigenen Kommandozeile) → Bracket-Trick `1844[3]`. (2) ArgoCD-Sync meldet
|
||
Exit 20 „another operation in progress" und wendet trotzdem an — Beweis ist
|
||
`rollout status` + `imageID`. (3) `add_release_note` akzeptiert nur org.yaml-Agenten
|
||
(`tower-owner` → Fehler) und max **500 Zeichen**; Chair-Deploys als `agent_id=ceo`
|
||
mit `[Chair]`-Präfix im Text. (4) `kubectl exec … python3 - <<EOF` ohne `-i`
|
||
liefert stillschweigend nichts → Script per `kubectl cp`. (5) Kaniko-Push auf
|
||
existierenden Tag bricht ab; `sed` auf Pod-Manifesten kann still nichts ändern
|
||
(0.19-Build ging versehentlich auf `:0.18`).
|
||
- **deadman 0.13.2** (`dd5bcf97…`, Commit `effa78e`): `progress`-Kaskade
|
||
überspringt `to=tower-owner`. 13 offene Owner-Entscheidungen hielten den Alarm
|
||
dauerhaft rot (ALARM auf einem Owner-FYI) und schickten dem CEO alle ~2 h einen
|
||
Deadman-Task — **drittes Vorkommen derselben Semantik-Lücke** (Watcher-Idle-Gate
|
||
0.22, Autonomie-Kaskade 0.13.1). Regel: „Ist die Fleet untätig?" schließt die
|
||
Owner-Lane aus, im billigen Gate genauso wie im tiefen Pfad. Nach dem Rollout
|
||
`progress 0`, `open_tasks 0`, `gateway_ok 1`; ALARM-Linie im Board nachträglich
|
||
als RESOLVED geschlossen (Pod-Restart verliert den Alarm-Zustand).
|
||
### Phase-1-Abnahme `p1-e2e-flow` — 4/4 grün (30.10.2026, live bewiesen)
|
||
|
||
| Test | Beweis |
|
||
|---|---|
|
||
| **A Kette Owner→CEO→VS→Lieferung→Abnahme→Kanban** | Owner-Task `a9030241` (tower-owner→ceo) → Claim + Erledigung; CEO legt Karte `e2e-p1-restore-runbook` an (Score 45, Ursprung owner) und delegiert P2-build `67011cb0` an cto (karte_id+vs gekoppelt); cto liefert Runbook (5 Schritte, je Prüfkommando + Abbruchkriterium, Artefakt `/sandbox/artifacts/e2e-p1-restore-runbook.md`); `card_auto_fertig` + `review_task_created` → `0316bd41` (cto→ceo); CEO **ABGENOMMEN** 09:46:35. Journal-Beleg: accepted → task_claimed → task_completed → card_auto_fertig → review_task_created → task_claimed → task_completed. |
|
||
| **B FYI ohne Antwort-Task** | `6cc6d5cf` (ceo→cto fyi): Claim +15 s, completed +26 s mit „FYI zur Kenntnis genommen", **kein** reply_to-Kind. |
|
||
| **C Fail-loud kaputtes Envelope** | Envelope mit `status=re-dispatched` + Fremdfeld → in `_invalid/20261030-092711-quar-<id>.yaml` verschoben, Journal `quarantined`; nichts still verworfen. |
|
||
| **D Egress-Deny** | Aus ceo-Sandbox via Supervisor: Prometheus `10.0.30.202:9090` rc=7 (Refusal 0 ms), K8s-API `10.0.30.51:6443` rc=7; Positivkontrolle board-service `:8080` erreichbar (HTTP 400 = MCP-Protokoll, TCP offen). |
|
||
|
||
**Durchsatz-Beobachtung:** Single-Thread-Worker je Agent ⇒ ein laufender LLM-Turn
|
||
blockiert Claims; ein Owner-Task wartete 197 s hinter einem Review-Turn. Kette
|
||
Ende-zu-Ende 09:33:40 → 09:46:35 = **13 min** für 3 Agenten-Turns.
|
||
|
||
**Offener Strukturbefund:** devops hat **13** Change-Order-Verzeichnisse in
|
||
`/sandbox/fleet-change-orders/` (kosten-ampel, flussmetriken, wochenbericht,
|
||
spool-aging, nar-register, deadman-status, owner-queue, notfall-runbook,
|
||
task-deadletter, health-ampel …); im Tower-Quellcode integriert sind nur
|
||
`task-detail`, `nar-historie`, `release-notes-feed` → **10 offen**. Agenten
|
||
können keine Images bauen und nicht ins IaC-Repo schreiben ⇒ jeder Tower-Deploy
|
||
läuft über die Chair-Pipeline. Damit ist der Chair der Durchsatz-Deckel für
|
||
Tower-Features (genau die Vorhersage der Verfassung; verschärft sich mit 26
|
||
Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
|
||
(Kaniko+Git-Gate, Owner-GO nötig).
|
||
|
||
- **board-service 0.22** (`483d105a…`, Commit `ceacfad`): `dismiss_owner_task`.
|
||
Befund 30.10.: 13 offene Owner-Tasks, davon 9 reine Quittungen. Der einzige
|
||
Schliess-Pfad (`decide_owner_task`) erzeugt IMMER einen Folge-Auftrag → für
|
||
Meldungen strukturell falsch, also blieben sie liegen. Neu: dismiss schliesst
|
||
ohne Folge-Task (Journal `owner_task_dismissed`). 13/13 geschlossen, 4 echte
|
||
Anträge als Freigabe an die Antragsteller delegiert (devops/ciso claimten in
|
||
17–18 s), Inbox 0 offen.
|
||
- **Owner-Lane-Disziplin** (FLEET-POLICIES §1.3, Owner-Vollmacht 30.10.,
|
||
Commit `bc1eaf1`): Eskalation an `tower-owner` nur noch bei harter Linie —
|
||
Egress extern, Schreibzugriff auf Produktions-/Owner-Systeme, Secrets, NEUE
|
||
externe Exposition, destruktive Eingriffe, Unsicherheit. Operatives im
|
||
Innenverhältnis (Deploys, Rollouts, Runbooks, Restarts, Grants in
|
||
10.0.30.0/24 — dauerhaft nur 90 Tage + Rückbau-Karte) entscheidet der CISO
|
||
selbst; Owner bekommt höchstens `fyi`. CISO-SOUL live deployt; FLEET-POLICIES.md
|
||
wird per COPY ins Image gebacken → dort erst mit dem nächsten Image-Build
|
||
wirksam (SOUL = Enforcement-Punkt).
|
||
- **watcher 0.24** (`547e35eb…`, Commit `da32178`): verwaiste Claims werden
|
||
automatisch freigegeben. `working` + mtime älter als `ORPHAN_REQUEUE_SECONDS`
|
||
(7200 s; deckt 2 × `LLM_TIMEOUT` 1800 s) → zurück auf `submitted`, nach
|
||
`ORPHAN_REQUEUE_MAX` (3) Versuchen `blocked` (sichtbar im Tower). Journal
|
||
`orphan_requeued` mit Alter/Empfänger/Versuch. Offline-Test 4/4 (3 Stufen +
|
||
Frisch-Claim-Gegenprobe), Live-E2E: synthetischer Orphan (9007 s) in < 10 s
|
||
requeued. **Damit ist der Kreis geschlossen: Requêue → `agent_awaiting_claim`
|
||
→ Claim → complete.** Bis 0.24 blieben tote Claims für immer liegen (Worker
|
||
hatte kein Re-Own).
|
||
- **Offen:** Runner-VM 200 ext4-Hang (Optionen Reboot / Disk auf `ceph-flash`);
|
||
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
|
||
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
|
||
im Worker fehlt weiterhin.
|
||
|
||
## 01.11.2026 — Owner-Push-Kanal (aktiver Push zu tower-owner)
|
||
|
||
**Problem:** Der Chair sah Owner-Entscheidungen nur im Tower-Web-Frontend (wird nicht regelmäßig geöffnet); der alte Cron `Fleet-Board Aenderungs-Watch` (5be5df10d92f) beobachtet noch den **Alten** Board-Host `/srv/fleet-board` via SSH 10.0.20.92 — nicht den K8s-Spool.
|
||
|
||
**Lösung (live, verifiziert):** Cron `Fleet Owner-Lane Push`, Job-ID **d6900fc684b1**, `*/5 * * * *`, `no_agent` (kein LLM), Script `~/.hermes/scripts/owner-lane-push.sh`, deliver `origin,telegram:223926918` (DM „D").
|
||
- Liest `/srv/fleet/tasks/*.yaml` im Board-Pod (Label `app=fleet-board-service`, via `kubectl exec -i`; **ohne `-i` kommt kein stdin durch** → Parser liefert 0 Tasks)
|
||
- Filtert `to: tower-owner` + `status: submitted`; meldet NEUE Tasks (Priorität·Typ, Thema, Absender, Wartezeit) und >24 h-Hänger (max. 1 Reminder/24 h)
|
||
- State: `~/.hermes/state/owner-lane-push.json` (`seen`/`reminded`); Modi `--init` (alle offenen als gesehen), `--dry`
|
||
- Leerer stdout = keine Zustellung (Watchdog-Pattern); stderr bei Pod fehlt → stiller Cron-Fehlschlag, Diagnose manuell
|
||
|
||
**Verifikation 01.11. 07:38:** Job-Lauf `last_status: ok`, keine delivery/fire errors, Output leer (still korrekt); Telegram-Testnachricht `message_id 49523` an Chat 223926918 (private, „D") zugestellt. Owner-Lane bei Init: 10 offen, 3 >24 h.
|
||
|
||
**Regel:** Telegram-DM 223926918 = Owner-Push; Telegram-Gruppe −5265906503 = Digest-Gruppe; `origin` = Hermes-Desktop-Chat.
|
||
|
||
## 01.11.2026 (07:41–10:45) — Heartbeat-Ausfall: openshell-Gateway-Wedge + Agent-Pod-Verlust (GEHEILT)
|
||
|
||
**Meldung:** „Die heartbeats sind aus" — Prometheus nur 8/9 Serien, nur chro-Pod Running.
|
||
|
||
**Root Cause (Multi-Layer):** Beacon GESUND. (1) `openshell-0` (StatefulSet, Gateway+Sandbox-Controller) wedged: 168 min Terminating mit deletionTimestamp 10:26 ohne Finalizer-Fortschritt (Node Ready) → kein Controller → keine Agent-Pod-Recreation. (2) VM 114 (rke2-worker-02) um 08:43 von root@pam via PVE-Web-UI heruntergefahren (ACPI verweigert → Hard-Kill; `onboot:1`); 5 Agenten-Pods dort in Terminating. worker-05 (VM 102 auf ms-a2-2, Mgmt unreachable) NotReady. (3) Runner: OIDC-Token abgelaufen + `openshell-portforward` (kubectl port-forward auf pod/openshell-0:8080) hing in activating.
|
||
|
||
**Fix-Kette (verifiziert):** `qm start 114` → force-delete openshell-0 (StatefulSet recreatete auf worker-02, 1/1) → headless OIDC-Login (Authelia firstfactor + redirect; Skript-Neubau `/tmp/oidc-login3.sh`, PW `/root/.fleet-authelia-pw` auf Runner) → `systemctl restart openshell-portforward` (17671 listening) → `resume.sh` 8/9 + **ceo separat** (Bug: resume.sh-Liste umfasste nur 8 Agenten → **gefixt: Liste um ceo erweitert auf dem Runner**) → 9/9 Pods Running, 9 Serien (46–283 s), Immich-ML nach Recreate Running.
|
||
|
||
**Pitfalls (neu):** (a) openshell-0-Terminating-Wedge = SPOF für ALLE Sandbox-Ops; Heilung = force-delete, danach StatefulSet-Recreation abwarten. (b) Nach Full-Resume `openshell sandbox list` auf 9/9 Ready prüfen, nicht Skript-Output. (c) OIDC ohne Refresh-Token: nach Token-Expiry headless Re-Login nötig (bewährtes Muster in SolDoc). (d) Policy-Hotfix per `kubectl cp` scheitert: Pods uid 10001, `/opt/hermes/fleet` root-owned → Policy-Rollout nur via Image-Rebuild (Kaniko) oder ConfigMap-Mount (struktureller Fix, offen). (e) Kaniko v1.23.2 ohne `--push-retry`: Gitea-Upload-Session läuft bei großem Push ab (BLOB_UPLOAD_UNKNOWN 2× identisch) — dritter Anlauf mit kleinerem Image/Registry-Timeout nötig.
|
||
|
||
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
|
||
|
||
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`
|
||
|
||
## Netzwerk-Policy live ändern ohne Recreation (01.11.2026)
|
||
|
||
**Problem:** Agent-Sandboxes wurden 29.10. mit Policy v1 erstellt; der `fleet_mcp_deploy_facility`-Endpoint kam erst mit Commit `c0612fb` (31.10.). Bestehende Sandboxes behielten die alte Egress-Boundary — Facility aus der Sandbox nicht erreichbar (DNS ok, TCP deny).
|
||
|
||
**Lösung (PVC-sicher, kein Pod-Neustart):**
|
||
```bash
|
||
# auf Runner 10.0.30.124
|
||
export OPENSHELL_GATEWAY=fleet OPENSHELL_GATEWAY_INSECURE=true
|
||
openshell policy set --policy /root/sandbox-base.yaml --wait <agent>
|
||
```
|
||
Setzt Policy-Version hoch (1→2), Supervisor lädt sie live. Für alle 8 Standard-Agenten durchgeführt; research bewusst ausgelassen (eigene Internet-Policy, Live-v3 ≠ Git-Stand).
|
||
|
||
**E2E-Beweis:** `openshell sandbox exec devops -- curl -X POST http://fleet-deploy-facility.fleet.svc.cluster.local:8080/mcp ...` → `serverInfo: deploy-facility`.
|
||
|
||
**Pitfalls:**
|
||
- `kubectl exec` in den Workload-Pod (`default--<agent>`) ist KEIN valider Boundary-Kontext → DNS/HTTP-Tests dort liefern falsche Negative. Nur `openshell sandbox exec` zählt.
|
||
- `boundary.json` (Sandbox-Secret) enthält keine Host-Whitelist — nur Session-/TLS-/Identitätsdaten. Enforcement sitzt im Supervisor-Proxy.
|
||
- Synthetik-IPs 198.18.0.x = Proxy-Mapping; DNS-Antwort allein beweist keinen erlaubten TCP-Pfad.
|
||
- Policy-Dateien: `iac-homelab/clusters/main/fleet-truth/openshell-policies/{sandbox-base,research-sandbox}.yaml`.
|
||
|
||
## 01.11.2026 (20:00–20:45) — Karten-Bewertungs-Sweep live; zwei Zustell-Blocker behoben
|
||
|
||
**Feature:** board-service legt alle 900 s `review`-Tasks für Karten im Status `Neu` an (Mindestalter 3600 s, Cooldown 86400 s/Karte, max 5 Karten/Task, ein offener Sweep-Task pro Value Stream). Der Sweep **bewegt keine Karte** — er aktiviert nur den VS-Owner. Kein `karte_id` im Envelope, damit `complete_task` nichts auf `Fertig` koppelt.
|
||
|
||
**Versionen:** board-service 0.23 `sha256:2d8d3026e02b497dca19b4deda1a5ea2da5ecfdd9980bc395d7796d3745a324e`; spool-watcher 0.25 `sha256:580773d35f679cb450fee692e18d2b1d2334959a1af18e7e93a399055f292b7e`. Commits `801409c`, `e8ef165`, `a233597` (ArgoCD `a233597`).
|
||
|
||
**Blocker 1 — Dedupe auf mehrdeutigem Typ:** `_open_review_vs()` filterte auf `type == "review"`. Fachliche Abnahme-Tasks der Agenten haben denselben Typ; ein offener `Abnahme: deadman-rezidiv-research-4` (`working`, `vs-fleet-rebuild`) sperrte den ganzen Value Stream (40 fällige Karten). Fix: `_is_card_review_task(env)` = `type=="review" and from=="board-service"`.
|
||
|
||
**Blocker 2 — Sender-Allowlist-Drift:** Der Spool validiert zweimal — `submit_task.py` beim Schreiben, `watcher_main.py` beim Scan (`validate_schema_loose`). Der Watcher-Pod hat `submit_task.py` **nicht im Image** und hält eine Hardcode-Kopie der Konstanten. `board-service` war nur im Einleger ergänzt → Journal zeigte `accepted` (rc=0), eine Sekunde später `quarantined` („'from' ist kein Mitglied der 9er-Org"), Task in `_invalid/`. **`accepted` ist Schreib-, nicht Zustellbeweis — erst `task_claimed` zählt.**
|
||
|
||
**Regressionsschutz:** `clusters/main/fleet/spool/test_sender_sync.py` vergleicht beide Konstanten-Dateien per AST (14 Checks): Sendermengen, Typ-Mapping je Sender, `board-service`→nur `review`, keine Kollision System-Sender/Org-Agent. Läuft ohne Import der Module.
|
||
|
||
**E2E-Beweis:** Sweep-Log `vs-fleet-rebuild -> ceo cards=5` (Task `c5473d17`); die 4 quarantänierten Envelopes zurück in den Spool → `task_claimed by cto`, `agent_claim_active`, 2× `agent_awaiting_claim`, keine neue Quarantäne. Folgelauf 15 min später erzeugte **keinen** neuen Task (Dedupe greift). Karten `e2e-014-owner-idee`/`dauer-tower-dev` unverändert `Neu`. `health()` liefert `card_review: {enabled,last_run,runs,last_result}` als **MCP-Tool** (kein HTTP-Endpunkt — `curl :8080/health` → 404).
|
||
|
||
**Test-Isolation:** `/tmp/bsvenv` (`mcp==2.3.0`, pyyaml) für `test_card_review.py` (20/20). Kaniko-Builds im Cluster: `bs-build-023c` (board-service), `ws-build-025` (watcher); Registry-Push `BLOB_UPLOAD_UNKNOWN` ist transient → Retry hilft.
|
||
|
||
## Deadman-Alarm-Routing (01.11.2026, 21:20 UTC) — `7b621ad`, deadman 0.13.3
|
||
|
||
**Vorfall:** `ceo`-Sandbox stand ab ~18:43 UTC auf `PHASE Error` (Pod weg, kein
|
||
Supervisor). Der Deadman erkannte die Stille korrekt (1858 s > 1800 s) und legte
|
||
P1-Task `06aa7d55` — mit `to: ceo`, also an den ausgefallenen Agenten selbst.
|
||
Der Alarm lag **1 h 43 m** ungesehen, 73 Tasks stauten sich. Heilung war nur
|
||
manuell möglich (OIDC-Login ohne Refresh-Token war abgelaufen).
|
||
|
||
**Fix:** `alarm_recipient(source_key)` in `deadman_main.py` — ist
|
||
`source_key == "agent:<ALARM_TARGET>"`, geht der Alarm an `OWNER_TARGET`
|
||
(`tower-owner`, kein Agent, HITL-fähig). Alle anderen Alarme unverändert an ceo.
|
||
Body trägt `UMLEITUNG:`-Block mit Heilungsweg.
|
||
|
||
**Sender-Matrix (alle drei Ebenen, sonst Quarantäne):**
|
||
`VALID_SYSTEM_RECIPIENT_SENDERS` / `SUBMIT_SYSTEM_RECIPIENT_SENDERS`
|
||
`[tower-owner] = {ciso, deadman-watchdog}` — in `spool/submit_task.py`,
|
||
`spool/watcher/watcher_main.py` **und** der CM-Kopie `fleet-submit-task`
|
||
(`mcp/board-service/deployment.yaml`). NAR-Regel bleibt eng: kein Org-Agent
|
||
darf an `tower-owner`; `deadman-watchdog` nur `type: escalation`.
|
||
|
||
**Tests:** `deadman/test_alarm_routing.py` 19/19 (neu), `spool/test_sender_sync.py`
|
||
0 Fehler, echter Watcher-Validator im Pod 6/6 (`validate_schema_loose`).
|
||
|
||
**Sandbox-Wiederherstellung (Runner, verifiziert):**
|
||
`pkill -f "gateway[ ]login"` (Regex-Trick — `pkill -f "openshell gateway login"`
|
||
killt die eigene Shell, weil die Kommandozeile das Muster enthält) →
|
||
`bash /tmp/oidc-login3.sh` → `✓ Authenticated to gateway 'fleet'` →
|
||
`openshell sandbox stop <name>` → `start <name>` → `PHASE Ready`.
|
||
Bei `PHASE Error` ist **stop → start** der Weg (start allein reicht nicht).
|
||
`/root/resume.sh` startet alle 9 (Liste enthält ceo, am 01.11. gefixt).
|
||
|
||
**Offen:** Reconcile-Loop für `PHASE Error`-Sandboxes (Selbstheilung);
|
||
OIDC-Refresh-Token auf dem Runner. Images: watcher 0.27 `ced4430b…`,
|
||
deadman 0.13.3 `d8dbc57a…`. SolDoc
|
||
`bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`, Pattern PAT-019.
|
||
|
||
## 02.11.2026 — Governance 1–3, attention-Rückkanal, Gitea-OCI-Fix
|
||
|
||
**Drei strukturelle Übernahmen aus `dsh-superagent`** (Commit `66e3f0a`,
|
||
`c71e036`; SolDoc `architecture/2026-11-02-fleet-governance-outbox-mandat-observe.md`):
|
||
|
||
1. **Outbox** — `submit_task.py` schreibt nach `tasks/_outbox/<id>.yaml`; der
|
||
Watcher-Publisher prüft mit `validate_schema_loose` (demselben Code, der
|
||
später liest) und verschiebt erst dann atomar nach `tasks/`. Journal-Kette
|
||
`outboxed → published → task_claimed → task_completed`. Grund: 62
|
||
Quarantäne-Dateien aus „accepted, 1 s später abgelehnt".
|
||
2. **Mandat light** — `authorized_by`, `policy_version`, `scope`, `strength`
|
||
(`explicit|inferred`), `mode` (`observe|auto`, **nur System-Sender**).
|
||
`FLEET_CARD_REVIEW_MODE` steuert den Karten-Sweep: `observe` journalisiert
|
||
nur (`card_review_would_submit`), `auto` stellt zu. Live auf `auto` (2.11.).
|
||
3. **Strukturierte Attention** — `attention: {question, options[2..5]}` +
|
||
MCP `attention_summary()`.
|
||
|
||
**attention-Rückkanal (board-service 0.25 `59529660…`):** MCP-Tool
|
||
`answer_attention(task_id, answer)` setzt `attention.answer/answered_at/
|
||
answered_by`, journalisiert `attention_answered` und legt beim fragenden Agenten
|
||
einen `fyi`-Reply-Task an (`from=tower-owner`, `reply_to=<task_id>`, P1).
|
||
Idempotent (`OK_ALREADY`). `tower-owner` darf als Sender jetzt auch `fyi`
|
||
(in `submit_task.py`, `watcher_main.py`, Inline-CM). `attention_summary` zählt
|
||
beantwortete Fragen nicht mehr. Live bewiesen: `waiting_on_person` 1 → 0,
|
||
Antwort-Task `f0418d90…` bei devops, Idempotenz `OK_ALREADY`.
|
||
|
||
**SOUL:** `gen_soul.py`-Template hat Regel 5 („Warten auf einen Menschen ist
|
||
ein Zustand, kein Freitext") + `attention_*` in der Tool-Signatur; 9/9 live via
|
||
`deploy_soul.sh`. Vorher geprüft: Live-SOUL war byte-identisch mit generiert →
|
||
kein Handarbeitsverlust.
|
||
|
||
**Gitea-OCI-Fix (Commit `271d702`)** — zwei Defekte, ein Fehlerbild:
|
||
- Realm kam als `http://` (`GuessCurrentHostURL` bei `PUBLIC_URL_DETECTION=auto`
|
||
ohne `X-Forwarded-Proto` hinter Traefik) → Go-Clients verlieren beim Redirect
|
||
den Auth-Header. Fix: `PUBLIC_URL_DETECTION: never` → Realm aus ROOT_URL.
|
||
**App-of-apps-Falle:** erst `argocd app sync root`, sonst behält die App die
|
||
alten Values und der Sync meldet trotzdem Succeeded.
|
||
- Kaniko las `/kaniko/.docker/config.json`; Secret `fleet-build-push` liefert
|
||
`.dockerconfigjson` → Push **anonym**. Fix: `items:`-Mapping im Pod-Spec.
|
||
Beleg: Token-Request anonym 2,1 ms vs. Basic-Auth 17,5 ms (bcrypt).
|
||
SolDoc `bug-fixes/2026-11-02-kaniko-push-401-gitea-realm-und-secret-mapping.md`.
|
||
|
||
**Tower:** neue View „Wartet auf mich" (`AttentionPanel` +
|
||
`/api/fleet/attention`). Zeigt nur Tasks mit strukturierter Frage, Optionen als
|
||
Buttons, Freitextfeld; Antwort via `answer_attention`.
|
||
|
||
### 02.11.2026 (Nachtrag) — Schema-Drift: der Rückkanal quarantänisierte sich selbst
|
||
|
||
`answer_attention` schrieb `answer`/`answered_at`/`answered_by` in den
|
||
`attention`-Block; beide Validatoren erlaubten nur `question`/`options`. Da
|
||
**jeder Statuswechsel neu validiert**, wanderte jeder beantwortete Task nach
|
||
`/srv/fleet/tasks/_invalid/` — sichtbar nur am Quarantäne-Zähler (62→63).
|
||
Fund war ein Zufall beim Aufräumen, nicht ein Alarm.
|
||
|
||
**Fix** (`059f7cd`, board-service **0.26** `sha256:1837ef9b`, watcher **0.30**
|
||
`sha256:6f415d38`): `ATTENTION_FIELDS` / `GOV_ATTENTION_FIELDS` erweitert **plus**
|
||
Validierung des Antwort-Tripels — alle drei Felder oder keins, `answer` 1..2000,
|
||
`answered_at` Integer, und `answered_by != from`. Letzteres ist der eigentliche
|
||
Gewinn: sonst könnte ein Agent seine eigene Rückfrage mit „ja" beantworten und
|
||
sich selbst ein GO geben — ein Autonomie-Leck genau an der Mensch-Schnittstelle.
|
||
`test_governance_sync` **31/31** (6 neue Fälle, beide Implementierungen).
|
||
Live-E2E mit dem zuvor gestorbenen Task `8281e059`: submitted/working/complete
|
||
alle quarantänefrei, `completed`.
|
||
|
||
**Struktureller Punkt (offen):** Die Wahrheit über ein Envelope-Feld steht an
|
||
**drei** Orten — `spool/submit_task.py`, `spool/watcher/watcher_main.py`, Inline-CM
|
||
`fleet-submit-task` in `board-service/deployment.yaml`. `sync_submit_cm.py` hält
|
||
Kopie 3 synchron, `test_governance_sync.py` prüft 1↔2. Was fehlt: ein Test
|
||
„setzt irgendein Schreiber ein Feld, das die Validatoren nicht kennen?".
|
||
Zweiter Drift dieser Klasse innerhalb von 24 h (vorher Sender-Allowlist).
|
||
|
||
**Test-Pitfalls, teuer gelernt:** `claim_next_task` setzt **nur** `status=working`
|
||
(`claimed_by`/`claimed_at` sind unerlaubt und quarantänisieren selbst — mein Test
|
||
hat seinen eigenen Fehler gemessen); `submit_task` liefert verschachtelt
|
||
`{"result","task":{"task_id"}}`; `attention` gibt es nur als flache Parameter
|
||
`attention_question`/`attention_options`; `from_agent` unterliegt dem
|
||
Strict-Gate (tower-owner ist kein Org-Agent), `to` nicht; Single-Claim-Gate
|
||
liefert `OK_OWN_ACTIVE`.
|
||
|
||
**Build-Infra:** `clusters/main/fleet/build/build-image.sh` — Kaniko-Pod aus
|
||
versionierter Vorlage statt `/tmp`-YAML, mit dem Pflicht-`items:`-Mapping.
|
||
Erster Praxiseinsatz: beide Images in 4 min.
|
||
|
||
## 02.11.2026 — CEO-Egress: Landlock-Pfad, Binary-Identität, Policy-Approval
|
||
|
||
Nach dem Image-Move (`v5.5`, Hermes real unter `/usr/local/hermes`, `/opt/hermes`
|
||
als Symlink) war `ceo` als einziger Agent ohne Netz. Drei unabhängige Gates:
|
||
|
||
1. **Landlock** verweigerte den Spawn von `start-agent.sh` (Pfad nicht in
|
||
`filesystem_policy.read_only`); Fix im Image (Commit `d36f334`).
|
||
2. **Binary-Identität**: Network-Regeln matchen `binaries[].path` exakt. Der
|
||
reale Interpreter ist `/usr/local/hermes/tools/…/python3.14`; die Policy
|
||
listete nur `/opt/hermes/…`. Fix `d431f6d`, Pfad-Reparatur `5d039ea`
|
||
(der erste Patch hatte den Pfad per `sed` auf `/opt/hermes/` gekürzt).
|
||
3. **Policy-Approval**: Der Gateway staged neue Endpoint-Namen
|
||
(`Policy DNS staged unapproved … for TCP policy review`). Default
|
||
`--approval-mode manual` hält jede Proposal im Review-Inbox; mit
|
||
`--approval-mode auto` wird `fleet-board-service` nach ~20 s gemappt
|
||
(`CONFIG:PUBLISHED … mapping_id=…`). Freigabe kommt **eine Runde später** —
|
||
der Heartbeat 11:09:36 scheiterte, 11:19:36 lief er, danach alle 300 s.
|
||
|
||
Endzustand: 9/9 Agent-Pods Running, 10/10 Fleet-Deployments ready,
|
||
`deadman_silence_seconds{agent="ceo"} 292` (< 300 s), alle
|
||
`deadman_alert_active` = 0. Der CEO arbeitet Tasks ab (u. a. die
|
||
Deadman-Eskalation seines eigenen Ausfalls).
|
||
|
||
Lehren: Sandbox-Diagnose nur über das Supervisor-Log (`ALLOWED`/`DENIED` mit
|
||
Pfad + Regelname); `kubectl exec` umgeht die Policy und beweist nichts.
|
||
Policy-YAML nie per `sed` erzeugen (Pfad-Trunkierung), `policy set` scheitert
|
||
auf laufender Sandbox an Bestandspfaden → `policy update`.
|
||
|
||
### Rollout v5.5 auf alle neun Agenten (02.11., 12:11–12:32)
|
||
|
||
Alle acht übrigen Agenten wurden migriert (`coo` als Pilot, dann `chro`,
|
||
`agile-coach`, `cmo`, `research`, `cto`, `devops`, `ciso`). Skript:
|
||
`~/workspace/fleet-rollout/{rollout-agent.sh,run-all.sh}`, Logs daneben,
|
||
Backups unter `~/fleet-workspace-backups/<agent>-<ts>.tgz`.
|
||
|
||
Ablauf je Agent: `tar czf` aus dem Pod → `openshell sandbox delete` →
|
||
`create … --approval-mode auto` → auf Ready warten → `kubectl cp` + `tar xzf
|
||
-C /sandbox --no-overwrite-dir` → Egress-Check. Dauer ~1–7 min/Agent, weil das
|
||
Bild nach dem ersten Pull auf den Nodes gecacht ist (Erstpull: 3 m 48 s).
|
||
|
||
**Recreate kostet den Workspace:** Der PVC hat einen OwnerRef auf die Sandbox und
|
||
wird mitgelöscht; der neue Sandbox erhält einen frischen `workspace-default--*`
|
||
PVC. Größen nach Restore deckungsgleich (cto 84 MB, ciso 117, devops 113,
|
||
research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB).
|
||
|
||
**Egress-Freigabe ist ein zweistufiger, asynchroner Vorgang:** Nach dem ersten
|
||
Verbindungsversuch staged der Supervisor den DNS-Namen
|
||
(`Policy DNS staged unapproved … for TCP policy review`) und reicht selbst
|
||
Policy-Chunks ein (`add-rule allow_fleet_beacon_…`, `resolved_from:sandbox`).
|
||
Das Gateway gibt sie automatisch frei, solange der Prover-Delta leer ist
|
||
(`OCSF CONFIG:APPROVED … auto-approve, prover_delta:empty`, Policy-Revision
|
||
`Loaded`). Bis der Supervisor die neue Revision geladen hat, vergeht **ein
|
||
weiterer Heartbeat-Zyklus** — pro Agent also 5–10 min bis `hb ok`, mit
|
||
`--approval-mode auto` ohne jede Handarbeit.
|
||
|
||
Endstand: 9/9 Pods auf `013bfac8`, 9/9 `hb ok`, `deadman_alert_active` alle 0
|
||
(max. Stille 230 s), 10/10 Deployments ready, Quarantäne unverändert 64.
|
||
Offen in der Owner-Lane: 32 Tasks an `tower-owner` (nicht Agenten-Backlog).
|
||
|
||
|
||
|
||
## 03.11.2026 — Loops griffen nicht: Bewertet-Sackgasse + verlorene Inferenz
|
||
|
||
Owner-Befund: 52 Karten auf `Bewertet`, Agents idle. Vier Schichten, jede maskierte die nächste:
|
||
|
||
1. **Sackgasse:** Bewertungs-Sweep macht `Neu → Bewertet`; der Idle-Trigger kannte nur `Neu`. Der CEO meldete im Turn „0x Neu; 43 Bewertet". Fix: **Umsetzungs-Sweep** (board-service 0.26 `3d0a5945…`, alle 900 s): je VS die höchsten `Bewertet`-Karten (Score, `rueckbau-` ausgenommen, max 3/Task, max 1 offener Task je VS) als `build` an den VS-Owner, plus **Stall-Erkennung** (`In Bau` ohne offenen Auftrag > 48 h). Sender-Allowlist `board-service: review+build` in allen drei Kopien. Idle-Trigger kennt jetzt `Neu` **oder** `Bewertet` (watcher 0.31 `7bcb5be2…`). Deadman zählt `Bewertet` mit (0.13.4 `a2ef7364…`) — vorher schwieg er genau in diesem Zustand.
|
||
2. **Worker maskierte Fehl-Turns:** Abschlussnotiz „Your request was not processed…" = `FAILED_TURN_NOTICE`; 24 Tasks galten als `completed` ohne Arbeit. Guard im Worker (Retry/`fail_task`) ist **noch offen**.
|
||
3. **Sandbox ohne Basis-Policy:** `openshell sandbox create` braucht `--policy <yaml>`; ohne sie antwortet das Gateway „no policy".
|
||
4. **Inferenz doppelt gebrochen:** (a) `--provider fleet-bifrost-<agent>` fehlte beim Recreate; (b) Provider hielten die **13-Zeichen-Platzhalter** aus 1P (`VK coo (v2)`) statt der echten **42-Zeichen-VKs** (`VK coo-v2`) → `provider update` für alle neun; (c) Roh-IP `10.0.30.210:8080` wird vom Proxy **nicht** abgefangen — nur Cluster-DNS; (d) der Sandbox-Env trägt einen 64-Zeichen-**Handle**, der nur bei passendem **Profil-Host** gegen das Secret getauscht wird → Provider-Profil `fleet-bifrost` von IP auf `bifrost.agent-fleet.svc.cluster.local` umgestellt (`profile import`).
|
||
|
||
Verifiziert: coo (deepseek-v41-flash) und cto (glm-5-3) antworten in 20–37 s; `vs-fleet-rebuild` Bewertet 44→41, In Bau 1→4; 9/9 hb ok, Deadman 0/14.
|
||
|
||
Pitfalls: Platzhalter vs. echter VK an der Länge erkennbar (13 vs 42); `kubectl exec` umgeht die Sandbox-Policy (curl-Tests wertlos); Profil-Host und Policy-Endpoint müssen identisch sein, sonst 403 mit Handle als Bearer. SolDoc `bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md`.
|
||
|
||
## 04.11.2026 — Owner-Triage R4, Stall-Wachen live, gitea-mcp-Facility, deploy-facility v0.2, Rollback
|
||
|
||
**Owner-Lane:** Runde 4 über 75 Tasks (18 GO / 57 Quittierung, 0 unbekannt) — danach Lane leer. GOs: gitops-Hire-Kette (2. Build-Agent unter cto, A16-Vote 5/5 JA), board-register-Flip-Defekt (register.md Rueckflip nach move_card), telemetry CO-REV-C, telemetry query_prometheus v5.6-failed-turn-Befund (worker_loop Auto-Completion Z.361-379). **Stall-Wachen von der Org selbst gebaut+angenommen**: 11 Abnahmen working-stall-wache completed, submitted-stall-wache live (Nachbesserung bei devops) — der 21-h-Stall von 03.11. wird künftig in Minuten gefangen.
|
||
|
||
**gitea-mcp-Facility (P1 schoenkitchen):** offizieller gitea-mcp v1.12.0 als eigenes Image `git.schoen.codes/dominik/gitea-mcp@sha256:3a1ed989…` (Binary-Release, docker.gitea.com-Image existiert nicht; HTTP-stateless POST /mcp + /healthz). Bot-User fleet-bot (Token via `gitea admin user generate-access-token`, Scopes write:repository,write:issue,read:user; Collaborator-write NUR dominik/schoenkitchen; 1P-Item „Gitea fleet-bot Token (gitea-mcp)"; Secret gitea-mcp-token out-of-band). 48 Tools; Agenten sehen nur Tools, nie Token.
|
||
|
||
**PITFALLS (04.11.):**
|
||
- git.schoen.codes präsentiert VERSCHIEDENE Self-Signed-Certs je Pfad (lokal E4:0B…, in-cluster F8:A6…) — CA-Bundle für in-cluster-Clients IM POD extrahieren, `GITEA_CA_CERT` (nativer CA-Support, kein Insecure-Bypass).
|
||
- patch-Tool + Chat-Redaction: `202****1021` aus Summaries hat 4 echte Pfade (20261021) korrumpiert — Kontext NIE aus komprimierten Transkripten, immer aus Quelldatei; Terminal-Ausgabe redigiert selbst → Base64-Verifikation.
|
||
- submit_task: `from_agent` (nicht `from`); tower-owner nur über `submit_owner_task` (Strict-Gate).
|
||
|
||
**Agent-Anbindung:** gitea-Server in 9/9 Sandbox-Configs (text-insert nach `^mcp_servers:`), Netzwerk-Regel `fleet_mcp_gitea` in sandbox-base.yaml, **Boundary-Regeneration per `openshell sandbox stop && start`** (holt neue Policy-Revision; Egress-Beweis je 9× ALLOWED für devops/cmo/cto). Rest 6 bei natürlichem Recreate.
|
||
|
||
**deploy-facility v0.2** (`sha256:39901570…`): PRODUCTS-Allowlist {tower, schoenkitchen} (git-truth im Code, nicht env), `deploy_image(product,…)` + deploy_tower-Kompat-Wrapper; schoenkitchen-pin_re matcht :tag UND @sha256: (erster Pin ersetzt :latest). Achtung: schoenkitchen-App läuft noch über git-clone-Overlay — Pin wirkt erst nach Overlay-Entfernung (Produkt-Team).
|
||
|
||
**Rollback:** `clusters/main/fleet/build/rollback-image.sh <pin-file> [steps-back]` — N-ten frueheren Digest aus Git-Historie, committet+pusht, an tower.yaml bewiesen.
|
||
|
||
**Commits:** de0a580 (facility), 5303256 (CA), 2b9ce0a (Policy+Seed, Pfad-Reparatur), 67bcb8f (v0.2+Rollback). FYI an cmo+devops (0c2168d6/fc63f085) published. SolDoc: architecture/2026-11-04-schoenkitchen-p1-gitea-mcp-kaniko-allowlist-rollback.md.
|
||
|
||
## 04.11.2026 (Abend) — gitops-Rollout S1-S6 VOLLZOGEN (Chair, EXEC-HANDOFF e12c10f9)
|
||
|
||
**Agent gitops LIVE** (10. Agent, operative, parent cto, wave 1, al 1, model deepseek-v41-flash): Sandbox default--gitops 2c66fc12, Image fleet-agent-image v5.6 @sha256:f55f82aa (10 Souls), VK gitops 164fd4a4 (Bifrost, Completion 200, ~284k tok/30m), Heartbeat ~79s, Prepuller 8/8 auf v5.6. S5-Routing CHO->gitops AKTIV (R1-R4, Weichen-Owner cto; Overflow devops>20 -> gitops). Beleg: Test-CHO 907bc425 to=gitops published+claimed+completed; VORHER-Rejekt 3554ee29 (9er-Org). K1/K2-Messreihe: Basis 66 offen/36.6h aeltester (ohne fyi), 3 Checks/24h, Abnahme danach durch ceo/cto.
|
||
|
||
**KRITISCHER PITFALL (Org-Spiegel):** Agentenliste ist 4× gepflegt — org.yaml + org-truth-configmap (regen! sha-Annotation) + 3 hardcodierte frozensets: spool/submit_task.py VALID_AGENTS, Inline-CM fleet-submit-task (sync_submit_cm.py!), watcher_main.py SUBMIT_VALID_AGENTS. Ohne alle 3: Task an neuen Agenten wird synchron INVALID + im Outbox rejected (*outbox-* in _invalid/, kein Quarantine-Event). CM-Mount braucht Pod-Restart. DB-Tabellen members/sandboxes waren LEER (Stub nie aktiviert) -> SQL-Sync aus org.yaml (10 Member ON CONFLICT) + sandboxes-Zeile; get_sandbox_status(alle)=none war vorher Normalzustand. EXEC-HANDOFF-Digest 64b987.. war Soul-DATEI-Hash, nicht Image-Digest.
|
||
|
||
**Commits:** a72c246 (S1-S3), e075439 (VK-ES), prepuller-pin, 06630a5 (3 Agentenlisten), a9bdc0e (watcher 0.33 42a3b3de). 1P: "Agent-Fleet VK gitops" (Kubernetes ESO). Bifrost-Admin: 1P "Agent-Fleet Bifrost Admin" (Basic-Auth gegen /api/governance/virtual-keys, Bearer/X-Admin-Key funktionieren NICHT). fyi-Zaehlung: watcher 0.25/0.26 exempte fyi von offener Arbeit + Archiviert — alter watcher-fyi-fix-Todo war stale. SolDoc: bug-fixes/2026-11-04-gitops-rollout-org-spiegel-agentenlisten.md.
|
||
|
||
## 05.11.2026 — Arbeitsteilung: CHO-Weiche im SOUL, Produkt-PR-Bruecke, erster PR #1
|
||
|
||
**Symptom:** gitops (10. Agent) hatte dauerhaft 0 Inbox-Items; erster schoenkitchen-PR kam nicht zustande, obwohl 4/5 P1-Kinderwahl-Tasks completed waren ("kein Commit/Push/CI" — Text-Artefakt-Konvention).
|
||
|
||
**Drei Root Causes:** (1) Es gibt keinen Verteiler — Arbeit entsteht nur durch `to=<agent>`-Adressierung; Idle-Trigger kennt operative Rollen NICHT (IDLE_IDEATION_ROLES = cto/cmo/coo/research/agile-coach/chro) → operative Agenten haben keinen Selbststart. (2) S5-Weiche R1-R4 war Dokument/Entscheidung, aber nicht im cto-SOUL. (3) "Kein Cluster-Zugriff → Text-Artefakt" galt unterschiedslos — die letzte Meile Artefakt→Repo hatte keinen Besitzer, obwohl gitea-mcp (48 Tools, Schreibrecht via fleet-bot) seit dem schoenkitchen-P1 bereitstand.
|
||
|
||
**Fix (Commit 585eeb8):** cto-SOUL = "DU BIST DIE CHO-WEICHE R1-R4" (R1 strukturell→gitops, R2 Betrieb/Produkt→devops, R3 Overflow devops>20→gitops, R4 Envelope-Doku; "gitops hat keinen Selbststart"). devops+gitops-SOUL: "AUSNAHME PRODUKT-CODE: Branch+PR ueber mcp_gitea_*, CI blockiert Merge, Review Owner, kein Direkt-Push auf main". deploy_soul.sh: gitops in AGENTS-Liste + effort low.
|
||
|
||
**Vierte hardcodierte Agentenliste:** deploy_soul.sh hatte AGENTS ohne gitops → gitops' SOUL war beim Rollout NIE deployt (live 4295B alt). Nach jedem neuen Agenten: `grep -rn "ceo cto ciso" clusters/`.
|
||
|
||
**Beweis:** PR #1 https://git.schoen.codes/dominik/schoenkitchen/pulls/1 (fleet-bot, feat/kinderwahl-endpunkte→main, +833/-0 in 7 Dateien, CI success Run 127) — API-verifiziert. cto wandte Weiche an (R1/R2 gesetzt, P1-Handover b2183e31 fuer Bestands-Tasks — Redispatch existiert nur fuer Dead-Letter). gitops: erster echter R1-CHO 4ab3c718 (add_backlog_card Komma-Sanitisierung, RFC-4180 register_codec.py) claimed 07:33 completed 07:54. Queue: devops 47 offen (von 66), gitops 0. SolDoc: architecture/2026-11-05-fleet-arbeitsteilung-cho-weiche-produkt-pr.md.
|
||
|
||
**Regel:** Health (Heartbeat/VK/Sandbox Ready) beweist Betrieb, nicht Arbeit. Arbeitsnachweis = geclaimte/completed Tasks. Neue operative Rollen brauchen eine Zuweisungsquelle im Owner-SOUL, nicht nur im Dokument.
|
||
|
||
## 05.11.2026 (2) — Owner-Lane 65→6: Register-Zeilendefekt als Wurzel des Schein-Staus
|
||
|
||
**Kernbefund:** `ideen-register.md` (vs-fleet-rebuild) hatte ab 04.11. 16:27 eine Zeile mit 9 statt 6 Zellen (Titel `task-lost-cause-taxonomie` mit Kommas ungequotet). `get_kanban`/`get_backlog` fail-loud → **Board des groessten VS 22 h unlesbar** → keine Karte abschliessbar → devops-Stau → ciso eskalierte denselben Defekt **30×** in die Owner-Lane. Das Erklaermuster gilt generell: viele Eskalationen desselben Themas = ein Defekt, nicht 30 Auftraege.
|
||
|
||
**Fix:** Zeile 201 neu geschrieben (RFC-4180-Quoting), Backup `.bak-2026-11-05-chair`; 199×6 Zellen; `get_kanban`/`get_backlog` gruen (197 Karten).
|
||
|
||
**Nebenbefunde + Fixes:**
|
||
- Weichen-Cooldown war am falschen Schluessel (`busy_agent` statt `ziel`) → Sperre wirkte nie → 28 WEICHE-AUDITs/3 h. watcher 0.37 (`sha256:33420cba…`, `be6f17c`), Tests 20/20.
|
||
- cto war spool-blind → board-service 0.27 (`sha256:657bab44…`, `d6b9795`) mit `list_open_tasks(agent_id, include_fyi, limit)`, read-only, Tests 7/7.
|
||
- `sandboxes`-Tabelle hatte nur gitops → `get_sandbox_status(devops)=none` (falscher Alarm). 10 Mitglieder aus Live-Pods nachgetragen, gitops-Duplikat geloescht.
|
||
|
||
**Triage-Muster (verbindlich):** erst Defekt fixen, dann quittieren; Dubletten auf **ein** Paket konsolidieren und Originale mit Verweis quittieren; Beleg (Datei/Zeile/Backup/Tool) in die Quittung; Owner-Entscheidungen (Policy-Wortlaut, PVC, PR-Merge, Governance) bleiben offen.
|
||
|
||
**Ergebnis:** Owner-Lane 65 → 6 (bewusst offen: 2ae3fb35 envelope Rev D, 6b813142 shared artifacts PVC, 2edad98c FLEET-POLICIES 1.6, 8bba1cf2 Sandbox-View, 66792d25 PR #2, ad6adbca Lieferintegritaet). gitops lieferte in ~1 h 5 Change-Packages (deadman-beacon-metrics, NAR-SSOT-A1 3 Patches, policy-exec-7grants, grant-stop-prometheus-read, Register-Writer-Haertung) — Beweis: adressiert = arbeitet, unbeschaeftigt = idle by design.
|
||
|
||
**Pitfalls:** `decide_owner_task` nur `approve|decline` (Quittung = `dismiss_owner_task`); MCP-Schreibaufrufe ~20–40 s → Triage in Bloecken 5–8 und `python3 -u`, sonst Timeout/verlorener Puffer. SolDoc: bug-fixes/2026-11-05-owner-lane-triage-register-defekt-gitops.md.
|
||
|
||
## 05.11.2026 (3) — Review-Gate 4/4 live; Sandbox-Auto-Heilung bewiesen
|
||
|
||
**Owner-Direktive:** PR-Reviews durch ciso/cto/coo/cmo, Merge auf `main` nur bei **4/4**,
|
||
autonom durch die Fleet. Owner-Freigaben laufen ab jetzt **ausschließlich über Gitea-PRs**
|
||
(nie Chat/Board/mündlich).
|
||
|
||
### Review-Gate (bewiesen)
|
||
- Agenten-Accounts `ciso/cto/coo/cmo` + Tokens (40 Zeichen, Scope `write:repository`),
|
||
Secret `fleet-review-tokens` in NS `fleet` (out-of-band, **nie** in Git/Sandbox/Log).
|
||
- **`read` genügt**: Kommentar 201, Review-Approval 200, Lesen 200 — kein Push-Recht nötig.
|
||
- Branch-Protection `main` (dominik/schoenkitchen): `required_approvals=4`,
|
||
Whitelist ciso/cmo/coo/cto, `dismiss_stale`, `block_on_rejected_reviews`,
|
||
`enable_push=false`, Merge-Whitelist **nur `fleet-bot`**.
|
||
- **Pitfall:** Statuscheck-Kontext muss exakt `CI / test (pull_request)` heißen — sonst
|
||
blockiert ein nie-grüner Check jeden Merge.
|
||
- Serverseitig: `gitea_gate.py` im board-service (`gitea_pr_*`-Tools) prüft 4/4 + CI vor dem
|
||
Merge erneut; Fehler als JSON, nicht als ToolError.
|
||
- **Pitfall:** `gitea_pr_comment` hat **keine Gate-Wirkung** (State `COMMENT`, Autor fleet-bot).
|
||
Formal zählt nur `gitea_pr_review` mit eigenem Reviewer-Account — Review-Aufträge müssen das
|
||
Werkzeug nennen und `gitea_review_status` als Selbstkontrolle verlangen.
|
||
|
||
### Erstes echtes Review-Ergebnis (PR #2 schoenkitchen)
|
||
3 von 4 Reviews = **3× REQUEST_CHANGES**, komplementär: coo (Router nicht in `app.py`,
|
||
Migration fehlt, kein Runbook) · cto (toter Code, Store ohne Tests, TOCTOU in `speichere_wahl`) ·
|
||
cmo (technische IDs statt Namen, stumme Fehler, unbeschriftete Buttons). Nachbesserung an
|
||
`devops` (`5b47ece7`, 7 gebündelte Befunde). Merge bleibt bei 0/4 gesperrt.
|
||
|
||
### Sandbox-Auto-Heilung (E2E scharf bewiesen)
|
||
`fleet-sandbox-healer.sh` + systemd-Timer (2 min) auf mgmt-runner: erkennt
|
||
`Suspended=True`/`Ready=False>300 s`, erneuert OIDC headless, `stop→start`, max 150 s auf Ready,
|
||
fyi an ceo. Grenzen: 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout.
|
||
Kill-Test `default--gitops`: 19:12:01 `PodTerminated` → 19:15:02 `✓ Started` → Ready, Pod 1/1.
|
||
- **Pitfall 1:** systemd-Units brauchen `Environment=HOME=/root` — sonst `Unknown gateway 'fleet'`
|
||
(sieht wie abgelaufenes Token aus; Auth-Check nutzt denselben Aufruf).
|
||
- **Pitfall 2:** `kubectl … | python3 - <<'PY'` → Heredoc frisst stdin; `python3 <(cat <<'PY' … PY)`.
|
||
- IaC: `clusters/main/fleet/ops/sandbox-healer/` (Skript, Unit, Timer, README) — Commit `b652bb0`.
|
||
|
||
### Watcher 0.38.1
|
||
Digest `sha256:cc325dcb…`: `tower-owner` darf jetzt auch `type=review` einlegen (Chair-Review-Aufträge).
|
||
Vorher quarantänierte der Watcher sie („System-Sender mit unzulaessigem type“).
|
||
|
||
## 05.11.2026 (4) — PR 15/16/17-Rollout; Policy-Schema-Defekte; gitops-Pilot v5.7
|
||
|
||
- Merge-Reihenfolge 15→16→17: Gitea lehnt Parallell-Merges mit 405 "Please try again later" ab —
|
||
einfach versetzt mergen, KEIN Konflikt.
|
||
- **Drei Policy-Fehlerklassen, die nur am Gateway sichtbar sind:** (1) `nar_*`/`valid_until` sind
|
||
keine Schemafelder, (2) `method`/`path` sind keine Endpoint-Felder (Schema: host, ports,
|
||
allowed_ips, protocol, tls, enforcement, access), (3) Overlap auf gleicher host:port mit
|
||
konfligierendem Protokoll (rest vs mcp) → `network endpoint ambiguity validation failed`.
|
||
Fix-Commit 8686743 (nar-SSOT als Kommentare, Befristung via Rueckbau-Karte).
|
||
- **`openshell policy set <agent> --policy <file> --wait` setzt Policies LIVE** (Worker laeuft
|
||
weiter) — Recreate nur noetig, wenn sich das IMAGE aendert. cto v11, ceo v10, devops v12 live.
|
||
- deadman ist KEINE Sandbox → sandbox-Policy-Grants wirken dort nicht.
|
||
- gitops-Regenerate: Backup→delete→create→Restore geklappt; mid-Task-Kill wurde vom System
|
||
verschlungen (Task blieb working, Agent re-claimte). Image v5.7 df08791f, §1.6 im Image bewiesen.
|
||
- **Offen:** writeback-Egress-TLS bricht im Broker (Handshake ok, dann decode error/EOF, curl 56) —
|
||
RCA-Task 64a8fefc an cto. v5.7-Rollout auf 9 restliche Agenten ausstehend.
|
||
- openshell-values.yaml war v4-Stand (a08fa5fe/hermes-agent) — auf fleet-agent-image v5.7
|
||
umgestellt (e5205c8): Live-Images heissen fleet-agent-image, nicht hermes-agent.
|
||
|
||
## 05.11.2026 (5) — v5.7 auf 10/10 Agenten; Rollout-Methode Live-Policy-Export
|
||
|
||
- **Sandbox-Rollout ohne Policy-Verlust:** Live-Policy je Agent via
|
||
`openshell policy get <a> --base -o json` exportieren, d["policy"] als Policy-Datei
|
||
verwenden (JSON ist gueltiges YAML, enthaelt filesystem_policy + network_policies + version).
|
||
Die Live-Policies sind STRENG VOR den Repo-Dateien zu bevorzugen: auto-genehmigte Egress-Chunks
|
||
(allow_openrouter/nousresearch/models.dev/raw.githubusercontent/gitea-mcp/...) existieren nur
|
||
live — Repo-Dateien sind unvollstaendig (Befund: ciso 8, research 12, coo 5 Extraregeln).
|
||
- Rollout-Bewiesen: delete+create mit exportierter Live-Policy + v5.7 + provider + start-agent.sh
|
||
<agent> <modell> → 10/10 Ready, §1.6 überall, SOUL/config per tar-restore.
|
||
- Modelle je Agent (aus config.yaml): ceo/cto/ciso glm-5-3; chro/cmo/agile-coach glm-5-3-flash;
|
||
coo/research/devops deepseek-v41-flash; gitops deepseek-v41-flash.
|
||
- tar-backup des /sandbox: rc=1 ("file changed as we read it", state.db/gateway.sock live)
|
||
ist OK und bei laufenden Agenten die NORM — nur rc>=2/leer ist ein harter Fehler.
|
||
- OIDC-Stunden-Token fällt in langen Rollouts aus — Auth-Retry (relogin + retry) in jede
|
||
lange Runner-Sequenz einbauen.
|
||
- Backup-Groessen: devops 206 MB, ceo 81 MB, cto 80 MB, research 39 MB, Rest 7-40 MB.
|
||
|
||
## 05.11.2026 (6) — PR-#2-Stall: zwei echte Blocker (Facility-Identitaet + Maskierung)
|
||
|
||
- **Facility vs. Board-Tool:** cto gab sein PR-#2-Verdikt zuerst per gitea-mcp-Facility ab —
|
||
die authentifiziert als fleet-bot, und fleet-bot ist der PR-AUTOR -> Gitea: "reject your own
|
||
pull is not allowed". Formale Reviews gehen NUR ueber das Board-Service-Tool gitea_pr_review
|
||
mit reviewer=<agent> (eigene Tokens, ciso/coo/cmo haben so formal abgelehnt).
|
||
Reviewer-Auftraege muessen das Werkzeug explizit vorgeben.
|
||
- **WebUI-Maskierung frisst Branch-Namen:** der Branch "feat/sk-u-kinderwahl" wird von der
|
||
Oberflaeche als "feat/***" maskiert (sk-...-Muster = Key-Detektion). Wer den angezeigten
|
||
Namen kopiert, uebertraegt das Maskierungssyntax-Muster in Fleet-Tasks — devops fand dann
|
||
natuerlich keinen Branch "feat/***". Regel: Branch-/Ident-Namen mit echten Bytes via base64
|
||
ermitteln und in Task-Bodies einsetzen, nie aus angezeigtem Text kopieren.
|
||
- PR-#2-Stand: 3 formale REQUEST_CHANGES (coo/cmo/ciso), cto zieht formal nach (efdaf19d),
|
||
devops bekam echte Branch-Adresse + 7 Befunde erneut (6877bf8c).
|
||
|
||
## 05.11.2026 (7) — Register-Sprengung durch Pipe im Titel; gitops-Queue-Pathologie
|
||
|
||
- **Defekt:** Ein Karten-Titel mit literalem `|` (Regex-Alternation:
|
||
`sandbox_unreachable|queue_overflow|claim_lost|ttl_expired`) sprengte die Pipe-Tabelle in
|
||
`ideen-register.md` (Zeile 319: 9 statt 6 Zellen) -> `_load_cards` wirft fuer den ganzen VS
|
||
`9 Zellen, erwartet 6` -> get_kanban/get_backlog failen -> JEDER lesende Agent legt einen
|
||
Register-Reparatur-Task an (17 Duplikate in gitops' Queue).
|
||
Fix: Zeile 319 manuell repariert (Backup `.bak-*-chair`), board-service **0.30**
|
||
(`sha256:b1090c19…`): `_render_backlog` ersetzt `|` im Titel durch `¦`, `add_backlog_card`
|
||
saniert beim Aufnehmen. Verifiziert: 315 Karten laden sauber.
|
||
- **Queue-Pathologie:** gitops hatte 46 offene Tasks (17 Register-Reparaturen, jetzt moot;
|
||
4 CO-5.1-„Transfer TEIL x/3"-Pakete von devops). Die Transfer-Tasks sind Chunk-Schleusung
|
||
durch Prompt-Texte (weil Sandboxes isoliert sind) und sprengen das 30-min-Turn-Limit
|
||
(TimeoutExpired 1800 s) — gitops verbrennt pro Versuch eine halbe Stunde, fail_task scheitert
|
||
danach teils, weil der Sender den Task schon completed hat.
|
||
Richtung: Datei-Austausch ueber das jetzt vorhandene RWX-Volume `fleet-artifacts` oder
|
||
gitea-mcp statt Prompt-Chunks; Transport-Auftraege nicht als 3-Teile-Bundle an Agenten.
|
||
- Lehre: Board-Reader sind fail-loud — ein einziger defekter Register-Eintrag legt Lesen fuer
|
||
den gesamten VS lahm und erzeugt Reparatur-Task-Spam bei allen Agenten. Titel-Sanitizing
|
||
gehoert in Writer UND Renderer (doppelt), nicht nur in die Handkorrektur.
|
||
|
||
## 05.11.2026 (8) — `cancel_task` (board-service 0.31): Rueckzugsweg fuer gegenstandslose Tasks
|
||
|
||
- **Neu:** `cancel_task(task_id, agent_id, reason)` — berechtigt sind **Absender** oder
|
||
**tower-owner** (Chair); nur `status=submitted`; `working` nie (Arbeitsverlust, fail loud);
|
||
`reason` Pflicht (<=500). Envelope wandert nach `/srv/fleet/tasks/_withdrawn/` (Bytes erhalten,
|
||
+withdrawn_by/reason/at), Journal-Event `task_withdrawn`; **kein neuer Status**, weil der Watcher
|
||
nur `submitted|working|completed|failed|blocked` kennt (`ALLOWED_STATUSES`) — alles andere
|
||
landet in `_invalid/`. 16/16 Unit-Checks (`test_cancel_task.py`).
|
||
- **Image:** `git.schoen.codes/dominik/fleet-board-service@sha256:054980d3906c4b6352b06aceb00f6c9f0771c5ee3b04913bd51ca8600a5710be`
|
||
(0.31, Commit `f707279`), live; 0.30 davor (`b1090c19…`) brachte den Pipe-Guard.
|
||
- **Wirkung:** gitops-Queue 43 -> **27 submitted** + 1 working; 17 Dateien in `_withdrawn/`
|
||
(15 Register-Duplikate + 2 Diagnose-Proben); Rundruf-fyi an agile-coach/ceo/chro/ciso/devops
|
||
(Task-IDs `5e667642`, `738345a5`, `9b456ada`, `c2a75562`, `6cd521f8`).
|
||
- **Offen/beobachtet:** `_journal/journal.logl` enthaelt 15 **alte** abgeschnittene Zeilen
|
||
(time_epoch ~1793689734, 04.11.) — Auswertungen brauchen tolerantes Parsen (bad_line -> skip).
|
||
Die letzten drei `task_withdrawn` sind vollstaendig JSON.
|
||
- Transport-Antipattern bleibt: Dateien als `TEIL x/3`-Prompt-Chunks durch Agenten schleusen
|
||
sprengt das 30-min-Turn-Limit; korrekt ist RWX `fleet-artifacts` oder gitea-mcp.
|
||
|
||
## 06.11.2026 — devops-OOM bewiesen (4Gi) + Heiler-Sturm gestoppt
|
||
|
||
- **devops-Sandbox** starb ab 00:30Z alle ~10 min. Waechter (15-s-Raster,
|
||
`/tmp/devops-death-watch.log`) hat den Kill festgehalten: `exitCode 137, reason OOMKilled,
|
||
finishedAt 05:16:50Z` bei `startedAt 05:07:23Z` — **2-Gi-Limit** gesprengt (Peaks vorher
|
||
1721-1848 MB). Fix: `limits.memory: 4Gi` bei Request 2Gi (Burstable, worker-03 hatte 7 GiB
|
||
frei), Live-Patch am CR + `stop`->`start` (bei `PHASE Error` immer erst stop).
|
||
- **Heiler 0.2** (Commit `1a2ff36`): Eskalation je Sandbox **einmal je 12 h**
|
||
(`ESCALATION_REPEAT_S=43200`), `attempts_reset` nach erfolgreicher Heilung (Erfolge zaehlen
|
||
nicht mehr gegen das Limit), `attempts_prune` erhaelt den `escalations`-Block.
|
||
Vorher: 122 identische ceo-fyis „Sandbox devops bleibt tot" (alle 2 min ab 02:26Z).
|
||
- **ceo-Inbox 133 -> 12** (122 Duplikate via `cancel_task` zurueckgezogen, 1 Aufloesungs-fyi
|
||
`c1f46447`).
|
||
- **Messartefakt-Lehre:** „gitops 0 tok/s" war falsch — 2-min-Rate kann zwischen Turns legitim 0
|
||
sein; `rate[5m]`=407, Spitze 5440 tok/s, `increase[1h]`=6,49 Mio Tokens. Vor dem Handeln
|
||
Quelle pruefen. cto/cmo mit 0 tok/s sind echt idle (HB frisch, CPU ~0, keine offenen Tasks).
|
||
- **Offener Engpass:** `tower-owner` 57 offene Tasks (Owner-Lane), gitops 73, devops 65.
|
||
|
||
## 06.11. Follow-up: 8Gi, Watcher-TOCTOU, Heiler-Restore (06:05-06:10Z)
|
||
|
||
- **devops+gitops auf 8Gi** (Owner-Go). 4Gi reichte nicht: 2. OOM um 05:42:06Z, echter
|
||
Peak `container_memory_max_usage_bytes`=3809 MB (30-s-Raster verpasst die Kill-Spitze).
|
||
`max_usage` ist die verlaessliche Metrik, nicht `working_set`-max_over_time.
|
||
- **Auto-Heilung war inaktiv** (Unit+Skript fehlten auf mgmt-runner-01). Restore per
|
||
base64-Pipe (scp ging still verloren; 0-Byte-Unit = systemd "masked").
|
||
Rollout-Guard-Bug: `sp.get("replicas",0)` → Default 1.
|
||
- **fleet-spool-watcher crashloopte** (FileNotFoundError, TOCTUV zwischen Listing und
|
||
Lesen; Verschiebungen nach _withdrawn/ killen den Watcher) → **Dispatch-Ausfall**.
|
||
Fix 0.39 (Commit 1007d96, Digest 793e3425...): except FileNotFoundError: continue.
|
||
- **Heiler-State-Pfad:** /var/lib/fleet-sandbox-healer/attempts.json ("healer"!). Alte
|
||
3 Versuche blockierten; Reset noetig.
|
||
- **Kill-Test bewiesen:** Pod-Kill → GEHEILT nach ~3 min, Ready, 8Gi aktiv.
|
||
- Offen: Guard schweigt bei Dauer-Rollout endlos; devops-3,8-GiB-Ursache ungeklaert.
|
||
|
||
## 06.11. PR-Watch (board-service 0.32.1)
|
||
|
||
- **Vorfall:** Task `6877bf8c` (PR #2 Nachbesserung) endete `completed` mit Notiz
|
||
„Arbeitsstand/Sichtung", ohne Commit. Branch-Head `ed790b26` blieb 23 h stehen,
|
||
4× `REQUEST_CHANGES` offen, niemand hat es bemerkt.
|
||
- **Ursache:** `complete_task` prüft kein Artefakt; kein Sweep liest den PR-Zustand.
|
||
- **Fix:** `pr_watch.py` + Thread im board-service (Commit 449e9b0/6985c84,
|
||
Digests 2c426283 / 87f3dede). Kriterium: Änderungswunsch offen **und** Head älter
|
||
als 4 h; ein Task je `(repo,PR,SHA)`; Marker `pr-stall:<repo>#<pr>:<sha12>`;
|
||
Cooldown 6 h aus dem Journal; Empfänger `cto` (board-service darf nur `review`).
|
||
- **E2E:** 12:23 Task an cto → 12:26 cto→devops „Rework PR 2" (`submitted`).
|
||
- **Offen:** gitea-mcp-Token hat kein `read:organization` (403 bei list repositories).
|
||
|
||
## 07.11.2026 — Neuer Value Stream vs-imkerei (Owner-Direktive)
|
||
|
||
- **Repo:** `dominik/imkerei_verwaltung` (Gitea, privat, ID 373) = Fork von
|
||
`github.com/dsgrafiniert/imkerei_verwaltung` (Upstream-HEAD `dab2481`
|
||
„Version 1.2.1", byte-identisch auf main gepusht; Stack laut Repo:
|
||
ANLEITUNG.md/AENDERUNGEN.md, `web/`, `installation/`). Fork-Disziplin: kein
|
||
Auto-Merge, Sync nur bei Upstream-Release. Lokaler Clone mit beiden Remotes:
|
||
`~/workspace/imkerei_verwaltung` (upstream + gitea/ssh://10.0.30.200).
|
||
- **Zugriff:** fleet-bot Collaborator-Write (204) — Agenten bauen Branch+PR via
|
||
gitea-mcp wie bei schoenkitchen.
|
||
- **VS:** register.md-Zeile `vs-imkerei | cmo | Imkerei-Verwaltung … Karte bis
|
||
Betrieb`; VS-Dir mit leeren ideen-register.md/release-notes.md;
|
||
Seed-Karten (ursprung owner): `imk-bestandsaufnahme` (8×9=72),
|
||
`imk-erster-nutzen` (9×6=54).
|
||
- **Kick-off:** Owner-Task `034ad90c…` (tower-owner→ceo, type=build, P2,
|
||
requires_ack) via `submit_owner_task` — published im Spool, wartet auf CEO-Claim.
|
||
- **Muster (wiederverwendbar):** board-service-MCP hat KEIN curl im Image —
|
||
python3-Client (`mcp_call.py`, initialize→tools/call, SSE-letzte-data:-Zeile)
|
||
per `kubectl cp` in den Board-Pod; `add_backlog_card` braucht `karte_id`
|
||
(Regex `^[a-z0-9][a-z0-9-]{2,63}$`) + `ursprung`; Neue VS = register-Zeile
|
||
per Datei + Dir-Seed per Datei + Karten/Task via MCP.
|
||
- **Release-Notes-Befund (07.11.):** Dateien sind top-prependiert; vs-fleet-rebuild
|
||
~640 Einträge/24h (Kapazitäts-/Verlust-Welle), vs-schoenkitchen 1, vs-eigenentwicklung 0.
|
||
|
||
|
||
## 07.11. Balancing der Value Streams
|
||
|
||
- **Befund:** vs-fleet-rebuild 1785 Karten (1283 Neu), andere VS 0 Neu; 1169 der
|
||
Neu-Karten mit Praefix kap-/rca-, agent-generiert.
|
||
- **Ursachen:** (a) Watcher-Rezidiv-Cooldown schrieb `(kind, ziel)`, pruefte
|
||
`(kind, agent)` -> wirkte nie -> 345 RCA-Tasks in 4 Tagen; (b) Idle-Ideation hatte
|
||
`vs-fleet-rebuild` in allen Schritten hart kodiert.
|
||
- **Fix:** watcher 0.40 (Cooldown je Ausloeser + VS-Rotation via balance_status),
|
||
board-service 0.34 (Gate: max_open 400, Tagesrate 10 Agent-Karten/VS, Anteil nur
|
||
Bericht; Tool balance_status; Sweeps least-loaded-first).
|
||
- **Bestand:** 1150 Loop-Artefakte archiviert ->
|
||
vs-fleet-rebuild/archiv/ideen-register-archiv-2026-11-07.md, Register 635 Karten.
|
||
- **Verifiziert:** Gate blockt fleet-rebuild (92 Agent-Karten/24h), imkerei PASS,
|
||
Owner-Karten PASS.
|
||
|
||
## 10.11. Ideations-Takt (Nachtrag)
|
||
|
||
- **Warum keine Ideen:** Idle-Trigger bricht bei `open_count > 0` ab -> bei
|
||
Dauerbacklog feuert er nie (0 Events/48h). Zusaetzlich hatte der
|
||
Kapazitaets-Cooldown denselben Schluessel-Fehler wie der Rezidiv (schrieb
|
||
`(kind, ziel)`, prueft `(kind, agent)`) -> 277 KAPAZITAET-Tasks/48h.
|
||
- **watcher 0.42** (Digest 718691e0): Cooldown je Ausloeser; periodischer
|
||
Ideations-Takt alle 6 h (`IDLE_IDEATION_INTERVAL_SECONDS`) unabhaengig vom
|
||
Spool; Owner-Rotation `vs-eigenentwicklung:cto,vs-schoenkitchen:cmo,
|
||
vs-imkerei:cmo,vs-fleet-rebuild:ceo`; Dedupe ueber offene
|
||
`IDEATION-ZYKLUS:`-Tasks; Journal `ideation_tick_created`.
|
||
- **0.41-Crash** (AttributeError next_ideation) in 0.41.1 gefixt: Feld am
|
||
IdleScheduler initialisieren, nicht nur in den Opts.
|
||
- **Verifiziert:** erster Ideation-Task 10.11. 08:48 -> ceo; seit Deploy
|
||
0 Prozess-Trigger; Rotation im Unit-Test (cmo/vs-schoenkitchen).
|
||
|
||
## 10.11. Regression: add_backlog_card deregistriert (0.33 -> 0.35 behoben)
|
||
|
||
- Beim Balancing-Einbau (0.33) rutschte `@mcp.tool()` von `add_backlog_card` auf
|
||
`_balance_snapshot` -> Tool fehlte in der MCP-Registry, Agenten konnten KEINE Karten
|
||
anlegen. cmo meldete es in einer Notiz.
|
||
- Fix 0.35 (Digest 2a651525): Dekorator zurueck; Registry-Check
|
||
`server.mcp._tool_manager.list_tools()` (28 Tools, add_backlog_card dabei,
|
||
_balance_snapshot nicht).
|
||
- Tagesrate 10 -> 25 Agent-Karten/VS/24h (Flood war ~580/Tag); Ideations-Takt 1h.
|
||
- Beweis: fleet-rebuild 667 -> 669 Karten; Ideation-Task 18:26 -> cmo/vs-imkerei working.
|
||
- **Pruefroutine:** nach jedem board-service-Patch Tool-Liste verifizieren, nicht nur py_compile.
|