Auto-sync: 2026-10-26

This commit is contained in:
Dominik Schön
2026-10-26 22:00:51 +00:00
parent bd55603188
commit 52959e3b44
4 changed files with 342 additions and 16 deletions
+74
View File
@@ -1,5 +1,77 @@
# Memory Log
## [2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs
- **Phase 0.8 komplett:** org-registry + board-service + **telemetry**
(601435d3) + **provisioning** (fa39b7cd) live, alle E2E-grün aus dem
Cluster (ConfigMap-Pod-Muster), psql-Beweise erbracht. Baukasten-Muster
dokumentiert (Solution-Doc architecture/2026-10-26-fleet-mcp-facility-baukasten.md).
- **Deadman v2 (Cold-Start-Fix):** nie gesehene Agenten = pending (kein
Alarm), Beacon-Unerreichbarkeit = EIN fail-closed-Alarm, DEADMAN-ALARM.md
auf Board-PVC mit RESOLVED-Zeilen. Digest f700e772, Unit-Tests + live
bewiesen (agents_pending 8, beacon_ok 1).
- **Beacon 0.11 final:** psql heartbeats-Beweis (count=2, ceo 09:27 UTC).
- **Design-Docs (blockieren 0.9/0.13):** sandbox-design.md (21,4 KB, 8
Abnahmekriterien, VK-Platzhalter-Fluss, Strict-Gate-422, Blaupausen) +
tower-design.md (17,2 KB, Fork-Inventar, 3 Tasks, Manifest-Deploy).
- **Subagent-Bilan:** 600s-Timeout systematisch (API-Latenz) — Chair-direct
ist der effektive Pfad; Config-Erhöhung child_timeout_seconds greift erst
nach Session-Neustart.
## [2026-10-26 früh] p0-spool + p0-db GRÜN — Spool/Watcher E2E + Fleet-DB + ArgoCD-ignoreDifferences
- **Phase 0.7 (Spool+Watcher) abgeschlossen:** `submit_task.py` (Schema-
Validierung, Journal, `_invalid/`, fail-loud) + Watcher-Deployment
`fleet-spool-watcher` (Image fleet-spool-watcher:fleet-v1, digest
c51684fd…, 25/25 Smoke) live. E2E beide Richtungen bewiesen: completed
(touch-CMD) + failed (exit-127-Writeback). CephFS-Pitfall gelöst via
initContainer chown 1000:1000 (Root-Dir root:root). TASK_RUN_CMD-Override
NUR via Git — ArgoCD selfHeal reverts kubectl-Patches sofort.
- **Phase 0.10 (Fleet-DB) abgeschlossen:** CNPG `fleet-db` healthy, 7 Tabellen,
App-User `app_fleet` als **CNPG Managed Role** (Bootstrap-Owner hat kein
CREATEROLE — CREATE ROLE im Job failt, Managed Roles sind der Weg).
DROP-Negativtest ok, App-Secret `fleet-db-app` via K8s-API-Readback.
- **ArgoCD-Lektion (neu):** `jqPathExpressions` brauchen **jq-Punktnotation**
(`.spec.probes`, Wildcards `[]`); JSON-Pointer-Syntax (`/spec/probes`) →
`unexpected token "/"`, Mischform → `function not defined`. Plus: K8s-1.35
`status.terminatingReplicas` blockte ALLE fleet-Syncs (ComparisonError) —
Fix jsonPointers. Nach Application-Spec-Änderung `argocd app get root
--refresh` (app-of-apps). Solution Doc:
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`
- **Wiki:** systems/agent-fleet.md um p0-spool/p0-db-Live-Facts erweitert,
Phasenliste aktualisiert (0.7 + 0.10 GRÜN).
## [2026-10-26 früh] p0-bifrost GRÜN — 9 VKs je Agent, Smoke + Prometheus bestätigt
- **Phase 0.6 abgeschlossen:** 9 Virtual Keys (ceo-v3, cto-v2, ciso-v2, chro-v2,
cmo-v2, agile-coach, coo-v2, devops-v2, research), Werte in 1P „Kubernetes ESO",
ExternalSecrets `fleet-vk-<agent>` in NS fleet (ArgoCD fleet Synced/Healthy,
Commit 5d5b26b + 5aa4d31), Mapping `fleet-truth/bifrost-vks.yaml`
(→ `FLEET_BIFROST_API_KEY` für Phase 0.9). Smoke 9/9 HTTP 200, Deny-by-default
403, Prometheus `bifrost_input_tokens_total` je Key 19–38.
- **Pitfalls:** `POST /api/governance/virtual-keys` verwirft `allow_all_keys` →
`PUT …/{id}` mit `key_ids:["*"]` (PATCH 405); echte API nur `/api/…`
(`/api/v1/…` liefert SPA-HTML mit 200); Modellnamen brauchen `noris/`-Präfix;
Reasoning-Modelle: Smoke über Status + usage, nicht Content; ESO-Defaults
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
in Git pinnen, sonst ArgoCD-Drift bei leerem Diff.
- **Altlast:** 1P-Items `VK ceo (v2)`/`coo (v2)`/`cmo (v2)`/`devops (v2)` halten
13-Zeichen-Platzhalter (401) — Löschung vorgeschlagen. 9 Alt-VKs noch aktiv
(Deaktivierung = Owner-GO).
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
## [2026-10-25 spät] Fleet-Rebuild p0-image GRÜN — Gitea-OCI-Push-Kette + ESO-b64dec
- **Phase 0.5 abgeschlossen:** Agent-Image `git.schoen.codes/dominik/hermes-agent:fleet-v1`
= digest `sha256:32eda413…` in Gitea-Registry (1,07 GB), digest-gepinnt in
OpenShell-Values (Commit 640e051), ArgoCD Synced/Healthy, gateway.toml
`default_image` live. E2E: Kubelet-Pull 34,6 s, jq intakt. Pull-Secret
`agent-fleet-registry-pull` out-of-band NS fleet.
- **Solution Docs:** integrations/2026-10-25-gitea-oci-registry-push-chain.md
(http-Realm-Bug Gitea 1.27, Traefik-499-Manifest-PITFALL: Blobs idempotent →
einfach erneut pushen; port-forward überlebt keine SSH-Session) und
bug-fixes/2026-10-25-eso-decodingstrategy-pruned-b64dec.md (ESO v2.2.0 prunt
decodingStrategy → b64dec IM Template; Mischung = Doppel-Dekodierung schreibt
Fehlerstring als Secret).
- **Wiki:** systems/agent-fleet.md (Rebuild-v2.5-Abschnitt + Freeze-Status) und
systems/gitea.md (Container-Registry-Sektion + Push-Runbook) aktualisiert.
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
@@ -674,3 +746,5 @@
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.