diff --git a/log.md b/log.md index 32ecbea..d477d01 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,42 @@ # Memory Log +## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1 +- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen + (glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft: + glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch + Bifrost, 159–268 ms, VK-Policy erlaubt alle). +- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash · + COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206), + Config-Backups je CT. +- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab + (HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle + Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in + /root/.hermes/config.yaml (CT 202/206). Flash unempfindlich. +- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey. +- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung + (tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h: + 1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix. + +## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM +- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK) + — jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h + hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem + (315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK). +- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen + 7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde). + Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren. +- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei- + namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call. + Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär. + Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär. +- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26, + CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %). +- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen, + nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver- + arbeitung von already-processed) — kosmetisch, beobachten. +- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION- + STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen. + ## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung - Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM- Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang; diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md index 0c027f1..937a260 100644 --- a/systems/agent-fleet.md +++ b/systems/agent-fleet.md @@ -117,16 +117,28 @@ Important-Fixes committed `b3b4b9f`). (2777). Nachrichten = MD-Dateien `-von--.md` mit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar. - **Poller**: systemd `fleet-mail.service` je CT (Restart=always) → - `/usr/local/bin/fleet-mail-poller.sh `: **v3.6 (24.10. spät)** — - ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick - priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+ - Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe - P2), v3.6 SLOTGUARD (Triage feuert nur bei =P`; Poller mappt lokal auf Dateinamen - zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf - freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung - sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: + `/usr/local/bin/fleet-mail-poller.sh `: **v3.7 (25.10. früh)** — + v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP + 25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname- + Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst + erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE + Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade** + (ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss → + Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein + Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen: + Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt + ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation + am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16 + regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO + 43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der + Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 + + Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert + nur bei =P`; Poller mappt lokal auf Dateinamen zurück — Output-15×- + Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot + warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort + verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot- sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail @@ -138,9 +150,19 @@ Important-Fixes committed `b3b4b9f`). Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) → Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost); Restart killt Waisen-Subagenten via pkill "timeout 1500". -- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln - (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für - Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. +- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1 + agent-spezifisch („Du bist ()…"), Kontext CHARTER/spec/org, + dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.): + (1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs) + sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung; + (2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren; + (3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins + eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2. + (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für + Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. + Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/ + %ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht); + Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs. - **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final), `challenges/`, `inbox/`. Owner liest dort freizügig. - **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00 @@ -157,8 +179,19 @@ Important-Fixes committed `b3b4b9f`). den systemd-Poller ist der stabile Weg. ## Konventionen & Regeln -- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später - über Aliase im VK oder weitere VKs). +- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner- + Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):** + CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` · + COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config + (`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`. + **PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort` + nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 → + Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der + CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt + `api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein + reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung + 33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell, + Queues drainen. - Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting). - ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release `bifrost` verwaltet nur bifrost-*-Objekte. @@ -419,3 +452,11 @@ Important-Fixes committed `b3b4b9f`). - **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4). - **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health. - **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT. + +## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert") +- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17). +- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund. +- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO. +- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten). +- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom. +