From 7e1a0582126c02579b90272ea8046d273c1a00de Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Sat, 24 Oct 2026 22:01:00 +0000 Subject: [PATCH] Auto-sync: 2026-10-24 --- log.md | 25 +++++++++++++++++++++++++ systems/agent-fleet.md | 25 +++++++++++++++++++++---- 2 files changed, 46 insertions(+), 4 deletions(-) diff --git a/log.md b/log.md index 9ad8ca0..32ecbea 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,30 @@ # Memory Log +## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung +- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM- + Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang; + Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout. + Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB). +- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage + à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten + (Output-15×-Reduktion, lokales Mapping) → **v3.6.2 (TTIMEOUT 900 s + + TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren)**. +- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2 + (p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed; + Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert. +- Wiki `systems/agent-fleet.md` Poller-Abschnitt → v3.6.2; Solution-Doc + Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt. + +## [2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout +- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf + CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7 + fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe + `ceo` statt `ceo-v2` (real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung, + Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3 + (head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen). +- Journal-Diagnose: `journalctl -t fleet-mail` (TAG), `-u` verschluckt + Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert. + ## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern - B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true, 401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A, diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md index c885a51..0c027f1 100644 --- a/systems/agent-fleet.md +++ b/systems/agent-fleet.md @@ -117,10 +117,27 @@ Important-Fixes committed `b3b4b9f`). (2777). Nachrichten = MD-Dateien `-von--.md` mit From/To/Subject-Kopf; Mailboxen allseitig beschreibbar. - **Poller**: systemd `fleet-mail.service` je CT (Restart=always) → - `/usr/local/bin/fleet-mail-poller.sh `: pollt 60 s, verarbeitet seriell - mit `hermes chat -q` (timeout 1500 s, -Q quiet), verschiebt nach `processed/`, - Run-Logs als `.run.log` daneben; Fehler → `/var/local/fleet/mail-errors.log` - + logger (fail loud). Task-ID aus Subject ins Heartbeat. + `/usr/local/bin/fleet-mail-poller.sh `: **v3.6 (24.10. spät)** — + ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick + priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+ + Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe + P2), v3.6 SLOTGUARD (Triage feuert nur bei =P`; Poller mappt lokal auf Dateinamen + zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf + freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung + sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie: + NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot- + sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests + stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail + (timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard + v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie- + Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach + syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle + n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet- + Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) → + Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost); + Restart killt Waisen-Subagenten via pkill "timeout 1500". - **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.