Auto-sync: 2026-10-24
This commit is contained in:
@@ -1,5 +1,30 @@
|
|||||||
# Memory Log
|
# Memory Log
|
||||||
|
|
||||||
|
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
|
||||||
|
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
|
||||||
|
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
|
||||||
|
Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout.
|
||||||
|
Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB).
|
||||||
|
- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage
|
||||||
|
à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten
|
||||||
|
(Output-15×-Reduktion, lokales Mapping) → **v3.6.2 (TTIMEOUT 900 s +
|
||||||
|
TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren)**.
|
||||||
|
- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2
|
||||||
|
(p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed;
|
||||||
|
Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert.
|
||||||
|
- Wiki `systems/agent-fleet.md` Poller-Abschnitt → v3.6.2; Solution-Doc
|
||||||
|
Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt.
|
||||||
|
|
||||||
|
## [2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout
|
||||||
|
- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf
|
||||||
|
CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7
|
||||||
|
fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe
|
||||||
|
`ceo` statt `ceo-v2` (real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung,
|
||||||
|
Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3
|
||||||
|
(head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen).
|
||||||
|
- Journal-Diagnose: `journalctl -t fleet-mail` (TAG), `-u` verschluckt
|
||||||
|
Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert.
|
||||||
|
|
||||||
## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
|
## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
|
||||||
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true,
|
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true,
|
||||||
401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A,
|
401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A,
|
||||||
|
|||||||
+21
-4
@@ -117,10 +117,27 @@ Important-Fixes committed `b3b4b9f`).
|
|||||||
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
|
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
|
||||||
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
|
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
|
||||||
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
|
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
|
||||||
`/usr/local/bin/fleet-mail-poller.sh <agent>`: pollt 60 s, verarbeitet seriell
|
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.6 (24.10. spät)** —
|
||||||
mit `hermes chat -q` (timeout 1500 s, -Q quiet), verschiebt nach `processed/`,
|
ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick
|
||||||
Run-Logs als `<msg>.run.log` daneben; Fehler → `/var/local/fleet/mail-errors.log`
|
priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+
|
||||||
+ logger (fail loud). Task-ID aus Subject ins Heartbeat.
|
Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe
|
||||||
|
P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls;
|
||||||
|
Waisen-`timeout 1500`-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE
|
||||||
|
(Modell antwortet nur `<Nr>=P<n>`; Poller mappt lokal auf Dateinamen
|
||||||
|
zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf
|
||||||
|
freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung
|
||||||
|
sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
|
||||||
|
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
|
||||||
|
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
|
||||||
|
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
|
||||||
|
(timeout 1500 s, K=3), Archivierung nur bei RC 0 (memory-Guard
|
||||||
|
v2). Unit-ExecStartPre killt verwaiste `hermes chat`/`gateway run` (Zombie-
|
||||||
|
Gateway-Syndrom 24.10., s. Solutions 2026-10-24). DIAGNOSE: Journal nach
|
||||||
|
syslog-TAG `journalctl -t fleet-mail`, NICHT `-u`; Zustand: `cycle
|
||||||
|
<agent> n=… chunks=X/Y p1..p4=…` (X=getriagt, Y=davon OK). Fleet-
|
||||||
|
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
|
||||||
|
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
|
||||||
|
Restart killt Waisen-Subagenten via pkill "timeout 1500".
|
||||||
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
|
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
|
||||||
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
||||||
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
||||||
|
|||||||
Reference in New Issue
Block a user