Auto-sync: 2026-10-25

This commit is contained in:
Dominik Schön
2026-10-25 22:00:31 +00:00
parent 7e1a058212
commit bd55603188
2 changed files with 93 additions and 15 deletions
+37
View File
@@ -1,5 +1,42 @@
# Memory Log
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch
Bifrost, 159–268 ms, VK-Policy erlaubt alle).
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash ·
COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206),
Config-Backups je CT.
- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab
(HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in
/root/.hermes/config.yaml (CT 202/206). Flash unempfindlich.
- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey.
- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung
(tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h:
1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK)
— jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h
hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem
(315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen
7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde).
Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei-
namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call.
Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär.
Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär.
- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26,
CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver-
arbeitung von already-processed) — kosmetisch, beobachten.
- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION-
STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
+54 -13
View File
@@ -117,16 +117,28 @@ Important-Fixes committed `b3b4b9f`).
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.6 (24.10. spät)** —
ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick
priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+
Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe
P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls;
Waisen-`timeout 1500`-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE
(Modell antwortet nur `<Nr>=P<n>`; Poller mappt lokal auf Dateinamen
zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf
freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung
sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.7 (25.10. früh)** —
v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP
25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname-
Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst
erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE
Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade**
(ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss →
Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein
Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen:
Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt
ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation
am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16
regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO
43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der
Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 +
Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert
nur bei <K laufenden hermes-Calls; Waisen-`timeout 1500`-Kinder
überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur
`<Nr>=P<n>`; Poller mappt lokal auf Dateinamen zurück — Output-15×-
Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot
warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort
verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
@@ -138,9 +150,19 @@ Important-Fixes committed `b3b4b9f`).
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
Restart killt Waisen-Subagenten via pkill "timeout 1500".
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1
agent-spezifisch („Du bist <agent> (<Rolle>)…"), Kontext CHARTER/spec/org,
dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.):
(1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs)
sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung;
(2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren;
(3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins
eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2.
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/
%ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht);
Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
`challenges/`, `inbox/`. Owner liest dort freizügig.
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
@@ -157,8 +179,19 @@ Important-Fixes committed `b3b4b9f`).
den systemd-Poller ist der stabile Weg.
## Konventionen & Regeln
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
über Aliase im VK oder weitere VKs).
- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner-
Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):**
CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` ·
COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config
(`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`.
**PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort`
nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 →
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der
CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt
`api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein
reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung
33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell,
Queues drainen.
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
`bifrost` verwaltet nur bifrost-*-Objekte.
@@ -419,3 +452,11 @@ Important-Fixes committed `b3b4b9f`).
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO.
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.