Auto-sync: 2026-11-01
This commit is contained in:
@@ -0,0 +1,84 @@
|
||||
---
|
||||
pattern_id: PAT-018
|
||||
title: "Erfolgsmeldung einer Automatik ist kein Zustellbeweis — dateibasierte Queues validieren zweimal"
|
||||
category: integration
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-10
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-spool, board-service, spool-watcher, submit_task]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md
|
||||
- bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
related_skills: [devops/agent-fleet-operations]
|
||||
---
|
||||
|
||||
# Erfolgsmeldung einer Automatik ist kein Zustellbeweis
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein Automatik-Dienst meldet Erfolg (Log-Zeile, `rc=0`, `{"result":"OK","task_id":…}`,
|
||||
MCP-`OK_*`) — aber der erzeugte Auftrag existiert nirgends:
|
||||
|
||||
- `grep` nach dem Sender findet **0** Dateien im Spool,
|
||||
- die Zielgröße bleibt unverändert (Karte `Neu`, Dead-Letter-Eintrag weg),
|
||||
- im Journal stehen **zwei** Events zur selben `task_id`: `accepted` **und**
|
||||
`quarantined`.
|
||||
|
||||
Der Dienst läuft stundenlang „grün" und arbeitet nichts ab.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Der Spool hat **zwei unabhängige Validierungsschichten**:
|
||||
|
||||
| Schicht | Datei | Zeitpunkt | Sichtbar für den Einleger? |
|
||||
|---|---|---|---|
|
||||
| Einleger | `spool/submit_task.py` (`VALID_SYSTEM_SENDERS`, `VALID_SYSTEM_SENDER_TYPES`) | beim Schreiben | ja (Rückgabewert) |
|
||||
| Watcher | `spool/watcher/watcher_main.py` (`SUBMIT_SYSTEM_SENDERS`, `SUBMIT_SYSTEM_SENDER_TYPES`, `validate_schema_loose`) | beim Scan, Sekunden später | **nein** |
|
||||
|
||||
Der Watcher-Pod hat `submit_task.py` nicht im Image und hält eine **Hardcode-Kopie**
|
||||
derselben Konstanten. Wer nur eine Seite pflegt, erzeugt Drift: Der Einleger
|
||||
akzeptiert, der Watcher quarantäniert (`_invalid/`), und `accepted` wird **vor**
|
||||
der Quarantäne geschrieben — der Aufrufer sieht nur den Erfolg.
|
||||
|
||||
Zweite Ausprägung derselben Klasse: Der Watcher prüft das Envelope-Schema
|
||||
strikt (uuid4-`task_id`, Status-Enum, Feld-Whitelist). Ein Erzeuger, der eigene
|
||||
IDs oder Zusatzstatus schreibt, wird erst beim Scan abgewiesen.
|
||||
|
||||
## Mitigation
|
||||
|
||||
1. **Zustell-Indikator prüfen, nicht den Rückgabewert:**
|
||||
`grep -l "^from: <sender>" <spool>/*.yaml | wc -l` → muss > 0 sein.
|
||||
2. **Journal nach der `task_id` fragen:** `accepted` + `quarantined` in
|
||||
derselben Sekunde beweist Einleger-schuld-frei / Watcher-schuld-tragend.
|
||||
3. **`_invalid/*quar-<id>.yaml` prüfen** — der Envelope ist meist inhaltlich
|
||||
korrekt und kann nach dem Fix unverändert zurück in den Spool
|
||||
(`mv` statt Neuerzeugung, IDs/Bodies bleiben).
|
||||
4. **Beide Konstanten-Dateien patchen**, dann Sync-Test laufen lassen
|
||||
(`spool/test_sender_sync.py`, AST-Vergleich beider Dateien).
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Sync-Test für Duplikate:** Wo eine Konstante bewusst doppelt liegt, muss ein
|
||||
Test die Gleichheit erzwingen (`test_sender_sync.py`: Sendermengen,
|
||||
Typ-Mapping je Sender, keine Kollision System-Sender/Org-Agent).
|
||||
- **Erfolg erst behaupten, wenn zugestellt:** Automatik-Trigger loggen „ok"
|
||||
erst bei `task_claimed` / Datei im Spool nach dem Scan — nicht bei `accepted`.
|
||||
- **Typen sind Format, nicht Absicht:** Dedupe/Filter nie auf einen Typ stützen,
|
||||
den auch Menschen benutzen (`review` = fachliche Abnahme **und** Sweep-Auftrag).
|
||||
Diskriminator ist der Sender (`from`).
|
||||
- **Automatik-Tasks nicht mit `karte_id` versehen**, wenn sie nur aktivieren
|
||||
sollen — sonst koppelt `complete_task` die Karte blind auf `Fertig`.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-10-30** — Re-Dispatch verletzte den Envelope-Vertrag (synthetische
|
||||
`task_id`, `status: re-dispatched`, Zusatzfelder) → zwei `quarantined`-Events,
|
||||
Dead-Letter-Eintrag weg. SolDoc
|
||||
`bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md`.
|
||||
- **2026-11-01** — Karten-Bewertungs-Sweep: `board-service` fehlte in der
|
||||
Watcher-Kopie der Sender-Allowlist; 4 Tasks quarantäniert, 12 Karten blieben
|
||||
unbewertet, Sweep meldete `cards=5` als Erfolg. Zusätzlich sperrte ein
|
||||
fachlicher `review`-Task (`Abnahme: deadman-rezidiv-research-4`, `working`)
|
||||
den Value Stream `vs-fleet-rebuild` mit 40 fälligen Karten. SolDoc
|
||||
`bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md`.
|
||||
@@ -0,0 +1,93 @@
|
||||
---
|
||||
pattern_id: PAT-019
|
||||
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-11
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
|
||||
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
|
||||
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
|
||||
---
|
||||
|
||||
# Watchdog-Alarm an das ausgefallene Ziel
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
|
||||
der Watchdog messbar korrekt gearbeitet hat:
|
||||
|
||||
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
|
||||
- im Spool liegt ein P1-Task mit korrektem Text
|
||||
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
|
||||
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
|
||||
|
||||
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
|
||||
Funktion), nicht durch die eigene Überwachung.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
|
||||
ergeben:
|
||||
|
||||
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
|
||||
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
|
||||
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
|
||||
keinen vom Ziel unabhängigen Empfänger.
|
||||
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
|
||||
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
|
||||
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
|
||||
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
|
||||
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
|
||||
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
|
||||
wird damit permanent, statt sich selbst zu reparieren.
|
||||
|
||||
## Mitigation
|
||||
|
||||
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
|
||||
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
|
||||
kein Agent, eigenes Deployment):
|
||||
|
||||
```python
|
||||
def alarm_recipient(self, source_key):
|
||||
if source_key == f"agent:{ALARM_TARGET}":
|
||||
return OWNER_TARGET
|
||||
return ALARM_TARGET
|
||||
```
|
||||
|
||||
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
|
||||
inkl. Vorbedingungen (Login).
|
||||
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
|
||||
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
|
||||
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
|
||||
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
|
||||
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
|
||||
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
|
||||
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
|
||||
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
|
||||
ein Logbuch.
|
||||
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
|
||||
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
|
||||
nicht selbst.
|
||||
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
|
||||
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
|
||||
wenn sie gebraucht wird.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
|
||||
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
|
||||
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
|
||||
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
|
||||
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
|
||||
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
|
||||
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
|
||||
Klasse: Fehlerzustand ohne Reconcile. SolDoc
|
||||
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
|
||||
Reference in New Issue
Block a user