--- pattern_id: PAT-019 title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation" category: infrastructure severity: high status: active first_observed: 2026-11 last_updated: 2026-11-01 related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner] related_solution_docs: - bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md - bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification] --- # Watchdog-Alarm an das ausgefallene Ziel ## Symptom Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl der Watchdog messbar korrekt gearbeitet hat: - `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt - im Spool liegt ein P1-Task mit korrektem Text - aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst** - der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen Funktion), nicht durch die eigene Überwachung. ## Root Cause Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall ergeben: 1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat keinen vom Ziel unabhängigen Empfänger. 2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht. 3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf `PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust wird damit permanent, statt sich selbst zu reparieren. ## Mitigation - **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`, kein Agent, eigenes Deployment): ```python def alarm_recipient(self, source_key): if source_key == f"agent:{ALARM_TARGET}": return OWNER_TARGET return ALARM_TARGET ``` - **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge inkl. Vorbedingungen (Login). - **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in *allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut. ## Prevention - **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal. - **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem: Prometheus-Metrik + Board-Datei + unabhängiger Empfänger. - **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile) oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist ein Logbuch. - **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` / `CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich nicht selbst. - **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann, wenn sie gebraucht wird. ## Evidence - **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` — 1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`), 73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`. SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`. - **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating` (Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche Klasse: Fehlerzustand ohne Reconcile. SolDoc `bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.