Files
memory/patterns/watchdog-alarm-an-ausgefallenes-ziel.md
2026-11-01 22:00:25 +00:00

4.1 KiB

pattern_id, title, category, severity, status, first_observed, last_updated, related_systems, related_solution_docs, related_skills
pattern_id title category severity status first_observed last_updated related_systems related_solution_docs related_skills
PAT-019 Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation infrastructure high active 2026-11 2026-11-01
fleet-deadman
fleet-spool
openshell-sandbox
tower-owner
bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
devops/agent-fleet-operations
devops/watchdog-design-verification

Watchdog-Alarm an das ausgefallene Ziel

Symptom

Ein überwachter Dienst ist stundenlang tot und niemand merkt es, obwohl der Watchdog messbar korrekt gearbeitet hat:

  • deadman_alert_active{source="agent:ceo"} 1 — der Alarm ist gesetzt
  • im Spool liegt ein P1-Task mit korrektem Text
  • aber: to: ceo — der Empfänger ist der ausgefallene Dienst selbst
  • der Task bleibt 1 h 43 m auf submitted, das Board zeigt keine Reaktion

Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen Funktion), nicht durch die eigene Überwachung.

Root Cause

Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall ergeben:

  1. Adressierung an das überwachte Objekt. submit_escalation() nutzte eine Konstante ALARM_TARGET = "ceo". Fällt genau dieses Ziel aus, wartet der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat keinen vom Ziel unabhängigen Empfänger.
  2. Erkennen ohne Remediation. Der Watchdog legt einen Task und eine Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
  3. Kein Reconcile für den Fehlerzustand. Die Sandbox stand auf PHASE Error; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust wird damit permanent, statt sich selbst zu reparieren.

Mitigation

  • Empfänger entkoppeln: Alarm-Routing, das den Ausfall des Alarm-Ziels erkennt und an einen unabhängigen Kanal umleitet (hier: tower-owner, kein Agent, eigenes Deployment):

    def alarm_recipient(self, source_key):
        if source_key == f"agent:{ALARM_TARGET}":
            return OWNER_TARGET
        return ALARM_TARGET
    
  • Body trägt den Heilungsweg, nicht nur den Befund: konkrete Befehlsfolge inkl. Vorbedingungen (Login).

  • Validierungsmatrix mitziehen: Ein neuer Empfänger braucht Einträge in allen Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.

Prevention

  • Frage bei jedem Watchdog: „Wer empfängt den Alarm, wenn genau dieser Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
  • Alarm-Zustand muss von außen sichtbar sein, nicht nur im Zielsystem: Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
  • Jeder Watchdog braucht eine Remediation-Stufe (Self-Heal, Reconcile) oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist ein Logbuch.
  • Fehlerzustände brauchen einen Reconcile-Loop: PHASE Error / CrashLoopBackOff / Terminating (ohne Finalizer-Fortschritt) heilen sich nicht selbst.
  • Token-Abhängigkeiten als Betriebs-Sperre behandeln: fehlt ein Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann, wenn sie gebraucht wird.

Evidence

  • 2026-11-01: ceo-Sandbox PHASE Error ab ~18:43 UTC. Deadman erkannte die Stille korrekt (1858 s > 1800 s), legte 06aa7d55 mit to: ceo — 1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + sandbox stop/start), 73 Tasks Rückstau. Fix 7b621ad, deadman 0.13.3, watcher 0.27. SolDoc bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md.
  • 2026-11-01 (früher): openshell-0 hing 168 min in Terminating (Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche Klasse: Fehlerzustand ohne Reconcile. SolDoc bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md.