4.1 KiB
pattern_id, title, category, severity, status, first_observed, last_updated, related_systems, related_solution_docs, related_skills
| pattern_id | title | category | severity | status | first_observed | last_updated | related_systems | related_solution_docs | related_skills | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PAT-019 | Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation | infrastructure | high | active | 2026-11 | 2026-11-01 |
|
|
|
Watchdog-Alarm an das ausgefallene Ziel
Symptom
Ein überwachter Dienst ist stundenlang tot und niemand merkt es, obwohl der Watchdog messbar korrekt gearbeitet hat:
deadman_alert_active{source="agent:ceo"} 1— der Alarm ist gesetzt- im Spool liegt ein P1-Task mit korrektem Text
- aber:
to: ceo— der Empfänger ist der ausgefallene Dienst selbst - der Task bleibt 1 h 43 m auf
submitted, das Board zeigt keine Reaktion
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen Funktion), nicht durch die eigene Überwachung.
Root Cause
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall ergeben:
- Adressierung an das überwachte Objekt.
submit_escalation()nutzte eine KonstanteALARM_TARGET = "ceo". Fällt genau dieses Ziel aus, wartet der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat keinen vom Ziel unabhängigen Empfänger. - Erkennen ohne Remediation. Der Watchdog legt einen Task und eine Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
- Kein Reconcile für den Fehlerzustand. Die Sandbox stand auf
PHASE Error; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust wird damit permanent, statt sich selbst zu reparieren.
Mitigation
-
Empfänger entkoppeln: Alarm-Routing, das den Ausfall des Alarm-Ziels erkennt und an einen unabhängigen Kanal umleitet (hier:
tower-owner, kein Agent, eigenes Deployment):def alarm_recipient(self, source_key): if source_key == f"agent:{ALARM_TARGET}": return OWNER_TARGET return ALARM_TARGET -
Body trägt den Heilungsweg, nicht nur den Befund: konkrete Befehlsfolge inkl. Vorbedingungen (Login).
-
Validierungsmatrix mitziehen: Ein neuer Empfänger braucht Einträge in allen Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
Prevention
- Frage bei jedem Watchdog: „Wer empfängt den Alarm, wenn genau dieser Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
- Alarm-Zustand muss von außen sichtbar sein, nicht nur im Zielsystem: Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
- Jeder Watchdog braucht eine Remediation-Stufe (Self-Heal, Reconcile) oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist ein Logbuch.
- Fehlerzustände brauchen einen Reconcile-Loop:
PHASE Error/CrashLoopBackOff/Terminating(ohne Finalizer-Fortschritt) heilen sich nicht selbst. - Token-Abhängigkeiten als Betriebs-Sperre behandeln: fehlt ein Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann, wenn sie gebraucht wird.
Evidence
- 2026-11-01:
ceo-SandboxPHASE Errorab ~18:43 UTC. Deadman erkannte die Stille korrekt (1858 s > 1800 s), legte06aa7d55mitto: ceo— 1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login +sandbox stop/start), 73 Tasks Rückstau. Fix7b621ad, deadman0.13.3, watcher0.27. SolDocbug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md. - 2026-11-01 (früher):
openshell-0hing 168 min inTerminating(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche Klasse: Fehlerzustand ohne Reconcile. SolDocbug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md.