94 lines
4.1 KiB
Markdown
94 lines
4.1 KiB
Markdown
---
|
|
pattern_id: PAT-019
|
|
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
|
|
category: infrastructure
|
|
severity: high
|
|
status: active
|
|
first_observed: 2026-11
|
|
last_updated: 2026-11-01
|
|
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
|
|
related_solution_docs:
|
|
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
|
|
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
|
|
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
|
|
---
|
|
|
|
# Watchdog-Alarm an das ausgefallene Ziel
|
|
|
|
## Symptom
|
|
|
|
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
|
|
der Watchdog messbar korrekt gearbeitet hat:
|
|
|
|
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
|
|
- im Spool liegt ein P1-Task mit korrektem Text
|
|
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
|
|
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
|
|
|
|
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
|
|
Funktion), nicht durch die eigene Überwachung.
|
|
|
|
## Root Cause
|
|
|
|
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
|
|
ergeben:
|
|
|
|
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
|
|
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
|
|
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
|
|
keinen vom Ziel unabhängigen Empfänger.
|
|
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
|
|
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
|
|
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
|
|
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
|
|
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
|
|
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
|
|
wird damit permanent, statt sich selbst zu reparieren.
|
|
|
|
## Mitigation
|
|
|
|
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
|
|
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
|
|
kein Agent, eigenes Deployment):
|
|
|
|
```python
|
|
def alarm_recipient(self, source_key):
|
|
if source_key == f"agent:{ALARM_TARGET}":
|
|
return OWNER_TARGET
|
|
return ALARM_TARGET
|
|
```
|
|
|
|
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
|
|
inkl. Vorbedingungen (Login).
|
|
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
|
|
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
|
|
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
|
|
|
|
## Prevention
|
|
|
|
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
|
|
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
|
|
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
|
|
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
|
|
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
|
|
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
|
|
ein Logbuch.
|
|
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
|
|
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
|
|
nicht selbst.
|
|
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
|
|
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
|
|
wenn sie gebraucht wird.
|
|
|
|
## Evidence
|
|
|
|
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
|
|
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
|
|
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
|
|
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
|
|
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
|
|
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
|
|
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
|
|
Klasse: Fehlerzustand ohne Reconcile. SolDoc
|
|
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
|