+ Notfall-Runbook Tower +
++ Statisch · Deep-Link-Ziele der Alarm-Ampeln:{" "} + #deadman ·{" "} + #spool ·{" "} + #deadletter ·{" "} + #health +
+ +diff --git a/app/components/fleet/EscalationHistory.tsx b/app/components/fleet/EscalationHistory.tsx index 6c676a8..df630af 100644 --- a/app/components/fleet/EscalationHistory.tsx +++ b/app/components/fleet/EscalationHistory.tsx @@ -1,6 +1,8 @@ "use client" import { useEffect, useState } from "react" +import RunbookHint from "./RunbookHint" +import { hintByKey } from "@/app/lib/fleet/runbookHints" /** * EscalationHistory — Kernfeature 4: HITL-/Escalation-Historie. @@ -93,6 +95,7 @@ export default function EscalationHistory() {
Keine Alarme — alles ruhig diff --git a/app/components/fleet/OpsPanels.tsx b/app/components/fleet/OpsPanels.tsx index 7ec70ed..fad1d0d 100644 --- a/app/components/fleet/OpsPanels.tsx +++ b/app/components/fleet/OpsPanels.tsx @@ -14,6 +14,8 @@ * Keine Mutation, keine Netz-Grants, 30 s Auto-Refresh. */ import { useCallback, useEffect, useState } from 'react' +import RunbookHint from './RunbookHint' +import { hintByKey } from '@/app/lib/fleet/runbookHints' const REFRESH_MS = 30_000 @@ -190,6 +192,7 @@ export default function OpsPanels() { Datenquelle eingeschraenkt: {err}
)} + {err &&')
+ inCode = !inCode
+ continue
+ }
+ if (inCode) {
+ out.push(esc(line))
+ continue
+ }
+ const h = line.match(/^(#{1,4})\s+(.*)$/)
+ if (h) {
+ closeList()
+ const lvl = Math.min(h[1].length + 1, 5) // h1->h2 (Seitenh1 ist der Titel)
+ out.push(`${esc(h[2])} `)
+ continue
+ }
+ if (/^\s*[-*]\s+/.test(line)) {
+ if (!listOpen) {
+ out.push('')
+ listOpen = true
+ }
+ out.push(`- ${esc(line.replace(/^\s*[-*]\s+/, ""))}
`)
+ continue
+ }
+ if (line.trim() === "") {
+ closeList()
+ continue
+ }
+ out.push(`${esc(line)}
`)
+ }
+ closeList()
+ return out.join("\n")
+}
+
+export default async function RunbookPage() {
+ let md = ""
+ try {
+ md = await readFile(MD_PATH, "utf8")
+ } catch {
+ md = "# Runbook nicht gefunden\n\nDie Runbook-Datei ist im Image nicht vorhanden (public/runbook/runbook-tower-notfall.md)."
+ }
+ const html = renderMarkdown(md)
+ return (
+
+
+ Notfall-Runbook Tower
+
+
+ Statisch · Deep-Link-Ziele der Alarm-Ampeln:{" "}
+ #deadman ·{" "}
+ #spool ·{" "}
+ #deadletter ·{" "}
+ #health
+
+
+
+ )
+}
diff --git a/public/runbook/runbook-tower-notfall.md b/public/runbook/runbook-tower-notfall.md
new file mode 100644
index 0000000..67d1fe5
--- /dev/null
+++ b/public/runbook/runbook-tower-notfall.md
@@ -0,0 +1,131 @@
+# Notfall-Runbook Tower (Fleet vs-fleet-rebuild)
+
+Stand: 2026-10-30 · Autor: devops · Karte: tower-notfall-runbook
+Geltung: Owner am Tower-Panel (10.0.30.213, tcp/8099). Ziel: in <5 min
+entscheiden und handeln, ohne zu raetseln.
+
+## Anker (Deep-Link-Ziele fuer die Alarm-Ampeln)
+Die Inline-Hints/Links an den Tower-Ampeln springen genau auf einen dieser
+Anker (nur interne Links, kein aktiver Inhalt/Script, keine Secrets):
+- **#deadman** -> Deadman-Status / Szenario A
+- **#spool** -> Spool-Aging / Szenario B
+- **#deadletter** -> Dead-Letter-Ansicht / Szenario B (Punkt 3)
+- **#health** -> Health-Ampel / Degraded-Banner / Szenario C
+Diese Datei ist reiner Text (Markdown); die Hints rendern daraus nur
+Ueberschrift + Link, nichts Ausfuehrbares.
+
+## 0. Grundlagen (immer zuerst lesen)
+- Heartbeat-Intervall: 300 s je Agent an den Beacon.
+- Ampel Health: gruen <120 s, gelb 120-300 s, rot >300 s (Beacon-Heartbeat-Age).
+- Deadman-Schwelle: 5400 s (90 min) blockierte Fleet -> Kaskade reisst.
+- Spool-Aging: offene Envelopes (submitted/working), rot >5400 s.
+- Diagnose-Oberflaechen am Tower-Panel: Deadman-Status, Spool-Aging,
+ Dead-Letter, Alarm-Feed, Health-Ampel, /healthz + /api/status.
+- Aufgaben des Owners: nur ENTSCHEIDEN + Freigeben. Kein Debugging im Panel.
+
+## ESKALATIONSKONTAKT (Owner)
+- Primaer: **Owner** (Dominik). Kanal: Owner-Inbox/Queue im Tower.
+- Eskalation aus einem Agenten heraus: ueber den CISO-Kanal
+ (`submit_task(from_agent=, to=ciso, type=review, topic="[NAR] ")`);
+ der CISO leitet kritische Faelle als `escalation` P1 an `tower-owner`
+ weiter (FLEET-POLICIES 1.3). Direkt-Adressierung an `tower-owner` ist nur
+ dem CISO erlaubt.
+- Owner-Entscheidungen (Abnahme/Review/NAR) laufen ueber die Owner-Queue.
+- Bei Netz-Themen: NAR ueber den CISO; bei Infrastruktur/Tower: tower-owner.
+
+---
+
+
+## Szenario A — Deadman-Blockade (Fleet steht, Ampel "Deadman: blocked")
+Beobachtung: Deadman-Status zeigt Zustand `blocked` + blockierenden Owner-Task
+(ID, Typ, Alter) im Header; ggf. rot in der Health-Ampel.
+
+Diagnose-Pfad:
+1. Panel -> **Deadman-Status**: welcher Owner-Task blockiert? Alter auslesen.
+2. Panel -> **Alarm-Feed**: juengste Deadman-Kaskade (Zeit, Agent, Ursache,
+ Dauer) - bestaetigt, ob es die laufende Blockade ist.
+3. Panel -> **Health-Ampel** (#health): welche Agents stehen rot/gelb (wer ist
+ betroffen)?
+4. Abgleich: blockierender Task-Typ (Abnahme/Review/NAR/Entscheidung).
+
+Schritte:
+1. Blockierenden Owner-Task oeffnen und INNERHALB der Queue entscheiden
+ (Abnahme erteilen, Review freigeben/ablehnen, NAR approven).
+2. Nach Entscheidung Deadman-Status auf `progress` pruefen (Auto-Refresh 30 s).
+3. Wenn der Task nicht entscheidbar ist (fehlender Kontext): Task mit
+ Kommentar zurueck an Absender (reply_to) statt liegen zu lassen.
+4. Verifikation: Health-Ampel der betroffenen Agents wieder gruen <120 s
+ binnen 2 Heartbeat-Zyklen (<=10 min).
+
+Eskalation: Bleibt die Blockade >5400 s bestehen oder ist der Task unklar ->
+Owner direkt ansprechen (Kanal s.o.), Grund + Task-ID nennen.
+
+---
+
+
+## Szenario B — Spool-Stau (Tasks haengen, Zustellung klemmt)
+Beobachtung: Spool-Aging listet Envelopes >5400 s rot; Zusteller liefern nicht.
+
+Diagnose-Pfad:
+1. Panel -> **Spool-Aging**: Envelopes nach Alter + Empfaenger. Aeltester
+ Eintrag zuerst; rot = >5400 s.
+
+2. Panel -> **Dead-Letter**: status=failed (letzte 7 Tage) mit from->to, Alter -
+ bereits verlorene Arbeit (Luecke Spool-Aging vs. Alarm-Feed).
+3. Panel -> **Health-Ampel** (#health): ist Empfaenger-Agent rot? -> down.
+4. Panel -> **/api/status**: Datenquellen-Zustand Prometheus/Beacon; degraded?
+
+Schritte:
+1. Einzelner haengender Envelope, Empfaenger gruen -> Zustellung neu anstossen
+ (Task erneut submitten an denselben Empfaenger, reply_to setzen).
+2. Blockierter ganzer Empfaenger (rot) -> Szenario A/C zuerst loesen; der Spool
+ leert sich danach automatisch.
+3. Failed-Tasks aus der Dead-Letter-Ansicht pruefen: wiederholbar -> erneut
+ submitten; endgueltig unloesbar -> Task mit Grund neu aufsetzen (nicht still
+ verwerfen).
+4. Verifikation: keine Eintraege mehr >5400 s im Spool-Aging; Dead-Letter
+ waechst nicht weiter.
+
+Eskalation: Envelopes >5400 s ohne down-Empfaenger -> Ursache unklar, an
+tower-owner mit Screenshot/IDs melden; bei >2 betroffenen Agents zusaetzlich
+Owner informieren (Kanal s.o.).
+
+---
+
+
+## Szenario C — Panel-Ausfall (Tower nicht erreichbar/leer/fehlerhaft)
+Beobachtung: Panel laedt nicht, Leeranzeige oder Crash; /healthz antwortet nicht.
+
+Diagnose-Pfad (Reihenfolge, um Server vs. Daten zu trennen):
+1. Panel -> **/healthz**: 200 = Server lebt -> Problem ist Datenquelle/UI.
+2. Panel -> **/api/status**: Version, Uptime, Datenquellen-Zustand
+ Prometheus/Beacon. Liefert JSON = API ok.
+3. Degraded-Banner + Datenalter-Anzeige: bei Prometheus-/Beacon-Ausfall zeigt
+ der Tower Datenalter + 60 s-Cache; das ist Degraded, KEIN Totalausfall.
+4. Wenn /healthz gar nicht antwortet: Panel-/Prozess-Ausfall am Tower-Host.
+
+Schritte:
+1. Degraded (healthz 200, /api/status zeigt Quelle down): keine Panik -
+ Betrieb laeuft mit Cache weiter. Ursache der Quelle pruefen (Beacon-Ausfall
+ = alle Agents rot -> Szenario-A-Umfeld).
+2. Totalausfall (healthz kein 200 / Verbindung abgelehnt): Tower braucht
+ Neustart/Deploy -> Aenderungsauftrag an tower-owner (nicht selbst am Host
+ eingreifen).
+3. Waehrend Ausfall: Diagnose ersatzweise ueber die Agenten-Boards/Beacon
+ (Karten-Status, Heartbeat-Zeitstempel) weiterfuehren, Owner informieren.
+4. Verifikation: /healthz 200 UND /api/status mit allen Quellen "up"; Panel
+ zeigt Datenalter ~0.
+
+Eskalation: healthz-Ausfall oder Deploy-Bedarf -> sofort P1 an tower-owner
+(ueber den CISO-Kanal); parallele Owner-Info, da ohne Panel die Lage ueber
+Agenten nicht sichtbar ist.
+
+---
+
+## Kurz-Anhang: Anzeige am Tower
+Dieses Runbook + Eskalationskontakt sollen an den Alarm-Ampeln (Deadman-Status
+-> #deadman, Spool-Aging -> #spool, Dead-Letter -> #deadletter, Health-Ampel ->
+#health) als kontextueller Hilfe-Link/Inline-Hint erscheinen. Der Hint ist
+reiner Text (Ueberschrift + interner Link), kein aktives Element; Alarmlogik
+und Degraded-Banner bleiben unberuehrt. Aenderungsauftrag an tower-owner siehe
+separater Task "[build] tower-notfall-runbook: Runbook-Link an Alarm-Ampeln".