Auto-sync: 2026-11-06

This commit is contained in:
Dominik Schön
2026-11-06 22:00:26 +00:00
parent 6a310538ff
commit 3d48fe6628
6 changed files with 73 additions and 2 deletions
+47
View File
@@ -1568,3 +1568,50 @@ Vorher quarantänierte der Watcher sie („System-Sender mit unzulaessigem type
Die letzten drei `task_withdrawn` sind vollstaendig JSON.
- Transport-Antipattern bleibt: Dateien als `TEIL x/3`-Prompt-Chunks durch Agenten schleusen
sprengt das 30-min-Turn-Limit; korrekt ist RWX `fleet-artifacts` oder gitea-mcp.
## 06.11.2026 — devops-OOM bewiesen (4Gi) + Heiler-Sturm gestoppt
- **devops-Sandbox** starb ab 00:30Z alle ~10 min. Waechter (15-s-Raster,
`/tmp/devops-death-watch.log`) hat den Kill festgehalten: `exitCode 137, reason OOMKilled,
finishedAt 05:16:50Z` bei `startedAt 05:07:23Z` — **2-Gi-Limit** gesprengt (Peaks vorher
1721-1848 MB). Fix: `limits.memory: 4Gi` bei Request 2Gi (Burstable, worker-03 hatte 7 GiB
frei), Live-Patch am CR + `stop`->`start` (bei `PHASE Error` immer erst stop).
- **Heiler 0.2** (Commit `1a2ff36`): Eskalation je Sandbox **einmal je 12 h**
(`ESCALATION_REPEAT_S=43200`), `attempts_reset` nach erfolgreicher Heilung (Erfolge zaehlen
nicht mehr gegen das Limit), `attempts_prune` erhaelt den `escalations`-Block.
Vorher: 122 identische ceo-fyis „Sandbox devops bleibt tot" (alle 2 min ab 02:26Z).
- **ceo-Inbox 133 -> 12** (122 Duplikate via `cancel_task` zurueckgezogen, 1 Aufloesungs-fyi
`c1f46447`).
- **Messartefakt-Lehre:** „gitops 0 tok/s" war falsch — 2-min-Rate kann zwischen Turns legitim 0
sein; `rate[5m]`=407, Spitze 5440 tok/s, `increase[1h]`=6,49 Mio Tokens. Vor dem Handeln
Quelle pruefen. cto/cmo mit 0 tok/s sind echt idle (HB frisch, CPU ~0, keine offenen Tasks).
- **Offener Engpass:** `tower-owner` 57 offene Tasks (Owner-Lane), gitops 73, devops 65.
## 06.11. Follow-up: 8Gi, Watcher-TOCTOU, Heiler-Restore (06:05-06:10Z)
- **devops+gitops auf 8Gi** (Owner-Go). 4Gi reichte nicht: 2. OOM um 05:42:06Z, echter
Peak `container_memory_max_usage_bytes`=3809 MB (30-s-Raster verpasst die Kill-Spitze).
`max_usage` ist die verlaessliche Metrik, nicht `working_set`-max_over_time.
- **Auto-Heilung war inaktiv** (Unit+Skript fehlten auf mgmt-runner-01). Restore per
base64-Pipe (scp ging still verloren; 0-Byte-Unit = systemd "masked").
Rollout-Guard-Bug: `sp.get("replicas",0)` → Default 1.
- **fleet-spool-watcher crashloopte** (FileNotFoundError, TOCTUV zwischen Listing und
Lesen; Verschiebungen nach _withdrawn/ killen den Watcher) → **Dispatch-Ausfall**.
Fix 0.39 (Commit 1007d96, Digest 793e3425...): except FileNotFoundError: continue.
- **Heiler-State-Pfad:** /var/lib/fleet-sandbox-healer/attempts.json ("healer"!). Alte
3 Versuche blockierten; Reset noetig.
- **Kill-Test bewiesen:** Pod-Kill → GEHEILT nach ~3 min, Ready, 8Gi aktiv.
- Offen: Guard schweigt bei Dauer-Rollout endlos; devops-3,8-GiB-Ursache ungeklaert.
## 06.11. PR-Watch (board-service 0.32.1)
- **Vorfall:** Task `6877bf8c` (PR #2 Nachbesserung) endete `completed` mit Notiz
„Arbeitsstand/Sichtung", ohne Commit. Branch-Head `ed790b26` blieb 23 h stehen,
4× `REQUEST_CHANGES` offen, niemand hat es bemerkt.
- **Ursache:** `complete_task` prüft kein Artefakt; kein Sweep liest den PR-Zustand.
- **Fix:** `pr_watch.py` + Thread im board-service (Commit 449e9b0/6985c84,
Digests 2c426283 / 87f3dede). Kriterium: Änderungswunsch offen **und** Head älter
als 4 h; ein Task je `(repo,PR,SHA)`; Marker `pr-stall:<repo>#<pr>:<sha12>`;
Cooldown 6 h aus dem Journal; Empfänger `cto` (board-service darf nur `review`).
- **E2E:** 12:23 Task an cto → 12:26 cto→devops „Rework PR 2" (`submitted`).
- **Offen:** gitea-mcp-Token hat kein `read:organization` (403 bei list repositories).