Auto-sync: 2026-11-13

This commit is contained in:
Dominik Schön
2026-11-13 22:00:22 +00:00
parent d89db49445
commit fd4a86533e
5 changed files with 62 additions and 1 deletions
+1
View File
@@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
- VM310/311 (MaxScale): Fluent Bit aktiv
## Bekannte Issues
- **2026-11-13 (3. Tag — 06:00-Fenster externally verursacht, Morgen-Briefing entlastet):** Recipe-Scraper-Crash in `db_count()` zum 3. Tag in Folge (06:00:28, pymysql 2013). Neu heute: COUNT hing **>122 s** im Fenster 06:01–06:04 (PROCESSLIST "Sending data"), ab 06:05 **4× 0,0 s** instant — die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Galera selbst gesund (3/3 Synced, wsrep_ready=ON, Flow Control aus, Uptime 4,5 d). **Morgen-Briefing (parallel 06:00) als Verursacher widerlegt** — dessen Scripts greifen nicht auf recipes-DB zu; am 10.11. lief COUNT während des Briefings durch. Ursache des Fensters offen: Backup-Jobs/Cron auf DB-VMs prüfen (neben Ceph osd slow-ops seit 08.11.). SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` + Nachtrag im 11-12-Doc.
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`