Auto-sync: 2026-10-13

This commit is contained in:
Dominik Schön
2026-10-13 22:00:52 +00:00
parent b7a6c45a79
commit e74747d42f
2 changed files with 31 additions and 0 deletions
+1
View File
@@ -16,6 +16,7 @@
- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet). - LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet).
- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor. - NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor.
- ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft). - ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft).
- NACHTAG 13.10. (Bug #7 + Galera): (f) VIERTES Familien-Mitglied: `embedding` LONGTEXT inline im Clustered Index (~5 GB) — JEDE `WHERE embedding IS NULL`-Query ist Blob-Scan, degenerierte 91/s→2/s über 11 h bis read-timeout-Tod bei 89.216; Redo-Sweep danach mit Keyset-Watermark (`embedding_watermark`-Tabelle, Zwei-Pass) fertig: 49.315 in 3.029 s, 0 Errors → **198.133/198.133 = 100 % embedded** (arithmetisch + `emb_pending=1`=0 auf allen Nodes bewiesen). (g) Wurzel-Kur: Generated Column `emb_pending` + Composite-Index → NULL-Seeking = Index-Seek; Batch-Query umgestellt; Fingerprint-Shortcut 2,2 s Exit 0. (h) GALERA-EPISODE: DDL-ToI-Build auf kaltem mariadb-03 (.73, 4-GB-Pool) dauerte ~35 Min → Applier-Queue 29 → Certification-Stalls clusterweit; self-healed (Queue 0, Index auf allen Nodes), KEIN Restart nötig. Lessons: Galera-KILL ist NODE-LOKAL (VIP-KILL traf falschen Node, Zombie überlebte 485 s — erst `@@hostname`, dann killen); Terminal-Timeouts töten Shells nicht Python-Kinder (Waisen-Queries mahlen weiter); DDL auf großem Table = Bufferpool-abhängige Bremsklotz-Kette. E2E-Steady-State-Test bestanden (Fake-Insert → instant Detect → Embed → Cleanup).
## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben ## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben
- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft". - SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft".
+30
View File
@@ -87,6 +87,36 @@ Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen), Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
Normalizer regelbasiert danach. Alles resumable. Normalizer regelbasiert danach. Alles resumable.
### Bug #7 + Galera-.73-Episode (12./13.10., nachts)
- **Gift-Scan-Klasse entdeckt:** `embedding` ist LONGTEXT **inline im Clustered
Index** (~25 kB × 198k ≈ 5 GB). JEDE Query mit `WHERE embedding IS NULL`
ist ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem
Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei
89.216). Vierte Instanz der Frontier-Familie.
- **Fix (dreistufig):** (1) Keyset-Cursor `id > watermark` mit persistenter
`embedding_watermark`-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark-
Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) **Generated
Column + Index:** `emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))`
+ Composite `(emb_pending, id)` → NULL-Seeking = Index-Seek, Reset-Pass
O(Index); (3) Batch-Query auf `emb_pending = 1` umgestellt; Fingerprint-
Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan);
vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
- **Galera-.73-Kettenreaktion:** Das DDL replizierte, aber mariadb-03 (.73,
4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading
clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen
→ Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig —
Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
- **Lessons:** Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
`SELECT @@hostname` prüfen, dann direkt killen). DDL auf großem Table =
TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz;
Bufferpool ≥ Table-Größe oder Index über schmale Generated Column.
Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries
weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging.
- **Verifikation:** `emb_pending=1` = 0 auf allen Nodes (198.133/198.133
embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup);
Fingerprint-Shortcut 2,2 s Exit 0.
### Bug #5 + #6 (beim Drain gefunden, 12.10.) ### Bug #5 + #6 (beim Drain gefunden, 12.10.)
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0" - **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`. in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.