215 lines
13 KiB
Markdown
215 lines
13 KiB
Markdown
---
|
||
title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||
category: systems
|
||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||
created: "2026-10-12"
|
||
modified: "2026-11-19"
|
||
---
|
||
|
||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||
|
||
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
|
||
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
|
||
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
|
||
|
||
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
|
||
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
|
||
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
|
||
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
|
||
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
|
||
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
|
||
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
|
||
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
|
||
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
|
||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||
Diagnose gestartet wird.**
|
||
|
||
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||
intermittierend crashen und nur per Retry durchlaufen.
|
||
|
||
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
|
||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
|
||
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
|
||
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
|
||
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
|
||
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
|
||
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
|
||
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
|
||
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
|
||
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
|
||
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
|
||
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
|
||
(+ Nachtrag im 11-12-Doc).
|
||
|
||
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
|
||
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
|
||
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
|
||
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
|
||
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
|
||
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
|
||
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
|
||
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
|
||
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
|
||
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
|
||
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
|
||
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
|
||
|
||
## Status 2026-11-19: 6. Crash-Tag, Retry sofort — Fenster wieder kurz
|
||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||
— 2. Rezidiv nach der 4-Tage-Lücke (11-14 bis 11-17). Retry 06:02:07: instant
|
||
durch (COUNT <1 s), Exit 0, No-Op (0 neue, keine Quellen, keine Pipeline;
|
||
DB 200.000 = TARGET).
|
||
- Fenster heute wieder kurz (COUNT ab 06:02 instant, wie 11-18) — Root-Cause
|
||
(DB-Infra-Job ~05:45–06:05 UTC) weiter offen. Fix weiter offen (Owner-GO):
|
||
`read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. Owner-Entscheidung
|
||
Target/Cron-Deaktivierung weiterhin ausstehend.
|
||
- SolDoc-Nachtrag 11-19 im 11-13-Doc.
|
||
|
||
## Architektur
|
||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
|
||
tried_counts; Backups `*.bak*` daneben)
|
||
- **Log:** `scraper_v8.log` (append)
|
||
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
|
||
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
|
||
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
|
||
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
|
||
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
|
||
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
|
||
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
|
||
(ID = `{source}_{slug-aus-url}`)
|
||
|
||
## Frontier-Fix 2026-10-12 (v8.1)
|
||
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
|
||
~1.400 Errors/Tag). Drei Kernbugs:
|
||
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
|
||
403-Gescheiterte wurden täglich neu gehämmert.
|
||
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
|
||
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
|
||
unberührt; remaining=2000 droselte zusätzlich).
|
||
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
|
||
Skips), nicht echte Fetches.
|
||
|
||
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
|
||
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
|
||
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
|
||
next_retry, last_fail_at; Indizes auf source + source,next_retry).
|
||
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
|
||
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
|
||
→ nie wieder anfassen.
|
||
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
|
||
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
|
||
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
|
||
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
|
||
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
|
||
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
|
||
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
|
||
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
|
||
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
|
||
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
|
||
Floor 200/Quelle.
|
||
|
||
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
|
||
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
|
||
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
|
||
|
||
## Pipeline-Repair 2026-10-12 (gleicher Tag)
|
||
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
|
||
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
|
||
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
|
||
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
|
||
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
|
||
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
|
||
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
|
||
→Lost connection bei der allerersten Query.
|
||
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
|
||
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
|
||
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
|
||
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
|
||
|
||
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
|
||
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
|
||
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
|
||
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
|
||
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
|
||
(dieselbe tote harrier-ID).
|
||
|
||
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
|
||
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
|
||
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
|
||
Normalizer regelbasiert danach. Alles resumable.
|
||
|
||
### Bug #7 + Galera-.73-Episode (12./13.10., nachts)
|
||
- **Gift-Scan-Klasse entdeckt:** `embedding` ist LONGTEXT **inline im Clustered
|
||
Index** (~25 kB × 198k ≈ 5 GB). JEDE Query mit `WHERE embedding IS NULL`
|
||
ist ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem
|
||
Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei
|
||
89.216). Vierte Instanz der Frontier-Familie.
|
||
- **Fix (dreistufig):** (1) Keyset-Cursor `id > watermark` mit persistenter
|
||
`embedding_watermark`-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark-
|
||
Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) **Generated
|
||
Column + Index:** `emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))`
|
||
+ Composite `(emb_pending, id)` → NULL-Seeking = Index-Seek, Reset-Pass
|
||
O(Index); (3) Batch-Query auf `emb_pending = 1` umgestellt; Fingerprint-
|
||
Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan);
|
||
vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
|
||
- **Galera-.73-Kettenreaktion:** Das DDL replizierte, aber mariadb-03 (.73,
|
||
4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading
|
||
clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen
|
||
→ Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig —
|
||
Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
|
||
- **Lessons:** Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
|
||
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
|
||
`SELECT @@hostname` prüfen, dann direkt killen). DDL auf großem Table =
|
||
TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz;
|
||
Bufferpool ≥ Table-Größe oder Index über schmale Generated Column.
|
||
Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries
|
||
weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging.
|
||
- **Verifikation:** `emb_pending=1` = 0 auf allen Nodes (198.133/198.133
|
||
embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup);
|
||
Fingerprint-Shortcut 2,2 s Exit 0.
|
||
|
||
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
|
||
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
|
||
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
|
||
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
|
||
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
|
||
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
|
||
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
|
||
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
|
||
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
|
||
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
|
||
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
|
||
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
|
||
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
|
||
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
|
||
kein Normalizer-Problem), Embeddings laufen.
|
||
|
||
## Pitfalls (gemessen)
|
||
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
|
||
SHA1-Hash-PK stattdessen.
|
||
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
|
||
Laufzeit — Quarantäne ersetzt sie.
|
||
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
|
||
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
|
||
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
|
||
|
||
## Related
|
||
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
|
||
- [[systems/noris-ai]] — Translation- + Embedding-Backend
|
||
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP
|