Files
memory/systems/recipe-scraper.md
T
2026-11-13 22:00:22 +00:00

190 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-11-13"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
Diagnose gestartet wird.**
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
intermittierend crashen und nur per Retry durchlaufen.
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
(+ Nachtrag im 11-12-Doc).
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
tried_counts; Backups `*.bak*` daneben)
- **Log:** `scraper_v8.log` (append)
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
(ID = `{source}_{slug-aus-url}`)
## Frontier-Fix 2026-10-12 (v8.1)
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
~1.400 Errors/Tag). Drei Kernbugs:
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
403-Gescheiterte wurden täglich neu gehämmert.
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
unberührt; remaining=2000 droselte zusätzlich).
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
Skips), nicht echte Fetches.
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
next_retry, last_fail_at; Indizes auf source + source,next_retry).
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
→ nie wieder anfassen.
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
Floor 200/Quelle.
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
## Pipeline-Repair 2026-10-12 (gleicher Tag)
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
→Lost connection bei der allerersten Query.
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
(dieselbe tote harrier-ID).
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
Normalizer regelbasiert danach. Alles resumable.
### Bug #7 + Galera-.73-Episode (12./13.10., nachts)
- **Gift-Scan-Klasse entdeckt:** `embedding` ist LONGTEXT **inline im Clustered
Index** (~25 kB × 198k ≈ 5 GB). JEDE Query mit `WHERE embedding IS NULL`
ist ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem
Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei
89.216). Vierte Instanz der Frontier-Familie.
- **Fix (dreistufig):** (1) Keyset-Cursor `id > watermark` mit persistenter
`embedding_watermark`-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark-
Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) **Generated
Column + Index:** `emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))`
+ Composite `(emb_pending, id)` → NULL-Seeking = Index-Seek, Reset-Pass
O(Index); (3) Batch-Query auf `emb_pending = 1` umgestellt; Fingerprint-
Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan);
vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
- **Galera-.73-Kettenreaktion:** Das DDL replizierte, aber mariadb-03 (.73,
4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading
clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen
→ Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig —
Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
- **Lessons:** Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
`SELECT @@hostname` prüfen, dann direkt killen). DDL auf großem Table =
TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz;
Bufferpool ≥ Table-Größe oder Index über schmale Generated Column.
Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries
weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging.
- **Verifikation:** `emb_pending=1` = 0 auf allen Nodes (198.133/198.133
embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup);
Fingerprint-Shortcut 2,2 s Exit 0.
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
kein Normalizer-Problem), Embeddings laufen.
## Pitfalls (gemessen)
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
SHA1-Hash-PK stattdessen.
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
Laufzeit — Quarantäne ersetzt sie.
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
## Related
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
- [[systems/noris-ai]] — Translation- + Embedding-Backend
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP