--- title: "Recipe Scraper v8 (Nutrition-Coach)" category: systems tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] created: "2026-10-12" modified: "2026-10-12" --- # Recipe Scraper v8 — Nutrition-Coach-Profil > Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell > `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via > MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte. ## Architektur - **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints) - **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor, tried_counts; Backups `*.bak*` daneben) - **Log:** `scraper_v8.log` (append) - **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2); deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation - **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py` (harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py` → `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable) - **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set (ID = `{source}_{slug-aus-url}`) ## Frontier-Fix 2026-10-12 (v8.1) Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag, ~1.400 Errors/Tag). Drei Kernbugs: 1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert → 403-Gescheiterte wurden täglich neu gehämmert. 2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs (allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k unberührt; remaining=2000 droselte zusätzlich). 3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup- Skips), nicht echte Fetches. Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`): - **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log` (PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead, next_retry, last_fail_at; Indizes auf source + source,next_retry). Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert: Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1` → nie wieder anfassen. - **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf. - **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline 6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster). - **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur bei Erfolg) — neue Publikationen erreichen die Frontier wieder. - **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.: Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry. - `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`, Floor 200/Quelle. Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors. Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs. ## Pipeline-Repair 2026-10-12 (gleicher Tag) Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot: 1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu, aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902). 2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query (`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s →Lost connection bei der allerersten Query. 3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` → 403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) — funktionierte seit dem Realm-Umzug nicht mehr; release-Lane `vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht. Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300 in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes). Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py` (dieselbe tote harrier-ID). Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment). Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen), Normalizer regelbasiert danach. Alles resumable. ### Bug #5 + #6 (beim Drain gefunden, 12.10.) - **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0" in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`. - **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer- Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine ~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors", hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte (fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits. Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link- Outcome). Sweep danach: 38.216 in 637 s, 0 Errors. - Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion, kein Normalizer-Problem), Embeddings laufen. ## Pitfalls (gemessen) - `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit → SHA1-Hash-PK stattdessen. - 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die Laufzeit — Quarantäne ersetzt sie. - Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.); Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit). - Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen. ## Related - [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306) - [[systems/noris-ai]] — Translation- + Embedding-Backend - [[reference/ip-map]] — 10.0.30.70 Galera-VIP