Files
memory/systems/recipe-scraper.md
T
2026-10-12 22:00:11 +00:00

119 lines
6.5 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-10-12"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
tried_counts; Backups `*.bak*` daneben)
- **Log:** `scraper_v8.log` (append)
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
(ID = `{source}_{slug-aus-url}`)
## Frontier-Fix 2026-10-12 (v8.1)
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
~1.400 Errors/Tag). Drei Kernbugs:
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
403-Gescheiterte wurden täglich neu gehämmert.
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
unberührt; remaining=2000 droselte zusätzlich).
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
Skips), nicht echte Fetches.
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
next_retry, last_fail_at; Indizes auf source + source,next_retry).
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
→ nie wieder anfassen.
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
Floor 200/Quelle.
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
## Pipeline-Repair 2026-10-12 (gleicher Tag)
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
→Lost connection bei der allerersten Query.
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
(dieselbe tote harrier-ID).
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
Normalizer regelbasiert danach. Alles resumable.
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
kein Normalizer-Problem), Embeddings laufen.
## Pitfalls (gemessen)
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
SHA1-Hash-PK stattdessen.
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
Laufzeit — Quarantäne ersetzt sie.
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
## Related
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
- [[systems/noris-ai]] — Translation- + Embedding-Backend
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP