10 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | |||||
|---|---|---|---|---|---|---|---|---|---|
| Recipe Scraper v8 (Nutrition-Coach) | systems |
|
2026-10-12 | 2026-11-12 |
Recipe Scraper v8 — Nutrition-Coach-Profil
Tägl. Cron
recipe-scraper-v8-pipeline(c77127dd9130, 06:00 UTC, Modellvllm/release/glm-5-3-flash) füttert die Galera-Recipe-DB (10.0.30.70 via MaxScale, DBrecipes, Userrecipe_app). Ziel: 200.000 Rezepte.
Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
- DB: 200.000/200.000 (=
TARGET = 200_000, Skript-Zeile 29) → v8.1 beendet sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine Quellen, keine Post-Scrape-Pipeline. Verhalten ist by design. - Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
- Aktion nötig (Owner-Entscheidung):
TARGETim Skript anheben oder Cron deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute. - Erster Anlauf 06:01 UTC crashte in
db_count()(Error 2013, 60-s-Timeout) — Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.); Retry 06:03 UTC erfolgreich. Neue Regel: nach DB-Timeout 1× retryen, bevor Diagnose gestartet wird.
Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
- 06:00:25 UTC: erster Lauf crashte wieder in
db_count()(Error 2013, 60-s-read_timeout). Kein Blip mehr: isolierte Messung ergabSELECT COUNT(*) FROM recipes= 52,4 s (read_timeout 120 s), Handshake +SELECT 1instant — die Query ist strukturell langsam, das Skript-Timeout (60 s, Zeile ~89read_timeout=60) ist zu knapp. - Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op ("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
- Fix-Empfehlung (Owner-GO nötig, 1 Zeile): im Scraper
recipe_scraper_v8_intl.pyZeile ~89read_timeout=60→read_timeout=300(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter intermittierend crashen und nur per Retry durchlaufen.
Architektur
- Skript:
~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py(Venv:~/.hermes/venv-recipe/, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints) - State:
scraper_v8_state.json(Sitemap-Caches, Frontier-Cursor, tried_counts; Backups*.bak*daneben) - Log:
scraper_v8.log(append) - 18 Quellen: Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
via noris (
vllm/release/gemma-4-31b-it) nach DE übersetzt (BATCH=2); deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation - Post-Scrape-Pipeline (nur wenn neue Rezepte):
generate_embeddings.py(harrier, inkrementellWHERE embedding IS NULL) →semantic_classifier.py→ingredient_normalizer.py(beide via NOT-IN-Subqueries, resumable) - Dedup:
INSERT IGNORE+ Pre-Check gegenexisting_ids-Set (ID ={source}_{slug-aus-url})
Frontier-Fix 2026-10-12 (v8.1)
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag, ~1.400 Errors/Tag). Drei Kernbugs:
- Kein Fehler-Gedächtnis:
state["tried"]wurde jeden Lauf geleert → 403-Gescheiterte wurden täglich neu gehämmert. - Eingefrorene Frontier:
todo[:max_new]nahm immer die ERSTEN N URLs (allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k unberührt; remaining=2000 droselte zusätzlich). - Budget-Verzählung: Cap zählte Loop-Iterationen (inkl. Gratis-Dedup- Skips), nicht echte Fetches.
Fix (Commit-less, direkte Skript-Änderung + Backup .bak-20261012-frontierfix):
- Persistente Failure-Memory in DB: Tabelle
scraper_fetch_log(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead, next_retry, last_fail_at; Indizes auf source + source,next_retry). Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert: Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort)dead=1→ nie wieder anfassen. - Rotierender Cursor
frontier_pos[source] % len(discovered)— die Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf. - Budget = echte Fetches (Dedup-Skips kosten nichts), Soft-Deadline 6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
- Sitemap-Refresh alle 7 Tage (
sitemap_refreshed[source], Timestamp nur bei Erfolg) — neue Publikationen erreichen die Frontier wieder. - Fingerprint-Second-Opinion: 403/429 → ein Retry mit rotierendem Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.: Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
main():existing_idseinmalig laden; Budgetmin(2000, remaining)//18, Floor 200/Quelle.
Smoke-Test 12.10. (allrecipes, Budget 15): +15 Rezepte in 104 s, Cursor sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors. Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
Pipeline-Repair 2026-10-12 (gleicher Tag)
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
- Classifier + Normalizer:
DB_CONFIGbekam am 26.08. Timeouts hinzu, aber diepymysql.connect()-Calls übergabenconnect_timeoutetc. nochmal explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902). - Embeddings:
read_timeout=60, aber die Eingangs-Count-Query (COUNT(*) WHERE embedding IS NULL, Full-Scan über Blob) braucht 67,6 s →Lost connection bei der allerersten Query. - Embeddings (verschüttet): Modell-ID
vllm/harrier-oss-v1-0.6b→ 403 model_blocked (noris-Realm-Migration, s. systems/noris-ai) — funktionierte seit dem Realm-Umzug nicht mehr; release-Lanevllm/release/harrier-oss-v1-0.6b(dims=1024, kompatibel) geht.
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), read_timeout 60→300
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
Weitere Realm-Opfer gefixt: semantic_search.py + recipe_mcp_server.py
(dieselbe tote harrier-ID).
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment). Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen), Normalizer regelbasiert danach. Alles resumable.
Bug #7 + Galera-.73-Episode (12./13.10., nachts)
- Gift-Scan-Klasse entdeckt:
embeddingist LONGTEXT inline im Clustered Index (~25 kB × 198k ≈ 5 GB). JEDE Query mitWHERE embedding IS NULList ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei 89.216). Vierte Instanz der Frontier-Familie. - Fix (dreistufig): (1) Keyset-Cursor
id > watermarkmit persistenterembedding_watermark-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark- Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) Generated Column + Index:emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))- Composite
(emb_pending, id)→ NULL-Seeking = Index-Seek, Reset-Pass O(Index); (3) Batch-Query aufemb_pending = 1umgestellt; Fingerprint- Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan); vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
- Composite
- Galera-.73-Kettenreaktion: Das DDL replizierte, aber mariadb-03 (.73, 4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen → Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig — Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
- Lessons: Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
SELECT @@hostnameprüfen, dann direkt killen). DDL auf großem Table = TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz; Bufferpool ≥ Table-Größe oder Index über schmale Generated Column. Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging. - Verifikation:
emb_pending=1= 0 auf allen Nodes (198.133/198.133 embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup); Fingerprint-Shortcut 2,2 s Exit 0.
Bug #5 + #6 (beim Drain gefunden, 12.10.)
- #5 ÷0-Crash: Bruch-Regex
\b(\d+)/(\d+)\bim Normalizer traf „x/0" in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner[1-9]\d*. - #6 Frozen Frontier (3. Instanz der Scraper-Krankheit): Normalizer-
Paginierung
WHERE id NOT IN (links) ORDER BY id LIMIT 500— Rezepte mit permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine ~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors", hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte (fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits. Fix: Keyset-Cursorid > last_seen(Advancement unabhängig vom Link- Outcome). Sweep danach: 38.216 in 637 s, 0 Errors. - Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion, kein Normalizer-Problem), Embeddings laufen.
Pitfalls (gemessen)
VARCHAR(768)utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit → SHA1-Hash-PK stattdessen.- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die Laufzeit — Quarantäne ersetzt sie.
- Translate-Modell
vllm/release/gemma-4-31b-itlive verifiziert 200 (12.10.); Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit). - Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
Related
- systems/galera-maxscale — DB-Backend (VIP .70:3306)
- systems/noris-ai — Translation- + Embedding-Backend
- reference/ip-map — 10.0.30.70 Galera-VIP