From b7a6c45a7981c3292425668038987699927fe2eb Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Mon, 12 Oct 2026 22:00:11 +0000 Subject: [PATCH] Auto-sync: 2026-10-12 --- concepts/user-drift-report.md | 33 ++++----- entities/finanzen-immobilien.md | 7 ++ index.md | 1 + log.md | 30 ++++++++ systems/homeassistant.md | 17 ++++- systems/noris-ai.md | 11 ++- systems/recipe-scraper.md | 118 ++++++++++++++++++++++++++++++++ 7 files changed, 190 insertions(+), 27 deletions(-) create mode 100644 systems/recipe-scraper.md diff --git a/concepts/user-drift-report.md b/concepts/user-drift-report.md index 1f09635..c6f88ba 100644 --- a/concepts/user-drift-report.md +++ b/concepts/user-drift-report.md @@ -1,24 +1,24 @@ -# User Drift Report — 2026-10-05 +# User Drift Report — 2026-10-12 -**Recent window:** Last 14 days (2406 msgs) -**Baseline:** Previous 90 days (6284 msgs) +**Recent window:** Last 14 days (1949 msgs) +**Baseline:** Previous 90 days (6645 msgs) ## Detected Drifts -- **message_length**: Messages 122% longer (baseline: 1371 chars → recent: 3047) -- **frustration_increase**: Frustration markers rose from 4.5% to 10.8% -- **correction_increase**: Corrections increased from 7.2% to 17.7% — preferences may have shifted -- **new_focus**: New dominant topics: ai_ml, security -- **declining_focus**: Topics fading from focus: gitops, k8s +- **message_length**: Messages 164% longer (baseline: 1482 chars → recent: 3909) +- **frustration_increase**: Frustration markers rose from 4.4% to 16.4% +- **correction_increase**: Corrections increased from 6.8% to 24.1% — preferences may have shifted +- **new_focus**: New dominant topics: security +- **declining_focus**: Topics fading from focus: gitops ## Signal Summary | Metric | Baseline | Recent | |---|---|---| -| Avg msg length | 1371 | 3047 | -| Frustration rate | 4.5% | 10.8% | -| Correction rate | 7.2% | 17.7% | -| Action-first | 1.4% | 1.5% | +| Avg msg length | 1482 | 3909 | +| Frustration rate | 4.4% | 16.4% | +| Correction rate | 6.8% | 24.1% | +| Action-first | 1.3% | 2.4% | | Top topics | ceph, proxmox, k8s | ceph, backup, security | ## Recommendations @@ -26,12 +26,3 @@ - Investigate friction sources → streamline common workflows - Review recent corrections for pattern → update USER.md preferences - Consider adding domain knowledge for new focus areas - -## Review 2026-10-11 (Memory-Audit) - -Empfehlungen gesichtet und wie folgt behandelt: -- **Frust-Quelle Rückfragen:** USER.md (default) trifft es bereits („fewer, denser exchanges", „Action-first"). Keine zusätzliche Regel — Verhalten wird über bestehende Präferenzen erzwungen. -- **Korrekturen 7,2→17,7 %:** Treiber waren veraltete Cross-Profil-Fakten (Immich, Apple Watch, Schulkind) — alle am 11.10. im Rahmen des Memory-Audits korrigiert (Delta-Prinzip für Profile eingeführt). -- **Topic-Shift (gitops/k8s ↓, security ↑):** Keine USER.md-Anpassung nötig; Infra-Wiki deckt beide ab. -- **Follow-up:** Dieser Report sollte vom monatlichen Drift-Cron automatisch in `concepts/` aktualisiert werden (Seite war bis 11.10. nicht im index.md verlinkt — gefixt). - diff --git a/entities/finanzen-immobilien.md b/entities/finanzen-immobilien.md index dd18bf6..3d26567 100644 --- a/entities/finanzen-immobilien.md +++ b/entities/finanzen-immobilien.md @@ -26,6 +26,13 @@ modified: "2026-10-11" - Stand Okt 2026: **33,5 k€** (Sep 2026 noch 44 k€ @ Ø 8,28 % — Abbau läuft) - Zahlen divergieren zwischen Profilen; Okt-Wert (33,5k) ist aktueller +## Monero (recovered 2026-10-12) +- Haupt-Wallet 44EYUD…: **0.446785648368 XMR** (Sync 10/2026, keine Bewegung seit 06/2021, ~215 €) +- Passwort + SEED (deutsches Mnemonic!) + Adresse → 1P Vault „Hermes", Item „Monero Wallet 44EYUD (Haupt-Wallet)" +- PITFALL: alter dokumentierter Seed in Monero_Recover.txt war englische Transkription → leitet LEERE Zweit-Wallet (49PKAh) ab. Nicht mehr verwenden! +- 2017er Keys-Datei (Finanzen-Backup) hat ein anderes, unbekanntes Passwort (obsolet — Seed verifiziert verfügbar) +- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md + ## Steuer/Kontext - Todesfall-Leistungsberechtigte: § 10 Abs 1 Nr 2 b EStG (hinterbliebenenschutzrelevant) diff --git a/index.md b/index.md index 33d3c67..992c884 100644 --- a/index.md +++ b/index.md @@ -41,6 +41,7 @@ - [[systems/notfallbuch]] — eol-dr-Playbook für Sarah, Triage-Labels, Monats-Cron, Print im Büro - [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG) - [[systems/immich]] — K8s-Immich v3.3.1 PROD (86.316 Assets, Stand 10.10.), Legacy CT111 stillgelegt +- [[systems/recipe-scraper]] — v8.1 Frontier-Fix 12.10., 18 Quellen → Galera-Recipe-DB (200k-Ziel), Failure-Memory + Cursor - [[systems/nut]] — NUT/UPS Shutdown-Kaskade, APC ES 700G @ ms-a2-1, FSD-Cluster-Shutdown - [[systems/hermes-agent-01]] — lokaler Hermes-Runner: Storage-Governance, Backup-Pipeline (RCA 08.10.), Watchdogs - [[systems/schoenkitchen]] — Essensplanungs-App: FastAPI:8420, CT99999-Traefik, Jinja2-Pitfall (aus nutri-L0 ausgelagert 10/2026) diff --git a/log.md b/log.md index 26aafb1..8990eb2 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,35 @@ # Memory Log +## [2026-10-12] ha-repairs-cleanup | Stale-Ghost-Errors identifiziert, fehlgeleiteter Rename revertiert +- ANLASS: Repairs-Seite zeigte 34 aktive Issues (5 Errors). Deep-Dive: 4 der 5 Errors waren Stale-Ghosts (Automation längst gelöscht, Services wieder da) — HA Issue-Registry räumt nicht selbst ab. +- FEHLGELEITETER FIX + REVERT: These war, `notify.mobile_app_iphone_dominik` sei tot (14× in automations.yaml). FALSCH — Verwechslung von Entity (`notify.iphone_dominik`, nur in get_states) und Service (`notify.mobile_app_iphone_dominik`, in get_services). Der 14-fache Rename brach die Pushes, ein neuer Frigate-Error erschien sofort. Sofort-Revert aus `.hermesbak-20261012` (MD5-identisch), `automation.reload`, verifiziert: 14 echte Refs zurück, 0 Phantom-Refs. +- BOOT-RACE-ERKENNTNIS: HA validiert Automations VOR Registrierung spät ladender Integrations-Services (Tibber, OpenEPaper, mobile_app) → die 4 Error-Repairs entstehen bei JEDEM Start neu und sind nicht durch Config-Fixes wegzubekommen. Persistieren tun sie trotzdem (Registry räumt nicht ab). +- DIMMER: Alt-Automation `1697532906675` (toter Trigger `ba828033…`) via entity_registry `disabled_by:user` deaktiviert (nicht gelöscht) — dieser Fix bleibt bestehen und ist korrekt. +- RESTART 12.10.: Clean in ~2 min (NOT_RUNNING→RUNNING). Repairs-Diff: 35→20 Issues (16× HACS weg, Dimmer-Error weg, Xenia-Units-Warnung weg). Residual: 5 Errors (4 Boot-Race + 1 Sticky aus dem revertierten Rename) + 15 Warnings (InfluxDB-YAML, HTTP-YAML, Solcast, Cupra, Battery-Notes, Templates). +- LEARNING: (a) Service-Targets IMMER via `get_services` verifizieren, nie via `get_states` — mobile_app registriert gleichnamige Entities als Köder; (b) Repairs-Error = Hypothese; (c) Backup-first erlaubte Zero-Damage-Revert in <2 min. Solution Doc: `bug-fixes/2026-10-12-ha-repairs-stale-ghost-issues.md` (mit Korrektur-Sektion). + +## [2026-10-12] recipe-pipeline-repair | Post-Scrape-Pipeline war seit 26.08. komplett tot +- Der erste v8.1-Produktionslauf (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen; Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief NIE seit Deployment). +- ROOT CAUSES: (1) Classifier+Normalizer: DB_CONFIG bekam am 26.08. Timeouts hinzu, Calls übergaben sie zugleich explizit → deterministischer TypeError (got multiple values for kwarg connect_timeout) bei jedem Lauf; (2) Embeddings: read_timeout=60 < 67,6 s für die Count-Query (Full-Scan) → Lost connection bei Query Nr. 1; (3) Verschüttet dahinter: harrier-Embedding-Modell-ID `vllm/harrier-oss-v1-0.6b` → 403 model_blocked (noris-Realm-Migration) — dieselbe Namespace-Falle wie beim Flash-Pinning 11.10. +- FIXES: Kwargs-Duplizität entfernt (3 Stellen), read_timeout 60→300 in allen Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits), Pipeline-Gate in v8.1: läuft jetzt IMMER (inkrementell, chipt am Backlog auch bei 0 Neuscrapes). Realm-Opfer mitgefixt: semantic_search.py + recipe_mcp_server.py (tote harrier-ID). +- VERIFIKATION: Drain live — Classifier ~230/s (0 Errors), Embeddings nach Realm-Fix ~58/s (0 Errors, ETA ~40 Min für 138k). Dimensionen kompatibel (1024). +- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet). +- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor. +- ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft). + +## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben +- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft". +- ROOT CAUSE (drei ineinandergreifende Bugs): (1) `state["tried"]` wurde jeden Lauf geleert → 403-Gescheiterte täglich neu gehämmert; (2) `todo[:max_new]` schnitt immer die ERSTEN N URLs ab → Frontier eingefroren (allrecipes: 48.626 entdeckt, ~42k nie berührt; remaining=2000 drosselte zusätzlich); (3) Budget zählte Loop-Iterationen statt Fetches → Gratis-Dedup-Skips verbrannten das Budget. +- FIX (Skript `recipe_scraper_v8_intl.py`, Backup `.bak-20261012-frontierfix`): Persistente Failure-Memory in neuer DB-Tabelle `scraper_fetch_log` (PK=url_sha1 statt VARCHAR-PK — InnoDB 3072-Byte-Key-Limit!, Quarantäne-Eskalation 1/3/7/14/30 Tage, dead nach 8 Fails oder 404/410, Forgiveness bei Erfolg); rotierender Frontier-Cursor `frontier_pos`; Budget=zählt echte Fetches; Soft-Deadline 6 Min/Quelle; Sitemap-Refresh 7 Tage (Timestamp nur bei Erfolg); 403/429-Fingerprint-Second-Opinion (1 Retry, rotierend chrome136/firefox135/safari184 — Probe zeigte ratelimit-artige, nicht fingerprint-harte Blocks). +- VERIFIKATION: Smoke-Test allrecipes Budget 15 → **+15 Rezepte in 104 s**, Cursor 0→5015 (5000 Gratis-Skips + 15 echte Fetches), fetch_log-Tabelle angelegt, 0 Errors. Danach Produktionslauf des Cron-Jobs gefeuert (Ergebnis folgt asynchron). +- LEARNING: Cron-Reports sind Sekundärquellen — die tried_counts im State (vielfach exakt 2000 = Cap-Höhe) widersprachen der „ausgeschöpft"-Behauptung sofort. Immer State/DB gegen Behauptungen prüfen. + +## [2026-10-12] monero-recovery-complete | 44EYUD-Wallet vollständig recovered +- Passwort geknackt (2021er Keys aus Seafile _Recovery), Adress-Verifikation exakt 44EYUD…, finaler Vollsync: **0.446785648368 XMR**, keine Bewegung seit 06/2021. +- Root Cause Seed-Mismatch: Wallet nutzt **deutsches Mnemonic**; der dokumentierte Seed in Monero_Recover.txt war eine englische Transkription → leitet leere Zweit-Wallet (49PKAh, 0 XMR) ab. Goldstandard-Check bestanden (Offline-Restore aus DE-Seed → 44EYUD). +- Passwort + DE-Seed + Adresse → 1P Vault „Hermes" Item „Monero Wallet 44EYUD (Haupt-Wallet)". Alter EN-Seed als verworfenes Artefakt markiert. +- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md (Auflösungs-Sektion ergänzt: Harness-Kalibrierung, Salt-Fehlschluss, 1P-Notes-Falle). + ## [2026-10-11] xenia-power-sensor-fix | Xenia _2-Sensor: Rename-Ketten-Tod seit Aug behoben - Diagnose: `sensor.xenia_current_power_2` (GUI-Template) seit ~Aug `unavailable` — NICHT WiFi/offline. Template referenzierte `sensor.xenia_current_power`, der per Entity-Registry-Rename inzwischen `sensor.current_power_consumption` heißt → String-Referenz tot → float(None)-Render-Fehler. Maschine war die ganze Zeit online (REST 12–50 ms, 5 parallele Requests 200). - Fix: Options-Flow auf `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × sn_3007105790_metering_voltage_l1|float(0)` (attr-basiert = rename-immun). Pitfall: Teil-Submission wischt Metadaten — ALLE Felder (state/unit/device_class/state_class) gemeinsam; `name` nie im Options-Flow mitschicken. Live: 0.0 W ✓, Metadaten W/power/measurement ✓. diff --git a/systems/homeassistant.md b/systems/homeassistant.md index bcf077c..36a749c 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -37,10 +37,11 @@ modified: "2026-10-11" ## Notify Services | Service | Status | |---------|--------| -| `notify.mobile_app_iphone_dominik` | ✅ aktiv | +| `notify.mobile_app_iphone_dominik` | ✅ aktiv (DER Service für iPhone-Pushes) | | `notify.mobile_app_sarahs_iphone_app` | verfügbar | -| `notify.mobile_app_ipad_2` | verfügbar | -| `notify.mobile_app_sm_x205` | verfügbar | +| `notify.mobile_app_ipad_2` / `notify.mobile_app_sm_x205` | verfügbar | + +⚠️ **SERVICE ≠ ENTITY (Falle, 12.10.2026 live erlebt):** mobile_app registriert zusätzlich notify-ENTITIES mit anderem Namen (z.B. Entity `notify.iphone_dominik`). Diese Entities existieren in `get_states`, sind aber KEINE Service-Targets. Als action-Target in Automations ist IMMER `notify.mobile_app_*` zu verwenden; Verifikation ausschließlich via `get_services` (nicht `get_states`!). Verwechslung führte am 12.10. zu einem fehlgeleiteten 14-fachen-Rename, der via Backup sofort revertiert wurde. ## Entitäten - Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration) @@ -129,6 +130,16 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe - Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte. - Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md` +## free@home SysAP XMPP-Wedge & Remote-Reboot (Stand 12.10.2026) +- **Chronik:** 05.10. IqTimeout-Massenausfall (22 Entities, Fix: 120s-getAll-Timeout+300s-Keepalive, ephemeral in Container). **11.10. 19:56 erneuter Totalausfall** — diesmal trotz Patch: XMPP-RPC-Dispatcher lebte (echoTest/HW 0,1s), aber `getAll` hing serverseitig (>280s, REST liefert dieselben Daten instantan). HA-Restart wirkungslos (Fehler kam direkt nach frischem HA-Start 19:53). +- **HEBEL: `RemoteInterface.reboot(0)` via XMPP** — derselbe RPC, den die SysAP-Web-UI nutzt (Qt-WASM, kein REST-Endpoint). Funktioniert AUCH im Wedge (ACK 7,6s, ~4min Downtime, Konfig unversehrt). Param: RestartEraseCode 0=simpleRestart, 1=factoryReset(!), 2=resetUsingFlags, 3=factoryResetWithoutIA — **nur 0**. Danach `homeassistant/reload_config_entry`. +- **Recovery ist push-gestaffelt (Normverhalten, kein Defekt):** Steuerplane (Switch/Light/Cover-Pos) sofort aus getAll-Seed; Sense-Plane (Panel-Temp odp0010, Climate, BinSens, Locks) erst beim ersten Bus-Push (Min–Std). Identisch nach 05.10.-Vorfall (Recorder-History belegt). +- **Garagentor-switch BUG bleibt:** ch0003-Status weiterhin `unknown` (Status-Datapoint seit 05.10. tot, auch nach SysAP-Reboot 12.10.). Befehlspfad funktioniert. → dauerhafte Lösung nur via Local-API-Migration. +- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen. +- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.** +- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only). +- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md` + ## Related - [[systems/frigate]] — NVR Integration - [[systems/noris-ai]] — LLM Vision Provider diff --git a/systems/noris-ai.md b/systems/noris-ai.md index 89c9303..d633d92 100644 --- a/systems/noris-ai.md +++ b/systems/noris-ai.md @@ -32,13 +32,18 @@ Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleic ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten. -**NAMESPACE-SCHEMA-FALLE (2026-10-11):** Es existieren ZWEI ID-Schemata parallel: +**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel: `vllm//` (legacy, funktional) und `//` (z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`, während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert. -Beim Pinnen von Jobs/Configs immer die `vllm/*`-Form verwenden, bis das -neue Schema Key-seitig freigeschaltet ist. +Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/` +stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403, +`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten +waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server) +— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die +`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen +Consumer-Skripte nach der alten ID greppen. ### `/v1/models` ist KEINE Verfügbarkeitsliste Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und diff --git a/systems/recipe-scraper.md b/systems/recipe-scraper.md new file mode 100644 index 0000000..ea32cbe --- /dev/null +++ b/systems/recipe-scraper.md @@ -0,0 +1,118 @@ +--- +title: "Recipe Scraper v8 (Nutrition-Coach)" +category: systems +tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] +created: "2026-10-12" +modified: "2026-10-12" +--- + +# Recipe Scraper v8 — Nutrition-Coach-Profil + +> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell +> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via +> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte. + +## Architektur +- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` + (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints) +- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor, + tried_counts; Backups `*.bak*` daneben) +- **Log:** `scraper_v8.log` (append) +- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden + via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2); + deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation +- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py` + (harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py` + → `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable) +- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set + (ID = `{source}_{slug-aus-url}`) + +## Frontier-Fix 2026-10-12 (v8.1) +Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag, +~1.400 Errors/Tag). Drei Kernbugs: +1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert → + 403-Gescheiterte wurden täglich neu gehämmert. +2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs + (allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k + unberührt; remaining=2000 droselte zusätzlich). +3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup- + Skips), nicht echte Fetches. + +Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`): +- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log` + (PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead, + next_retry, last_fail_at; Indizes auf source + source,next_retry). + Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert: + Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1` + → nie wieder anfassen. +- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die + Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf. +- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline + 6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster). +- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur + bei Erfolg) — neue Publikationen erreichen die Frontier wieder. +- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem + Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.: + Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry. +- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`, + Floor 200/Quelle. + +Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor +sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors. +Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs. + +## Pipeline-Repair 2026-10-12 (gleicher Tag) +Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei +Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot: +1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu, + aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal + explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902). +2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query + (`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s + →Lost connection bei der allerersten Query. +3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` → + 403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) — + funktionierte seit dem Realm-Umzug nicht mehr; release-Lane + `vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht. + +Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300 +in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt +138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT +immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes). +Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py` +(dieselbe tote harrier-ID). + +Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, +198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment). +Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen), +Normalizer regelbasiert danach. Alles resumable. + +### Bug #5 + #6 (beim Drain gefunden, 12.10.) +- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0" + in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`. +- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer- + Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit + permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine + ~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors", + hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte + (fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer + Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits. + Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link- + Outcome). Sweep danach: 38.216 in 637 s, 0 Errors. +- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual = + exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion, + kein Normalizer-Problem), Embeddings laufen. + +## Pitfalls (gemessen) +- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit → + SHA1-Hash-PK stattdessen. +- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die + Laufzeit — Quarantäne ersetzt sie. +- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.); + Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit). +- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen. + +## Related +- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306) +- [[systems/noris-ai]] — Translation- + Embedding-Backend +- [[reference/ip-map]] — 10.0.30.70 Galera-VIP