From b171a41a8cf6c566d6d04f14dbf4a8717091fcab Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Wed, 18 Nov 2026 22:00:22 +0000 Subject: [PATCH] Auto-sync: 2026-11-18 --- log.md | 8 ++++++++ systems/recipe-scraper.md | 16 +++++++++++++++- 2 files changed, 23 insertions(+), 1 deletion(-) diff --git a/log.md b/log.md index 04d89e2..22f6f6e 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,13 @@ # Memory Log +## [2026-11-18] recipe-scraper-cron | Crash-Rezidiv nach 4 Tagen, Retry OK, No-Op — Störung täglich, nur Schwere variiert +- **Lauf 1 (06:00:29):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. Identischer Fehlerpfad wie 11-10 bis 11-13; erstes Rezidiv nach 4 Tagen. +- **Lauf 2 (06:01:53):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. DB unverändert bei 200.000 = TARGET. +- **Diagnose (verifiziert):** TCP .70:3306 open; `SELECT 1` + COUNT 200.000 ab ~06:01:45 instant (Node mariadb-01) — Fenster heute kürzer als 11-13 (>122 s). +- **Schlüsselbefund — "crashfreie" Tage 11-14 bis 11-17 waren keine:** `scraper_v8.log` Gesamtlaufzeiten 55/37/37/60 s = COUNT-Dauer ~30–55 s (vor `db_count()` laufen nur lokale Loads) → Störung im 06:00-Fenster TÄGLICH, Crash nur wenn COUNT >60 s. "Intermittenz" war falsch — die 4 Tage waren Grenzfälle. +- **Root-Cause weiter offen:** Täglicher DB-Infra-Job ~05:45–06:05 UTC (mariabackup/ANALYZE/Timer auf Galera-VMs) Hauptverdächtiger. **FIX weiter offen (Owner-GO):** `read_timeout=60`→`300` (Scraper Zeile ~89) oder Cron auf 06:30. Nichts ausgeführt — Auftrag war nur ausführen & berichten. +- **Learning-Cycle:** SolDoc-Nachtrag 11-18 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-18); Hindsight-Indexierung via HTTP-API (`POST /v1/default/banks/hermes/memories`, compact Summary + Tags, `success:true`; Recall-Test: neue Fakten auffindbar, semantic 0.65). Auch notiert: Cron-Task-Beschreibung "77.000+" seit 11-08 veraltet (DB: 200.000). + ## [2026-11-16] Büro-Licht: Schwelle auf 7000 lx (Outdoor-Proxy stößt an Grenzen) - **Vorgabe:** „es ist aktuell dunkel genug, dass das Licht angehen sollte" bei Outdoor **5.900–6.400 lx** → Schwelle 1.500 → **7.000 lx** (Gate + `dunkel`-Trigger), Nachlauf bleibt 2 min. - **A/B bei praktisch gleicher Helligkeit:** Präsenzflanke 09:11:26 (~6.400 lx, Schwelle 1.500) → Licht bleibt aus (`choose/3`); Flanke 09:15:49 (~5.948 lx, Schwelle 7.000) → Licht an 09:15:50 (`choose/0/sequence/0`). Vorher war das Licht seit 07:11:36 aus (Morgen war 13–20k lx). diff --git a/systems/recipe-scraper.md b/systems/recipe-scraper.md index a2e9804..a7cdcdd 100644 --- a/systems/recipe-scraper.md +++ b/systems/recipe-scraper.md @@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)" category: systems tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] created: "2026-10-12" -modified: "2026-11-13" +modified: "2026-11-18" --- # Recipe Scraper v8 — Nutrition-Coach-Profil @@ -53,6 +53,20 @@ modified: "2026-11-13" - SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` (+ Nachtrag im 11-12-Doc). +## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert +- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout) + — erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op + (0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000). +- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine + sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer, + da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp + unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash + nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18). +- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen: + mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen + (Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. +- SolDoc-Nachtrag 11-18 im 11-13-Doc. + ## Architektur - **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)