Auto-sync: 2026-11-18

This commit is contained in:
Dominik Schön
2026-11-18 22:00:22 +00:00
parent 46bf4e6e42
commit b171a41a8c
2 changed files with 23 additions and 1 deletions
+8
View File
@@ -1,5 +1,13 @@
# Memory Log
## [2026-11-18] recipe-scraper-cron | Crash-Rezidiv nach 4 Tagen, Retry OK, No-Op — Störung täglich, nur Schwere variiert
- **Lauf 1 (06:00:29):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. Identischer Fehlerpfad wie 11-10 bis 11-13; erstes Rezidiv nach 4 Tagen.
- **Lauf 2 (06:01:53):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. DB unverändert bei 200.000 = TARGET.
- **Diagnose (verifiziert):** TCP .70:3306 open; `SELECT 1` + COUNT 200.000 ab ~06:01:45 instant (Node mariadb-01) — Fenster heute kürzer als 11-13 (>122 s).
- **Schlüsselbefund — "crashfreie" Tage 11-14 bis 11-17 waren keine:** `scraper_v8.log` Gesamtlaufzeiten 55/37/37/60 s = COUNT-Dauer ~30–55 s (vor `db_count()` laufen nur lokale Loads) → Störung im 06:00-Fenster TÄGLICH, Crash nur wenn COUNT >60 s. "Intermittenz" war falsch — die 4 Tage waren Grenzfälle.
- **Root-Cause weiter offen:** Täglicher DB-Infra-Job ~05:45–06:05 UTC (mariabackup/ANALYZE/Timer auf Galera-VMs) Hauptverdächtiger. **FIX weiter offen (Owner-GO):** `read_timeout=60`→`300` (Scraper Zeile ~89) oder Cron auf 06:30. Nichts ausgeführt — Auftrag war nur ausführen & berichten.
- **Learning-Cycle:** SolDoc-Nachtrag 11-18 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-18); Hindsight-Indexierung via HTTP-API (`POST /v1/default/banks/hermes/memories`, compact Summary + Tags, `success:true`; Recall-Test: neue Fakten auffindbar, semantic 0.65). Auch notiert: Cron-Task-Beschreibung "77.000+" seit 11-08 veraltet (DB: 200.000).
## [2026-11-16] Büro-Licht: Schwelle auf 7000 lx (Outdoor-Proxy stößt an Grenzen)
- **Vorgabe:** „es ist aktuell dunkel genug, dass das Licht angehen sollte" bei Outdoor **5.900–6.400 lx** → Schwelle 1.500 → **7.000 lx** (Gate + `dunkel`-Trigger), Nachlauf bleibt 2 min.
- **A/B bei praktisch gleicher Helligkeit:** Präsenzflanke 09:11:26 (~6.400 lx, Schwelle 1.500) → Licht bleibt aus (`choose/3`); Flanke 09:15:49 (~5.948 lx, Schwelle 7.000) → Licht an 09:15:50 (`choose/0/sequence/0`). Vorher war das Licht seit 07:11:36 aus (Morgen war 13–20k lx).
+15 -1
View File
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-11-13"
modified: "2026-11-18"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
@@ -53,6 +53,20 @@ modified: "2026-11-13"
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
(+ Nachtrag im 11-12-Doc).
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)