Auto-sync: 2026-11-12 recipe-scraper db_count timeout recurrence + galera known issue
This commit is contained in:
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-11-10"
|
||||
modified: "2026-11-12"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
@@ -24,6 +24,20 @@ modified: "2026-11-10"
|
||||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||||
Diagnose gestartet wird.**
|
||||
|
||||
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||||
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||||
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||||
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||||
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||||
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||||
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||||
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||||
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||||
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||||
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||
intermittierend crashen und nur per Retry durchlaufen.
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
|
||||
Reference in New Issue
Block a user