Auto-sync: 2026-11-12 recipe-scraper db_count timeout recurrence + galera known issue

This commit is contained in:
Dominik Schön
2026-11-12 06:04:34 +00:00
parent b7ed1b4505
commit a637ddcf61
3 changed files with 25 additions and 2 deletions
+15 -1
View File
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-11-10"
modified: "2026-11-12"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
@@ -24,6 +24,20 @@ modified: "2026-11-10"
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
Diagnose gestartet wird.**
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
intermittierend crashen und nur per Retry durchlaufen.
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)