Auto-sync: 2026-11-13

This commit is contained in:
Dominik Schön
2026-11-13 22:00:22 +00:00
parent d89db49445
commit fd4a86533e
5 changed files with 62 additions and 1 deletions
+16 -1
View File
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-11-12"
modified: "2026-11-13"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
@@ -38,6 +38,21 @@ modified: "2026-11-12"
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
intermittierend crashen und nur per Retry durchlaufen.
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
(+ Nachtrag im 11-12-Doc).
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)