Auto-sync: 2026-11-13
This commit is contained in:
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-11-12"
|
||||
modified: "2026-11-13"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
@@ -38,6 +38,21 @@ modified: "2026-11-12"
|
||||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||
intermittierend crashen und nur per Retry durchlaufen.
|
||||
|
||||
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
|
||||
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
|
||||
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
|
||||
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
|
||||
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
|
||||
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
|
||||
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
|
||||
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
|
||||
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
|
||||
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
|
||||
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
|
||||
(+ Nachtrag im 11-12-Doc).
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
|
||||
Reference in New Issue
Block a user