diff --git a/log.md b/log.md index 1a53592..18da8a7 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,13 @@ # Memory Log +## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op +- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. +- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen. +- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11. +- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89). +- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`. +- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.). + ## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A) - **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand. - **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung. diff --git a/systems/galera-maxscale.md b/systems/galera-maxscale.md index a973b0b..af0f851 100644 --- a/systems/galera-maxscale.md +++ b/systems/galera-maxscale.md @@ -3,7 +3,7 @@ title: MariaDB Galera + MaxScale category: systems tags: [mariadb, galera, maxscale, database, ha] created: "2026-07-24" -modified: "2026-11-01" +modified: "2026-11-12" --- # MariaDB Galera + MaxScale @@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live - VM310/311 (MaxScale): Fluent Bit aktiv ## Bekannte Issues +- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`. - **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen. - **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md` - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server maintenance` (Monitor promotet automatisch), danach `clear server maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. diff --git a/systems/recipe-scraper.md b/systems/recipe-scraper.md index 35dbab5..27b3d75 100644 --- a/systems/recipe-scraper.md +++ b/systems/recipe-scraper.md @@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)" category: systems tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] created: "2026-10-12" -modified: "2026-11-10" +modified: "2026-11-12" --- # Recipe Scraper v8 — Nutrition-Coach-Profil @@ -24,6 +24,20 @@ modified: "2026-11-10" Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor Diagnose gestartet wird.** +## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge) +- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013, + 60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab + `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake + + `SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout + (60 s, Zeile ~89 `read_timeout=60`) ist zu knapp. +- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op + ("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline. +- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper + `recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300` + (genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper + selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter + intermittierend crashen und nur per Retry durchlaufen. + ## Architektur - **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)