Auto-sync: 2026-11-12 recipe-scraper db_count timeout recurrence + galera known issue
This commit is contained in:
@@ -1,5 +1,13 @@
|
|||||||
# Memory Log
|
# Memory Log
|
||||||
|
|
||||||
|
## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op
|
||||||
|
- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten.
|
||||||
|
- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen.
|
||||||
|
- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11.
|
||||||
|
- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89).
|
||||||
|
- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||||
|
- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.).
|
||||||
|
|
||||||
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
|
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
|
||||||
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
|
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
|
||||||
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
|
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
|
||||||
|
|||||||
@@ -3,7 +3,7 @@ title: MariaDB Galera + MaxScale
|
|||||||
category: systems
|
category: systems
|
||||||
tags: [mariadb, galera, maxscale, database, ha]
|
tags: [mariadb, galera, maxscale, database, ha]
|
||||||
created: "2026-07-24"
|
created: "2026-07-24"
|
||||||
modified: "2026-11-01"
|
modified: "2026-11-12"
|
||||||
---
|
---
|
||||||
|
|
||||||
# MariaDB Galera + MaxScale
|
# MariaDB Galera + MaxScale
|
||||||
@@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
|||||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||||
|
|
||||||
## Bekannte Issues
|
## Bekannte Issues
|
||||||
|
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||||
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
|
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
|
||||||
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||||
|
|||||||
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
|
|||||||
category: systems
|
category: systems
|
||||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||||
created: "2026-10-12"
|
created: "2026-10-12"
|
||||||
modified: "2026-11-10"
|
modified: "2026-11-12"
|
||||||
---
|
---
|
||||||
|
|
||||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||||
@@ -24,6 +24,20 @@ modified: "2026-11-10"
|
|||||||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||||||
Diagnose gestartet wird.**
|
Diagnose gestartet wird.**
|
||||||
|
|
||||||
|
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||||||
|
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||||||
|
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||||||
|
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||||||
|
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||||||
|
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||||||
|
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||||||
|
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||||||
|
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||||||
|
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||||||
|
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||||||
|
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||||
|
intermittierend crashen und nur per Retry durchlaufen.
|
||||||
|
|
||||||
## Architektur
|
## Architektur
|
||||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||||
|
|||||||
Reference in New Issue
Block a user