From 306f3022bb54f3e2a61623485ae87a17ff1eab3b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Tue, 10 Nov 2026 22:00:22 +0000 Subject: [PATCH] Auto-sync: 2026-11-10 --- log.md | 6 ++++++ systems/agent-fleet.md | 28 ++++++++++++++++++++++++++++ systems/galera-maxscale.md | 1 + systems/homeassistant.md | 16 ++++++++++++++++ systems/recipe-scraper.md | 14 +++++++++++++- systems/ubuntu-host.md | 2 +- 6 files changed, 65 insertions(+), 2 deletions(-) diff --git a/log.md b/log.md index 0880b2b..25d4519 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,10 @@ # Memory Log +## [2026-11-10] Recipe-Scraper-Cron: Ziel 200k erreicht → No-Op + transiente Galera-Trägheit +- **Scraper-Status:** DB steht bei exakt 200.000 Rezepten = `TARGET = 200_000` (`recipe_scraper_v8_intl.py:29`) → v8.1 beendet sich sofort ("Already at 200000 recipes", Exit 0): 0 neue, keine Quellen, keine Pipeline. **Owner-Entscheidung nötig:** Target anheben oder Cron deaktivieren. Cron-Task-Beschreibung ("77.000+") veraltet. +- **Galera-Beobachtung:** Erster Anlauf 06:01 UTC crashte in `db_count()` (pymysql 2013, 60-s-Timeout) — Galera kurzzeitig träge nach Recovery vom 08.11.: `SELECT 1` instant, `SELECT COUNT(*)` hing 30 s, Wiederholung 1,2 s; wsrep_cluster_size=3. Retry 06:03 UTC lief sofort. **Neue Regel: nach DB-Timeout 1× retryen vor Diagnose.** +- Wiki `systems/recipe-scraper.md` (Status-Abschnitt), `systems/galera-maxscale.md` (Bekannte Issues +10.11.-Eintrag), SolDoc `bug-fixes/2026-11-08-galera-outage-...md` um Follow-up 10.11. ergänzt. Hindsight-Indexierung ausgefallen — CLI-GLIBC-Bug (braucht GLIBC_2.39). + ## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix - **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill. - **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert). @@ -932,3 +937,4 @@ - 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv. - 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag) - 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API. +- 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft. diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md index 072dcbb..9eedf32 100644 --- a/systems/agent-fleet.md +++ b/systems/agent-fleet.md @@ -1655,3 +1655,31 @@ Vorher quarantänierte der Watcher sie („System-Sender mit unzulaessigem type vs-fleet-rebuild/archiv/ideen-register-archiv-2026-11-07.md, Register 635 Karten. - **Verifiziert:** Gate blockt fleet-rebuild (92 Agent-Karten/24h), imkerei PASS, Owner-Karten PASS. + +## 10.11. Ideations-Takt (Nachtrag) + +- **Warum keine Ideen:** Idle-Trigger bricht bei `open_count > 0` ab -> bei + Dauerbacklog feuert er nie (0 Events/48h). Zusaetzlich hatte der + Kapazitaets-Cooldown denselben Schluessel-Fehler wie der Rezidiv (schrieb + `(kind, ziel)`, prueft `(kind, agent)`) -> 277 KAPAZITAET-Tasks/48h. +- **watcher 0.42** (Digest 718691e0): Cooldown je Ausloeser; periodischer + Ideations-Takt alle 6 h (`IDLE_IDEATION_INTERVAL_SECONDS`) unabhaengig vom + Spool; Owner-Rotation `vs-eigenentwicklung:cto,vs-schoenkitchen:cmo, + vs-imkerei:cmo,vs-fleet-rebuild:ceo`; Dedupe ueber offene + `IDEATION-ZYKLUS:`-Tasks; Journal `ideation_tick_created`. +- **0.41-Crash** (AttributeError next_ideation) in 0.41.1 gefixt: Feld am + IdleScheduler initialisieren, nicht nur in den Opts. +- **Verifiziert:** erster Ideation-Task 10.11. 08:48 -> ceo; seit Deploy + 0 Prozess-Trigger; Rotation im Unit-Test (cmo/vs-schoenkitchen). + +## 10.11. Regression: add_backlog_card deregistriert (0.33 -> 0.35 behoben) + +- Beim Balancing-Einbau (0.33) rutschte `@mcp.tool()` von `add_backlog_card` auf + `_balance_snapshot` -> Tool fehlte in der MCP-Registry, Agenten konnten KEINE Karten + anlegen. cmo meldete es in einer Notiz. +- Fix 0.35 (Digest 2a651525): Dekorator zurueck; Registry-Check + `server.mcp._tool_manager.list_tools()` (28 Tools, add_backlog_card dabei, + _balance_snapshot nicht). +- Tagesrate 10 -> 25 Agent-Karten/VS/24h (Flood war ~580/Tag); Ideations-Takt 1h. +- Beweis: fleet-rebuild 667 -> 669 Karten; Ideation-Task 18:26 -> cmo/vs-imkerei working. +- **Pruefroutine:** nach jedem board-service-Patch Tool-Liste verifizieren, nicht nur py_compile. diff --git a/systems/galera-maxscale.md b/systems/galera-maxscale.md index b784aa9..a973b0b 100644 --- a/systems/galera-maxscale.md +++ b/systems/galera-maxscale.md @@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live - VM310/311 (MaxScale): Fluent Bit aktiv ## Bekannte Issues +- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen. - **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md` - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server maintenance` (Monitor promotet automatisch), danach `clear server maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. - **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server ` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen. diff --git a/systems/homeassistant.md b/systems/homeassistant.md index d872945..667b475 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -73,6 +73,22 @@ modified: "2026-11-01" - NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`) - Various sensors (Xiaomi BLE, etc.) +## Zigbee / Zigbee2MQTT (Stand 10.11.2026) +- **Stack:** Z2M Add-on `45df7312_zigbee2mqtt` **2.14.3-1**, zigbee-herdsman 11.2.0, **ZHC 26.125.0**; Addon-Zugriff nur über HA-Ingress-WS (Details: Skill-Ref `smart-home-automation/references/zigbee2mqtt-remote-diagnosis.md`) +- **Coordinator:** SONOFF Dongle-M, EmberZNet 7.4.5 [GA], EZSP 13, **TCP** `tcp://10.0.50.145:6638` +- **Netz:** Kanal **25**, PAN 33072; 8 Geräte (5× Schlafzimmer-Lampen, Esszimmertür, Garagentor-Neigungssensor, Wetterstation) +- **permit_join:** nur via `switch.zigbee2mqtt_bridge_permit_join` (254-s-Fenster, Refresher-Loop beim echten Pairing); `mqtt.publish` auf `zigbee2mqtt/bridge/request/permit_join` wird von der Broker-ACL **still verworfen** +- HA-MQTT-Entry-Titel `192.168.100.27` ist kosmetisch/veraltet — Discovery läuft normal + +### Shelly/Ecowitt WS90 (gekoppelt 10.11.2026, Zigbee-Variante) +- **IEEE `0xc02cedfffe774579`**, `EndDevice`, interview complete, FW `251015/v1.1.6@62`, Manufacturer Shelly, Model-ID `WS90` +- **22 Entities** `sensor.wetterstation_*` / `binary_sensor.wetterstation_rain_status` / `button.wetterstation_identify` (Auto-Discovery, keine Handarbeit) +- Alle 12 Reportings + 7 Bindings von ZHC selbst provisioniert (inkl. `precipitation`); **keine** manuellen Reporting-Fixes nötig +- **Einheiten real:** pressure **hPa** (nicht kPa wie Z2M-Doku), Wind **km/h** (nicht m/s), precipitation mm `total_increasing` +- Live-Nachweis: humidity 51→42 % / Wind + Richtung / Gust innerhalb 95 s +- Offen: `battery` 0 %, `capacitor_voltage` 0.1 V (frische Unit, lädt erst in der Sonne), `voltage` unknown +- **Kein** `weather.`-Entity von Z2M — Wetterzustand nur als `sensor.wetterstation_weather_condition` (z. B. „cloudy") + ## Xenia Kaffeemaschine (Stand 11.10.2026) - ESP32 FW 3.9, IP 10.0.50.128 (VLAN 50, SSID IoT), REST `/api/v2/overview` (enthält MA_CUR_PWR in A!), `/api/v2/machine/data|status|control` - **WARNUNG: MA_CUR_PWR ist AMPERE** — Power (W) = MA_CUR_PWR × Spannung L1 (`sensor.sn_3007105790_metering_voltage_l1` ≈ 234 V) diff --git a/systems/recipe-scraper.md b/systems/recipe-scraper.md index f639ea4..35dbab5 100644 --- a/systems/recipe-scraper.md +++ b/systems/recipe-scraper.md @@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)" category: systems tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] created: "2026-10-12" -modified: "2026-10-12" +modified: "2026-11-10" --- # Recipe Scraper v8 — Nutrition-Coach-Profil @@ -12,6 +12,18 @@ modified: "2026-10-12" > `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via > MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte. +## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op +- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet + sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine + Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**. +- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet. +- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron + deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute. +- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout) + — Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.); + Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor + Diagnose gestartet wird.** + ## Architektur - **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints) diff --git a/systems/ubuntu-host.md b/systems/ubuntu-host.md index 5f31d1c..402d8ab 100644 --- a/systems/ubuntu-host.md +++ b/systems/ubuntu-host.md @@ -32,4 +32,4 @@ Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/ - [[patterns/ceph-dead-nvme-resurrection]] (PAT-014) ## Security-Status -- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto. +- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Re-Check 2026-11-10 (CVE-Tracker-Meldung „released"):** Zielzustand bereits aktiv — `apt-get full-upgrade` = 0 Pakete, Kandidat = installiert = 6.8.0-149.149, kein `reboot-required`; **kein zweiter Reboot** (3 OSDs auf dem Host), Ceph unverändert 4/4 MON, 17/17 up+in, 533 PGs active+clean. **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto.