Compare commits

...
2 Commits
7 changed files with 201 additions and 6 deletions
+1
View File
@@ -38,6 +38,7 @@
- [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen - [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen
- [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation - [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation
- [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify - [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify
- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64
- [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026 - [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI - [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant) - [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
+43
View File
@@ -1,5 +1,13 @@
# Memory Log # Memory Log
## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op
- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten.
- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen.
- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11.
- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89).
- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.).
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A) ## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand. - **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung. - **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
@@ -965,3 +973,38 @@
- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag) - 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API. - 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.
- 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft. - 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft.
## 2026-11-12 21:2x — Earnie vollständig konfiguriert (parallel, read-only)
- Fünf Konfigdateien gegen Earnies eigene JSON-Schemas validiert und in **beide** Config-Pfade
gelegt (`/config` + `/data/earnie_env/config`); kanonische Bindings `ess.<id>.…`/`inv.<id>.…`.
- Blocker-Kette: `deferred=True` (Refs unvollständig) → `export_tariffs[..].k_push_cent` fehlt
→ Legacy-Key `sens_ess_soc` → gelöst durch UI-Migration `dm4.required_signal_activation`
(Backup `/config/backups/pre-migration-dm4-dm4-20261112T202005Z`).
- Telemetrie über eigenen Push-Dienst `earnie_push.py`/`earnie-push.service` (10 s, Peer
10.0.30.230) statt 649-Zeilen-HA-Paket; sechs Signale, verifiziert im Earnie-Log.
- Erster echter Plan 21:22: Preis 35,36 ct (deckungsgleich mit unserem EPEX-Sensor),
SoC 5,0 %, Netzbezug 2,22 kW, `outcome=ok`, alle `set_ess_*` mit „mapping incomplete"
übersprungen → keine Steuerung, EMHASS unberührt.
- Doku: `docs/earnie/2026-11-12-earnie-live-setup.md`; Wiki `systems/earnie-hems.md`.
## 2026-11-12 — HA-VM CPU-Typ kvm64 → x86-64-v2-AES (Earnie-Blocker)
- `qm set 106 --cpu x86-64-v2-AES` (Backup `/root/vm106-config.bak-20261112-161151`),
Kaltstart. Downtime 25 s, HA-Core nach 70 s, alle Add-ons nach ~5 min.
- Grund: Earnie-Image (Python 3.14) zieht numpy 2.5.4/pandas 3.1.0/pyarrow 26.0.0/highspy
1.15.1 als `manylinux_2_28+`-Wheels → x86-64-v2 (SSSE3/SSE4.x/POPCNT) Pflicht.
EMHASS (Python 3.12, numpy 2.2.6, `manylinux_2_17`) lief auf kvm64 problemlos — daher
fiel es nie auf. Alle 8 Nodes können v2 → migrationssicher.
- Earnie v2.7.0 danach `started` + `healthy` (0 Restarts), UI via Ingress :8501.
- EMHASS/AppDaemon/evcc/Frigate alle `started`; Frigate-Container `healthy`, API 0.18.2.
- AppDaemon-Guard hat beim Boot korrekt geblockt (`get-config failed: Connection reset`),
statt in einen toten Solver zu posten; Zyklus 17:19 dann 96/96 echte Preise (Auktion
für morgen veröffentlicht), load 36,3 kWh aus dem neuen Profil, `Optimal`.
## 2026-11-12 — EMHASS Preis-Gate + 15-min-Raster, Earnie-Bewertung
- `emhass_prices.py` neu: Tiering Sensor → energy-charts → gelernter 28-Tage-Tagesgang, Gate blockiert Phantompreis-Pläne (real 58 %+42 % Shape live).
- `optimization_time_step` 30 → 15 (96 Slots), `slot_min: 15` im Producer + Mismatch-Block.
- Rolling Load Profile: `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00); 3 Bugs in `emhass_build_profile.py` gefixt.
- Neue Seite [[systems/earnie-hems]], Referenz [[reference/emhass-cascade-automation-architecture]] aktualisiert (deficit_cost 0.0, Raster, Preise).
- Solution Doc: `docs/solutions/bug-fixes/2026-11-12-emhass-phantom-price-gate.md`.
@@ -41,7 +41,7 @@ EMHASS (LP Solver) → sensor.smart_battery_target
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt | | `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
| `battery_discharge_efficiency` | 0.9 | dto. | | `battery_discharge_efficiency` | 0.9 | dto. |
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) | | `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung | | `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) |
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor | | `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
| `battery_maximum_state_of_charge` | 1.0 | 100% | | `battery_maximum_state_of_charge` | 1.0 | 100% |
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt | | `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
@@ -49,6 +49,43 @@ EMHASS (LP Solver) → sensor.smart_battery_target
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC | | `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung | | `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
| `use_websocket` | True | | | `use_websocket` | True | |
| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h |
| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP |
| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet |
## Preise & Gate (neu 12.11.2026)
`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers:
1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min)
2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares
auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional,
429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht).
3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der
Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30.
**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % →
sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`.
Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die
Phantom-Nachtpreise, nicht ein Fehler).
**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`;
die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch.
## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026)
Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die
Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 /
**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k
Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %.
Konsequenzen, umgesetzt:
- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich
aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus.
- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet
eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird
das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag.
- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil
enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt.
## ⚠️ Known Pitfall: set-config Full Overwrite ## ⚠️ Known Pitfall: set-config Full Overwrite
+92
View File
@@ -0,0 +1,92 @@
---
title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik"
category: reference
tags: [earnie, hems, emhass, milp, vergleich, homeassistant]
created: "2026-11-12"
modified: "2026-11-12"
---
# Earnie HEMS vs. eigene EMHASS-Kaskade
Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source:
privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an
den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests.
## Architektur-Vergleich
| | Earnie | Unsere Kaskade |
|---|---|---|
| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) |
| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h |
| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` |
| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) |
| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) |
| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild |
| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC |
| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual |
| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) |
## Wo Earnie voraus ist
Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität
(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein
**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit
Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall.
## Wo unsere Lösung vorn bleibt
~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im
Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode)
existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität,
Gate) ist methodisch sauber.
## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts
```
MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW
MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s
```
- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf):
`/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und**
`.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json`
(`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`,
ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE,
49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct,
Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs).
- **Bindings müssen kanonisch sein**: `ess.<id>.sens_ess_soc`, `inv.<id>.sens_inv_power_pv`;
nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler.
- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*).
`scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach.
- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart),
sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host
(systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus
`sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung
signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`.
- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade
bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427,
Marstek force_mode) **und** EMHASS-Kaskade abschalten.
- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`.
## Stand des Parallelbetriebs (B)
- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert
(`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped`
→ schreibt nichts.
- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie,
sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 /
pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2`
kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft
mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM.
**Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben
die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen).
Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min.
Danach: Earnie `state: started`, Container `healthy`, 0 Restarts.
- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`.
Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt
`options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401.
→ einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine
Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings).
- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an
Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1,
Marstek = ESS 2, EVCC = Wallbox.
## Vergleichs-Ergebnis (12.11.)
Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster,
Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU.
+2 -1
View File
@@ -3,7 +3,7 @@ title: MariaDB Galera + MaxScale
category: systems category: systems
tags: [mariadb, galera, maxscale, database, ha] tags: [mariadb, galera, maxscale, database, ha]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-11-01" modified: "2026-11-12"
--- ---
# MariaDB Galera + MaxScale # MariaDB Galera + MaxScale
@@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
- VM310/311 (MaxScale): Fluent Bit aktiv - VM310/311 (MaxScale): Fluent Bit aktiv
## Bekannte Issues ## Bekannte Issues
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen. - **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md` - **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
+10 -3
View File
@@ -11,10 +11,17 @@ modified: "2026-11-01"
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen. > Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
## Infrastruktur ## Infrastruktur
- **Host:** `10.0.30.10` (HAOS VM) - **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf)
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes") - **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup
`/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der
Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26,
manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können
das, `host` wäre nicht migrationssicher.
- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root`
- **URL:** `https://homeassistant.familie-schoen.com` - **URL:** `https://homeassistant.familie-schoen.com`
- **Container:** `homeassistant` (Docker) - **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet
(`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon,
EMHASS, evcc und Earnie wieder laufen.
## MQTT ## MQTT
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883 - **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
+15 -1
View File
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi] tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12" created: "2026-10-12"
modified: "2026-11-10" modified: "2026-11-12"
--- ---
# Recipe Scraper v8 — Nutrition-Coach-Profil # Recipe Scraper v8 — Nutrition-Coach-Profil
@@ -24,6 +24,20 @@ modified: "2026-11-10"
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
Diagnose gestartet wird.** Diagnose gestartet wird.**
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
intermittierend crashen und nur per Retry durchlaufen.
## Architektur ## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py` - **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints) (Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)