diff --git a/index.md b/index.md index 4cd3a79..a1688e3 100644 --- a/index.md +++ b/index.md @@ -38,6 +38,7 @@ - [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen - [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation - [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify +- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64 - [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026 - [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI - [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant) diff --git a/log.md b/log.md index 18da8a7..a15c1b2 100644 --- a/log.md +++ b/log.md @@ -973,3 +973,38 @@ - 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag) - 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API. - 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft. + +## 2026-11-12 21:2x — Earnie vollständig konfiguriert (parallel, read-only) + +- Fünf Konfigdateien gegen Earnies eigene JSON-Schemas validiert und in **beide** Config-Pfade + gelegt (`/config` + `/data/earnie_env/config`); kanonische Bindings `ess..…`/`inv..…`. +- Blocker-Kette: `deferred=True` (Refs unvollständig) → `export_tariffs[..].k_push_cent` fehlt + → Legacy-Key `sens_ess_soc` → gelöst durch UI-Migration `dm4.required_signal_activation` + (Backup `/config/backups/pre-migration-dm4-dm4-20261112T202005Z`). +- Telemetrie über eigenen Push-Dienst `earnie_push.py`/`earnie-push.service` (10 s, Peer + 10.0.30.230) statt 649-Zeilen-HA-Paket; sechs Signale, verifiziert im Earnie-Log. +- Erster echter Plan 21:22: Preis 35,36 ct (deckungsgleich mit unserem EPEX-Sensor), + SoC 5,0 %, Netzbezug 2,22 kW, `outcome=ok`, alle `set_ess_*` mit „mapping incomplete" + übersprungen → keine Steuerung, EMHASS unberührt. +- Doku: `docs/earnie/2026-11-12-earnie-live-setup.md`; Wiki `systems/earnie-hems.md`. + +## 2026-11-12 — HA-VM CPU-Typ kvm64 → x86-64-v2-AES (Earnie-Blocker) + +- `qm set 106 --cpu x86-64-v2-AES` (Backup `/root/vm106-config.bak-20261112-161151`), + Kaltstart. Downtime 25 s, HA-Core nach 70 s, alle Add-ons nach ~5 min. +- Grund: Earnie-Image (Python 3.14) zieht numpy 2.5.4/pandas 3.1.0/pyarrow 26.0.0/highspy + 1.15.1 als `manylinux_2_28+`-Wheels → x86-64-v2 (SSSE3/SSE4.x/POPCNT) Pflicht. + EMHASS (Python 3.12, numpy 2.2.6, `manylinux_2_17`) lief auf kvm64 problemlos — daher + fiel es nie auf. Alle 8 Nodes können v2 → migrationssicher. +- Earnie v2.7.0 danach `started` + `healthy` (0 Restarts), UI via Ingress :8501. +- EMHASS/AppDaemon/evcc/Frigate alle `started`; Frigate-Container `healthy`, API 0.18.2. +- AppDaemon-Guard hat beim Boot korrekt geblockt (`get-config failed: Connection reset`), + statt in einen toten Solver zu posten; Zyklus 17:19 dann 96/96 echte Preise (Auktion + für morgen veröffentlicht), load 36,3 kWh aus dem neuen Profil, `Optimal`. + +## 2026-11-12 — EMHASS Preis-Gate + 15-min-Raster, Earnie-Bewertung +- `emhass_prices.py` neu: Tiering Sensor → energy-charts → gelernter 28-Tage-Tagesgang, Gate blockiert Phantompreis-Pläne (real 58 %+42 % Shape live). +- `optimization_time_step` 30 → 15 (96 Slots), `slot_min: 15` im Producer + Mismatch-Block. +- Rolling Load Profile: `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00); 3 Bugs in `emhass_build_profile.py` gefixt. +- Neue Seite [[systems/earnie-hems]], Referenz [[reference/emhass-cascade-automation-architecture]] aktualisiert (deficit_cost 0.0, Raster, Preise). +- Solution Doc: `docs/solutions/bug-fixes/2026-11-12-emhass-phantom-price-gate.md`. diff --git a/reference/emhass-cascade-automation-architecture.md b/reference/emhass-cascade-automation-architecture.md index 2350d78..83e272a 100644 --- a/reference/emhass-cascade-automation-architecture.md +++ b/reference/emhass-cascade-automation-architecture.md @@ -41,7 +41,7 @@ EMHASS (LP Solver) → sensor.smart_battery_target | `battery_charge_efficiency` | 0.9 | Konservativ, gemischt | | `battery_discharge_efficiency` | 0.9 | dto. | | `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) | -| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung | +| `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) | | `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor | | `battery_maximum_state_of_charge` | 1.0 | 100% | | `set_battery_dynamic` | True | Dynamische Peeling erlaubt | @@ -49,6 +49,43 @@ EMHASS (LP Solver) → sensor.smart_battery_target | `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC | | `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung | | `use_websocket` | True | | +| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h | +| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP | +| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet | + +## Preise & Gate (neu 12.11.2026) + +`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers: +1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min) +2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares + auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional, + 429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht). +3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der + Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30. + +**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % → +sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`. +Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die +Phantom-Nachtpreise, nicht ein Fehler). + +**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`; +die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch. + +## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026) + +Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die +Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 / +**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k +Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %. + +Konsequenzen, umgesetzt: +- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich + aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus. +- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet + eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird + das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag. +- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil + enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt. ## ⚠️ Known Pitfall: set-config Full Overwrite diff --git a/systems/earnie-hems.md b/systems/earnie-hems.md new file mode 100644 index 0000000..82537e5 --- /dev/null +++ b/systems/earnie-hems.md @@ -0,0 +1,92 @@ +--- +title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik" +category: reference +tags: [earnie, hems, emhass, milp, vergleich, homeassistant] +created: "2026-11-12" +modified: "2026-11-12" +--- + +# Earnie HEMS vs. eigene EMHASS-Kaskade + +Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source: +privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an +den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests. + +## Architektur-Vergleich + +| | Earnie | Unsere Kaskade | +|---|---|---| +| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) | +| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h | +| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` | +| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) | +| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) | +| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild | +| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC | +| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual | +| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) | + +## Wo Earnie voraus ist +Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität +(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein +**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit +Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall. + +## Wo unsere Lösung vorn bleibt +~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im +Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode) +existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität, +Gate) ist methodisch sauber. + +## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts + +``` +MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW +MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s +``` +- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf): + `/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und** + `.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json` + (`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`, + ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE, + 49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct, + Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs). +- **Bindings müssen kanonisch sein**: `ess..sens_ess_soc`, `inv..sens_inv_power_pv`; + nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler. +- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*). + `scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach. +- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart), + sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host + (systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus + `sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung + signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`. +- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade + bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427, + Marstek force_mode) **und** EMHASS-Kaskade abschalten. +- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`. + +## Stand des Parallelbetriebs (B) +- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert + (`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped` + → schreibt nichts. +- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie, + sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 / + pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2` + kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft + mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM. + **Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben + die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen). + Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min. + Danach: Earnie `state: started`, Container `healthy`, 0 Restarts. +- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`. + Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt + `options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401. + → einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine + Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings). +- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an + Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1, + Marstek = ESS 2, EVCC = Wallbox. + +## Vergleichs-Ergebnis (12.11.) +Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster, +Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU. diff --git a/systems/homeassistant.md b/systems/homeassistant.md index 667b475..f2fa26e 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -11,10 +11,17 @@ modified: "2026-11-01" > Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen. ## Infrastruktur -- **Host:** `10.0.30.10` (HAOS VM) -- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes") +- **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf) +- **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup + `/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der + Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26, + manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können + das, `host` wäre nicht migrationssicher. +- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root` - **URL:** `https://homeassistant.familie-schoen.com` -- **Container:** `homeassistant` (Docker) +- **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet + (`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon, + EMHASS, evcc und Earnie wieder laufen. ## MQTT - **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883