diff --git a/log.md b/log.md index 75b160f..ca508a9 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,12 @@ # Memory Log +## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix +- **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill. +- **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert). +- **Fix:** Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (`ha_mem_log.jsonl`, Leak-Alarma ≥250 MiB/h). +- **Pitfalls:** HAOS-Shell `/dev/tcp` = false negative; `.log.1` war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript. +- Wiki `systems/homeassistant.md` (neuer Abschnitt), SolDoc `bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`. + ## [2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node - **Symptom:** Cron `43612c6d52b6` meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund: `http://10.0.30.10:8123` → 200, Entry `freeathome` = `loaded`, SysAP HTTP UP (getAll-Probe 40,8 s). - **Ursache 1:** `fah_watchdog.py` holte das HA-Token bei **jedem** 15-min-Tick frisch per `op read`; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokaler `op`-Prozess als Verursacher. diff --git a/systems/galera-maxscale.md b/systems/galera-maxscale.md index 66a5685..36ea3e2 100644 --- a/systems/galera-maxscale.md +++ b/systems/galera-maxscale.md @@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live - VM310/311 (MaxScale): Fluent Bit aktiv ## Bekannte Issues +- **2026-11-08 (AKUT, OFFEN): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs: 1,6,7,8,10,11,17,18) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → **keine Primary Component seit >7 h**. Status 08.11. 06:15 UTC: db1/db3 systemd failed mit laufendem mariadbd (Zombie), db2 activating/NON-PRIMARY, MaxScale (beide) zeigt 3/3 Down, VIP sendet Greeting und hängt danach. Alle Nodes bei seqno 1164610 (konsistent). Recovery: erst Ceph-Slow-Ops klären, dann pc.bootstrap. Siehe `docs/solutions/bug-fixes/2026-11-08-galera-outage-ceph-slow-ops-recipe-scraper.md`. Symptom-Muster: TCP+Greeting OK dann Hang = alle Backends tot. - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server maintenance` (Monitor promotet automatisch), danach `clear server maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. - **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server ` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen. - **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch. @@ -61,3 +62,10 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live ## Related - [[systems/proxmox-cluster]] - [[reference/ip-map]] + +## Totalausfall-Recovery (08.11.2026) — MERKEN +**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: :`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available"). +**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes//qemu//agent/exec`). +**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie. +**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert. +SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` diff --git a/systems/homeassistant.md b/systems/homeassistant.md index 7ed5201..d21c0c0 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -156,6 +156,14 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe - **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`. - Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md` +## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026) +- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`. +- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt). +- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft). +- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün. +- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten). + + ## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026) - **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93. - **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.** diff --git a/systems/jellyfin.md b/systems/jellyfin.md index 6c5c247..a3b8c8c 100644 --- a/systems/jellyfin.md +++ b/systems/jellyfin.md @@ -118,3 +118,20 @@ Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die - [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner - [[systems/rke2-kubernetes]] — Cluster, LB-IPAM - [[reference/ip-map]] + +## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026) +**Modell: Porn hinter Passwort, Familie offen.** +- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets). +- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin. +- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections]. +- `dominik`: Admin, Vollzugriff (Passwort). + +**Pitfalls JF 12.2 (teuer gelernt):** +1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen). +2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen. +3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`. +4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig. +5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/`), nicht an Policy. +6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm. +7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen. +8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation. diff --git a/systems/sabnzbd.md b/systems/sabnzbd.md index 36867f3..24f59b2 100644 --- a/systems/sabnzbd.md +++ b/systems/sabnzbd.md @@ -302,3 +302,13 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — - `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen) - `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall) - `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking) + +## Converter v18 — einheitlich HEVC (08.11.2026) +**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264. +- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`. +- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg). +- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher). +- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still). +- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`. +- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch). +- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.