Auto-sync: 2026-11-08
This commit is contained in:
@@ -1,5 +1,12 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix
|
||||
- **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill.
|
||||
- **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert).
|
||||
- **Fix:** Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (`ha_mem_log.jsonl`, Leak-Alarma ≥250 MiB/h).
|
||||
- **Pitfalls:** HAOS-Shell `/dev/tcp` = false negative; `.log.1` war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript.
|
||||
- Wiki `systems/homeassistant.md` (neuer Abschnitt), SolDoc `bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
|
||||
## [2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node
|
||||
- **Symptom:** Cron `43612c6d52b6` meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund: `http://10.0.30.10:8123` → 200, Entry `freeathome` = `loaded`, SysAP HTTP UP (getAll-Probe 40,8 s).
|
||||
- **Ursache 1:** `fah_watchdog.py` holte das HA-Token bei **jedem** 15-min-Tick frisch per `op read`; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokaler `op`-Prozess als Verursacher.
|
||||
|
||||
@@ -47,6 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **2026-11-08 (AKUT, OFFEN): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs: 1,6,7,8,10,11,17,18) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → **keine Primary Component seit >7 h**. Status 08.11. 06:15 UTC: db1/db3 systemd failed mit laufendem mariadbd (Zombie), db2 activating/NON-PRIMARY, MaxScale (beide) zeigt 3/3 Down, VIP sendet Greeting und hängt danach. Alle Nodes bei seqno 1164610 (konsistent). Recovery: erst Ceph-Slow-Ops klären, dann pc.bootstrap. Siehe `docs/solutions/bug-fixes/2026-11-08-galera-outage-ceph-slow-ops-recipe-scraper.md`. Symptom-Muster: TCP+Greeting OK dann Hang = alle Backends tot.
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
@@ -61,3 +62,10 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
## Related
|
||||
- [[systems/proxmox-cluster]]
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Totalausfall-Recovery (08.11.2026) — MERKEN
|
||||
**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: <uuid>:<seqno>`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available").
|
||||
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
|
||||
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
|
||||
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md`
|
||||
|
||||
@@ -156,6 +156,14 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
- **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
|
||||
|
||||
## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026)
|
||||
- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt).
|
||||
- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft).
|
||||
- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün.
|
||||
- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten).
|
||||
|
||||
|
||||
## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026)
|
||||
- **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.**
|
||||
|
||||
@@ -118,3 +118,20 @@ Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die
|
||||
- [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner
|
||||
- [[systems/rke2-kubernetes]] — Cluster, LB-IPAM
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026)
|
||||
**Modell: Porn hinter Passwort, Familie offen.**
|
||||
- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets).
|
||||
- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin.
|
||||
- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections].
|
||||
- `dominik`: Admin, Vollzugriff (Passwort).
|
||||
|
||||
**Pitfalls JF 12.2 (teuer gelernt):**
|
||||
1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen).
|
||||
2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen.
|
||||
3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`.
|
||||
4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig.
|
||||
5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/<Name>`), nicht an Policy.
|
||||
6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm.
|
||||
7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen.
|
||||
8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation.
|
||||
|
||||
@@ -302,3 +302,13 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
|
||||
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
|
||||
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
|
||||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|
||||
|
||||
## Converter v18 — einheitlich HEVC (08.11.2026)
|
||||
**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.
|
||||
- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`.
|
||||
- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg).
|
||||
- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
|
||||
- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
|
||||
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
|
||||
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
|
||||
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
|
||||
|
||||
Reference in New Issue
Block a user