Compare commits

...
72 Commits
Author SHA1 Message Date
Dominik Schön b171a41a8c Auto-sync: 2026-11-18 2026-11-18 22:00:22 +00:00
Dominik Schön 46bf4e6e42 Auto-sync: 2026-11-17 2026-11-17 22:00:23 +00:00
Dominik Schön 3eda03ae8e Auto-sync: 2026-11-16 2026-11-16 22:00:25 +00:00
Dominik Schön 668501c330 Auto-sync: 2026-11-15 2026-11-15 22:00:25 +00:00
Hermes 34457272d0 agent-fleet: Inbox-Konzept (Herdr) dokumentiert 2026-11-15 12:30:40 +00:00
Dominik Schön a0e3039cfa Auto-sync: 2026-11-14 2026-11-14 22:00:21 +00:00
Dominik Schön fd4a86533e Auto-sync: 2026-11-13 2026-11-13 22:00:22 +00:00
Dominik Schön d89db49445 BayKiBiG: Dialogbrief (DIN 5008) an Stadt+Traeger nach Yvonne Regnets Alternativ-Entwurf; harte Fakten in interner Gespraechsagenda; Traeger-Stadt-Schreiben dokumentiert 2026-11-13 05:25:54 +00:00
Dominik Schön 41556fc10f Auto-sync: 2026-11-12 2026-11-12 22:00:23 +00:00
Dominik Schön a637ddcf61 Auto-sync: 2026-11-12 recipe-scraper db_count timeout recurrence + galera known issue 2026-11-12 06:04:34 +00:00
Dominik Schön b7ed1b4505 Auto-sync: 2026-11-11 2026-11-11 22:00:23 +00:00
Dominik Schön 07de4bd482 Elternbrief: Normbrief nach DIN 5008:2020-03 Form A (Briefkopf 27mm, Anschriftfeld Fluchtlinie 25mm, Infoblock 125mm, Betreff/Anrede/Text nach Leerzeilen-Regeln) - verifiziert, gestaltete Version gesichert 2026-11-11 21:25:18 +00:00
Dominik Schön e4767928a5 Elternbrief: Layout-Ueberlauf dokumentiert und behoben (17,2mm Seite 1), final verifiziert - Footer, Schlusssatz, Bitten komplett sichtbar 2026-11-11 21:19:36 +00:00
Dominik Schön b49e4ed029 BayKiBiG: Elternbrief geschärft (Defizitvertrags-Hebel, Lücken-Transparenz, fester Antworttermin) - IfKM anonymisiert 2026-11-11 21:16:27 +00:00
Dominik Schön a85ba99e39 BayKiBiG: IfKM-Foerdermittelrechnung (Eltern 71.3k vs. Luecke 57.5k, Ueberschuss +13.7k) + Landkreis-Vorlage 23.10. als Belege 2026-11-11 21:07:24 +00:00
Dominik Schön 8585ee8b56 BayKiBiG: Träger-Entscheidung Freystadt (Eltern tragen 100 EUR) + Haushaltsvergleich 2026 (36,45 Mio) als Brief-Basis 2026-11-11 20:21:02 +00:00
Dominik Schön 77702d8b66 BayKiBiG-Reform 2027: Wiki-Seite Wegfall 100-Euro-Elternbeitragszuschuss + Recherche-Basis Freystädter Brief 2026-11-11 20:09:10 +00:00
Dominik Schön 306f3022bb Auto-sync: 2026-11-10 2026-11-10 22:00:22 +00:00
Dominik Schön 4ab319815c Auto-sync: 2026-11-09 2026-11-09 22:01:14 +00:00
Dominik Schön ba9bf1525b Auto-sync: 2026-11-08 2026-11-08 22:01:02 +00:00
Dominik Schön 90ce3e0267 Auto-sync: 2026-11-07 2026-11-07 22:00:40 +00:00
Dominik Schön 3d48fe6628 Auto-sync: 2026-11-06 2026-11-06 22:00:26 +00:00
Dominik Schön 6a310538ff Auto-sync: 2026-11-05 2026-11-05 22:00:35 +00:00
Dominik Schön bd366a61ee Auto-sync: 2026-11-04 2026-11-04 22:00:26 +00:00
Dominik Schön de3dd8a50d Auto-sync: 2026-11-03 2026-11-03 22:00:35 +00:00
Dominik Schön 4fbd8bc1a9 Auto-sync: 2026-11-02 2026-11-02 22:00:24 +00:00
Dominik Schön 21a25a0635 Auto-sync: 2026-11-01 2026-11-01 22:00:25 +00:00
Dominik Schön 2053828eaf fleet: Wiederbelebung 01.11. belegt (7/7 Heartbeat+Poller), VK 18->15, zwei Beacons, Kanon-Korrektur 2026-11-01 14:58:12 +00:00
Dominik Schön e79b912ca5 fleet: Betriebsstatus 01.11. gemessen (Konzern schlaeft, 18 VKs aktiv, B3-Rest, C1-Pin unwirksam) 2026-11-01 14:42:17 +00:00
Dominik Schön 9709787bc0 sabnzbd: Codec-Audit 01.11. (164/507 HEVC); haus: Grundrisse EG/OG + Raum-Mapping 2026-11-01 13:45:57 +00:00
Dominik Schön 8a2f961745 fleet: vs-ual+sec-ops merge (main 5af61ec) + Org-Quellen-Drift + Gitea-Down-Anti-Pattern 2026-11-01 13:28:03 +00:00
Dominik Schön bd700b19b8 Auto-sync: 2026-10-31 2026-10-31 22:00:08 +00:00
Dominik Schön 79047d9306 Wiki: SchönKitchen-Wertstromanalyse + CephFS/Kernel-Incident-Stand (31.10.) 2026-10-31 13:36:06 +00:00
Dominik Schön be5343e8b8 Auto-sync: 2026-10-30 2026-10-30 22:00:17 +00:00
Dominik Schön f78f265a8a Auto-sync: 2026-10-29 2026-10-29 22:00:46 +00:00
Dominik Schön fe148c3536 sabnzbd: Sammler-NZB-Harvest (Postproc-Hook + Cron), Sorter v12, Low-Res-Policy 2026-10-29 13:02:18 +00:00
Dominik Schön 807dc2b396 sabnzbd: Sorter v12, Low-Res-Import-Policy, MaxineX-Kollision, HEVC-Enqueuer-Luecke (29.10.) 2026-10-29 12:38:50 +00:00
Dominik Schön edb65794ac Auto-sync: 2026-10-28 2026-10-28 22:00:16 +00:00
Dominik Schön 89eaf83f3f Auto-sync: 2026-10-27 2026-10-27 22:00:50 +00:00
Dominik Schön 52959e3b44 Auto-sync: 2026-10-26 2026-10-26 22:00:51 +00:00
Dominik Schön bd55603188 Auto-sync: 2026-10-25 2026-10-25 22:00:31 +00:00
Dominik Schön 7e1a058212 Auto-sync: 2026-10-24 2026-10-24 22:01:00 +00:00
Dominik Schön 53b3d4e67b agent-fleet: E-2 ceo landed, kit-bug ziff10, CM-patch pitfall, health-check paths 2026-10-24 18:32:17 +00:00
Dominik Schön c36ace9fba Auto-sync: 2026-10-23 2026-10-23 22:00:20 +00:00
Dominik Schön 8cb4324fb3 agent-fleet: W2-Nacht-Vollzug Sektion (korrekter Anchor, Append am Dateiende) 2026-10-23 21:02:29 +00:00
Dominik Schön e84b665b2a agent-fleet: W2-Nacht-Vollzug COO CT202 verified, Pin v1.1 adoptiert, Controller-Fixe + ACL-Pitfalls 2026-10-23 21:02:14 +00:00
Dominik Schön 03a7103932 agent-fleet: CM-Sync-Verfahren + Pool-Befund M5(f) 2026-10-23 19:04:41 +00:00
Dominik Schön c26664e202 Auto-sync: 2026-10-22 2026-10-22 22:00:42 +00:00
Dominik Schön ddc352591b Auto-sync: 2026-10-21 2026-10-21 22:00:49 +00:00
Dominik Schön 0f7228f0f5 Auto-sync: 2026-10-20 2026-10-20 22:00:01 +00:00
Dominik Schön f7ae47ba39 Auto-sync: 2026-10-19 2026-10-19 22:00:05 +00:00
Dominik Schön 5268ec4d06 skill-impact: rke2 skill CNP reference entry 2026-10-19 06:40:43 +00:00
Dominik Schön 039fb846df Add: systems/sabnzbd.md; rke2: cilium NP traps bullet; log 2026-10-19 converter+CNP arc 2026-10-19 06:39:21 +00:00
Dominik Schön a53e80db9e Auto-sync: 2026-10-17 2026-10-17 22:00:08 +00:00
Dominik Schön dc13225446 Auto-sync: 2026-10-14 2026-10-14 22:00:22 +00:00
Dominik Schön e74747d42f Auto-sync: 2026-10-13 2026-10-13 22:00:52 +00:00
Dominik Schön b7a6c45a79 Auto-sync: 2026-10-12 2026-10-12 22:00:11 +00:00
Dominik Schön 8492ed3bbc Auto-sync: 2026-10-11 2026-10-11 22:00:21 +00:00
Dominik Schön 22c6957ddc wave2: schoenkitchen page, seafile restore-doctrine, proxmox vm_disks convention, log entry 2026-10-11 17:36:15 +00:00
Dominik Schön b1963161a2 audit P1/P2: index consistency (PAT-016, asset counts, dead links), new pages finanzen+health-fitness, net/ceph known-issues, LCM as L4, drift-report review, quarantine 2026-10-11 16:43:49 +00:00
Dominik Schön 66a3e993ea Auto-sync: 2026-10-10 2026-10-10 22:00:06 +00:00
Dominik Schön 36520a7851 Auto-sync: 2026-10-09 2026-10-09 22:00:10 +00:00
Dominik Schön b8d38c5640 Auto-sync: 2026-10-08 2026-10-08 22:00:16 +00:00
Dominik Schön 8dca234bc6 Auto-sync: 2026-10-07 2026-10-07 22:00:57 +00:00
Dominik Schön a6ef4d6870 Auto-sync: 2026-10-05 2026-10-05 22:00:50 +00:00
Dominik Schön bffcea0d4d Auto-sync: 2026-10-04 2026-10-04 22:00:35 +00:00
Dominik Schön dd78080e5f Auto-sync: 2026-10-02 2026-10-02 22:00:00 +00:00
Dominik Schön b527e4ff3c Auto-sync: 2026-09-30 2026-09-30 22:00:05 +00:00
Dominik Schön 3a57db957e log: ceph-monitoring-hardened Eintrag (mgr-union + SMART-Korrektur) 2026-09-30 18:23:53 +00:00
Dominik Schön cc2f237ca3 ceph: SMART-Audit rehabilitiert Kingston NVMe (kein Austausch); mgr-union scraping 2026-09-30 18:22:25 +00:00
Dominik Schön 531d6bfbdd docs(wiki): PAT-010 pve-oom-frozen-guest + proxmox6 drift fixes (worker-05 placement, oversubscription known-issue) 2026-09-30 14:15:18 +00:00
Dominik Schön a68665eca0 docs(wiki): sarah-hermes VM107 page + ip-map row + log entry 2026-09-30 13:49:08 +00:00
62 changed files with 6974 additions and 131 deletions
+346
View File
@@ -0,0 +1,346 @@
# Memory Log
## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38.
- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar.
- **Key-Falle:** Cache-Key ist `custom:<base_url>` (neu: `…#<fp>`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37).
- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen).
- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29).
- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht.
- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts".
- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar.
- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓).
- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig).
- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext.
- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6.
## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓.
- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen).
- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch).
- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren.
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt.
- Hindsight: Config + Pitfall semantisch indexiert.
## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
- RBAC-Lektion: Descheduler braucht `list/watch` auf `namespaces` in ClusterRole.
- ArgoCD repoURL: `ssh://git@10.0.30.200:22/...` (mit `git@` User-Prefix, wie alle anderen Apps).
- Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
## [2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
- Zwischenfail: `aliases:`-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate.
- SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit cc2f237.
## [2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. *(Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)*
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt: `crush reweight osd.3 0.05` + in. Cluster 17/17 up/in, Degraded 0,78 % fallend.
- ubuntu-Hosts-Fix: `10.0.20.100 ubuntu` in /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben.
- Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
## [2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
- Eigener Fehler: `grep -vn`-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. **Rescue-Pfad etabliert:** CT-Rootfs direkt am Host mounten (`mount /dev/rbd2 /mnt/...` — rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok.
- **Lessons**: (a) NIEMALS `grep -n`-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate.
- Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit <SHA>.
## [2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
- Zwei neue Rules in CT141 (`placement_guardrails`): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok.
- Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
## [2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender `body`-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON).
- Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit `{{escape title}}`/`{{escape message}}` (Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200.
- Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
## [2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
## [2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. **x-vga=1 bricht AMD-Passthrough** (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
- Monitoring (CT141): Regelgruppe `pressure_alerts` (5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. **LXC-Bindmount-Inode-Trap:** sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc.
- proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
## [2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
- Diagnose-Signatur: `qm status --verbose` RSS-Kollaps + tote Guest-Agent + statischer Tap-TX
- Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
- Drift-Fund: frühere node-affinity `na-vm102` (NICHT ms-a2-2) existiert live nicht mehr
- Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
## [2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert `pip install -e .` NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bis `import run_agent`
- Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
- Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params
- CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
- Cordoning cp-03 amplified: CNPG switchover → operator reconcile storm (~60/min)
- Fix: (1) Delete+recreate SCs with all secret refs, (2) Patch 6 PVs with controllerExpandSecretRef, (3) Restart CSI resizer, (4) Commit SCs to Git `clusters/main/storage/`, (5) Move Gitea off unstable worker-05
- Worker-05 cordoned (repeated reboots, likely hypervisor issue on ms-a2-2)
- Architectural risk documented: etcd on Ceph RBD (~20ms WAL fsync all CP nodes)
- Solution doc: docs/solutions/bug-fixes/2026-09-29-kubeapi-error-budget-burn-ceph-csi-resize-loop.md
## [2026-09-27] bug-fix | Gitea CSI RBAC Fix + ArgoCD Verknüpfungs-Audit
- Root Cause: Ceph CSI RBD `csi-attacher` fehlte `storage.k8s.io/csinodes` Berechtigung → VolumeAttachments pending → Gitea Pod 4+ Tage Init-crash
- Fix: ClusterRole `ceph-rbd-external-attacher-runner` patched, provisioner Pods neu gestartet → alle 24 VolumeAttachments `true`
- Gitea Pod + schoenkitchen runner durch Pod-Delete wiederhergestellt
- ArgoCD Audit: 17/25 Apps via Gitea SSH, 20/25 Synced+Healthy
- Known Issues: `gitea`/`authelia` Health=Progressing (Ingress-LB-IP Gap), `immich` doppelt verwaltet, `gitea-config` Deployment Drift
- `DEFAULT_ACTIONS_URL=https://gitea.com` deprecated → Helm override auf `self` empfohlen
- Wiki `systems/gitea.md` aktualisiert: Runner Status, Incident, ArgoCD Issues
- Solution Doc: `docs/solutions/bug-fixes/2026-09-27-gitea-csi-rbac-volumeattachment-fix.md`
## [2026-09-27] architecture | Memory Layer Restructuring + Laya Session-Nutzung
- USER.md bereinigt: Infra-Fakten entfernt, nur noch User-Preferences/Safety-Rules (1.087/1.375 chars)
- MEMORY.md ausgedünnt: 2.145→1.664 chars, alle Infra-Details zeigen auf Wiki-Seiten mit `→Wiki` Pointern
- 4 neue Wiki-Seiten: systems/noris-ai, systems/frigate, systems/homeassistant, systems/paperless
- Neues Concept: concepts/memory-layer-architecture — Entscheidungsbaum "was wohin gehört"
- Hindsight Audit: massiv überladen mit veralteter Infra-Topologie. Going-Forward-Policy: nur noch semantische Pointer + Entscheidungen
- LCM gesund: 7.590 messages, 34 DAG nodes, 21.2:1 compression ratio
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
## [2026-09-27] architecture | Laya Email-Organizer Migration + Session-Nutzung
- Rechnungen-Organizer Cron `f773f8c23230` von LLM-Agent → `no_agent` Script mit Laya migriert
- 12 Kategorien, 3-Schichten-Safety (Confidence-Gate + Subject-Validierung + Move-Erfolg)
- Globale Ordner (Rechnungen/Bestellungen/Gutschriften/Gutscheine) statt Monatssortierung
- Wiki-Seite `systems/laya.md` erstellt mit Usage Guide für Session-Nutzung
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
- Solution Doc: `docs/solutions/architecture/2026-09-27-laya-email-organizer-migration.md`
## [2026-09-17] workflow | CT108-Endausbau: Census, Ghost-Router CT99999, Alias-Repair, Stop
- **Census (auth):** K8s=25 / CT108=31 / gemeinsam=23 — 22 Tips identisch, dominik/memory=K8s-Superset (enthält CT-Tip de97cd6d), nur-CT=8× PoC-Müll. Archiv: 29 Bare-Bundles 143 MB unter `/home/debian/git-archive/ct108-final/` (2 Failures = legitim leere Repos).
- **Ghost-Router enttarnt:** CT99999 (Traefik-LXC auf proxmox7, 10.0.60.10) terminiert TLS für *.familie-schoen.com und forwardet plain HTTP an .203. `git.familie-schoen.com` → .105:3000 WAR der letzte Live-Konsument von CT108; `git.schoen.codes` lief längst per Double-Hop aufs K8s. Fix: gitea-service-Upstream → .203 (Backup `explicit-http.yml.bak-hermes-20260917`) + Alias-Host im K8s-Ingress (Commit `9e9b6ee`). Beide Hostnamen jetzt v1.27.0.
- **Stop vollzogen (genehmigt):** `pct stop 108` auf ms-a2-2 (10.0.20.93) — connection-refused-Beweis, Fleet 22/25 Synced, Runner unversehrt. Wiki-Lügen korrigiert (ip-map behauptete „stopped" seit Wochen).
- **Lessons:** 1P-SA braucht je Call `--vault`; `op read --reveal` existiert nicht (stdout=Secret); `op item get --reveal` maskiert nur Display (JSON-Captures intakt); `/repos/search` = `{ok,data}`-Envelope; blankes Token erzeugt glaubwürdig LEERE Census (Fast-Fehlentscheidung „K8s hat nur 2 Repos").
- Docs: `docs/solutions/workflows/2026-09-17-ct108-full-decommission-census-router-topology.md` · Wiki: systems/gitea.md, reference/ip-map.md
- Offen (je Freigabe): Zombie-Secret `argocd-repo-credentials` löschen; immich-Zwillings-App (toter rendered-Dump vom 01.08., Live gehört immich-config) entfernen.
## [2026-09-17] fix | Merge-Day-Kampagne abgeschlossen: Konvergenz + Autosync-Rennen + Live-State-Arbitrage
- **Konvergenz DONE:** Merge `d76d3e8` (fork 46fa168, 24.07.) + Fixups `4987341`/`8c741c5` auf BEIDEN Remotes (CT108 + K8s-Gitea SSH 10.0.30.200). Ahead37/behind63-Narrativ endgültig begraben (Cache-Phantom). Single-Remote-Ziel erreicht: beide Tipps identisch.
- **Autosync-Renne verarbeitet (4 Minentypen):** authelia Duplikat-Volume (union-merge) entfernt; homepage `authelia-auth`-Middleware restauriert (Jul-Entscheidung ging nie live); paperless plaintext-OIDC-Secret GELÖSCHT statt Wert-Rollback (ESO-Ownership seit 24.08., Quelle 1P); newborn-App ceph-csi-cephfs eingefroren (autosync-Block aus Git entfernt — Helm-Release 3.17.0 wartet auf Adoption; rbd-chart 3.10.1 weiterhin ungoverned, Backlog).
- **3 Sync-Failures via Live-State-Arbitrage geheilt (alle Synced/Healthy @ 8c741c5):** (1) backups: VSC-CRD-Flavor-Falle — RKE2-Addon-CRD ist FLAT (driver/deletionPolicy top-level, `spec:` verboten!), Jul-Files waren für Upstream-Flavor korrekt; beide Files geflattet, cephfs-snapclass erstmals LIVE ERZEUGT. (2) databases: CNPG grow-only — Git auf 100Gi/20Gi hochaligned (Shrink verboten). (3) hindsight: VCT storageClassName immutable (hdd→flash aligniert), Live-Hotfixes gespiegelt (Node-Pin cp-01, ReadinessProbe draußen, secretKeyRef statt Klartext-PW). hindsight-postgres-0 rotierte sauber, PVC 47d Bound, API pollt.
- **Push-Learned:** canonical-Push braucht EXPLIZITEN Key (`GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o IdentitiesOnly=yes"`) — kein ~/.ssh/config vorhanden, Default-Key lehnt ab.
- **Chronisch (prä-merge, offen):** kube-prometheus-stack Synced/FAILED (CRD-Annotation >256kB); residual OutOfSync gitea-config (Deployment/gitea-runner) + immich-config (SA/CM-Reste) = Alt-Backlog, keine Regression.
- **Finale Ordnung (nächste Schritte):** ① ArgoCD-Sources auf ssh://git@10.0.30.200:22 flippen (incl. Secret argocd-repo-credentials) ② CT108 final stoppen (explizite Freigabe Dominik) ③ CSI-Adoption ④ kpstack-CRD-Fix.
- Docs: `docs/solutions/workflows/2026-09-17-argocd-autosync-race-four-mine-types.md` + `docs/solutions/bug-fixes/2026-09-17-live-state-arbitration-crd-flavors-hotfix-mirroring.md` · Morgen-Doc (.202-Empfehlung) korrigiert auf .200.
## [2026-09-17] bug-fix | Ghost-Instance-Regression: CT108-Gitea als ArgoCD-Source + gitea-backup RCA-Quality
- gitea-backup-29826930 (03:30Z) failed: BackoffLimitExceeded, 3 Instant-Crashes in 73s. Zwei Auto-RCAs attribuierten auf 1P/ESO-Rate-Limit — STRUKTURELL widerlegt (crashing init-container gitea-files konsumiert keine Secrets; mounted Secrets intakt).
- Echter Fund: ArgoCD-Apps (root/proxy/paperless/schoenkitchen/gitea-config) zogen von http://10.0.30.105:3000 = CT108-Ghost (nach Dekommissionierung 24.07. wieder eingeschaltet, stale Mirror ohne Hardening-Commit 2014673) → "Synced" maskierte fehlende failedJobsHistoryLimit-Felder live.
- Sofortmassnahme: manueller Rerun gitea-backup-manual-161538 SUCCESS (201,7 MB, S3-Upload verifiziert), Failed-Job gelöscht, Alert clear.
- Offen (awaiting owner): ArgoCD-Sources auf ssh://git@10.0.30.202:22 flippen, Repo-Divergenz ahead37/behind63 + tote HTTPS-Auth forensisch, CT108 final stoppen, ESO-Nachtsättigung (00:00Z-Fenster, cf. PAT-003) analysieren.
- Doc: `docs/solutions/bug-fixes/2026-09-17-gitops-ghost-instance-regression-masked-hardening.md` · Wiki: systems/gitea (CT108-Status), concepts/gitops-workflow (Single-Remote-Regel)
- **Abend-Phase:** SSH-Deny-Rootcause = keine Keys/Tokens im K8s-Gitea-DB registriert (Opfer der 01.08.-Migration) → via 1P-Token (hermes-gitops) re-registriert: User-Key + ArgoCD-Deploy-Key (beide end-to-end verifiziert, push dry-run OK). Echter Branch-Split am 24.07. entdeckt: K8s-Gitea-main=29.07.-Stand (b9d7441, 70 Commits incl. mariadb:11.4-Fix für gitea-backup), CT108/local=38 Commits ab 04.09. Hardening TTL=86400 + Exit-42-Guard via ArgoCD gelanded (a0c9b6b). Heutiger DB-Dump validiert (116 Tables, kompletter Trailer). Nächste Schritte: Historien-Konvergenz → Source-Flip → CT108-Stop (Freigabe).
## [2026-08-30] retro | Compound Learning Retrospective (Last 30 Days)
- Reviewed sessions from Jul 31 – Aug 30, 2026
- **4 new solution docs** written by subagents:
- `bug-fixes/2026-08-05-ceph-squid-ec-pool-mark-complete-bug.md` — EC pool mark-complete fails in Squid
- `bug-fixes/2026-08-06-traefik-cross-namespace-routing-pitfall.md` — Two Traefik 404 incidents
- `architecture/2026-08-01-k8s-full-cluster-rebuild-procedure.md` — Full RKE2 rebuild sequence
- `architecture/2026-08-01-immich-data-loss-no-backup.md` — Ceph redundancy ≠ backup
- **2 new patterns** extracted:
- PAT-008: Ansible default_ipv6 fact missing on fresh VMs
- PAT-009: Stale NBD devices after RBD volume swap
- **4 Hindsight entries** indexed with solution summaries
- Key themes: K8s cluster disaster recovery, Ceph EC pool unrecoverability, Traefik routing complexity, backup gap identification
## [2026-08-30] feat | WikiSkill Patterns Directory + Skill-Impact Tracker
- Analysed arXiv:2608.27454 (WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution)
- **New `patterns/` directory** in LLM Wiki — structured failure-mode patterns inspired by WikiSkill's Wiki Layer
- Created 7 initial pattern pages from existing MEMORY.md entries + solution docs:
- PAT-001: Galera DDL TOI Deadlock
- PAT-002: Traefik reload unreliable
- PAT-003: 1Password account-level rate-limit
- PAT-004: VFIO GPU passthrough race condition
- PAT-005: Finanzblick sync WAF-blocked
- PAT-006: LinkedIn React nativeInputSetter
- PAT-007: Ceph EC pool + SSD wear-level
- **Skill-Impact Tracker** (`patterns/skill-impact.md`) — audit trail for skill modifications (accept/reject history)
- **Template** (`patterns/_template.md`) for future pattern creation
- **compound-learning skill patched** — added Phase 4.8 (Pattern Extraction) + Phase 4.9 (Skill-Impact Tracking)
- Updated index.md with Patterns section
- Hindsight: indexed with tags architecture, wikiskill, patterns, skill-evolution
## [2026-08-13] feat | Memory Architecture Enhancement (arxiv 2602.06052v4)
- Implemented 3 new automated memory capabilities from survey paper analysis:
- **Decay & Importance Scoring** (`hindsight_decay_scoring.py`): Monthly cron (1st 03:30). Score = log(1+access)/log(51) × 0.5^(age/90d). Archives score<0.15 with 0 accesses. First run: 200 evaluated, 50 archived.
- **User Drift Detection** (`user_drift_detection.py`): Weekly cron (Mon 04:00). Compares 14d vs 90d baseline for message length, frustration, corrections, topic shifts, style changes. First run: detected 3 drifts (41% longer msgs, new focus gitops, declining ai_ml).
- **Skill Health Check** (`skill_health_check.py`): Weekly cron (Mon 04:30). Scans 187 active SKILL.md files for stubs, broken refs, missing pitfalls, staleness, duplicates. First run: 70 healthy, 117 warnings, 0 critical.
- Cron jobs: 112c106c0954, 280458a2b035, 761b6694d99b (all no_agent, deliver=origin)
- Wiki updated: systems/hindsight.md (meta-memory automation table expanded)
- Hindsight: indexed with tags architecture, memory-system, cron, arxiv-2602.06052
## [2026-08-13] fix | Seafile Recovery + Paperless Upgrade + Authelia Ingress
- **Gitea SSH access**: No SSH key on Hermes VM was authorized for Gitea. HTTP port 3000 has no external IngressRoute. Generated dedicated ED25519 key (`id_ed25519_gitea-hermes-push`), stored in 1Password (ID: lqaebdtewj5xatvpzfrkag73v4), registered in Gitea as key ID 4 for user dominik. SSH via `10.0.30.202:22` (LoadBalancer) is the reliable push path.
- **Paperless v3 IngressRoute**: Host was `dokumente.familie-schoen.com` instead of `dokumente-neu.familie-schoen.com`. Two-track fix: kubectl patch (immediate) + Git commit `fa4184b` (permanent via ArgoCD self-heal). Backtick escaping in Traefik Host() match requires `--patch-file` not inline `--patch`.
- Wiki updated: systems/gitea.md (SSH push key section), reference/ssh-keys.md (new key entry)
- Solution docs: workflows/2026-07-26-gitea-ssh-access-for-hermes.md, bug-fixes/2026-07-26-paperless-ingressroute-hostname-fix.md
- Hindsight: both solutions indexed with tags
## [2026-07-25] fix | Loki 500 Error + CNPG Leader Election + Stale Pods Cleanup
- **Loki HTTP 500**: `replication_factor: 3` in hash ring with only 1 SingleBinary instance → "too many unhealthy instances in the ring". Chart v6.42.0 ignores `loki.common.replication_factor` — correct path is `loki.commonConfig.replication_factor`. Fix: commit `cb70d36`
- **Memcached caches disabled**: `chunksCache.enabled: false`, `resultsCache.enabled: false` (SingleBinary doesn't need them). Commit `f8852e8`
- **Fluent Bit**: cascading failure from Loki 500s — fixed automatically once Loki accepted pushes
- **CNPG 28+129 restarts**: Leader election lease renewal failed during API server latency spikes (Ceph recovery I/O). Default 15s/10s too short. Fix: `--leader-lease-duration=60 --leader-renew-deadline=40` via `additionalArgs`. Commit `6ed4a53`
- **17 stale node-debugger pods** deleted from default namespace
- **OSDs 0+2 destroyed+purged** (proxmox2, SSDs with 92% wear + slow ops). CRUSH host proxmox2 removed. 13 OSDs remaining on 8 hosts.
- Wiki updated: ceph-cluster.md, loki-fluentbit.md
## [2026-07-25] fix | Memory Sync Broken — HTTP→HTTPS + Ceph Duplicate
- Git push failed: remote URL used `http://` but Gitea redirects to `https://` — git doesn't follow auth redirects
- Token itself was valid (same as ArgoCD `argocd-repo-credentials`), just wrong protocol
- Fixed: `git remote set-url` to `https://`
- Eliminated duplicate: `systems/ceph.md` (82 lines, no frontmatter) merged into `systems/ceph-cluster.md` (canonical, referenced in index.md)
- Fixed sync script: removed `--allow-empty` flag, improved change detection
## [2026-07-24] fix | Velero CSI Volume Snapshots Three-Layer Fix
- Velero backups PartiallyFailed for 121 days — all PVCs skipped
- Fix 1: Created VolumeSnapshotClass `ceph-rbd-snapclass` (rbd.csi.ceph.com)
- Fix 2: Migrated ArgoCD repoURLs from dead Gitea (10.0.30.105) to new (ssh://git@10.0.30.202:22)
- Gitea SSH user is `git` not `gitea`; git.schoen.codes → Traefik (10.0.30.208), SSH on 10.0.30.202
- New SSH deploy key generated, added to Gitea repo
- Fix 3: `features: EnableCSI` must be under `configuration:` in Velero Helm values (not top-level)
- Must be string, not array — array form breaks Helm template
- Verified: test backup created VolumeSnapshot + VolumeSnapshotContent, uploaded to S3 ✅
- Solution doc: docs/solutions/bug-fixes/2026-07-24-velero-csi-snapshots-three-layer-fix.md
- Commits: 5ebfa30, 19f35bc, cd18c58, baf85f5, f652bfb
## [2026-07-24] fix | VFIO Module Loading Race Condition RCA + Fix
- RCA: GPU passthrough failed on ms-a2-1 due to missing modprobe config (NOT kernel version)
- Root cause: Missing `softdep amdgpu pre: vfio-pci` + incomplete DRM blacklist → race condition (302s vs 2.4s bind time)
- Fix applied to ms-a2-1: Added `blacklist drm`, `blacklist drm_kms_helper`, `softdep amdgpu pre: vfio-pci`, rebuilt initramfs
- Verification pending (reboot required, 4 VMs + OSD 13 on ms-a2-1)
- Solution doc: docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md
- Also documented: K8s persistent storage architecture (all PVCs on Ceph RBD, 3x replication)
- Solution doc: docs/solutions/architecture/2026-07-24-k8s-persistent-storage-ceph-rbd.md
## [2026-07-24] fix | worker-05 GPU Passthrough — Move to ms-a2-2
- Problem: worker-05 (VM 102) on ms-a2-1 had kernel BUG with 1002:13c0 GPU — /dev/dri/renderD128 missing
- ms-a2-1 and ms-a2-2 have identical hardware (AMD Ryzen 9 9955HX, GPU 1002:13c0)
- Solution: Moved VM 102 from ms-a2-1 to ms-a2-2 (offline migration, Ceph RBD shared storage)
- Result: renderD128 ✅ visible in guest, amdgpu driver loaded, all pods running
- IaC: main.tf cleaned up — single unified rke2_worker block, worker-05 node=ms-a2-2, worker-06 removed
- PCI mapping: amd-gpu now includes n5pro + ms-a2-1 + ms-a2-2
- Commit: 21bd335
- Also: ms-a2-2 upgraded PVE 9.1.1→9.2.5, kernel 7.0.14-6-pve, VFIO persistent after reboot, HA integrated
## [2026-07-24] init | ms-a2-2 Node Initialization
- New Proxmox node ms-a2-2 (10.0.20.93, nodeid 1) joined cluster
- Hardware: AMD Ryzen 9 9955HX (32 threads), 91GB RAM, 1.8TB NVMe
- GPU: AMD Radeon 1002:13c0 (identical to ms-a2-1) — VFIO passthrough configured
- PCI mapping: amd-gpu-ms-a2-2 created, added to generic amd-gpu mapping
- Ceph OSD 14: created on nvme0n1 (1.8TB SSD), class ssd, weight 1.82
- Fluent-bit: installed + configured (hostname adapted to ms-a2-2)
- APT sources: fixed from enterprise to no-subscription (ceph + pve)
- LLM Wiki: ip-map.md, ceph.md updated; AGENTS.md updated (9 nodes)
- Note: PVE 9.1.1 on ms-a2-2 (rest of cluster is 9.2.3) — upgrade pending
## [2026-07-24] cleanup | proxmox1 Permanent Removal + Ceph PG Fixes
- Removed proxmox1 from Ceph CRUSH (empty host bucket, weight 0)
- Also removed stale empty buckets: proxmox, px-tmp20
- Updated corosync.conf: removed proxmox1 node entry, config_version 14→15, expected_votes 9→8
- Removed stale /etc/pve/nodes/{proxmox1,proxmox,pve,px-tmp20}
- Updated IaC: proxmox_api_url 10.0.20.10→10.0.20.91, template_node proxmox1→n5pro, target_nodes list updated
- Updated AGENTS.md topology (9→8 nodes), LLM Wiki ip-map.md + ceph.md
- Commit: 469d29d
- Additional: Manual pg-upmap for stuck PGs 5.13→[1,6,7], 6.6c→[11,8,7] — all clean+remapped eliminated
## [2026-07-24] fix | Ceph Remapped PGs — Weight Imbalance + pg_num Mismatch
- RCA: 11 active+clean+remapped PGs caused by CRUSH placement failure
- Root cause 1: Pool 6 (hdd_disk) pg_num=120 ≠ pgp_num=112 (autoscaler mid-merge)
- Root cause 2: Extreme HDD host weight imbalance (n5pro=10TB vs proxmox6=0.3TB)
- Fix: Equalized pg_num→112, set nopgchange=true, reweighted osd.7 0.80→1.0
- Result: 9/11 PGs recovering (backfilling at 36MiB/s), 2 cosmetic clean+remapped remain
- Created systems/ceph.md with full OSD/pool/CRUSH documentation
## [2026-07-24] update | Gitea Actions K8s Runner Bug + DinD Pitfalls
- Documented Gitea 1.27.0 bug: actions_ready_job queue doesn't assign tasks to K8s-based runners
- Updated systems/gitea.md with known issue, DinD pitfalls, runner management via DB
- Solution doc: docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md
- IaC committed: runner-deployment.yaml + runner-config.yaml (DinD TCP sidecar pattern)
## [2026-04-28] init | Memory System Created
- Created memory directory structure at ~/.hermes/memory
- Installed qmd 2.1.0 (Query Markup Documents)
- Created initial index.md with entities, concepts, and sources
- Created Entity pages: Infrastructure, Email-System, Health-Fitness, Team-Structure, Memory-System
- Created Concept pages: Network-Architecture, Email-Organization, Monitoring-System, Proxmox-Cluster, qmd-Knowledge-Base
- Initialized git repo, pushed to origin/main
## [2026-04-29] fix | Memory Process Established
- Corrected stale memory-entry-001.md
- Established protocol: memory update + git sync on every session
## [2026-04-30] ingest | cloud.familie-schoen.com
- Full port scan, DNS, SSL, HTTP headers, API analysis
- Identified: Seafile 13.0.19 on nginx, Let's Encrypt SSL
## [2026-07-24] restructure | Full Wiki Restructuring
- Deleted 5 root-duplicate files (dominik-schoen, email-organization, team-structure, llm-wiki-pattern, embedding-model)
- Deleted obsolete Entities/Memory-System.md, Concepts/qmd-Knowledge-Base.md
- Deleted raw/articles/ and memory-entry-001/002.md (stale)
- Renamed Entities/ → entities/, Concepts/ → concepts/ (lowercase)
- Created new directories: systems/, reference/
- Moved Proxmox-Cluster, Monitoring-System, seafile to systems/
- Updated all existing pages with current data (April → July 2026):
- Infrastructure: 2 Nodes → 9 Nodes, added Ceph/RKE2/Galera/Loki
- Proxmox-Cluster: PVE 9.2.3, 9 Nodes, Fluent Bit details, PVE Tasks, Ceph Audit
- Network-Architecture: cleaned up, links to reference pages
- Monitoring: Prometheus/Grafana/Loki/HolmesGPT (was just "weekly network scans")
- Created 6 new system pages: ceph-cluster, rke2-kubernetes, galera-maxscale, loki-fluentbit, gitea, hindsight
- Created 3 reference pages: ip-map, ssh-keys, ports
- Created 2 concept pages: gitops-workflow, credential-policy
- Rewrote index.md with new structure + Memory Layer Architecture table
- Total: 18 pages (was 21 with dupes, now 18 clean unique pages)
## [2026-09-29] update | VM302 Zombie-Recovery nach Migration
- VM302 (Galera db3) reagierte nach Migration auf ms-a2-2 nicht: QEMU "running", aber SSH/MariaDB/QGA tot
- Root Cause: Post-Migration-Zombie; -incoming/-S in QEMU-Cmdline ist Artefakt, kein Beweis für Pause
- Fix: qm stop/start trotz HA-Guard, SST-Rejoin ~2-3min
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
## 2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
## 2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
View File
Binary file not shown.

After

Width:  |  Height:  |  Size: 94 KiB

Binary file not shown.

After

Width:  |  Height:  |  Size: 787 KiB

+151
View File
@@ -0,0 +1,151 @@
---
title: "BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses: Fakten, Reaktionen und Argumente"
category: concepts
tags: [baykibig, kita, elternbeitrag, elternbeirat, kommunalpolitik, freystadt, neumarkt]
created: "2026-11-11"
modified: "2026-11-11"
---
# BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses
> Recherche-Grundlage für den gemeinsamen Brief der Freystädter Elternbeiräte an
> Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (Landratsamt Neumarkt i.d.OPf.).
> Stand: 11.11.2026. Rechtsgrundlage: BayKiBiG-Änderungsgesetz vom 30.07.2026 (GVBl. 2026 S. 401), in Kraft ab 01.01.2027.
## Ausgangslage
- **Bisher (Art. 23 Abs. 3 BayKiBiG a.F.):** 100 €/Monat je Kindergartenkind, ab 1. September des Kalenderjahres des 3. Geburtstags bis Schuleintritt. Auszahlung lief über kindbezogene Förderung an die Gemeinden → Träger; Träger waren **gesetzlich verpflichtet**, die Elternbeiträge um 100 € zu ermäßigen. Galt für kommunale, freie und kirchliche Kitas.
- **Reform:** Landtagsbeschluss 22.07.2026, Verkündung 30.07.2026, Inkrafttreten 01.01.2027. Der Beitragszuschuss wird als eigene Förderkomponente abgeschafft; die Mittel fließen in den **Qualitätsbonus** (Betriebskostenförderung). Die Pflicht zur Abzugsstaffelung entfällt – die Gesetzesbegründung enthält nur noch die „Erwartung", dass Träger die Beiträge „nur in entsprechend reduziertem Umfang" erheben (SZ: „entfällt formal die förderrechtliche Vorgabe").
- **Staatsregierung/StMAS-Position:** Der Zuschuss werde „nur formell" abgeschafft; das Mittelvolumen bleibe in voller Höhe im System; „kein einziger Cent verloren". Der Wegfall als eigener Posten sei „für sich genommen kein Anlass für höhere Elternbeiträge". Kinderbetreuung sei kommunale Pflichtaufgabe – die Beitragshöhe legen Träger und Kommunen fest (§ 90 Abs. 1 SGB VIII, Wunsch- und Wahlrecht § 5 SGB VIII).
- **Förderzahlen:** Qualitätsbonus je Kind/Jahr 268,01 € (2026) → vorläufig 693,28 € (2027), 852,36 € (2028), 857,87 € (2029); neu: **Teamkräftepauschale** (2027 ca. 284 Mio. €, ab 2028 ca. 400 Mio. €/Jahr) und **Funktionsstellenpauschale** (ca. 29,4 Mio. €/Jahr). Betriebskostenförderung im Endausbau +25 % (knapp 800 Mio. €/Jahr mehr); 2026 bereits +280 Mio. € (>10 %).
- **Kontext Leistungskürzungen:** Familiengeld und Krippengeld fielen für ab 2025 Geborene weg; das geplante Kinderstartgeld (3.000 €) kippte das Kabinett im November 2025. Mit dem Beitragszuschuss endet 2027 die letzte direkte Eltern-Entlastung kleiner Kinder.
## Wirkung auf Eltern
- Ohne kommunalen/trägerseitigen Ausgleich zahlen Kindergarten-Eltern ab 01.01.2027 **100 €/Monat = 1.200 €/Jahr je Kind** mehr (Beispiel Bayreuth: 160 € → 260 € bei 6–7 h; Regensburg: 20 € → 120 € bei 6–7 h).
- Krippen- und Hortkinder hatten den Zuschuss nie; für sie fielen stattdessen Krippengeld/Familiengeld weg (Lohr: auch Krippen-Eltern „quasi 100 € mehr").
- Betroffen sind vor allem **Selbstzahler-Familien**: Kein Anspruch auf § 90 Abs. 4 SGB VIII (Jugendamt-Übernahme bei Unzumutbarkeit), aber zugleich keine Arbeitgeber- oder Sozial-Leistungen.
- Landeselternbeirat-Vorsitzende Monika Golling (LEB): Kita werde für viele Familien „zum unbezahlbaren Luxus", LEB spricht von „sozialer Ausgrenzung".
## Stellungnahmen der Verbände (Verbändeanhörung 2026)
| Verband | Kernaussage |
|---|---|
| **Landeselternbeirat (LEB)** | Umstellung muss „kostenneutral und transparent" erfolgen, keine indirekten Beitragserhöhungen; 100 € müssen „verpflichtend, unmittelbar und nachweisbar beitragsmindernd" überführt werden; Elternbeiträge im ersten Jahr stabil halten |
| **LAG Ö|F (17.04.2026)** | Reform behebt strukturelle Unterfinanzierung nicht; ohne Dynamisierung des Qualitätsbonus sind Beitragserhöhungen „unumgänglich"; warnt vor Erwartungen, die das System nicht erfüllen kann |
| **Verband kath. Kindertageseinrichtungen** | 100 € zweckgebunden beibehalten (Entlastung vor Ort, Planungssicherheit); spricht sich angesichts der Defizite für „Aussetzung der Stabilisierung" aus – Träger werden Beiträge anpassen; Geschäftsführerin Glawogger-Feucht: „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen" |
| **KEG Bayern** | Transparente Gegenüberstellung von Mehrkosten und zusätzlichen Fördermitteln; Beiträge nach Möglichkeit stabil halten; gezielte Entlastung z. B. Mittagessen |
| **GEW Bayern / evang. Kita-Verband / LAG Elterninitiativen** | befürchten steigende Beiträge; Wegfall wird sich „deutlich bemerkbar machen"; Familien „doppelt belastet" |
| **Bayerischer Städtetag** | Gesetzentwurf erreicht „keine dauerhaft kostendeckende Finanzierung der Betriebskosten und springt daher leider zu kurz"; angemessene Elternbeiträge dringend nötig |
| **BRK (Träger)** | Beiträge werden „laut Ordnung" berechnet, nur ohne die 100 € Entlastung; Weitergabe sei angesichts der Kosten „nicht realistisch"; wirtschaftliches Risiko liege bei den Trägern |
## Kommunale Entscheidungen (Auswahl, Stand Nov. 2026)
| Kommune | Entscheidung 2027 | Quelle |
|---|---|---|
| **München** | Übergangsregelung: bisherige Ermäßigungen für anspruchsberechtigte Kinder werden 01.01.–31.08.2027 fortgeführt; Beiträge bleiben bis Ende des Kitajahres unverändert; Gebührenanpassung erst ab Sept. 2027 | stadt.muenchen.de |
| **Ingolstadt** | gibt den Zuschuss für städtische Einrichtungen weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
| **Hollfeld (Lkr. Bayreuth)** | gibt 60 von 100 € an Eltern weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
| **Augsburg** | +100 €/Monat; verzichtet dafür auf die geplante 3-%-Erhöhung 2027 | augsburg.de/kitakosten2027 |
| **Nürnberg** | Elternbeitrag wieder in voller Höhe; reguläre Erhöhung auf Jan. 2028 verschoben; auch Krippen-Entlastung (einkommensabhängig) entfällt | nordbayern.de |
| **Regensburg** | Keine Änderung der städtischen Gebührensatzung → Zahlbetrag +100 €; Übernahme des Zuschusses würde ca. 5,04 Mio. €/Jahr kosten (4.200 Kinder); freie Träger passen vereinzelt an | regensburg.de |
| **Kaufbeuren** | Gebühren unverändert, **kein kommunaler Ausgleich** → +100 €; Begründung: Defizit ~15 Mio. €/Jahr, ~8.000 € Eigenanteil je Platz; Stadtrat 27.10.2026 mit großer Mehrheit, vollem Saal | kaufbeuren.de |
| **Erlangen** | Stadtrat 29.10.2026: kein Ausgleich; freie Träger signalisieren Weitergabe des Wegfalls an Eltern (~3.500 Kinder betroffen); § 90-4-Übernahme bleibt | ratsinfo.erlangen.de |
| **Raubling** | Gemeinderat beschließt: kein Ausgleich, reguläre Gebührensatzung → +100 €; Beiträge 2027/28 nicht erhöht; freiwilliger Ausgleich hätte ~370.000 €/Jahr gekostet | raubling.de |
| **Feldkirchen-Westerham** | Gebühren stabil, verzichtet auf Sept.-2027-Erhöhung; Ersatz des staatlichen Zuschusses „angesichts der Haushaltslage" nicht möglich | feldkirchen-westerham.de |
| **Lohr a. Main** | 4. Änderungssatzung: Abzugs-Passage gestrichen, Gebührentabelle unverändert → Zahlbetrag +100 €; Elternanteil an Gesamtfinanzierung 9,4 % (2026) → 15,3 % (2027, Planung) | lohr.de |
| **Coburg** | informiert; Übernahme wäre „neue freiwillige Leistung", keine Verpflichtung; Beispiel: 150 € → bisher 50 € effective → künftig 150 € | coburg.de |
| **Egling** | Träger prüfen Beitragsstruktur; Gemeinderatsentscheid Sept. 2026; entfallener Zuschuss musste wegen Gebührenbescheiden bereits vorab eingerechnet werden | egling.de |
| **Bayreuth** | Trägerversammlung 09.10.2026: **kein Weitergeben**; „Stadt kann es sich nicht leisten"; GEB protestiert öffentlich | bayreuther-tagblatt.de |
## Eltern-Initiativen und Petitionen
- **Gesamtelternbeirat Bayreuth (GEB):** Pressemitteilung gegen den Trägerbeschluss – „versteckte de facto Erhöhung der Elternbeiträge um 100 Euro pro Kind pro Monat … für die selbstzahlenden Eltern"; „Staatsregierung und Träger bestätigen, dass nun mehr Geld im System sei – dennoch werden die Eltern zur Kasse gebeten." Rechnet vor: Qualitätsbonus 268 → 693 € **plus** Teamkräfte-Pauschale (~500 €/Kind/Jahr). Befürchtet: mehr Jugendamts-Anträge, leer bleibende Plätze, Kürzertreten vor allem von Müttern. Forderung: Stadt und Träger sollen sich bei Staatsregierung, Landtagsabgeordneten und Städte-/Gemeindetag für gerechtere Finanzierung einsetzen.
- **Illertissen (Elternbeiräte):** Gemeinsamer Appell der Elternbeiräte aus (nach Auskunft des Artikels) sieben Kitas an den Stadtrat mit knapp **400 Unterschriften**. Kern: „Bitte setzen Sie sich für uns ein, dass die durch die Reform entstehenden finanziellen Belastungen nicht unmittelbar und unkompensiert auf die Eltern abgewälzt werden." Vor einer Entscheidung über Anpassungen sollen die konkreten finanziellen Auswirkungen auf die Familien offengelegt und kommunale Ausgleichsmaßnahmen geprüft werden. Argumente: Erwerbstätigkeit/Teilzeit (v. a. Mütter, Rentenansprüche), Fachkräftebedarf, „Korridorkinder" (Juli–September-Geborene), Bildungschancen und soziale Teilhabe; Verständnis für kommunale Herausforderungen wird ausdrücklich bekundet.
- **Ernsgaden (openpetition, seit 15.09.2026):** Petition an Bürgermeister und Gemeinderat: Dialog suchen, bevor finale Beschlüsse gefasst werden; prüfen, wie die 100 € ganz oder teilweise weitergegeben werden; „familienfreundliche Gemeinde aktiv mit Leben füllen".
- **Kolbermoor (WeAct/Campact):** „Kinderbetreuung muss bezahlbar bleiben – Nein zur Erhöhung der Kita-Beiträge"; Beiträge so gestalten, dass der Wegfall des Zuschusses ausgeglichen wird.
- **change.org (landesweit):** „100-Euro-Kita-Zuschuss für Familien auch nach 2027 verbindlich sichern" – an Bayerische Staatsregierung und Landtag; Initiatorkreis um Laura Weidinger (Landeselternbeirat-Umfeld): „Zwei-Klassen-System", Teilzeit rechne sich nicht mehr.
## Politische Debatte
- **Scharf (CSU-Familienministerin) vs. Krause (München, Grüne):** OB Krause: Freistaat „streicht" den Zuschuss, „das können wir nicht abfedern"; Scharf nennt das „Fake News" – die Finanzierung werde „lediglich umgestellt". (SZ, Nov. 2026)
- **SPD (Doris Rauscher):** „die Elterngebühren werden steigen"; vergeblicher Landtags-Antrag, den Eltern-Zuschuss zu erhalten.
- **CSU (Thomas Huber):** „Wir kürzen nicht, sondern investieren dauerhaft deutlich mehr"; keine automatische Mehrbelastung; Mittel des Beitragszuschusses per Änderungsantrag „vollständig im Qualitätsbonus gesetzlich abgesichert".
- **Landtagsanhörung:** Träger und Verbände begrüßen die Reform, kritisieren Details; Glawogger-Feucht: kein Zwang zur Weitergabe mehr – „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen."
## Argumente für den gemeinsamen Brief der Freystädter Elternbeiräte
1. **Zahlen nachvollziehbar machen (auch nach der Trägerentscheidung):** Öffentliche, prüfbare Gegenüberstellung je Einrichtung – zusätzliche Fördermittel (Qualitätsbonus 693 €/Kind/Jahr, Teamkräfte- und Funktionsstellenpauschale) versus tatsächliche Mehrkosten. So fordern es KEG Bayern und die Illertisser Elternbeiräte; das StMAS selbst sagt, der Wegfall sei „kein Anlass für höhere Elternbeiträge" – die Eltern sollen die Entscheidung der Träger einordnen können.
2. **Ausgleich ist machbar:** München (fortgeführte Ermäßigungen bis 31.08.2027), Ingolstadt (städtische Einrichtungen), Hollfeld (60 €) zeigen: Ganz oder teilweise weitergeben geht. Augsburg und Nürnberg begrenzen (keine/verschobene Erhöhung). Für eine kleine Großgemeinde mit ~500 Kita-Kindern ist auch eine **Teilkompensation** ein glaubhafter Mittelweg.
3. **Wer wirklich zahlt:** Die Betroffenen sind Selbstzahler-Familien ohne Förderanspruch. § 90 Abs. 4 SGB VIII fängt Geringverdiener auf – nicht die Mittelschicht. Der GEB Bayreuth warnt: Anträge verlagern die Kosten zur klammen Kommune zurück.
4. **Erwerbs- und Bildungsargument:** Ohne Entlastung lohnt Teilzeit vor allem für Mütter nicht mehr (Altersvorsorge!), Kindergartenplätze könnten leer bleiben, „Korridorkinder" verlieren ein Förderjahr – mit Folgen für Schulfähigkeit, Fachkräftebedarf und demografische Entwicklung im ländlichen Raum (Illertisser Argumentation).
5. **Dialog und kommunale Entlastung:** Ernsgaden und Illertissen zeigen den Weg: Unterschriften, Appell, Gesprächsangebot – konfrontativ ist niemand aufgetreten. Nach der Trägerentscheidung liegt der Hebel bei der Kommune: Übergangsleistung (München-Modell), Teilkompensation (Hollfeld: 60 €), Anhebung Geschwisterermäßigung oder Übernahme des Verpflegungsgeldes (KEG-Empfehlung).
6. **Hebel nach oben:** Städtetag („springt zu kurz"), LAG Ö|F, kath. Kitaverband und KEG fordern Dynamisierung des Qualitätsbonus und ehrliche Kommunikation. Bürgermeister und Landrat können das Thema über Städtetag/Landtagsabgeordnete nach München tragen.
## Kontext Freystadt / Neumarkt (Großgemeinde)
- **Fünf Kitas, ~500 Kinder:** Kath. Kita Peter und Paul (Freystadt, Bistum Eichstätt), Evang. Kindergarten Freystadt (ELKB), **Kinderhaus St. Anton (Möning, Kath. Kirchenstiftung)**, Evang. Kita Sulzkirchen (ELKB), Kita St. Stephanus (Thannhausen). Zentrale Online-Bedarfsanmeldung über die Stadt Freystadt (01.02.–15.03. fürs Folgejahr).
- **Ansprechpartner:** Bürgermeister Tobias Maget, Stadt Freystadt, Marktplatz 1, 92342 Freystadt, Tel. 09179 9490-0, E-Mail info@freystadt.de · Landrat Martin Meier, Landratsamt Neumarkt i.d.OPf., Nürnberger Straße 1, 92318 Neumarkt i.d.OPf., Tel. 09181 470-0.
- **Haushalt 2026 (Stadt Freystadt):** Verwaltungshaushalt 24.903.750 € + Vermögenshaushalt 11.549.250 € = **Gesamthaushalt ≈ 36,45 Mio €** (Haushaltssatzung beschlossen 13.01.2026, Mitteilungsblatt 06/2026); Breitband 2026: 395.000 € (Mittelbayerische, 17.12.2025); SPD-Stadtrat Großhauser attestiert hohe Schuldenlast, steigende Kreisumlage und in Projekte gebundene Mittel. **Brief-Argument:** Volle Kompensation ≈ 420.000 €/Jahr (≈350 Kindergartenkinder × 100 € × 12) ≈ 1,2 % des Gesamthaushalts; Teilkompensation 50 € ≈ 210.000 € ≈ 0,6 % – im Gesamtvolumen eine Frage der Prioritäten, nicht der Größenordnung. (Kinderzahl ~350 = Schätzung aus ~500 Kita-Kindern; vor Versand mit realer Zahl prüfen.)
- **Status Träger-Entscheidungen Freystadt:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 € ab 01.01.2027 **von den Eltern getragen werden** (Kenntnisstand Elternbeiräte, 11.11.2026; keine öffentliche Bekanntmachung einer kommunalen Ausgleichsleistung). Der Brief-Aufhänger ist entsprechend angepasst: nicht „Transparenz vor Beschluss", sondern **kommunale Entlastung nach der Trägerentscheidung** – Übergangsleistung, Teilkompensation, Entlastung Verpflegungsgeld, § 90-4-Information.
- **Eigene Vorarbeit:** Elterninfo „Der 100-Euro-Kita-Zuschuss ändert sich ab 2027 – Möglichkeiten zur finanziellen Entlastung" (2 Seiten A4, Fassung 2, inkl. Arbeitgeberzuschuss § 3 Nr. 33 EStG, Musteranschreiben, Quellen) – als **Anlage** zum Brief geeignet.
- Die Stadt Freystadt ist umliegender Jugendhilfe-/Zuschussebene via Defizitverträgen mit den kirchlichen Trägern verbunden; das Landratsamt ist Jugendamt (§ 90-4-Übernahmen) und überörtliche Fürsprecher-Ebene.
## Neue Belege (11.11.2026): IfKM-Fördermittelrechnung + Landkreis-Vorlage
### IfKM „Vergleich der Gesamtförderung 2026–2029" (via Möning zugeleitet)
- Ersteller: IfKM Institut für KiTa-Management GmbH (Lerchenstraße 10, 83129 Hoslwang). Einrichtung auf dem Blatt **nicht benannt** — Zuschusssumme 71.300 € ≈ 59–60 Kindergartenkinder, vermutlich Kinderhaus St. Anton (vor jeder Zitierung bestätigen!). Rechnerische Orientierung ohne Gewähr; Beträge unter Haushaltsvorbehalt (Bewilligungsverfahren).
- **Tabelle (2026 → 2027/2028/2029):** Buchungsstellen 517.227 € (konstant) · Qualitätsbonus 44.320 → 114.645 → 140.952 → 141.869 € · Vorkurse 2.153 € (konstant) · Zusatzförderung U3 9.227 → 0 € · U3-Bundesmittel 10.306 → 0 € · Assistentenkräfte 41.063 → 0 € · Personalbonus 25.000 → 0 € · Teamkräftepauschale 0 → 29.023 → 40.817 € · Elternbeitragszuschuss 71.300 → 0 € · **Gesamtförderung 720.596 → 663.048 → 701.149 → 702.060 €.**
- Beige-Box (IfKM-Wortlaut): „Elternbeitragszuschuss ab 2027: Ersatz durch die Eltern. Ohne Ersatz entfällt der Zuschuss ab 2027 ersatzlos; die Elternbeiträge bleiben unverändert." → Gebührentabelle unangetastet, Zahlbetrag +100 €/Monat ohne formalen Erhöhungsbeschluss („Erhöhung durch die Hintertür", GEB-Bayreuth-Kritik bestätigt).
- **Kernrechnung (entscheidend):** Öffentliche Förderung *ohne* Zuschuss steigt 2027 um **+13.752 €** (649.296 → 663.048 €); einzige wegfallende Linie ist der Zuschuss (71.300 €), den die Eltern 1:1 ersetzen. Einkommensposition der Einrichtung bei voller Elternbelastung: **2027 +13.752 €, 2028 +51.853 €, 2029 +52.764 € über dem Niveau 2026.** Von den 71.300 € der Eltern sind nur 57.548 € (2027) bzw. 19.447 €/18.536 € (2028/29) echte Lückendeckung — der Rest ist Überschuss. Äquivalent: statt +100 € hätte eine Erhöhung um 80,71 €/Kind/Monat (2027; 2028/29: 26–27 €) gereicht, um die Einrichtung exakt auf 2026-Niveau zu halten.
- **Stadt-Kosten für Vollarrogation (Eltern + Einrichtung komplett):** nur die Förderlücke — hochgerechnet auf ~420.000 € Nominalbelastung: **~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %)**. Extrapolation indikativ (Häuser-Struktur je nach U3-Anteil/Buchungszeiten/Personalhistorie verschieden); belastbar ist das Verhältnis nur für die untersuchte Einrichtung.
### Landkreis-Vorlage „Zusammensetzung der Fördermittel für Kitas" (23.10.2026, Fuß „[32] - [Maget]")
- Landkreis Neumarkt; Ziele der Reform: Entbürokratisierung + **„finanzielle Entlastung der Gemeinden"**; Ausgaben Kinderbetreuung Bayern 1,57 Mrd. € (2008) → 7,36 Mrd. € (2025) = **+369 %**.
- Mittelfluss: Freistaat (Landratsämter) → **Kommune** → Träger; Förderformel (Basiswert + Qualitätsbonus) × Gewichtungsfaktor × Buchungszeitfaktor, „zzgl. kommunaler Anteil" — die Stadt ist bereits Finanzierungskanal und Co-Finanzierer (stärkt das Defizitvertrag-Argument gegen die Einordnung als „neue freiwillige Maßnahme").
- Grafiken bisher vs. ab 2027 (Konsolidierung auf Betriebskostenförderung + Qualitätsbonus + Teamkräfte), Callout „+25 %", „mehr Flexibilität", „weniger bürokratische Anträge".
- **Bedeutung:** Spätestens seit 23.10.2026 ist die Stadt (Vermerk „Maget") offiziell mit der „+25 %/Geld bleibt im System"-Darstellung versorgt — die „kein Budget"-Aussage fiel mit dieser Kenntnis. Vor öffentlichem Zitieren prüfen, ob die Vorlage über das Ratsinformationssystem öffentlich ist.
### Gemeinsames Träger- und Stadt-Schreiben an die Eltern (November 2026, via Elternbeirat zugeleitet)
- Die Träger aller fünf Kitas **und die Stadt Freystadt** haben die Eltern gemeinsam informiert: Abzug des 100-€-Zuschusses entfällt ab 01.01.2027 (im Schreiben wörtlich eingeräumt: „zusätzliche finanzielle Belastung von 100 € pro Monat und Kind"); reguläre Elternbeiträge bis Ende des Kindergartenjahres 2027/28 (31.08.2028) unverändert; keine Personalkürzungen; Träger „auf die Zahlung der regulären Beiträge in voller Höhe angewiesen"; kindbezogene Grundförderung steige, aber Gesamtsumme der Fördergelder verringere sich „spürbar"; Hinweis auf § 90 Abs. 4 SGB VIII (wirtschaftliche Jugendhilfe, Amt für Jugend und Familie des Landratsamts).
- **Konsequenz:** Die +100-€-Belastung der Eltern ist von den Trägern UND der Stadt offiziell mitunterzeichnet; „kein Budget" (Stadtrat, intern) ist damit eine gemeinsam geteilte öffentliche Position. Frontale Haushalts-Kritik im Erstschreiben hätte auf eine geschlossene Front getroffen.
- **Strategie umgestellt (Nutzerentscheid 13.11.2026):** **Dialogbrief zuerst** — deeskalierendes Schreiben an Stadt UND Träger, Fokus auf Reform-Auswirkungen, Nachvollziehbarkeit der Erhöhungen, Entlastungsprüfung und soziale Verträglichkeit; zentrale Bitte um gemeinsames Gespräch noch im November 2026. Alternativ-Entwurf von Yvonne Regnet wortgetreu übernommen und normkonform gesetzt (DIN 5008:2020-03 Form A).
### Neue Dokumente (13.11.2026)
- **`brief-stadt-traeger.html/.md/.pdf`** — Dialogbrief nach DIN 5008 Form A: Anrede an Bürgermeister Maget, Vertreter der Stadt Freystadt und Vertreter der Einrichtungsträger; fünf Punkte (Transparenz der Finanzierung, Nachvollziehbarkeit der Beitragserhöhungen, Prüfung von Entlastungsmöglichkeiten, soziale Verträglichkeit, zeitnaher gemeinsamer Austausch — Gespräch idealerweise noch im November 2026); Unterschriftentabelle der fünf Vorsitzenden; bewusst OHNE Haushaltszahlen, Kommunen-Vergleiche und IfKM-Argumente.
- **`gespraechsagenda-elternbeiraete.html/.pdf`** — internes Arbeitspapier („Nicht versenden"): Ausgangslage inkl. Träger-Stadt-Schreiben, IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 € = 1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6 Fragen fürs Gespräch, Verhaltensregeln (ruhig fordernd, Zahlen erst auf Nachfrage, IfKM intern), Notizfeld.
- **`brief.html/.pdf`** (fordernde DIN-5008-Fassung mit Haushaltsabsatz, Defizitdeckung, Hollfeld-Vergleich, vier-Wochen-Frist) und **`brief-gestaltet.html/.pdf`** bleiben als Material für ein Folge-/Nachschreiben archiviert.
## Quellen (Auswahl, abgerufen 11.11.2026)
- StMAS, Beitragszuschuss-FAQ: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/beitragszuschuss.php
- StMAS, Finanzierung/BayKiBiG-Reform: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/
- LEB-Stellungnahme (Verbändeanhörung): https://www.landeselternbeirat.bayern.de/imperia/md/content/stmas/landeselternbeirat/stellungnahme_leb_baykibig-reform.pdf
- LAG Ö|F-Stellungnahme 17.04.2026: https://www.lagoefw.de/wp-content/uploads/2026/04/2026-04-17_LAGOeF_SN_BayKiBiG.pdf
- Verband kath. Kitas, Stellungnahme April 2026: https://www.kath-kita-bayern.de/fileadmin/Kita-Verband/XFooter_Presse_Medien/XDokumente_Newsletter/2026-04-Stellungnahme_Verband_zur_BayKiBiG-Reform_.pdf
- Landtag, Sozialausschuss-Anhörung: https://www.bayern.landtag.de/aktuelles/aus-den-ausschuessen/sozialausschuss-anhoerung-zum-baykibig/
- CSU-Landtagsfraktion: https://csu-landtag.de/presse/lokal/2485/…
- KEG Bayern: https://www.keg-bayern.de/news/presse/kinder-sind-unsere-zukunft-sie-duerfen-nicht-zur-haushaltssache-werden
- SZ „Es geht um 100 Euro": https://www.sueddeutsche.de/bayern/bayern-kindergarten-gesetz-reform-zuschuss-scharf-kritik-krause-muenchen-li.3485741
- BR24 „Kein 100-Euro-Zuschuss mehr": https://br.de/nachrichten/bayern/kein-100-euro-zuschuss-mehr-kita-eltern-fordern-entlastung,VKAbnnS
- Bayreuther Tagblatt „100 Euro mehr ab 2027" (GEB): https://bayreuther-tagblatt.de/nachrichten-meldungen-news/kita-in-bayreuth-100-euro-mehr-ab-2027/
- München „BayKiBiG-Reform: Umsetzung in Münchner Kitas": https://stadt.muenchen.de/news/baykibig_reform_muenchner_kitas.html
- Illertisser Elternbeiräte-Appell: https://de.headtopics.com/news/bitte-setzen-sie-sich-fur-uns-ein-elternbeirate-aus-89763692
- Ernsgaden-Petition: https://www.openpetition.de/petition/online/ernsgadener-familien-entlasten-kita-beitragszuschuss-erhalten
- Kolbermoor-Petition: https://weact.campact.de/petitions/kinderbetreuung-muss-bezahlbar-bleiben-nein-zur-erhohung-der-kita-beitrage
- change.org-Petition: https://change.org/p/100-euro-kita-zuschuss-f%C3%BCr-familien-auch-nach-2027-verbindlich-sichern
- Kommunale Seiten: augsburg.de (kitakosten2027) · regensburg.de (nachgefragt) · kaufbeuren.de · ratsinfo.erlangen.de (V/516) · raubling.de · feldkirchen-westerham.de · lohr.de (4. Änderungssatzung) · coburg.de (Elternzuschuss) · egling.de
- kitazentrale.de, BayKiBiG einfach erklärt: https://kitazentrale.de/wissen/baykibig/
- Stadt Freystadt, Kindergärten-Übersicht: https://freystadt.de/freystadt/bildung-soziales/kindergaerten/
- Bürgerservice Freystadt, Elternbeitragszuschuss: https://buergerservice.freystadt.de/verwaltung/stadtverwaltung/leistungen/kommunale-kindertageseinrichtung-zahlung-der-benutzungsgebuehren-elternbeitraege-748
- Landkreis Neumarkt (Landrat Martin Meier): https://www.landkreis-neumarkt.de/
## Related
- Solution Doc `docs/solutions/workflows/2026-11-08-elterninfo-kindergartenzuschuss.md` — Elterninfo (§ 3 Nr. 33 EStG) als Brief-Anlage
- Arbeitsverzeichnis `~/workspace/elterninfo-kita-zuschuss/` — Elterninfo-Dateien (Anlage)
- [[entities/team-structure]] — Nutzerkontext Elternbeirat Kinderhaus St. Anton
+6 -1
View File
@@ -10,11 +10,16 @@ modified: "2026-07-24"
## IP-Adressierung (10.0.X.Y) ## IP-Adressierung (10.0.X.Y)
- 10.0.10.x = Gateway - 10.0.10.x = Gateway
- 10.0.20.x = Hypervisoren (Proxmox Cluster, 9 Nodes) - 10.0.20.x = Hypervisoren (Proxmox Cluster, 8 Nodes)
- 10.0.30.x = Container/VMs (Services) - 10.0.30.x = Container/VMs (Services)
- 10.0.40.x = Clients - 10.0.40.x = Clients
- 10.0.50.x = Smart Home (26 hosts) - 10.0.50.x = Smart Home (26 hosts)
- 10.0.60.x = DMZ/Reverse Proxies - 10.0.60.x = DMZ/Reverse Proxies
- Legacy: 192.168.100.0/22 = Alt-Authelia-Segment (Admin-UI 502 / :9092 tot, kein Forward-Auth auf Prod-Traefik → decommission-safe)
## Known Issues (Hardware)
- **Zyxel GS1900-24E @10.0.40.2:** CVE-2026-7273 (LAN RCE); Fix V2.90 (Jun 2026 versprochen) — **Deployment UNVERIFIZIERT, prüfen!** Vendor shippt uralt-OpenSSH-Banner → SSH-Alarms nach KEX beurteilen, nicht nach Banner.
- Omada Cloud, TP-Link Gateway 10.0.30.1.
## VLAN-Struktur ## VLAN-Struktur
- Jedes Segment hat eigenes VLAN - Jedes Segment hat eigenes VLAN
+11 -11
View File
@@ -1,23 +1,23 @@
# User Drift Report — 2026-09-28 # User Drift Report — 2026-11-16
**Recent window:** Last 14 days (1884 msgs) **Recent window:** Last 14 days (1346 msgs)
**Baseline:** Previous 90 days (6185 msgs) **Baseline:** Previous 90 days (5482 msgs)
## Detected Drifts ## Detected Drifts
- **message_length**: Messages 98% longer (baseline: 1192 chars → recent: 2361) - **message_length**: Messages 130% longer (baseline: 3198 chars → recent: 7352)
- **new_focus**: New dominant topics: security - **new_focus**: New dominant topics: k8s, ai_ml
- **declining_focus**: Topics fading from focus: gitops - **declining_focus**: Topics fading from focus: monitoring, security
## Signal Summary ## Signal Summary
| Metric | Baseline | Recent | | Metric | Baseline | Recent |
|---|---|---| |---|---|---|
| Avg msg length | 1192 | 2361 | | Avg msg length | 3198 | 7352 |
| Frustration rate | 4.2% | 6.6% | | Frustration rate | 12.4% | 14.2% |
| Correction rate | 7.1% | 8.8% | | Correction rate | 19.7% | 19.7% |
| Action-first | 1.5% | 0.5% | | Action-first | 1.6% | 2.6% |
| Top topics | ceph, proxmox, k8s | security, backup, ceph | | Top topics | proxmox, security, ceph | ai_ml, ceph, k8s |
## Recommendations ## Recommendations
+41
View File
@@ -0,0 +1,41 @@
---
title: Finanzen & Immobilien
category: entities
tags: [finanzen, immobilien, baufinanzierung, mintos, lbs]
created: "2026-10-11"
modified: "2026-10-11"
---
# Finanzen & Immobilien (Dominik)
> Ausgelagert aus L0 MEMORY.md (Audit 11.10.2026) — L0 hält nur den Pointer auf diese Seite.
## Immobilie Rohr (selbst bewohnt, finanziert)
- Kaufpreis-Brutto: 400.000 €
- Darlehen: 400k + 89,5k **à 1,62 %** Sollzins
- LBS-X30-Darlehen: **ablöst die 89,5k im Dez 2028** (Zinsbindung Hauptdarlehen endet ebenso 31.12.2028 → Refinanzierungs-/Gap-Analyse-Termin)
- LBS-X30 Stand lt. Profil dynamic-coach (Sep 2026): 124.944 €
- Sonderzahlungskapazität: 11.750 €/Jahr
## Immobilie Tegernheim (vermietet, darlehensfrei)
- Kaltmiete: 1.625 €/Monat
- Hausgeld: −428 €/Monat → **Cashflow ≈ 1.197 €/Monat**
- Zurückgelegte 38.404 € (2026) waren **brutto inkl. NK-Durchleitung** — nicht als Ertrag deuten
## Mintos (P2P)
- Stand Okt 2026: **33,5 k€** (Sep 2026 noch 44 k€ @ Ø 8,28 % — Abbau läuft)
- Zahlen divergieren zwischen Profilen; Okt-Wert (33,5k) ist aktueller
## Monero (recovered 2026-10-12)
- Haupt-Wallet 44EYUD…: **0.446785648368 XMR** (Sync 10/2026, keine Bewegung seit 06/2021, ~215 €)
- Passwort + SEED (deutsches Mnemonic!) + Adresse → 1P Vault „Hermes", Item „Monero Wallet 44EYUD (Haupt-Wallet)"
- PITFALL: alter dokumentierter Seed in Monero_Recover.txt war englische Transkription → leitet LEERE Zweit-Wallet (49PKAh) ab. Nicht mehr verwenden!
- 2017er Keys-Datei (Finanzen-Backup) hat ein anderes, unbekanntes Passwort (obsolet — Seed verifiziert verfügbar)
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md
## Steuer/Kontext
- Todesfall-Leistungsberechtigte: § 10 Abs 1 Nr 2 b EStG (hinterbliebenenschutzrelevant)
## Related
- [[entities/dominik-schoen]] *(angepasst)* → [[entities/team-structure]]
- Vorsorge-Analyse: `~/docs/vorsorge-analyse-fragebogen.md`
+23
View File
@@ -0,0 +1,23 @@
# Haus — Grundrisse EG/OG
**Quelle:** Fotos vom Owner, hochgeladen 2026-11-01 (Originale in `assets/haus/`).
| Datei | Geschoss |
|---|---|
| `assets/haus/grundriss-eg.jpg` | Erdgeschoss |
| `assets/haus/grundriss-og.jpg` | Obergeschoss |
## Raum-Nutzung (Owner-Angabe 2026-11-01, gilt für OG)
| Raum laut Plan | Tatsächliche Nutzung |
|---|---|
| Schlafen | **Büro Sarah** |
| Kind 2 | **Schlafzimmer** (Eltern) |
| Kind 1 | **Cleos Kinderzimmer** |
EG: Nutzung noch nicht benannt.
## Status
- Automatische Bildauswertung (Räume/Maße aus Plans) am 2026-11-01 **fehlgeschlagen** — Vision-Backend 502/WASM-Error. Bei nächster Gelegenheit nachziehen.
- Kontext: Grundrisse dienen als Basis für Raum-/Möbelplanung (siehe Skills `furniture-selfbuild-design`, `diy-furniture-design`).
+31 -30
View File
@@ -1,44 +1,45 @@
--- ---
title: Gesundheit & Fitness title: Gesundheit & Fitness
category: Personal category: Personal
tags: [health, fitness, weight-loss, nutrition] tags: [health, fitness, weight-loss, nutrition, oura]
created: "2026-04-28" created: "2026-04-28"
modified: "2026-04-28" modified: "2026-10-20"
--- ---
# Gesundheit & Fitness # Gesundheit & Fitness
> Refresh 11.10.2026 (Memory-Audit): Telemetrie aus personal-coach L0 hierher konsolidiert.
## Ziele ## Ziele
- **Gewichtsverlust:** -15kg (aktuell 95kg, 1.75m) - **Gewichtsverlust:** Start 96,5 kg (03.09.2026) → Ziel 82 kg (−14,5 kg)
- **Zielgewicht:** 80kg - **Verlauf:** 96,5 (03.09.) → 93,2 (19.09.) → 93,5 (02.10.) → 92,4 (10.10.) → 92,7 (15.10.) → **93,1 kg (19.10., 22:11 Abendmessung)**
- **BMI:** 31.0 → 26.1 (Normalbereich) - Fortschritt: **−3,4 kg = 23 % des Wegs**, noch 11,4 kg offen
- **Stil:** Fast & Healthy (schnell und gesund) - Größe 1,75 m; BMI 30,8 (bei 93,1); Körperfett 30,5 %, Muskel 61,2 kg (19.10.)
## Ernährung ## Wearables & Geräte (autoritativ: personal-coach)
- **Bevorzugt:** Asiatische Küche - **Oura Ring** = einziges Wearable. **KEINE Apple Watch** → Apple-Watch-Apps (Livity, Athlytic etc.) sind IRRELEVANT
- **Allergien:** Keine - Xiaomi S400 (BLE + BodyMiScale): devID `97ecd177b6aeafeaf7a12b339107fa5a`, 20 Sensoren `sensor.dominik_*`; Sarah als Profil 2 **OFFEN**
- **Lieblingsessen:** Asian Food - Waage-BLE-Übertragung zeitweise broken (Flag 10.10.)
- HA-Kalorien-Tracker: goal 1890, burn_baseline 2682 — Dominik kontrolliert Settings selbst („lass das wie es ist")
## Arbeitsrhythmus ## Oura-Telemetrie (Snapshot 10.10., dd10)
- **Mon/Wed/Fri:** Home Office - Sleep 83 (+11 vs AM), Readiness 83, HRV-Balance 78, Sleep-Reg 93, CV-Age 36, PWV 6.88, SpO2 95,5, TempDev +0,14
- **Tue/Thu:** Büro (Meal Prep) - Resilience solid, Stress normal; Bedtime 21:13→05:28 (~7,05 h), Deep 24 %, REM 26,1 %
- **Fri:** Aldi Einkauf (Freitag) - Steps 5.253 (Fr: 5.815), Activity Score 54, Act-Cal 321, Sedentary 449 min
- **Wochenende:** 2 warme Mahlzeiten - **Warnzeichen:** HRV-Sleep 20 ms (low!), Low-Sleep-HR 62, Avg-Sleep-HR 65,9
## Family Meals ## Verhalten & Ernährung
- **Sarah (Wife):** Liebt Kohlenhydrate (Carbs) - **FOOD-LOGGING LAPSED** (7-Day-Avg = 0, Stand 10.10.) → Re-Activation ist Priority № 1
- **Cleo (4y):** Liebt Pasta - Häufig auswärts: Indisch (Butter Chicken), Asiatisch (Gong Po Rind), Italienisch (L'Osteria — bestellt bewusst halbe Portionen), Japanisch (Sushi, große Portion)
- **Täglich:** Abendessen für die ganze Familie - **„Große Portion" = wirklich groß** → Restaurant-kcal eher HÖHER ansetzen, nie zu niedrig schätzen
- **Tue/Thu:** Meal Prep für die Woche - Bevorzugt asiatische Küche; hoher Protein-Konsum, viel Gemüse, moderat Carbs (Details: Profil nutrition-coach)
- **Wochenende:** 2 warme Mahlzeiten - Vormittags oft schon Walks — Briefings flexibel daran orientieren, kein pauschales „mittags Walk"
## Shopping ## Tracking-Regeln (aus personal-coach L0)
- **Aldi:** Freitag (Wocheneinkauf) - Datumsverwechslungs-Gefahr: nach JEDEM Food-Log und vor JEDEM Tagessaldo `TZ=Europe/Berlin date`
- **HelloFresh:** Gelegentlich (Abwechslung) - Tagessaldo NUR aus `fetch_calorie_data.py` (consumed_today) — nie Kopfrechnung über Logs
- **Cleo Kitabox:** Mo-Do (für Cleo) - `log_food_text.py` kann nicht löschen/korrigieren — Duplikate nur via HA UI entfernbar
## Ernährungsrichtlinien ## Related
- Hoher Proteinkonsum für Muskelaufbau - [[entities/team-structure]] — Familie
- Geringe Kohlenhydrate für Gewichtsverlust - Profil `personal-coach` (Crons: Oura-Pull vor jedem Briefing, UTC↔Berlin-Umstellung Ende Okt 2026)
- Viel Gemüse und Salate
- Asia-inspirierte Rezepte (low-carb Varianten)
+41
View File
@@ -0,0 +1,41 @@
# Samsung QN90A (Wohnzimmer-TV)
**Modell:** GQ65QN90AATXZG · Tizen · EU · DUID uuid:6499ad2f-1417-432a-868c-26b2404c47ba
**Netz:** 10.0.40.104 (WLAN, MAC 10:2b:41:55:7e:5e; DHCP-Reservation offen) · res/uid wechselnde IP!
**Stand:** 2026-11-01 — gerootet + persistent gehärtet via Vetro v0.3.5
## Security-Status
- **Vetro v0.3.5** installiert (Partner-Zertifikat: `~/.config/Apps2Samsung/Certificate/` auf hermes-agent-01)
- Vetro-Service rootet den TV **bei jedem Boot selbst** (agent uid=0) → kein manueller Root mehr nötig
- Dashboard: `http://10.0.40.104:8099` — **unauthentifiziertes HTTP**, nur trusted LAN, nie exponen
- Developer Mode: Host-IP steht auf **127.0.0.1** → SDB 26101 von außen bewusst geschlossen
## Privacy-Härtung (verified 2026-11-01)
- DNS-Filter: 21 Telemetrie-Domains (samsungads/samsungacr/samsungqbe/atlas) → 0.0.0.0, Vetro restauriert bei jedem Boot
- Voice-Stack komplett aus: `voice-all` (31 Apps) + `tracking-all`/ACR (18 Apps), Boot-Flags false
- HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0 — schützt die Root-Route!)
- Boot-Flag-Backup: `~/workspace/tv-privacy-backup-20261101.csv` (431 Flags, Host + TV)
## Nie anfassen
- `org.tizen.ambientapp` (Boot-Loop-Gefahr)
- `com.samsung.tv.coba.adagent` (Smart-Hub-Abhängigkeit)
- Vetro-Service-Flags (`vetrotvapp.svc` onboot/autorestart müssen true bleiben)
## App-Installation (Fladder-Playbook, verifiziert 2026-11-01)
DevMode „Host PC IP" = vconf-Key **`db/sdk/develop/ip`** (Buxton-DB `/var/lib/buxton2/system.db`) — ohne TV-Menü umschaltbar via Vetro-Root:
1. `curl -X POST http://10.0.40.104:8099/exec -d '{"cmd":"vconftool set -f -t string db/sdk/develop/ip 10.0.30.230"}'`
2. `sdb kill-server && sdb start-server && sdb connect 10.0.40.104:26101`
3. `a2s/apps2samsung-cli install "<App>" --tv 10.0.40.104 --local-ip 10.0.30.230 --yes --partner` (Partner-Zertifikat lokal, kein Login)
4. **Zurück auf 127.0.0.1** (`vconftool set … 127.0.0.1`) + `sdb kill-server` → SDB extern wieder zu
Pitfalls: ohne `--partner` wartet A2S 5 min auf Samsung-Login; `pkgcmd -i` direkt auf dem TV scheitert an fehlender Signatur (error -12); A2S hält während des Laufs den SDB-Slot.
Installiert: **Fladder v0.8.1** (`nl.jknaapen.fladder`, Jellyfin-Client) — Server-URL im ersten App-Start konfigurieren.
## Known Issues
- IP volatil (.100→.104 nach Power-Cycle) — Reservation am Router offen
- QN90A bootet nach Stromtrennung in Standby mit WLAN getrennt (rote LED)
- sdbd-Client-Slot exklusiv: Während Apps2Samsung-Installer läuft, keine Root-Sessions möglich
## Related
- Skill: samsung-tizen-tv-administration, security-exposure-audit
- Solution Doc: ~/docs/solutions/integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md
- Offen: Debloat-Menü, individueller lokaler Hintergrund (Ambient)
+36 -4
View File
@@ -15,14 +15,17 @@
| `patterns/` | Rekurrente Failure-Mode Patterns + Skill-Impact Tracker | | `patterns/` | Rekurrente Failure-Mode Patterns + Skill-Impact Tracker |
## Entities ## Entities
- [[entities/samsung-qn90a]] — Wohnzimmer-TV, gerootet, Vetro v0.3.5, Privacy-Stack (11/2026)
- [[entities/infrastructure]] — Physikalische Hardware, Cluster-Übersicht - [[entities/infrastructure]] — Physikalische Hardware, Cluster-Übersicht
- [[entities/team-structure]] — CEO + Agents Modell - [[entities/team-structure]] — CEO + Agents Modell (Nutzerprofil Dominik integriert)
- [[entities/dominik-schoen]] — Nutzerprofil - [[entities/finanzen-immobilien]] — Baufinanzierung, Tegernheim, Mintos (aus L0 ausgelagert 10/2026)
- [[entities/email-system]] — Himalaya, iCloud, 12 Domains - [[entities/email-system]] — Himalaya, iCloud, 12 Domains
- [[entities/health-fitness]] — Gesundheits-Ziele, Ernährung - [[entities/health-fitness]] — Abnehm-Journey, Oura-Telemetrie, Wearables
- [[entities/haus-grundrisse]] — Grundrisse EG/OG, Raum-Nutzung (Büro Sarah, Schlafzimmer, Cleo)
## Systems ## Systems
- [[systems/proxmox-cluster]] — PVE 9.2.20, 8 Nodes, Fluent Bit - [[systems/proxmox-cluster]] — PVE 9.2.20, 8 Nodes, Fluent Bit
- [[systems/mgmt-runner]] — VM 200 (10.0.30.124): Ops-VM, Root-Disk auf HDD-Pool, keine Builds
- [[systems/ceph-cluster]] — 17 OSDs, v20.2.4, 4 MONs, bekannte Probleme - [[systems/ceph-cluster]] — 17 OSDs, v20.2.4, 4 MONs, bekannte Probleme
- [[systems/rke2-kubernetes]] — 6 Nodes, ArgoCD, CNPG, Workloads - [[systems/rke2-kubernetes]] — 6 Nodes, ArgoCD, CNPG, Workloads
- [[systems/galera-maxscale]] — 3 Galera + 2 MaxScale, VIP .70 - [[systems/galera-maxscale]] — 3 Galera + 2 MaxScale, VIP .70
@@ -35,19 +38,38 @@
- [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen - [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen
- [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation - [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation
- [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify - [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify
- [[systems/heizung-viessmann]] — WP CU401B S, Heizkurve 0,4/−7, 11 free@home-Zonen, Sollwerte 24/23/21, WW-Peak-Automationen (11/2026)
- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64
- [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI - [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
- [[systems/hermes-webui]] — Hermex-iOS-Backend auf hermes-agent-01 (:8790, native, LAN-only)
- [[systems/notfallbuch]] — eol-dr-Playbook für Sarah, Triage-Labels, Monats-Cron, Print im Büro
- [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG)
- [[systems/immich]] — K8s-Immich v3.3.1 PROD (86.316 Assets, Stand 10.10.), Legacy CT111 stillgelegt
- [[systems/recipe-scraper]] — v8.1 Frontier-Fix 12.10., 18 Quellen → Galera-Recipe-DB (200k-Ziel), Failure-Memory + Cursor
- [[systems/nut]] — NUT/UPS Shutdown-Kaskade, APC ES 700G @ ms-a2-1, FSD-Cluster-Shutdown
- [[systems/hermes-agent-01]] — lokaler Hermes-Runner: Storage-Governance, Backup-Pipeline (RCA 08.10.), Watchdogs
- [[systems/schoenkitchen]] — Essensplanungs-App: FastAPI:8420, CT99999-Traefik, Jinja2-Pitfall (aus nutri-L0 ausgelagert 10/2026)
- [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026)
- [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen)
- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026)
- [[systems/technitium-dns]] — LAN-Resolver + Adblock: CT150/CT153 Cluster, VIP .149 (keepalived), DHCP-DNS via Omada (11/2026)
## Concepts ## Concepts
- [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs - [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs
- [[concepts/gitops-workflow]] — IaC → Git → ArgoCD → Verify - [[concepts/gitops-workflow]] — IaC → Git → ArgoCD → Verify
- [[concepts/credential-policy]] — 1Password, ESO, keine Secrets in Git - [[concepts/credential-policy]] — 1Password, ESO, keine Secrets in Git
- [[concepts/email-organization]] — Rechnungs-Organizer, Himalaya - [[concepts/email-organization]] — Rechnungs-Organizer, Himalaya
- [[concepts/baykibig-reform-2027]] — Wegfall 100-€-Beitragszuschuss 2027: Reaktionen, Kommunen-Übersicht, Brief-Basis Freystadt
- [[concepts/memory-layer-architecture]] — 7-Schichten Memory Trennungsregeln - [[concepts/memory-layer-architecture]] — 7-Schichten Memory Trennungsregeln
- [[concepts/user-drift-report]] — Monatlicher Drift-Report (Kommunikationsanalyse)
## Reference ## Reference
- [[reference/ip-map]] — IP → Host → Service Mapping - [[reference/ip-map]] — IP → Host → Service Mapping
- [[reference/ssh-keys]] — Key → Zweck → Fingerprint - [[reference/ssh-keys]] — Key → Zweck → Fingerprint
- [[reference/ports]] — Port → Service → Host - [[reference/ports]] — Port → Service → Host
- [[reference/emhass-cascade-automation-architecture]] — EMHASS/Kaskaden Batteriesteuerung, Config, Pitfalls
## Patterns ## Patterns
- [[patterns/_README]] — Konzept und Nutzung des Patterns-Verzeichnisses - [[patterns/_README]] — Konzept und Nutzung des Patterns-Verzeichnisses
@@ -60,6 +82,16 @@
- [[patterns/ceph-ssd-wear-ec-pool]] — EC Pool unusable + SSD Wear-Level (PAT-007) - [[patterns/ceph-ssd-wear-ec-pool]] — EC Pool unusable + SSD Wear-Level (PAT-007)
- [[patterns/ansible-default-ipv6]] — lablabs.rke2 role fails on IPv6-less VMs (PAT-008) - [[patterns/ansible-default-ipv6]] — lablabs.rke2 role fails on IPv6-less VMs (PAT-008)
- [[patterns/k8s-stale-nbd-devices]] — RBD swap leaves stale NBD mappings (PAT-009) - [[patterns/k8s-stale-nbd-devices]] — RBD swap leaves stale NBD mappings (PAT-009)
- [[patterns/pve-oom-frozen-guest]] — Host-OOM friert Gast als Zombie ein, RSS-Kollaps-Signatur (PAT-010)
- [[patterns/pve-notification-webhook]] — PVE Webhook→Telegram: Endpoint-Drift, Base64-Trap, Handlebars-Escape (PAT-011)
- [[patterns/placement-guardrails]] — 70% RAM-Deckel + Swap-Verbot als Prometheus-Rules (PAT-012)
- [[patterns/prometheus-config-rescue]] — grep -vn Gift/Crashloop, LXC-Rootfs-Direct-Mount-Rescue (PAT-013)
- [[patterns/ceph-dead-nvme-resurrection]] — PCI-Reset→lvchange→chown-Falle, Weight-Management bei Reintegration (PAT-014)
- [[patterns/systemd-path-blindness]] — Exit-127-Klasse: ~/.local/bin unsichtbar im systemd-PATH, trap-EXIT-Cleanup (PAT-016)
- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015)
- [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018)
- [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019)
- [[patterns/pbs-datastore-full-root-reserve]] — PBS meldet ENOSPC bei <100 %: ext4-Reserve (5 %) für den `backup`-User unerreichbar + Dedup lässt „erfolgreiche" Backups ohne neue Chunks durch (PAT-020)
- [[patterns/skill-impact]] — Skill Modification Audit Trail - [[patterns/skill-impact]] — Skill Modification Audit Trail
## Memory Layer Architektur ## Memory Layer Architektur
@@ -69,6 +101,6 @@
| L1 Curated | LLM Wiki | `~/.hermes/memory/` | Browsbares Wissen (this) | | L1 Curated | LLM Wiki | `~/.hermes/memory/` | Browsbares Wissen (this) |
| L2 Semantic | Hindsight | K8s PostgreSQL | Vektor-Suche | | L2 Semantic | Hindsight | K8s PostgreSQL | Vektor-Suche |
| L3 Procedural | Skills | `~/.hermes/skills/` | Wie-geht-es Prozeduren | | L3 Procedural | Skills | `~/.hermes/skills/` | Wie-geht-es Prozeduren |
| L4 Episodic | session_search | SQLite | Gesprächsverläufe | | L4 Episodic | LCM + session_search | lcm.db + state.db | Verlustfreie Kompaktion + rohe Verläufe |
| L5 Solutions | Solution Docs | `~/docs/solutions/` | Problem-Lösungs-Paare | | L5 Solutions | Solution Docs | `~/docs/solutions/` | Problem-Lösungs-Paare |
| L6 Project | AGENTS.md | pro Repo | Repo-Konventionen | | L6 Project | AGENTS.md | pro Repo | Repo-Konventionen |
+990
View File
@@ -1,5 +1,683 @@
# Memory Log # Memory Log
## [2026-11-18] recipe-scraper-cron | Crash-Rezidiv nach 4 Tagen, Retry OK, No-Op — Störung täglich, nur Schwere variiert
- **Lauf 1 (06:00:29):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. Identischer Fehlerpfad wie 11-10 bis 11-13; erstes Rezidiv nach 4 Tagen.
- **Lauf 2 (06:01:53):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. DB unverändert bei 200.000 = TARGET.
- **Diagnose (verifiziert):** TCP .70:3306 open; `SELECT 1` + COUNT 200.000 ab ~06:01:45 instant (Node mariadb-01) — Fenster heute kürzer als 11-13 (>122 s).
- **Schlüsselbefund — "crashfreie" Tage 11-14 bis 11-17 waren keine:** `scraper_v8.log` Gesamtlaufzeiten 55/37/37/60 s = COUNT-Dauer ~30–55 s (vor `db_count()` laufen nur lokale Loads) → Störung im 06:00-Fenster TÄGLICH, Crash nur wenn COUNT >60 s. "Intermittenz" war falsch — die 4 Tage waren Grenzfälle.
- **Root-Cause weiter offen:** Täglicher DB-Infra-Job ~05:45–06:05 UTC (mariabackup/ANALYZE/Timer auf Galera-VMs) Hauptverdächtiger. **FIX weiter offen (Owner-GO):** `read_timeout=60`→`300` (Scraper Zeile ~89) oder Cron auf 06:30. Nichts ausgeführt — Auftrag war nur ausführen & berichten.
- **Learning-Cycle:** SolDoc-Nachtrag 11-18 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-18); Hindsight-Indexierung via HTTP-API (`POST /v1/default/banks/hermes/memories`, compact Summary + Tags, `success:true`; Recall-Test: neue Fakten auffindbar, semantic 0.65). Auch notiert: Cron-Task-Beschreibung "77.000+" seit 11-08 veraltet (DB: 200.000).
## [2026-11-16] Büro-Licht: Schwelle auf 7000 lx (Outdoor-Proxy stößt an Grenzen)
- **Vorgabe:** „es ist aktuell dunkel genug, dass das Licht angehen sollte" bei Outdoor **5.900–6.400 lx** → Schwelle 1.500 → **7.000 lx** (Gate + `dunkel`-Trigger), Nachlauf bleibt 2 min.
- **A/B bei praktisch gleicher Helligkeit:** Präsenzflanke 09:11:26 (~6.400 lx, Schwelle 1.500) → Licht bleibt aus (`choose/3`); Flanke 09:15:49 (~5.948 lx, Schwelle 7.000) → Licht an 09:15:50 (`choose/0/sequence/0`). Vorher war das Licht seit 07:11:36 aus (Morgen war 13–20k lx).
- **Erkenntnis:** Outdoor-Lux ist nur ein grober Proxy für die Büro-Helligkeit (Nordseite/trüb). Dritte Schwellen-Anpassung in drei Tagen → echte Lösung = Indoor-Lux (BH1750 am Büro-ESP32) oder LD2410-Hold-Timeout; als Optionen im Wiki notiert.
- **Sensor-Flapping:** Präsenz-Bursts 20–60 s mit Lücken bis 6 min → 2-min-Nachlauf lässt das Licht in Lücken aus. Wiki `systems/homeassistant.md` aktualisiert.
## [2026-11-15] storage-fix | Offsite-PBS 800→980 GiB extendet, 208 GiB frei, Push-Sync wieder grün
- **Ist:** `noris_offsite` (PBS-VM 213.95.54.60) war **100 % voll** (ext4 787 GiB, 747 belegt, 0 frei); Push-Sync `push-offsite` (CT119 → offsite, 03:00) scheiterte seit **20.10.** mit `ENOSPC` (os error 28). Seitdem kamen nur Snapshots mit Dedup-Volltreffern durch — „grüne" Snapshots 12.–14.11. neben echten Lücken.
- **Ursache 1:** Cinder-Volume `pbs-data` 800 GiB (Dimensionierung 07/2026) bei ~180 GiB/Monat Wachstum. **Ursache 2:** ext4-Reserve 5 % (40 GiB) ist für den PBS-`backup`-User unerreichbar → df „0 frei" bei 94,9 %.
- **Fix (Owner-GO, 0 Downtime):** `openstack volume set --size 980` (`OS_VOLUME_API_VERSION=3.42` nötig, OSC 10.1 kennt kein `volume extend`) → `rescan` + `resize2fs` (787→964 GiB) + `tune2fs -m 1` (-32 GiB Reserve). Danach **208 GiB frei (79 %)**, PVE: 77,46 %. Catch-up-Sync 14:17 gestartet (~3,5 MB/s WAN).
- **Offen:** Projekt-Quota 1000 GiB (820 belegt) = harter Deckel → **Quota-Erhöhung bei noris** auf 2–3 TiB nötig, sonst in ~5–6 Wochen erneut voll. Nebenbefund: nächtlicher vzdump endet mit `job errors`, weil VM 991 auf nicht existentes RBD `vm-300-disk-0-test` zeigt.
- **Docs:** `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern **PAT-020** (`patterns/pbs-datastore-full-root-reserve.md`), Wiki `systems/proxmox-cluster.md` (Backup-Storage-Sektion), Skill-Ref `openstack-offsite-pbs-2026-07.md` ergänzt.
## [2026-11-15] ceph-status-audit | MON 4→3, Pool-Tabelle korrigiert, MON_DISK_LOW n5pro
- **Strukturell:** `mon.proxmox4` am 15.11. 10:22 entfernt (Service disabled, monmap e137) → 3 MONs (proxmox5/ms-a2-1/n5pro), Quorum 3/3. MGR aktiv seit ~2 Wochen auf **ms-a2-1** (nicht mehr n5pro). Vorher 05:15 kurzer MON_DOWN (n5pro).
- **Health:** HEALTH_WARN nur Disk-Rauschen — 7 HDD-OSDs `BLUESTORE_SLOW_OP_ALERT` (chronisch seit ≥08.11., 7–9 OSDs), osd.1/6/11 `DB_DEVICE_STALLED_READ` (DB auf demselben HDD-Spindle, 5 s read-Timeout). 533/533 PGs clean, keine Recovery.
- **Wiki-Korrekturen (`systems/ceph-cluster.md`):** Pool-Tabelle neu aus `ceph df detail` — **`media_ec` (EC 4+1) und `media_meta` existieren nicht mehr**, dafür cephfs_ssd_data/meta + default.rgw.*; 13 Pools/533 PGs. osd.18 → n5pro (nicht ubuntu), osd.17 = 2.7 TiB, osd.3 via CRUSH-Weight 0.05 (Reweight 1.0). Kapazität 14/33 TiB (43 %), Engpass osd.7 bei 89.8 %, Pool-Headroom ~0.8 TiB. Versions-Skew: 3 OSDs auf 20.2.5.
- **Erledigt 15.11. (Owner-GO):** (a) n5pro aufgeräumt → `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) + `ceph crash archive-all && prune 30` (285 → 0 Reports) → Root-FS 67 % → **51 %**, MON_DISK_LOW aus health detail verschwunden. Lokale Daemon-Crash-Dumps bleiben (n5pro 276 M, ubuntu 520 M, 07.08.). (b) MON 4→3 ist **gewollt** (Owner bestätigt): Zielzustand 3 MONs, proxmox4 bleibt reiner OSD-Host. (c) osd.7 (89.8 %) `crush reweight 0.931 → 0.75` → 15 PGs remapped, Backfill ~30 MiB/s, MAX AVAIL cephfs_data 864 GiB → 1.1 TiB, hdd_disk 852 GiB → 1.0 TiB. **Nebeneffekt:** osd.10 (proxmox6, 2. 1-TB-HDD-Host) stieg 76.6 → 78.4 % — mit 4 HDD-Hosts und size=3 tragen die beiden kleinen Hosts strukturell zu viel. Deshalb auf Owner-Wahl auch osd.10 `crush reweight 0.931 → 0.75` (15:43) → zusammen 18 PGs remapped, beide Hosts jetzt symmetrisch 0.75. Backfill ~38 MiB/s, ETA ~2.5 h; One-Shot-Cron `23fdefeffc95` prüft in 3 h die Konvergenz.
## [2026-11-15] network-recon-bugfix | Weekly-Scan: IP-Misattribution gefixt — 77/91 "Alive"-IPs waren Ghosts
- **Bug im wöchentlichen Netzwerk-Scan** (`~/.hermes/scripts/network-scan.py`, seit mind. 27.09. aktiv): Phase-1-Sweep `zip(ips, as_completed(futures))` ordnete Alive-Verdikte falschen IPs zu (Completion-Order ≠ Submissions-Order) → 77/91 gelistete IPs waren Ghost-Adressen; alle echten Hosts (PVE .30–.93, NAS .100, Galera .70–.82) unsichtbar. Fix: `pool.map` + 443 in den Deep-Scan; Neu-Scan: 91 echte Geräte (89 + 2 Re-Probe), Inventar deckt sich mit ip-map.
- **Topologie:** `10.0.30.100` (ubuntu-NAS, VLAN-30-IP) **zurück** — SSH-Host-Keys (RSA/ECDSA/Ed25519) identisch zu 10.0.20.100 → derselbe Host; `reference/ip-map.md` korrigiert. Ob Rückkehr beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten).
- Solution Doc: `docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md`; Skill `devops/network-reconnaissance` (Pitfall ergänzt); Hindsight indexiert.
|
## [2026-11-14] Büro-Licht-Automation um Helligkeits-Gate erweitert (+ Nutzer-Edit aus Trace gerettet)
- **Neu:** On-Pfad von `buero_eg_licht_praesenz_nachlauf` nur noch bei `sensor.wetterstation_illuminance` **< 1500 lx** (Startwert 500 lx; am selben Tag auf Nutzer-Vorgabe „ab der aktuellen Helligkeit" hochgezogen — zu dem Zeitpunkt 1.300 lx); Sensor `unavailable`/`unknown` → Fail-safe Licht an. Neuer Trigger `numeric_state below 1500 for 3 min` → Dämmerung schaltet ein, wenn Präsenz schon an ist (sonst käme keine neue Flanke). **Kein** Ausschalten bei Helligkeit (Heuristik-Veto).
- **Schwellen-A/B (Beweis, gleiche Helligkeit ~1.280–1.300 lx):** Präsenzflanke 15:23:13 mit 500 lx → Licht bleibt aus (Trace `choose/3/conditions/0`); Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`, Licht 15:24:15).
- **Fast verloren:** Ich hatte die Automation am 02.11. gebaut — der Nutzer hatte sie inzwischen selbst auf **5 min Nachlauf** + `time_pattern /2` + Alias „(5 min Nachlauf)" geändert. Mein `POST` hat das blind überschrieben; Rekonstruktion gelang aus dem Automation-Trace (`ws trace/get`, Feld `config`). Diese Werte sind jetzt wieder drin.
- **E2E 14.11.:** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Flanke → Licht an; echter 5-min-Nachlauf (09:01:26 off → 09:06:28 Licht aus, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. Lux-Fakes wurden vom Gerät binnen Sekunden überschrieben (Wetterstation pusht ~alle 10–20 s).
- **Lux-Realwerte:** bedeckter Vormittag Nov ~8.500–8.800 lx, Spätnachmittag Mitte Nov ~1.250–1.300 lx → 1500-lx-Schwelle = Licht ab Dämmerung/trüben Tagen, Mittagssonne bleibt gesperrt.
- **Nachtrag 14.11. 15:28:** Nachlauf auf **2 min** reduziert (Nutzer); Alias jetzt „(2 min Nachlauf)", Sweep-Bedingung ebenfalls 2 min. E2E: Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10 (Trace `choose/2`); On-Pfad bei 970 lx weiterhin an.
- Skill `smart-home-automation`: `references/ha-automation-trace-debugging.md` um „blind POST zerstört spätere Edits / Recovery via Trace" + „kein `automation/reload` nach Config-POST nötig" ergänzt; Wiki `systems/homeassistant.md` aktualisiert.
## [2026-11-13] free@home setup_error | SysAP-Reboot wirkungslos → Client-Zombie, Core-Restart Fix, Watchdog Stufe 2
- **Incident:** Entry `freeathome` `setup_error` seit 12.11. 16:18 UTC, 28/29 ABB-Entities `unavailable`, Log `IqTimeout` auf `RemoteInterface.getAll`.
- **Watchdog-Blindstelle:** der 05:11-Reboot (`reboot(0)`, ACK) half nicht — SysAP-REST war die ganze Zeit gesund (`/configuration` 200 in 3 s, 62 Geräte) ⇒ Wedge clientseitig. Danach 6-h-Cooldown ohne zweiten Hebel; HA-Retry-Backoff erschöpft (letzte Logzeile 06:17).
- **Fix:** `docker restart homeassistant` 07:10 → `loaded` 07:14:48, 28/28 Entities, E2E turn_on/off je <2 s.
- **Code:** `fah_watchdog.py` + Stufe 2 (`sysap_config_ok()` REST-Gate + `restart_core()`, Cooldown `last_core_restart`) — `--selftest` und Tick verifiziert.
- **Skill:** `smart-home-automation/references/freeathome-integration-health.md` (Entscheidungstabelle SysAP-Wedge vs. Client-Zombie, Probe-Pitfall). Solution Doc: `bug-fixes/2026-11-13-freeathome-setup-error-client-zombie-core-restart.md`.
## [2026-11-13] recipe-scraper-cron | 3. Crash-Tag, Fenster-These verfeinert, Retry OK, No-Op
- **Lauf 1 (06:00:28):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. 3. Tag in Folge.
- **Diagnose:** Galera gesund (3/3 Synced, wsrep_ready=ON, Uptime 4,5 d, Flow Control aus); `SELECT 1` instant; COUNT hing im Fenster 06:01–06:04 **>122 s** ("Sending data"), ab 06:05 **4× 0,0 s**. → Die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Morgen-Briefing (parallel 06:00) als Verursacher **widerlegt**: Fetch-Scripts ohne recipes-DB-Zugriff; am 10.11. lief COUNT während des Briefings durch. 06:00-Fenster-Ursache offen → Backup-Jobs/Cron auf DB-VMs prüfen.
- **Lauf 2 (06:04:14):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline (4. No-Op-Tag in Folge).
- **Tool-Fallen heute:** (a) bash-Pipeline `python … | tee; echo $?` maskiert den Python-Exit-Code (tee-Exit=0 trotz Crash) → `${PIPESTATUS[0]}` verwenden; (b) Pfad-Typo `/home/deian/` 2× (Pfade kopieren, nicht tippen); (c) SolDoc-Suche überPagination-Limit 50 — bestehendes Doc 2026-11-12 fast übersehen → bei total_count==50 immer weitersuchen.
- **FIX bleibt offen (Owner-GO):** `read_timeout=60`→`300` im Scraper (Zeile ~89); robustester: Cron auf 06:30 verschieben. SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` (neu) + Nachtrag in `2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- **Learning-Cycle:** Hindsight-Indexierung via HTTP-API (bank `hermes`, files/retain, Operation completed; Recall-Test top-Treffer positiv). Wiki: `systems/recipe-scraper.md` (+Status 11-13), `systems/galera-maxscale.md` (+Bekannte Issues 11-13).
## [2026-11-13] BayKiBiG: Strategieumstellung auf Dialogbrief – Träger/Stadt-Schreiben dokumentiert, harte Fakten in interner Gesprächsagenda
- **Neuer Primärbeleg:** Gemeinsames Schreiben der fünf Träger UND der Stadt Freystadt an die Eltern: Abzug entfällt ab 01.01.2027 („zusätzliche finanzielle Belastung von 100 € pro Monat und Kind" eingeräumt), Beiträge bis 31.08.2028 „nicht erhöht", kein Personalsabbau, „auf vollständige Zahlung angewiesen", § 90-4-Hinweis. Die Stadt hat die +100 € damit offiziell mitunterzeichnet.
- **Strategie (Nutzerentscheid):** Erstschreiben deeskalierend — Dialogbrief an Stadt UND Träger (Alternativ-Entwurf Yvonne Regnet, wortgetreu, DIN 5008:2020-03 Form A gesetzt; einzig normbedingte Anpassung: „Betreff:"-Vorsatz entfallen). Fünf Punkte: Transparenz, Nachvollziehbarkeit, Entlastungsprüfung, soziale Verträglichkeit, zeitnahes Gespräch (ideal noch im November 2026). Unterschriftentabelle der fünf Vorsitzenden.
- **Gesprächsagenda (intern, „Nicht versenden"):** IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 €/1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6er-Fragenkatalog, Verhaltensregeln, Notizfeld. Stand 13.11.2026.
- **Archiv:** fordernde Fassung (brief.html/.pdf) + gestaltete Fassung (brief-gestaltet.html/.pdf) bleiben für ein Nachschreiben erhalten.
- **Dateien:** brief-stadt-traeger.html/.md/.pdf (Dialogbrief, 2 Seiten, Layout gemessen: S.1 6,5 mm / S.2 21,1 mm Luft; Vision-Check komplett), gespraechsagenda-elternbeiraete.html/.pdf (2 Seiten, S.1 45 mm / S.2 20,6 mm Luft, Notizfeld). Wiki-Sektionen „Gemeinsames Träger- und Stadt-Schreiben" + „Neue Dokumente" ergänzt.
## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op
- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten.
- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen.
- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11.
- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89).
- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.).
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
- **Empfänger:** Anschriftfeld = Maget (Fensterkuvert-tauglich); zweite Ausfertigung an Landrat Meier per Anschrifttausch (in brief.md dokumentiert). Gestaltete Vorversion als brief-gestaltet.html/.pdf gesichert.
- **Verifiziert:** pdftotext-Schlüsselphrasen, Layoutmessung (Seite 1 Fließtext-Ende 22 mm über Rand 277 mm; Seite 2 Abstand Fließtext–Quellen 15 mm, Quellen-Ende exakt 277 mm), Vision-Check beider Seiten: Briefkopf, Rücksendeangabe, Anschrift, Infoblock, Betreff, Anrede, Absätze, Bitten, IM AUFTRAG-Tabelle, Anlage, Quellen vollständig sichtbar, keine Überlappungen.
- **Dateien:** brief.html/.md (Masters), brief.pdf, Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx regeneriert; DIN-5008-Maße recherchiert via din5008.net / sekretaria.de / arbeiten-im-sekretariat.de (Kapitel-19-Abmessungen Form A/B).
## [2026-11-11] BayKiBiG: Elternbrief geschärft („ruhig fordernd"), IfKM-Erkenntnisse anonymisiert
- **Haushaltsabsatz:** neuer Schluss „Hinzu kommt: Die erhöhte Betriebskostenförderung des Freistaats fließt ohnehin über die Kommune an die Einrichtungen – die Stadt ist bereits Teil dieser Finanzierungskette. Ein Ausgleich ließe sich daher innerhalb der bestehenden Finanzierungsverträge mit den Trägern regeln." — entkräftet „kein Budget" ohne IfKM-Blatt oder Landkreis-Vorlage direkt zu zitieren (Nutzerentscheid: „lieber nicht direkt zitieren").
- **Bitte 1:** Mechanismus ergänzt: „… am einfachsten über eine Anhebung der Defizitdeckung in den bestehenden Finanzierungsverträgen mit den Trägern."
- **Bitte 2:** Lücken-Argument anonymisiert: „Die staatliche Förderung steigt ab 2027 deutlich – die reale Lücke jeder Einrichtung kann daher kleiner sein als die 100 € … Wir bitten Sie deshalb um eine offene Gegenüberstellung je Einrichtung: Welche Fördermittel gehen ein, welche Einnahmen entfallen, welcher Betrag fehlt am Ende?"
- **Schluss:** gefestigt: „Wir bitten um eine Antwort binnen vier Wochen – gern auch als Gesprächsangebot." (statt „würden wir uns freuen").
- **Dateien:** brief.html/.md + Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx; 2 Seiten A4. Layout-Fix dokumentiert: Die geschärften Sätze erzeugten zunächst Überlauf (Seite 1: 17,2 mm – Footer „Fortsetzung Seite 2" und letzte Absatzzeile abgeschnitten; Seite 2: 5 mm). Behoben durch messbasierte Layout-Straffung (Zeilenabstand 1,44, Kopf-/Blockabstände, Kopfrand 10 mm) – final verifiziert via Browser-Layoutmessung (Footer-Seite-1-Überlauf von +17,2 mm auf ein unkritisches Box-Maß von 0,2 mm; Text-Tinte vollständig innerhalb der Seite), pdftotext-Schlußsatzcheck und Vision-Check beider Seiten: Footer, Schlusssatz, Bitten, Unterschriftentabelle, Anlage und Quellen vollständig sichtbar, keine abgeschnittenen Zeilen. IfKM-Zahlen bleiben interne Argumentationsgrundlage (Wiki-Abschnitt „Neue Belege").
## [2026-11-11] BayKiBiG: IfKM-Fördermittelrechnung + Landkreis-Vorlage als neue Belege
- **IfKM-Blatt (via Möning):** Gesamtförderung 720.596 € (2026) → 663.048/701.149/702.060 € (2027–29); Elternbeitragszuschuss 71.300 € → 0 €. Kernrechnung: Öffentliche Förderung ohne Zuschuss steigt +13.752 €; Eltern- Mehrzahlung 71.300 € = nur zu 80,7 % (2027) bzw. 27 % (ab 2028) Lückendeckung, Rest Überschuss (+13.752/+51.853/+52.764 € über 2026-Niveau). Stadt-Vollarrogation hochgerechnet ~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %).
- **Landkreis-Vorlage 23.10.2026 („[32] - [Maget]“):** Reformziel „finanzielle Entlastung der Gemeinden“, +25 % Betriebskostenförderung, Mittelfluss Freistaat → Landratsamt → Kommune → Träger — die Stadt ist bereits Co-Finanzierer; „kein Budget“-Aussage fiel nach offizieller Briefing. Belege in `concepts/baykibig-reform-2027.md` (Abschnitt „Neue Belege“) dokumentiert.
## [2026-11-11] BayKiBiG: Träger-Entscheidung Freystadt intern bekannt – Brief-Aufhänger angepasst
- **Update:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 €/Monat ab 01.01.2027 **von den Eltern getragen werden** (erstufige Information der Elternbeiräte, nicht öffentlich). Wiki-Seite `concepts/baykibig-reform-2027.md` angepasst: Status aktualisiert, Argumente 1 und 5 umformuliert („Zahlen nachvollziehbar machen auch nach Trägerentscheidung", „Dialog und kommunale Entlastung": München-Übergangsmodell, Hollfeld-Teilkompensation 60 €, KEG-Empfehlung Verpflegungsgeld).
- **Brief-Revision:** Aufhänger ist jetzt die Träger-Information an die Eltern (100 € werden selbst getragen); Bitten umgestellt auf: kommunale Ausgleichsleistung prüfen, Zahlen nachvollziehbar machen, Dialog, § 90 Abs. 4 SGB VIII-Information, überörtlicher Einsatz. Dateien: `~/workspace/brief-elternbeiraete-freystadt/` (PDF/DOCX/MD).
## [2026-11-11] BayKiBiG-Reform: Wiki-Seite als Recherche-Basis für Freystädter Elternbeirats-Brief
- **Neu:** `concepts/baykibig-reform-2027.md` — Wegfall des 100-€-Elternbeitragszuschusses ab 01.01.2027: Rechtslage (GVBl. 2026 S. 401), Förderzahlen (Qualitätsbonus 268→693 €/Kind/Jahr, Teamkräftepauschale), 13 Kommunen-Entscheidungen (München Übergangsregelung, Ingolstadt/Hollfeld Weitergabe, Augsburg/Nürnberg Begrenzung, Kaufbeuren/Erlangen/Raubling/Lohr/Bayreuth kein Ausgleich), Elterninitiativen (GEB Bayreuth, Illertissen ~400 Unterschriften, Ernsgaden/Kolbermoor-Petitionen) und Verbands-Stellungnahmen (LEB, LAG Ö|F, kath. Kitaverband, KEG, Städtetag, BRK) mit URLs.
- **Verwendung:** Basis für den gemeinsamen Brief aller 5 Freystädter Elternbeiräte an Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (LRA Neumarkt) — Bitten: Transparenz vor Beschluss, Ausgleichsprüfung, Dialog, § 90-4-Info, Überörtlicher Einsatz. Elterninfo (§ 3 Nr. 33 EStG) als Anlage.
- **Status Träger-Entscheidungen Freystadt:** öffentlich noch nicht bekannt (11.11.2026) — Brief aktuell adressierbar.
## [2026-11-10] Recipe-Scraper-Cron: Ziel 200k erreicht → No-Op + transiente Galera-Trägheit
- **Scraper-Status:** DB steht bei exakt 200.000 Rezepten = `TARGET = 200_000` (`recipe_scraper_v8_intl.py:29`) → v8.1 beendet sich sofort ("Already at 200000 recipes", Exit 0): 0 neue, keine Quellen, keine Pipeline. **Owner-Entscheidung nötig:** Target anheben oder Cron deaktivieren. Cron-Task-Beschreibung ("77.000+") veraltet.
- **Galera-Beobachtung:** Erster Anlauf 06:01 UTC crashte in `db_count()` (pymysql 2013, 60-s-Timeout) — Galera kurzzeitig träge nach Recovery vom 08.11.: `SELECT 1` instant, `SELECT COUNT(*)` hing 30 s, Wiederholung 1,2 s; wsrep_cluster_size=3. Retry 06:03 UTC lief sofort. **Neue Regel: nach DB-Timeout 1× retryen vor Diagnose.**
- Wiki `systems/recipe-scraper.md` (Status-Abschnitt), `systems/galera-maxscale.md` (Bekannte Issues +10.11.-Eintrag), SolDoc `bug-fixes/2026-11-08-galera-outage-...md` um Follow-up 10.11. ergänzt. Hindsight-Indexierung ausgefallen — CLI-GLIBC-Bug (braucht GLIBC_2.39).
## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix
- **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill.
- **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert).
- **Fix:** Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (`ha_mem_log.jsonl`, Leak-Alarma ≥250 MiB/h).
- **Pitfalls:** HAOS-Shell `/dev/tcp` = false negative; `.log.1` war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript.
- Wiki `systems/homeassistant.md` (neuer Abschnitt), SolDoc `bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
## [2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node
- **Symptom:** Cron `43612c6d52b6` meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund: `http://10.0.30.10:8123` → 200, Entry `freeathome` = `loaded`, SysAP HTTP UP (getAll-Probe 40,8 s).
- **Ursache 1:** `fah_watchdog.py` holte das HA-Token bei **jedem** 15-min-Tick frisch per `op read`; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokaler `op`-Prozess als Verursacher.
- **Ursache 2:** `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2) — VM 106 läuft auf **proxmox3**. `qm guest exec` → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist` (rc=2). Der Rettungs-Reboot wäre **nie** gefeuert.
- **Fix:** Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall, 401-Retry) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Tick still (exit 0).
- **Offen (Owner-GO):** ESO-Retry-Sturm stoppen (5 ES 1h → 12h, ggf. ESO kurz auf 0) — hält sonst die 1P-Quote account-weit zu.
- **Doku:** SolDoc `bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`, Wiki `systems/homeassistant.md`, Pattern `1password-rate-limit.md` (PAT-003), Skill `smart-home-automation`.
## [2026-11-05] Security-Sweep: sshhole.com (0 Treffer) + CVE-2026-98432 (25/26, NAS mitigiert)
- **sshhole.com:** OpenSSH-auf-musl-Auth-Bypass (musl `crypt()` liefert `*`; jedes Passwort mit 257–1024 Zeichen loggt Konten mit `*`-Shadow-Feld ein; Fix OpenSSH 10.6p2). 52 SSH-Endpunkte über 10.0.20/30/40.0/24: alle sshd-Binaries glibc+PAM, HAOS 22222 Dropbear, Gitea `.200` Go-SSH, Alpine-Images ohne sshd, NAS-shadow ohne `*`-Login-Konto → **0 betroffen**. Pitfall: musl-Loader ≠ musl-sshd (CT113 paperless-gpt), immer `ldd /usr/sbin/sshd`.
- **CVE-2026-98432:** Live-Re-Verifikation 25/26 geschlossen (PVE 8/8 `7.0.14-26`, 30 LXC, 17 VMs inkl. RKE2 `6.12.113`/HAOS 18.4, 221 Pods). Einzig Ubuntu `.100` offen (`6.8.0-146`; Fix `6.8.0-149` weiter `pending`). **Mitigation gesetzt:** `/etc/sysctl.d/99-cve-2026-98432.conf` (`net.mptcp.enabled=0`, `tcp_migrate_req=0`), verifiziert, Dienste + Ceph unverändert. nft-Regel gegen IPv4-Options offen (Owner-GO).
- **Watchdog:** Cron `6252986090b9` war 9 Ticks blind (`bash `-Präfix in `monitor_script`, `deliver=local`, `debian@` statt `root@` im Prompt) → repariert (`+x`, bare filename, `deliver/failure=origin`, Ceph-Gate im Prompt), Sensor + Trigger validiert.
- Doku: SolDoc-Nachtrag `2026-10-30-cve-2026-98432-fleet-exposure.md` + `systems/ubuntu-host.md`.
## [2026-11-03] Haus-Akku: SOC-Sensoren + EMHASS-Kapazität korrigiert
- **Befund:** Fünf HA-Template-Sensoren hingen an der toten Local-API-Integration `marstek_venuse_3_0_*` (es gibt nur die Modbus-Entities). `total_soc_safe` zeigte 3,9 % statt ~12 %, `Marstek SOC Safe` und `Marstek Grid Power Safe` dauerhaft 0. Zusätzlich rechneten `remaining_kwh` (110 Wh/%) und `Total SoC` (Nenner 15120) mit 11 kWh, real nutzbar sind 7,2 kWh.
- **Fix:** Templates auf `marstek_venus_modbus_*`, 72 Wh/%, Nenner 7200+5120 mit SMA-Fallback (Backup `core.config_entries.bak-20261103`); EMHASS `battery_nominal_energy_capacity` 16000→12320 Wh (Backup `/config/config.json.bak-20261103`, Add-on-Restart). Verifiziert: SMA 11 % / Marstek 13,2 % → `total_soc` 11,95 %, `total_soc_safe` 11,9 %, `remaining_kwh` 792 Wh; nächster EMHASS-Lauf `Optimal` mit kleinerem Plan (chg 2,95→2,70 / dis 2,39→2,19 kWh).
- **Pitfall:** EMHASS-Add-on-Config liegt unter `/config/config.json` **im Container**, nicht in den Add-on-Options (dort nur Solcast). Dateiänderung im Race mit dem HA-Start wird ignoriert → bei Template-Entries einzeln `homeassistant.reload_config_entry` aufrufen, danach Werte prüfen.
- **Offen:** `sensor_power_battery` = `batteries_power_out_total` (nur Entladung, beim Laden 0) — unkritisch, solange `set_use_battery_identification: false`. Ledger warnt jeden Lauf „price coverage only 56 %" (EPEX-Lücken 00:00–10:00, carry-forward 0,4217 €/kWh).
## [2026-11-03] free@home: Wanddisplay-Widgets via Lokal-API ausgelesen
- **Zugang:** Local-API-User `Installer`, Passwort im HA-Config-Entry `freeathome` (nur über Dateisystem lesbar). VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
- **Widgets = Panel-Kanäle + `/pairings`:** Display `ABB6BC5495EA` „free@homeTouch 7\"" (Essbereich EG), 4×4-Raster, 9 Widgets belegt / 7 frei. API v1 hat **keinen** Panel-Endpoint.
- **Pitfall:** Panel-Kanäle spiegeln keine Aktor-Zustände → Live-Status am Ziel-Aktor lesen.
- Wiki `systems/homeassistant.md`, Skill-Ref `smart-home-automation/references/freeathome-local-api.md`, SolDoc `integrations/2026-11-03-freeathome-panel-widgets.md`.
## [2026-11-02] HEVC-Encoder-Ausschuss: Bitstream-Korruption als dritte Fehlerklasse
- **Fall:** `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime. `ffprobe` und Box-Parser meldeten alles korrekt (`hevc/hvc1/1080p`, `moov<mdat`, `hvcC=3 Arrays`, bytewise deckungsgleich mit einer funktionierenden Datei derselben Pipeline). Ursache: eigener VAAPI-Encode vom 30.10. mit 35 `CABAC_MAX_BIN`-Fehlern (~1/min), `rc=0` weil libavcodec concealte.
- **Fix:** Original-Release neu geladen (FETiSH, 4,63 GB) → sofort spielbar (h264); parallel Re-Encode `libx265 crf24 medium` (44 fps ≈ 1,45× Realtime auf 4 vCPU) mit Gates Codec/Dauer/Größe/Atoms/**Volldekodierung 0 Zeilen**, Swap + Auto-Refresh-Watcher.
- **Gescheitert:** erster Versuch mit `hevc_vaapi` → `No VA display found for device /dev/dri/renderD128` (rc 234). Grund: **worker-05 seit 01.11. 10:19 UTC NotReady** (kein Ping, ARP FAILED), Pod auf worker-04 rescheduled, dort nur `card0` — und `card0` als `-vaapi_device` scheitert mit `Failed to initialise VAAPI connection: -1`. Kein VAAPI im Cluster bis zum Node-Revival.
- **Nebenprodukt:** HEVC-Stichproben-Audit der Bibliothek läuft (3×20 s je Datei); erste Treffer null. Wiki `systems/sabnzbd.md` + Skill `video-codec-compatibility` gepatcht, SolDoc `integrations/2026-11-02-hevc-bitstream-korruption-cabac.md`.
## [2026-11-02] HA-Automation Büro EG: Licht nach Präsenz + 15-min-Nachlauf
- **Neu:** `buero_eg_licht_praesenz_nachlauf` (automations.yaml Z.1626): `binary_sensor.esp32_c3_buero_eg_presence` `on` → `switch.licht_buro` an; `off` 15 min → aus. `time_pattern /10`-Sweep nur als Restart-Recovery (kein Re-Assert, manuelles Ausschalten bleibt respektiert).
- **Gebaut via REST:** `POST /api/config/automation/config/<id>` (moderne `triggers/conditions/actions`), Readback per GET, kein HA-Restart nötig. Entity-ID danach per WS `config/entity_registry/update` von `automation.buro_eg_licht_nach_prasenz_15_min_nachlauf` auf `…buero_eg_licht_praesenz_nachlauf` — Alias-Slugify transliteriert Umlaute.
- **E2E:** On-Pfad live 2× (Trigger 07:18:47 / 07:19:45 → Licht an), Off-Pfad über Temp-Automation mit `for: 10s` (Prod: 15 min), Temp gelöscht, `offpath`-grep 0, keine HA-Log-Fehler.
- **Befund:** Sensor meldet Präsenz in 30–120-s-Bursts (LD2410-typisch) → Nachlauf trägt die Logik; bei Fehl-Aus Sensor-Config prüfen. Wiki `systems/homeassistant.md` gepatcht.
## [2026-11-01] Zweite Beschaffungswelle: +24 Szenen (Submissed/AngeloGodshack/PascalsSubSluts) + Quarantäne-Inventar
- **Sweep repariert:** discovery-Cap `max=250` (vorher 25 Zeilen), Szenen-Key = Brand+Datum+Performer mit Release-Token-Strip, Varianten-Merge (1080p AVC > 1080p HEVC > 720p). Alte Version lud dieselbe Szene 2–3× als 720p/1080p.
- **Dedupe-Regel:** gegen `media/` über Datum **und** Performer; ohne Datum (LegalPorno-Jahresposts) nur Performer. Nur Performer allein hätte 3× `Mini Mitzix` als „neu“ gemeldet.
- **Ergebnis:** 24 Szenen / 23 GB, `addurl` in einem Rutsch, 0 Fehlschläge. Bibliothek **557 Dateien / 555 NFOs** (550 mp4 + 5 mkv + 2 wmv), 0 ohne NFO, 0 falscher Owner, 0 `(2)`-Kopien. Jellyfin **555 Items** (Refresh 204, Scan Completed).
- **Verteilung:** Submissed 14 (+5), PascalsSubSluts 16 (+15), AngeloGodshack 9 (+4).
- **Quarantäne 163 GB klassifiziert:** A-safe 62 Dateien/91,9 GB löschbar (Dubletten, Gegenstück ≥ gleiche Auflösung), A-master 6× 2160p/42,3 GB behalten, B 3/2,6 GB Review, C 17/43,5 GB unique (davon 8× 2160p ~34 GB Downscale-Kandidaten).
- **binsearch** ist entgegen der alten Skill-Notiz curl-scrapbar (`/search?...&max=250`, NZB per GET). Skill `usenet-binaries` korrigiert.
## [2026-11-01] NZB-Kanal binsearch + Sorter v13 (4 neue Studios) + 14 Szenen in der Bibliothek
- **Quellenlage:** nzbindex (Download 404) und nzbking (nur .par2) untauglich → **binsearch.info** liefert echte Videoposts. NZB per **GET** `/nzb?<msgid>=on` (POST = 405), Einreihen per SAB `mode=addurl` statt `nzb-drop` (Drop+Cron = Doppel-Einreihung, 2×1,7 GB beobachtet).
- **Sorter v13** (`a27c85e`): `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles` gemappt; `*angelogodshack*`-Wildcard nötig (LegalPorno-Branding), `^legalporno[._-][0-9]{4}[._-]`-Strip, Junk-Token `p0rnl0v3r`.
- **Ergebnis:** +14 Szenen (8 Submissed, 1 PascalsSubSluts, 5 AngeloGodshack), 18,3 GB, 0 Fehlschläge; Bibliothek **525 Videos / 530 NFOs / 0 ohne NFO / 0 falscher Owner / 0 (2)-Kopien**; Jellyfin 530 Items (Refresh 204).
- **Nebenarbeit:** 28 Tutorials-NFOs erzeugt (Studio `Tutorials`, Genre BDSM/Education), 5 root:root-NFOs in PublicDisgrace gefixt, 2 Früh-NFOs mit `studio=Kink.com` auf `Submissed` korrigiert.
- **Offen:** `complete/` 105 GB Löschfreigabe, Quarantäne 163 GB, 7 stale Jellyfin-Rows (mkv/wmv), Disk 88 %.
- SolDoc integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md; Wiki systems/sabnzbd.md (v13 + NZB-Quellen).
## [2026-11-01] Samsung QN90A persistent gerootet + Privacy-Stack via Vetro v0.3.5
- **Root:** samsung-tv-root v0.0.12 (SVE-2025-50109) via Developer Mode, danach Vetro-Service installiert → **self-rooting bei jedem Boot** (Developer-Host-IP jetzt 127.0.0.1, SDB extern zu).
- **Privacy verified:** DNS-Filter 21 Domains (Vetro restauriert je Boot), Voice-Stack aus (voice-all: 31 Apps geflaggt, 0 Prozesse live), ACR/tracking-all (18 Apps), HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0).
- **Pitfalls:** Tizen-App-Graph — Einzelflags verlieren gegen referencedBy-Kanten, Quick-Win-Gruppen nehmen; pkgcmd -D exit 25 (wirkungslos auf diesem Build); sdbd-Client-Slot exklusiv (A2S-Installer blockt Root-Sessions); /wins-firmware-Semantik invertiert; Vetro-/dns-Payload braucht `action:"apply"`.
- **Backups:** tv-privacy-backup-20261101.csv (431 Boot-Flags, Host+TV); Samsung-Partner-Zertifikat unter ~/.config/Apps2Samsung.
- SolDoc integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md + Hindsight; Wiki entities/samsung-qn90a.md NEU + index.md.
## [2026-10-30] CVE-2026-98432 Fleet-Sweep — 26/26 Kernel betroffen, drei Fix-Pfade
- **Befund:** 8 PVE-Hosts (7.0.14-17/-19, Fix ab -25), 8 K8s-Nodes (7.1.8, Branch EOL), 8 Debian-12-VMs (6.1.187, Fix 6.1.190 **schon installiert**), Ubuntu-Node .100 (6.8.0-146, Fix 6.8.0-149 noch nicht released), HAOS 6.18.52. 29 LXC erben PVE-Kernel. 0 gepatcht.
- **Exposition:** Einzige WAN-exponierte Kernel-Instanz ist CT99999 (Traefik-LXC auf proxmox7); K8s-Nodes sehen Internet nur über L7-Proxy (re-originated, keine IP-Options). Kein öffentlicher PoC, EPSS 0,39 %.
- **Konflikt:** 7.1.8 ist gleichzeitig aes256k- und Cilium-kompatibel, aber EOL ohne Fix → nur 7.2.11 (Cilium-Canary) oder Cilium-Upgrade zuerst.
- **Pitfalls:** `qm guest exec` JSON `"out-data" :` (Regex-Fehlalarm 17/17 NOAGENT); `${Version}` in `sh -c` wird im Gast expandiert → `ls /boot/vmlinuz-*` nutzen. „Installiert ≠ läuft" (reboot-required) ist Pflichtspalte.
- SolDoc bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md + Hindsight; Wiki proxmox-cluster.md + rke2-kubernetes.md gepatcht; Skill `security-exposure-audit` um Kernel-Reboot-Regel erweitert.
## [2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
- **Befund (Owner):** seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
- **Fix (Commit f70fe30):** watcher 0.17.1 `IdleScheduler` (fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs.
- **Beweis:** 08:39:51 idle_trigger (45108 s Stille) → CEO claim → Delegation mit karte_id → card_auto_fertig + review_task → „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 Zyklus 2 autonom. 9/9 Sandboxes v5.3, Heartbeats grün, deadman pending 0.
- **Pitfalls:** `--template` schließt `--env` aus (Startkonfiguration ins Image!); systemd-OIDC-Login braucht `Environment=HOME=/root` (sonst „Unknown gateway 'fleet'", Token lief 4 h ab und blockierte den Rollout).
- **Nachtrag 10:40 — Lücke 4 geschlossen:** 5. Deadman-Kaskade `progress` (Commit `f098091`, `fleet-deadman@sha256:73cc5988…`): offener Task (`submitted|working`) mit mtime-Alter > 5400 s → ALARM + escalation an ceo. E2E ALARM 10:38:29 → RESOLVED 10:39:29, Unit-Test 13/13. Pitfall: Test-Tasks brauchen `uuid4()`-`task_id` (Watcher quarantänisiert sonst in Sekunden) und `status: working` (nicht claimbar).
- **Autonomie-Bilanz 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger, 4 Karten Fertig, 4 Reviews, NAR-Zyklus (ciso-Freigabe → Karte `rueckbau-nar-tower-healthz-readonly`).
- SolDoc architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16) + Hindsight; Wiki systems/agent-fleet.md neuer Abschnitt.
## [2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
- **RCA:** devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
- **NAR-Verfahren (Owner-Mandat):** Anträge `[NAR] <ziel>` an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner (`[NAR-ESKALATION]`, P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch).
- **Rollout 9/9 fleet-v5.1** (Digest sha256:7f141019…, Commits d60b7c0/55dcc9a/c0666eb): Gateway-STS-Restart VOR Rollout (default_image wird nur beim Start gelesen), Portforward-Service neu gestartet, Digest je Pod verifiziert; board-service 0.16 (4ea9f7bf) + watcher 0.16 (77657260) synchron; CM fleet-submit-task mit NAR-submit_task.py synchronisiert (Pod-Restart nach CM-Update erzwingen).
- SolDoc bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md (INDEX 52) + Hindsight-Sync; Wiki agent-fleet.md v5.1-Abschnitt ersetzt v5.
## [2026-10-28] p1-image v4 — EACCES-Fix + Autonomie-Mandat für Tower-Weiterentwicklung scharf
- Image `fleet-v4` (sha256:f7fc9e8b…, Commit 5e1b656): HERMES_HOME=/sandbox/.hermes (PVC statt /opt/data 1000:1000 → Erstart-EACCES-Klasse eliminiert), worker stderr 2000z + 1 Retry. Rollout 9/9 grün (Digest je Pod verifiziert), Canary-Erstart LLM RC=0.
- Autonomie-Mandat: Backlog-Karte `dauer-tower-dev` (Owner) am Board; CEO-Self-Dispatch bewiesen (Task 8945e949 geclaimt, status working). Zyklus: Ideation→Priorisierung→Umsetzung→Test→Deploy→Retro, endlos.
- Ops-Fixes: Gitea-SSH-Push-Adresse korrigiert (.200 statt .202 — Wiki trug falsch seit 17.09.); Gateway-Restart nach Digest-Pin nötig (Gateway liest gateway.toml nur beim Start); Port-Forward-Service auf .124 nach Pod-Restart neu starten.
- SolDoc bug-fixes/2026-10-28-hermes-sandbox-hermes-home-eacces.md + Hindsight-Sync; Wiki gitea.md + agent-fleet.md aktualisiert.
## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40).
- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
- Live-Verify im Pod: >500-Call → isError:true + "eintrag fehlt oder laenger als 500 Zeichen" lesbar; valider Call OK (Note eingetragen). CEO-Retry-Task c49978fe eingereicht via submit_owner_task.
- Learnings: MCP-Server-Regel "Validierungen IMMER ToolError"; Signature rc=1+api_call_count==max_turns = verdeckter Tool-Fehler. SolDoc bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md + Hindsight; Wiki agent-fleet.md board-service-Abschnitt aktualisiert (Digest, 9 Tools, Fix).
## [2026-10-27 spät] p0-e2e GRÜN — Phase 0.14 E2E-Abnahme 8/8, Phase 0 KOMPLETT
- Alle Kriterien bewiesen: Owner-Kanäle (Idee→Backlog physisch, Neuer VS→CEO-Task a295dc32, Chat-Thread mit CEO-Antwort gerendert), Beacon 422/200, DB-Selftest (DROP verweigert), Deadman pending 9→0, Watcher-Kill→ALARM→Escalation-Task→Restore→RESOLVED (18:25–18:30 UTC komplett), Landlock 8/8 Nodes.
- **Produktionsbug via E2E gefunden+gefixt:** tower-owner fehlte in VALID_SYSTEM_SENDERS (Commit 0a784fb hatte nur die Typ-Map erweitert — Gate 1 weist zuerst ab). Fix 992cdfb an Disk + CM-Embed. Zusätzlich board-service+watcher Images stale (0.8/0.7) → Neubau + Digest-Pins 69e806a5/92b1470b (89ed639).
- **Vorfall (aufgeklärt+repariert):** DELETE-Test auf heartbeats ging DURCH (app_fleet = DML-Rolle, Annahme „verweigert" war falsch) → alle 8 Heartbeat-Zeilen gelöscht → durch 9 Repair-Heartbeats via Beacon wiederhergestellt, alle 5 Alt-Alarme RESOLVED, pending 9→0. Lektion: destruktive DB-Tests nur mit Prädikat; DDL (DROP) ist der richtige Scope-Check.
- Landlock-Verifikation: kubectl-debug blockiert (TTY) — SSH-Pfad (id_ed25519_cloudinit debian@node) ist der zuverlässige Check.
- SolDoc bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md + INDEX 48; Wiki agent-fleet.md 0.14-Abschnitt + Phasen-Header.
## [2026-10-27 abend] p0-tower GRÜN — Fleet Control Tower live (DOM-Smoke 23/23)
- Phase 0.13 abgeschlossen: Tower-Pod `fleet-tower-…-bsc2p` 1/1 (ns fleet), Image digest-gepinnt `sha256:0ddad265…` (Git==Live), Exposure über VIP 10.0.30.213 (neuer entryPoint `tower-internal` :8445, ipAllowList 10.0.20/40+WG, VLAN 30 ausgesperrt, eTP Local, TLS Interim-CA bis 24.01.2027). Kein DNS-Record → Zugang per VIP-IP wie fleet-webui.
- Abnahme werkzeugbestimmt: DOM-Smoke **23/23 PASS** im Live-Pod (TOWER_URL=Pod-IP, Custom-Server lauscht auf os.hostname() statt 127.0.0.1 — Pitfall) + 5/5 `/api/fleet/*` 200 mit echten Daten (9 Agenten, 200 Journal-Einträge, Kanban). Offen: Owner-G1-Browsertest aus erlaubtem Segment.
- Neue Learnings indexiert: Solution-Doc tooling/2026-10-27-nextjs-custom-server-docker-build.md (node-pty-Builder-Toolchain, kein Runtime-npm-ci, UID 1001 statt 1000, Child-Prozesse COPYen); PAT-017 traefik-ingressclass-silent-ignore (2. Inkarnation!); Evidence-Updates Gitea-OCI-Push (1P-Token als Docker-PW, Push-Log vs. manifest inspect) + ingressClass (eTP-Local-für-ACL); INDEX.md gepflegt.
- Wiki agent-fleet.md: Phasen-Header 0.9 ✓ + 0.13 ✓, neuer Abschnitt p0-tower Live-Facts.
## [2026-10-27] CephFS-aes256k-Kernel-Fenster geschlossen — 8 Nodes auf 7.1.8, Cilium-7.2.9-Bruch entdeckt
- 4 Fleet-Facilities (board-service, deadman, provisioning, spool-watcher) hingen 9 h an CephFS-EINVAL: Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte); Kernel 6.12.x-libceph hat 16-Byte-Limit (`libceph: secret too big 32`). Nur frische Mounts betroffen — RBD lief weiter (mounter rbd-nbd, Userspace).
- Kernel-Upgrade 7.2.9 (trixie-backports) brachte CephFS-Mounts, brach aber Cilium 1.19.4 fatal (`FnSetRetval … R1 is not a scalar`, CrashLoop → CSI-Pods API-unreachable → Node netz-tot für Pods). Rollback auf 7.1.8 (Debs aus apt-Cache worker-04; linux-base-7.1.8 fehlt im Backports-Index) + rolling drain→reboot→verify→uncordon. Danach: Cilium/CSI grün, alle 4 Facilities 1/1, Immich-Backup-CronJob durchgelaufen (snapshot ccadb60e), Immich-Server pong.
- IaC: Kernel-Pin `linux-image-amd64=7.1.8-1~bpo13+1` in `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4 (Commit 590cf2a; vorher state:latest = Zeitbombe). AGENTS.md-Worker-Tabelle war stale (.63 falsch) — Korrektur blockiert (write-protected, kein Owner-GO); kanonisch jetzt Wiki rke2-kubernetes.md (8 Nodes, VM-IDs korrekt).
- Test-Artefakte geräumt (SC ktest/fusetest, PVCs, Pods); VK-Klartext-Reste /tmp/fleet-vk auf mgmt+runner gelöscht; ESO 9/9 SecretSynced. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`; Wiki ceph-cluster.md (Known Issues) + rke2-kubernetes.md gepatcht.
## [2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs
- **Phase 0.8 komplett:** org-registry + board-service + **telemetry**
(601435d3) + **provisioning** (fa39b7cd) live, alle E2E-grün aus dem
Cluster (ConfigMap-Pod-Muster), psql-Beweise erbracht. Baukasten-Muster
dokumentiert (Solution-Doc architecture/2026-10-26-fleet-mcp-facility-baukasten.md).
- **Deadman v2 (Cold-Start-Fix):** nie gesehene Agenten = pending (kein
Alarm), Beacon-Unerreichbarkeit = EIN fail-closed-Alarm, DEADMAN-ALARM.md
auf Board-PVC mit RESOLVED-Zeilen. Digest f700e772, Unit-Tests + live
bewiesen (agents_pending 8, beacon_ok 1).
- **Beacon 0.11 final:** psql heartbeats-Beweis (count=2, ceo 09:27 UTC).
- **Design-Docs (blockieren 0.9/0.13):** sandbox-design.md (21,4 KB, 8
Abnahmekriterien, VK-Platzhalter-Fluss, Strict-Gate-422, Blaupausen) +
tower-design.md (17,2 KB, Fork-Inventar, 3 Tasks, Manifest-Deploy).
- **Subagent-Bilan:** 600s-Timeout systematisch (API-Latenz) — Chair-direct
ist der effektive Pfad; Config-Erhöhung child_timeout_seconds greift erst
nach Session-Neustart.
## [2026-10-26 früh] p0-spool + p0-db GRÜN — Spool/Watcher E2E + Fleet-DB + ArgoCD-ignoreDifferences
- **Phase 0.7 (Spool+Watcher) abgeschlossen:** `submit_task.py` (Schema-
Validierung, Journal, `_invalid/`, fail-loud) + Watcher-Deployment
`fleet-spool-watcher` (Image fleet-spool-watcher:fleet-v1, digest
c51684fd…, 25/25 Smoke) live. E2E beide Richtungen bewiesen: completed
(touch-CMD) + failed (exit-127-Writeback). CephFS-Pitfall gelöst via
initContainer chown 1000:1000 (Root-Dir root:root). TASK_RUN_CMD-Override
NUR via Git — ArgoCD selfHeal reverts kubectl-Patches sofort.
- **Phase 0.10 (Fleet-DB) abgeschlossen:** CNPG `fleet-db` healthy, 7 Tabellen,
App-User `app_fleet` als **CNPG Managed Role** (Bootstrap-Owner hat kein
CREATEROLE — CREATE ROLE im Job failt, Managed Roles sind der Weg).
DROP-Negativtest ok, App-Secret `fleet-db-app` via K8s-API-Readback.
- **ArgoCD-Lektion (neu):** `jqPathExpressions` brauchen **jq-Punktnotation**
(`.spec.probes`, Wildcards `[]`); JSON-Pointer-Syntax (`/spec/probes`) →
`unexpected token "/"`, Mischform → `function not defined`. Plus: K8s-1.35
`status.terminatingReplicas` blockte ALLE fleet-Syncs (ComparisonError) —
Fix jsonPointers. Nach Application-Spec-Änderung `argocd app get root
--refresh` (app-of-apps). Solution Doc:
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`
- **Wiki:** systems/agent-fleet.md um p0-spool/p0-db-Live-Facts erweitert,
Phasenliste aktualisiert (0.7 + 0.10 GRÜN).
## [2026-10-26 früh] p0-bifrost GRÜN — 9 VKs je Agent, Smoke + Prometheus bestätigt
- **Phase 0.6 abgeschlossen:** 9 Virtual Keys (ceo-v3, cto-v2, ciso-v2, chro-v2,
cmo-v2, agile-coach, coo-v2, devops-v2, research), Werte in 1P „Kubernetes ESO",
ExternalSecrets `fleet-vk-<agent>` in NS fleet (ArgoCD fleet Synced/Healthy,
Commit 5d5b26b + 5aa4d31), Mapping `fleet-truth/bifrost-vks.yaml`
(→ `FLEET_BIFROST_API_KEY` für Phase 0.9). Smoke 9/9 HTTP 200, Deny-by-default
403, Prometheus `bifrost_input_tokens_total` je Key 19–38.
- **Pitfalls:** `POST /api/governance/virtual-keys` verwirft `allow_all_keys` →
`PUT …/{id}` mit `key_ids:["*"]` (PATCH 405); echte API nur `/api/…`
(`/api/v1/…` liefert SPA-HTML mit 200); Modellnamen brauchen `noris/`-Präfix;
Reasoning-Modelle: Smoke über Status + usage, nicht Content; ESO-Defaults
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
in Git pinnen, sonst ArgoCD-Drift bei leerem Diff.
- **Altlast:** 1P-Items `VK ceo (v2)`/`coo (v2)`/`cmo (v2)`/`devops (v2)` halten
13-Zeichen-Platzhalter (401) — Löschung vorgeschlagen. 9 Alt-VKs noch aktiv
(Deaktivierung = Owner-GO).
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
## [2026-10-25 spät] Fleet-Rebuild p0-image GRÜN — Gitea-OCI-Push-Kette + ESO-b64dec
- **Phase 0.5 abgeschlossen:** Agent-Image `git.schoen.codes/dominik/hermes-agent:fleet-v1`
= digest `sha256:32eda413…` in Gitea-Registry (1,07 GB), digest-gepinnt in
OpenShell-Values (Commit 640e051), ArgoCD Synced/Healthy, gateway.toml
`default_image` live. E2E: Kubelet-Pull 34,6 s, jq intakt. Pull-Secret
`agent-fleet-registry-pull` out-of-band NS fleet.
- **Solution Docs:** integrations/2026-10-25-gitea-oci-registry-push-chain.md
(http-Realm-Bug Gitea 1.27, Traefik-499-Manifest-PITFALL: Blobs idempotent →
einfach erneut pushen; port-forward überlebt keine SSH-Session) und
bug-fixes/2026-10-25-eso-decodingstrategy-pruned-b64dec.md (ESO v2.2.0 prunt
decodingStrategy → b64dec IM Template; Mischung = Doppel-Dekodierung schreibt
Fehlerstring als Secret).
- **Wiki:** systems/agent-fleet.md (Rebuild-v2.5-Abschnitt + Freeze-Status) und
systems/gitea.md (Container-Registry-Sektion + Push-Runbook) aktualisiert.
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch
Bifrost, 159–268 ms, VK-Policy erlaubt alle).
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash ·
COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206),
Config-Backups je CT.
- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab
(HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in
/root/.hermes/config.yaml (CT 202/206). Flash unempfindlich.
- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey.
- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung
(tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h:
1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK)
— jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h
hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem
(315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen
7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde).
Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei-
namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call.
Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär.
Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär.
- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26,
CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver-
arbeitung von already-processed) — kosmetisch, beobachten.
- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION-
STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout.
Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB).
- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage
à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten
(Output-15×-Reduktion, lokales Mapping) → **v3.6.2 (TTIMEOUT 900 s +
TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren)**.
- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2
(p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed;
Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert.
- Wiki `systems/agent-fleet.md` Poller-Abschnitt → v3.6.2; Solution-Doc
Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt.
## [2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout
- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf
CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7
fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe
`ceo` statt `ceo-v2` (real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung,
Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3
(head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen).
- Journal-Diagnose: `journalctl -t fleet-mail` (TAG), `-u` verschluckt
Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert.
## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true,
401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A,
JSONB lit(), import secrets, LXC/QEMU-ID-Raum).
- Clone aus CT 161 blockiert (Bind-Mounts: Snapshot UND Full-Clone API 500);
W1-Klone liefen vor Mount-Anhängen — Annahme korrigiert. Workaround-Beauftragung:
Seed-CT 199 via vzdump/restore (Owner-GO), CISO-Seed-Review vor First-Sandbox-Go.
- Aufträge in inbox-ceo/new: 1792782897 (GitOps-Hiring-Pipeline via OpenTofu),
1792784178 (Seed 199 → COO/CMO-Sandboxes + W3-Teamaufbau-Plan bis 26.10.).
CISO quittierte 21:33 Lane + Threat-Modell-Ansatz.
- Solution-Doc: bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md
(erste Version tlw. entstellt, komplett neu geschrieben); Hindsight retained. Wiki agent-fleet.md erweitert.
## [2026-10-23] agent-fleet-b-inputs — PB1–PB7 geliefert (Owner-Proxy, AL3)
- Lieferte PB1–PB7 (B-Inputs) als Owner-Proxy: PB1 Fleet-DB (`fleet_rw`),
PB2 openshell_controller-Vertrag v0, PB3 cto-deployer-RBAC, PB4 Bifrost-Admin
+ Monitoring, PB5 Test-NS agent-fleet-test, PB7 Capacity (Zaun 12 bestätigt).
- Debug-Story: CNPG-PW-Rotation per Unix-Socket-`ALTER ROLE` (Owner-Reconcile
erkennt Secret-Änderung nicht), ArgoCD-Retry-Loop bei unbekanntem CRD.
- Solution Docs: cnpg-managed-role-password-rotation.md,
argocd-unknown-crd-blocks-autosync.md; Hindsight retained.
- PB1: CNPG-Managed-Role `fleet_rw` (managed.roles, ExternalSecret→1P), rw-LB **VIP 10.0.30.214:5432**, psql+pgpass in CT 163, Schema-Dump am Board. Sofort-PW-Rotation nur via `psql -U postgres` über Socket (Owner `fleet` darf kein ALTER ROLE; CNPG-Reconcile zu langsam) → Solutions-Doc `integrations/2026-10-23-cnpg-managed-role-password-rotation.md`, Hindsight retained.
- PB2: openshell_controller-Vertrag v0 (API-Doku + Blueprint `hermes-sandbox` v1 hash-gepinnt sha256 a5611966…b3f1 + Machine-Token in 1P `openshell_controller Machine-Token` + CT163 /root/.secrets/).
- PB3: SA `cto-deployer` NS-scoped RBAC + kubeconfig/kubectl in CT 163, Negativ-Tests live (kein ClusterScope/secrets-read). M5 (Web-UI-Deploy) entblockt.
- Wiki `systems/agent-fleet.md` um B-Inputs-Sektion erweitert.
## [2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas
- B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target `beacon` UP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest.
- SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats).
- ARGOCD-GOTCHA: Sync-Operation wartet bei sync-wave-Health-Gating ENDLOS auf ein mid-sync gelöschtes Objekt; /operation-Removal per JSON-Patch wird abgelehnt (invalid), Retry weckt die alte Operation. Zuverlässiger Unlock = Supersede via neue Revision (kosmetischer Annotation-Bump + Push, hier Commit ecbef3c). Regel: Wave-Objekte nie löschen, solange eine Operation wartet.
- ESO-GOTCHA: Brandneues ExternalSecret wurde vom 18d alten Controller ignoriert (0 Reconciles, keine Conditions); nach `rollout restart deployment/external-secrets` + Re-Apply instant sync <10s. Probe-ES in 2 Namespaces bewies Controller/Store intakt. Causality nicht sauber isoliert (ArgoCD-Wedge überlagerte) — Verdacht stale Watches.
- REGISTRY-FLAKE-RCA: CI-Run 94 starb am größten Blob (Gitea PutBlobsUpload 500 unexpected EOF), manuelles docker push DESSELBEN Images aus DEMSELBEN dind-Daemon ging sofort durch → transienter Hairpin-Flaker, Workflow (klassisches build+push, GW aus /proc/net/route) unverändert korrekt.
- iac-homelab: beacon.yaml + beacon-registry-pull.yaml (ESO←1P `SchoenKitchen Registry Pull`, dockerconfigjson) + ecbef3c via canonical; ArgoCD-App Synced/Healthy.
- Solution Doc: bug-fixes/2026-10-22-argocd-stuck-sync-wave-health-gate.md; Wiki systems/agent-fleet.md (Beacon produktiv, Offene Punkte aktualisiert).
## [2026-10-22] agent-fleet-phase0 | Bifrost-LLM-Ingress live (LiteLLM-Pivot) + Beacon v0 approved
- PIVOT: Nutzer-Entscheidung „Bifrost statt LiteLLM" — ai.noris.de ist selbst Bifrost-Gateway (gleicher Upstream-Dialekt). Plan-Doc im agent-fleet-Repo mit Pivot-Vermerk gepatcht (LiteLLM-Abschnitte A3/A4 superseded), Commit 2663870.
- A3' FERTIG: maximhq/bifrost (Chart 2.1.45, app v2.3.1) als StatefulSet bifrost-0 im NS agent-fleet, VIP 10.0.30.210:8080 (cilium lb-ipam), SQLite auf ceph-flash PVC 5Gi. Provider noris (openai-Dialekt → ai.noris.de), Key via ESO aus bestehendem 1P noris-api-key (kein Dupe). E2E-Inference verifiziert.
- MODELL-POLICY (Nutzer-Regeln 22.10.): VK vk-fleet erlaubt NUR vllm/release/* (regex ^(noris/)?vllm/release/.*), deny-by-default, kein qsu, keine Anthropic-Modelle, kein Budget-Cap (A10). Live getestet: qsu→403, anthropic→403, release→200 (glm-5-3 + flash). VK-Wert in 1P 'Agent-Fleet Fleet-vkey' (Feld credential); Bifrost regeneriert VK-Secret bei Config-Changes NICHT.
- METRICS-FALLE: /metrics liegt HINTER der Auth-Middleware (Pivot-Annahme widerlegt) → ServiceMonitor im NS agent-fleet mit basicAuth gegen bifrost-admin; Prometheus-Target UP. Weitere Fallen: SPA-Fallback fälscht HTTP 200 (nur application/json = echte Route), Modellnamen brauchen noris/-Präfix, ArgoCD-CLI vom Host tot (ClusterIP) → Refresh via kubectl annotate.
- B1 FERTIG: Beacon-Scaffold (Heartbeat-API, /metrics, 10 Tests) — Review APPROVED, beide Important-Funde gefixt (Int-Coercion 400 statt 500, Prom-Label-Escaping), Commits 5660738+b3b4b9f im agent-fleet-Repo (lokal).
- iac-homelab: Commits 24da51d→c761e8a→ad04ff5→fcb5a05 via Remote canonical (SSH); alle ArgoCD-Apps Synced/Healthy.
- Solution Doc: integration/2026-10-22-bifrost-helm-deployment-gotchas.md; Wiki NEU: systems/agent-fleet.md.
- OFFEN: B2 (Beacon-Deploy: Image-Build, Manifeste, schema.sql→CNPG), D1 (CT fleet-control), Governor-Skeleton, Tier-Aliase heavy/default/light.
## [2026-10-21] evcc-alwayscharge | Nächtliches Netzladen der SMA-Wallbox: stiller UI-Override als Root Cause
- SYMPTOM: Kona lud über Nacht dauerhaft ~3,5 kW Netzstrom (2 Nächte, 74 kWh, ~24 €). evcc-Log zeigte 0 W — weil das vorgelegte Log erst NACH einem evcc-Restart begann (Sessions enden/starten bei Restarts!). Beweis führte erst `/api/sessions`: Zähler 4041,459→4084,424 kWh exakt über das Nachtfenster.
- ROOT CAUSE: `alwaysCharge=on` (evcc-UI „Mit min. laden ∞"), versehentlich 14.10. 19:53 gesetzt — übersteuert smart/PV-Modus still; das Log begründet NIE, warum geladen wird. Technische Ansteuerung (HA-Template-Charger) war korrekt. Fix: `select.evcc_wallbox_always_charge`→off, doppelt verifiziert (HA-State + evcc-API).
- CLEANUP: Deprecated `minCurrent`/`maxCurrent` aus evcc.yaml entfernt (Backup `evcc.yaml.bak.20261021_depkeys`), Addon-Restart via Guest-Agent `ha addons restart 49686a9f_evcc` — Startup clean, effektive Limits 6/16 A weiterhin aus UI-DB. Verdachtsdiagnose „Recorder-Lücke" widerlegt (History-API-Row-Caps als Phantom-Lücken; ~700 Samples/h persistiert, 0 Galera-Fehler).
- ZUGANGSPFAD ETABLIERT: HAOS-VM106 ohne SSH via PVE QEMU-Guest-Agent-Exec (root, incl. `ha`-CLI). Gotcha: `out-data` mal Base64, mal Plaintext — Try-b64-then-plaintext. Host-Pfad `/mnt/data/supervisor/homeassistant/` = Container `/homeassistant/`.
- OFFEN: Dual-Master SHM 2.0 (10.0.50.204) aktiv neben evcc — native EEBus-Migration später; Option 4 (Netzladen-Alarm-Automation) angeboten, nicht genehmigt.
- Solution Docs: bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md + workflows/2026-10-21-haos-qemu-guest-agent-file-access.md; Wiki NEU: systems/evcc-wallbox.md.
## [2026-10-19] jellyfin-bootstrap | Jellyfin 12.2 per API bootstrapped — 4 Breaking Changes entschärft
- LOCKOUT AUFGELÖST: Nach Wizard-Complete-ohne-User funktionierte das programmatische Setup endlich; Kernfund: 12.2 parst Auth NUR via `Authorization: MediaBrowser ...` — der alte `X-Emby-Authorization`-Header wirft ArgumentNullException (HTTP 400, leerer Body), was wochenweise wie „falsches Passwort" wirkte. Zweite Falle: `/Startup/User` will Feld `Name` (nicht `Username`) — falscher Feldname antwortet 404 wie ein fehlender Endpoint. Drittes: Empty-DB-Boots seeden automatisch User `root` (Login trotzdem 401, irrelevant). Reihenfolge: Configuration → Startup/User → Complete; Recovery bei frühem Complete: system.xml `IsStartupWizardCompleted=false` + Pod-Restart.
- ScheduledTasks-Routen geändert: Trigger-Update = `POST /ScheduledTasks/{id}/Triggers` (PUT→405), Run = `POST /ScheduledTasks/Running/{id}`. Swagger disabled, aber `OPTIONS` zeigt Allow-Header — beste Sonde. Chapter-Images- + Trickplay-Tasks entschärft (leere Trigger) wg. RO-Media-Mount.
- LIVE: Admin `dominik` (1P „Jellyfin Login dominik", Vault Kubernetes ESO), Library „Medien" (movies, /media), 115 Szenen indiziert, NFO-Metadaten verifiziert (Studio/Genre/Plot/Actors). Movies-Kollaps-Falle erkannt: Movies-Library zeigt 1 Film pro Ordner + Rest als unsichtbare Extras — für Szenen-Bibliotheken `homevideos`/untypisiert empfehlen (NFO-Parsing identisch).
- DATA-HYGIENE-FUND: DeviceBondage enthält 8 Szene-Paare (Alt-Salvage-MKV 720p ~600 MB + frische 1080p/4K-MP4 3.5–7 GB, darunter 4K/Iris Leon) + Melissa Stratton dreifach (2 Releases identische Dauer) — Entsorgungspaket ~5 GB wartet auf GO. Queue läuft weiter (Deeper 193 GB, nzbindex-5 98 GB, Devicebondage 22 GB left); Sorter arbeitet live korrekt (87 neue Files heute, Namenskollisionen als „(2)" aufgegangen).
- Solution Doc: `integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`; Wiki NEU: `systems/jellyfin.md`; ip-map +.206/.207/.209 vervollständigt.
## [2026-10-19] sabnzbd-vaapi-converter | AppleTV-Pipeline v6: 3 Guard-Bugs in einem Tag gefixt
- TASK: „Konvertiere alle MKVs zu AppleTV-MP4" → VAAPI-GPU-Pipeline als Converter-Sidecar im SABnzbd-Pod (worker-05 einziger iGPU-Node, renderD128 GID 991, privileged nötig wg. Devices-Cgroup; 5,7× schneller als libx264, Benchmark 4,3 s vs. 24,7 s).
- BUG 1 (v5, kritisch): ffprobe `-of csv=p=0` QUOTET Komma-Werte → `format_name` = `"mov,mp4,..."` mit Quotes → Skip-Guard matchte NIE, v4 re-encodede vorhandene gute MP4s. v2 hatte zwischendurch Lenas Morgen-Remux überschrieben (304→261 MB) — bit-exakt aus unangetasteter MKV restauriert (304.544.460 B). Fix: `${fmt//\"/}` vor Vergleich.
- BUG 2 (v4): Partials-Discard-Case stand NACH dem generischen `*/incomplete/*`-Park-Case → unerreichbarer Code, `.converting.mkv`-Rest wurde nie verworfen. Fix: case-Order spezifisch→generell.
- BUG 3 (v6): Park-Case matchte nur Pfad-Präfix OHNE Existenz-Check → 33 Jobs parkten auf Phantom-Pfaden weiter, obwohl SAB die Quellen längst nach complete/ verschoben hatte. Fix: `[ -f "$src" ]` als Frische-Beweis, sonst fällt Job zum Resolver durch.
- META: Alle 3 Bugs saßen in GUARDS (Skip/Discard/Park), nicht in Encode-Logik — Guard-Fehler = Datenqualitäts-Incidente. Temp-File-Disziplin (`.converting.mp4` + Rename-on-success) rettete Daten beim v4-Kill. Rollout-Rezept: CM-Skripte in configmap.yaml, Annotation-Bump `converter-script-version` (bash liest nur beim Start) + CM-Delete + ArgoCD-Refresh.
- CNP-ARC (gleiche Saga, Commits 6b02f9e/fac9524/ab95f45): 4 stumme Cilium-NP-Fallen — Selektion⇒Default-Deny, `egress: [{}]`=Null-Allow (kein Wildcard!), `io.kubernetes.service.name`=kein Identity-Label (→`k8s-app`+kube-system-NS), VIP-Ingress SNAT't als world (→fromEntities). Eigene Doc: `bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`.
- STATE: v6 deployed, Pod 3/3, alle 6 ErikaLust-MP4s verifiziert intakt (Skip-Guard greift), 33 Jobs parken legitim (Multi-Release-NZB, Move erst wenn ALLE Sets fertig, 12-h-Cap by design). Originale unberührt bis Lösch-GO. Solution Doc: `bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md`; Wiki neu: `systems/sabnzbd.md`.
## [2026-10-12] ha-repairs-cleanup | Stale-Ghost-Errors identifiziert, fehlgeleiteter Rename revertiert
- ANLASS: Repairs-Seite zeigte 34 aktive Issues (5 Errors). Deep-Dive: 4 der 5 Errors waren Stale-Ghosts (Automation längst gelöscht, Services wieder da) — HA Issue-Registry räumt nicht selbst ab.
- FEHLGELEITETER FIX + REVERT: These war, `notify.mobile_app_iphone_dominik` sei tot (14× in automations.yaml). FALSCH — Verwechslung von Entity (`notify.iphone_dominik`, nur in get_states) und Service (`notify.mobile_app_iphone_dominik`, in get_services). Der 14-fache Rename brach die Pushes, ein neuer Frigate-Error erschien sofort. Sofort-Revert aus `.hermesbak-20261012` (MD5-identisch), `automation.reload`, verifiziert: 14 echte Refs zurück, 0 Phantom-Refs.
- BOOT-RACE-ERKENNTNIS: HA validiert Automations VOR Registrierung spät ladender Integrations-Services (Tibber, OpenEPaper, mobile_app) → die 4 Error-Repairs entstehen bei JEDEM Start neu und sind nicht durch Config-Fixes wegzubekommen. Persistieren tun sie trotzdem (Registry räumt nicht ab).
- DIMMER: Alt-Automation `1697532906675` (toter Trigger `ba828033…`) via entity_registry `disabled_by:user` deaktiviert (nicht gelöscht) — dieser Fix bleibt bestehen und ist korrekt.
- RESTART 12.10.: Clean in ~2 min (NOT_RUNNING→RUNNING). Repairs-Diff: 35→20 Issues (16× HACS weg, Dimmer-Error weg, Xenia-Units-Warnung weg). Residual: 5 Errors (4 Boot-Race + 1 Sticky aus dem revertierten Rename) + 15 Warnings (InfluxDB-YAML, HTTP-YAML, Solcast, Cupra, Battery-Notes, Templates).
- LEARNING: (a) Service-Targets IMMER via `get_services` verifizieren, nie via `get_states` — mobile_app registriert gleichnamige Entities als Köder; (b) Repairs-Error = Hypothese; (c) Backup-first erlaubte Zero-Damage-Revert in <2 min. Solution Doc: `bug-fixes/2026-10-12-ha-repairs-stale-ghost-issues.md` (mit Korrektur-Sektion).
## [2026-10-12] recipe-pipeline-repair | Post-Scrape-Pipeline war seit 26.08. komplett tot
- Der erste v8.1-Produktionslauf (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen; Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief NIE seit Deployment).
- ROOT CAUSES: (1) Classifier+Normalizer: DB_CONFIG bekam am 26.08. Timeouts hinzu, Calls übergaben sie zugleich explizit → deterministischer TypeError (got multiple values for kwarg connect_timeout) bei jedem Lauf; (2) Embeddings: read_timeout=60 < 67,6 s für die Count-Query (Full-Scan) → Lost connection bei Query Nr. 1; (3) Verschüttet dahinter: harrier-Embedding-Modell-ID `vllm/harrier-oss-v1-0.6b` → 403 model_blocked (noris-Realm-Migration) — dieselbe Namespace-Falle wie beim Flash-Pinning 11.10.
- FIXES: Kwargs-Duplizität entfernt (3 Stellen), read_timeout 60→300 in allen Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits), Pipeline-Gate in v8.1: läuft jetzt IMMER (inkrementell, chipt am Backlog auch bei 0 Neuscrapes). Realm-Opfer mitgefixt: semantic_search.py + recipe_mcp_server.py (tote harrier-ID).
- VERIFIKATION: Drain live — Classifier ~230/s (0 Errors), Embeddings nach Realm-Fix ~58/s (0 Errors, ETA ~40 Min für 138k). Dimensionen kompatibel (1024).
- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet).
- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor.
- ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft).
- NACHTAG 13.10. (Bug #7 + Galera): (f) VIERTES Familien-Mitglied: `embedding` LONGTEXT inline im Clustered Index (~5 GB) — JEDE `WHERE embedding IS NULL`-Query ist Blob-Scan, degenerierte 91/s→2/s über 11 h bis read-timeout-Tod bei 89.216; Redo-Sweep danach mit Keyset-Watermark (`embedding_watermark`-Tabelle, Zwei-Pass) fertig: 49.315 in 3.029 s, 0 Errors → **198.133/198.133 = 100 % embedded** (arithmetisch + `emb_pending=1`=0 auf allen Nodes bewiesen). (g) Wurzel-Kur: Generated Column `emb_pending` + Composite-Index → NULL-Seeking = Index-Seek; Batch-Query umgestellt; Fingerprint-Shortcut 2,2 s Exit 0. (h) GALERA-EPISODE: DDL-ToI-Build auf kaltem mariadb-03 (.73, 4-GB-Pool) dauerte ~35 Min → Applier-Queue 29 → Certification-Stalls clusterweit; self-healed (Queue 0, Index auf allen Nodes), KEIN Restart nötig. Lessons: Galera-KILL ist NODE-LOKAL (VIP-KILL traf falschen Node, Zombie überlebte 485 s — erst `@@hostname`, dann killen); Terminal-Timeouts töten Shells nicht Python-Kinder (Waisen-Queries mahlen weiter); DDL auf großem Table = Bufferpool-abhängige Bremsklotz-Kette. E2E-Steady-State-Test bestanden (Fake-Insert → instant Detect → Embed → Cleanup).
## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben
- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft".
- ROOT CAUSE (drei ineinandergreifende Bugs): (1) `state["tried"]` wurde jeden Lauf geleert → 403-Gescheiterte täglich neu gehämmert; (2) `todo[:max_new]` schnitt immer die ERSTEN N URLs ab → Frontier eingefroren (allrecipes: 48.626 entdeckt, ~42k nie berührt; remaining=2000 drosselte zusätzlich); (3) Budget zählte Loop-Iterationen statt Fetches → Gratis-Dedup-Skips verbrannten das Budget.
- FIX (Skript `recipe_scraper_v8_intl.py`, Backup `.bak-20261012-frontierfix`): Persistente Failure-Memory in neuer DB-Tabelle `scraper_fetch_log` (PK=url_sha1 statt VARCHAR-PK — InnoDB 3072-Byte-Key-Limit!, Quarantäne-Eskalation 1/3/7/14/30 Tage, dead nach 8 Fails oder 404/410, Forgiveness bei Erfolg); rotierender Frontier-Cursor `frontier_pos`; Budget=zählt echte Fetches; Soft-Deadline 6 Min/Quelle; Sitemap-Refresh 7 Tage (Timestamp nur bei Erfolg); 403/429-Fingerprint-Second-Opinion (1 Retry, rotierend chrome136/firefox135/safari184 — Probe zeigte ratelimit-artige, nicht fingerprint-harte Blocks).
- VERIFIKATION: Smoke-Test allrecipes Budget 15 → **+15 Rezepte in 104 s**, Cursor 0→5015 (5000 Gratis-Skips + 15 echte Fetches), fetch_log-Tabelle angelegt, 0 Errors. Danach Produktionslauf des Cron-Jobs gefeuert (Ergebnis folgt asynchron).
- LEARNING: Cron-Reports sind Sekundärquellen — die tried_counts im State (vielfach exakt 2000 = Cap-Höhe) widersprachen der „ausgeschöpft"-Behauptung sofort. Immer State/DB gegen Behauptungen prüfen.
## [2026-10-12] monero-recovery-complete | 44EYUD-Wallet vollständig recovered
- Passwort geknackt (2021er Keys aus Seafile _Recovery), Adress-Verifikation exakt 44EYUD…, finaler Vollsync: **0.446785648368 XMR**, keine Bewegung seit 06/2021.
- Root Cause Seed-Mismatch: Wallet nutzt **deutsches Mnemonic**; der dokumentierte Seed in Monero_Recover.txt war eine englische Transkription → leitet leere Zweit-Wallet (49PKAh, 0 XMR) ab. Goldstandard-Check bestanden (Offline-Restore aus DE-Seed → 44EYUD).
- Passwort + DE-Seed + Adresse → 1P Vault „Hermes" Item „Monero Wallet 44EYUD (Haupt-Wallet)". Alter EN-Seed als verworfenes Artefakt markiert.
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md (Auflösungs-Sektion ergänzt: Harness-Kalibrierung, Salt-Fehlschluss, 1P-Notes-Falle).
## [2026-10-11] xenia-power-sensor-fix | Xenia _2-Sensor: Rename-Ketten-Tod seit Aug behoben
- Diagnose: `sensor.xenia_current_power_2` (GUI-Template) seit ~Aug `unavailable` — NICHT WiFi/offline. Template referenzierte `sensor.xenia_current_power`, der per Entity-Registry-Rename inzwischen `sensor.current_power_consumption` heißt → String-Referenz tot → float(None)-Render-Fehler. Maschine war die ganze Zeit online (REST 12–50 ms, 5 parallele Requests 200).
- Fix: Options-Flow auf `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × sn_3007105790_metering_voltage_l1|float(0)` (attr-basiert = rename-immun). Pitfall: Teil-Submission wischt Metadaten — ALLE Felder (state/unit/device_class/state_class) gemeinsam; `name` nie im Options-Flow mitschicken. Live: 0.0 W ✓, Metadaten W/power/measurement ✓.
- `xenia_total_energy_2` bleibt vorerst `unknown` (Integration-Helper braucht state-change-trigger; idle 0 W triggert nicht) — selbstheilend beim nächsten Kaffee. Wrapper `xenia_active_power` + „bekannte Geräte" profitieren ab sofort.
- Lessons: (1) GUI-Template-Strings überleben Entity-Renames nicht — beim Rename grep über core.config_entries+configuration.yaml. (2) REST-Sensoren feuern nur bei Wertänderung: 2 Recorder-Punkte/3 Tage ≠ offline-Wochenende. (3) ESP32-Ping-Jitter (avg 173/max 550 ms) = WiFi-Power-Save, HTTP-Latenz ist das Wahrheitskriterium. (4) MA_CUR_PWR ist Ampere → ×L1-Spannung.
- Offen (manuell, Setter defekt): Xenia-Web-UI MA_MAX_AMPERE 0→10, MA_SET_TIMER_ECO_MA 0→5 (Fehlschrieb 05.10.). Solution Doc: integrations/2026-10-11-xenia-current-power-rename-chain.md; Wiki homeassistant.md (Xenia-Abschnitt neu).
## [2026-10-11] l0-purpose-fit-audit | Wave 2: Zweck-Fit aller L0/SOUL-Dateien (aller Profile) hergestellt
- **Auftrag:** „USER.md franst aus — prüfe alle Dateien auf ihren eigentlichen Zweck", später verschärft: gleicher Maßstab überall (auch für default).
- **Mechanik-Befund (Source-verifiziert):** Profil-Sessions sehen die default-L0 **NICHT** (`get_hermes_home()/memories/` je Profil; 5 Gateways mit eigenen state.db). „Basis in default-MEMORY"-Pointer in Profil-L0 waren daher irreführend → alle 4 Profil-MEMORYs auf Wiki-Pointer umgestellt.
- **Rot behoben:** pers-SOUL-Kalorien-Split-Brain (statische 97 kg/3.255 kcal/BMR 1874 vs. HA-Truth 92,4 kg/live) → Struktur-Block: Zahlen nur aus HA-Tracker/Wiki, EFT-Anker 82 kg, Beispiele neutralisiert. Safety-Core (Nie-löschen/Nie-auto-Mail/crash-alert) in infra/nutri/pers-USER nachgerüstet. infra-USER Chef-Widerspruch rekonziliert.
- **Gelb/grün behoben:** default-USER decluttered (IaC/Laya-Dubletten raus — MEMORY trägt sie; Resilience→infra-SOUL-SLA; Sauna-Binding→pers-USER; Restore-Doktrin→Wiki seafile; vm_disks→Wiki proxmox). nutri-MEMORY: SchoenKitchen+CT99999+Jinja2→Wiki systems/schoenkitchen (NEU), Rezept-Feedback→Hindsight (Ofen-Lachs migriert). dyn: E1/E2/E3-Status USER→MEMORY, SOUL Schul→KiGa-Reste. nutri-SOUL: Rezept-DB 36.251 (statt „25.000+"), Filename-Konvention Unterstrich, Feedback→hindsight-Doktrin.
- **Meta-Lesson:** Eigene erste Bewertung hatte Grade-Inflation für default („✅ gut" bei 6 fehlplatzierten Zeilen) — symmetrischer Maßstab erst auf Nachfrage des Users. Solution Doc: architecture/2026-10-11-l0-purpose-fit-audit.md.
- AGENTS.md(iac)-Write vom Protection-Guard geblockt (Approval-Timeout) — vm_disks-Konvention stattdessen ins Wiki; AGENTS.md unangetastet.
## [2026-10-11] pv-forecast-fixes | Alle 3 PV-Forecast-Fixes deployed (User-GO)
- (1) TZ-Fix v2-Optimizer deployed 18:29 (tzinfo=BERLIN, Backup .bak-20261011-tzfix): Live-Tick 18:28 zeigte korrekte Sunset-Kurve (36 W/18:30 statt ~1750 W Phantom). Offline-Unittest bewies buggy(t)==fixed(t−2h) exakt.
- (2) Reload-Race-Crash 18:43 (Solcast-Options-Reload → Sensoren 16s unavailable → Tick crashte doctrine-konform): Gefixt via collect_solcast_pools() 3×10s-Retry, loud, beide Pool-Blöcke (main+shadow) ersetzt.
- (3) forecast.solar: KEIN kompletter Rebuild nötig — Subentries validiert (Dach SW/SO-Split 62/38 ↔ 5760/4000 W passt zu Messdaten). Ergänzt: "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W) für HM-1500 (2× 750 W SW/NE), Device-Rename via WS config/device_registry/update, Area Photovoltaik. HA-Parser KORREKT — früherer +2h-Verdacht war Eigen-Curl-Artefakt (time=utc fehlte); Zelt-Sensoren fielen exakt zum Sunset auf 0.
- (4) Solcast auto_dampen=True + get_actuals=True (Validator-Kopplung!), Kalibrierquelle sensor.pv_production; Actuals-Fetch verifiziert (solcast-actuals.json 91 KB, generation ab 03.10.), Dämpfung startet 1.0.
- (5) sensor.pv_daily_energy_total repariert (Options-Flow): SBS-Batteriedurchsatz RAUS, Hoymiles REIN: 19,44→22,03 kWh.
- HA 2026.9.4 API: Config-Flow POST /api/config/config_entries/flow; Options /options/flow; Device-Rename nur via WS config/device_registry/update; Entry-Titel-Endpoint fehlt (Subentry-Titel via Config-Flow "title"-Step).
- Abgeschlossen: 18:58-Tick-Verifikation des Retry-Rings BESTANDEN (sauber durchgelaufen, plan_pv_forecast now=12 W, positive 24h-Kosten 9,08 € statt Phantom-Einnahmen). Offen: Solcast-Dämpfungs-Learning über kommende Tage beobachten.
## [2026-10-11] pv-forecast-audit | PV-Anlagen-/Forecast-Inventur + Solcast-Decontamination
- Inventur 6 Arrays / 4 WR: 2×SMA SB (je 2 Strings, Ausrichtung je String unklar), SMA SBS (BYD, keine PV-Strings), HM-1500 Zelt (2 Module SW/NE), Schuppen 1+2 (SW, 5° flach). Antwort auf "vernünftige Forecasts für alle?": NEIN — HM-1500 völlig ohne Forecast, forecast.solar 4 Sites parametrisch fragwürdig (Dach-Sites ohne belastbare WR-Zuordnung), Solcast nur 1 gemittelte Site.
- ROTER Befund 1: Solcast-Aggregat (PV-Input des EMHASS-v2-Optimizers!) enthielt die Solcast-DEMO-Site "Ogdak Netherlands" (Apeldoorn/NL) — ~9,6 von 23,4 kWh Tagesphantom. User-Freigabe erteilt, sofort gefixt via HA-Options-Flow HTTP-Endpoint (HA 2026.9.4: WS-Flow-Befehle entfernt!, Endpoint `/api/config/config_entries/options/flow`): exclude_sites=["59c8-caae-52f5-1686"]. Verifikation: Prognose heute 23,44→13,83 kWh; Optimizer-Tick 18:13: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW.
- ROTER Befund 2: TZ-Bug in emhass_optimizer_v2.py::build_pv_series numerisch bewiesen (Offline-Replikation traf publizierte Werte exakt): Berlin-Wallclock-Keys werden als UTC re-tagged → +2h-Versatz im PV-Plan. Published 17:30 = 2384 W, korrekt wären ~163 W. 1-Zeilen-Fix (tzinfo=BERLIN) vorgelegt, wartet auf GO.
- Side-Findings: sensor.pv_daily_energy_total zählt Hoymiles nicht mit (−11%) und SBS-Batteriedurchsatz als PV; forecast.solar-API liefert lokale Timestamps (gleiche TZ-Fehlerklasse möglich); Solcast-API-Quota 30/Tag nahe erschöpft durch 2-Site-Polling; EMHASS-Addon-interner Forecast (open-meteo/pvlib, Fronius/CSUN generisch) irrelevant da v2 published.
- Nutzerbeschluss: forecast.solar komplett neu bauen (Todo). Doku: Solution Doc integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md, Wiki homeassistant.md + emhass-cascade-architecture.md gepatcht.
## [2026-10-11] memory-system-audit-execution | P0/P1/P2 des Memory-Audits umgesetzt
- **P0:** Portainer-CT111-Token zusätzlich in 1P (Vault Hermes, Item `Portainer API Token LXC 111 (proxmox5)`, id it2bbkhn5ddbk7rdaxe5bsqttm) — Token bleibt bewusst auch in infra-sre MEMORY.md (User-Entscheid). Solutions-Repo: Gitea `dominik/solutions` (privat) neu erstellt + 15+ untracked Docs committet/pushed (c7144bb); S3-Tar-Scope um `~/docs` erweitert (backup-to-s3.sh). `~/.hermes/memories`-Remote http→https gefixt, 3 Monate Stillstand beendet (Push e3a4bf3). `sessions.auto_prune: true` in config.yaml (state.db 2,1 GB stoppt Wachstum; Prune-Läufe durch Hermes selbst, min_interval 24h).
- **P1:** DELTA-Prinzip für Profil-MEMORYs etabliert (gemeinsame Fakten nur default+Wiki): infra-sre, dynamic-coach, personal-coach umgeschrieben; Widersprüche behoben: Apple Watch (nutri-USER), Schulkind→Kinder garten (dyn-SOUL+MEMORY), Immich-PROD, Mintos 33,5k kanonisch. default-MEMORY.md neu strukturiert als Einstiegspunkt (2.250 Bytes UTF-8 ≈ 2.178 chars, im Budget). Neue Wiki-Seiten: entities/finanzen-immobilien.md (aus L0), entities/health-fitness.md refreshed (Oura-Telemetrie aus personal-coach L0 konsolidiert).
- **P2:** Wiki-index.md: Immich-Asset-Count 56.887→86.316, Totlink entities/dominik-schoen entfernt, finanzen+drift-report verlinkt, PAT-Dublette aufgelöst (llm-backend-hang behält PAT-015, systemd-path-blindness → PAT-016, alle 5 Referenzstellen umgezogen). Solutions-INDEX.md Header regeneriert (34→83 real, Kategorie-Counts, Offsite-Vermerk). Drift-Report konsumiert (Review-Abschnitt). memory-sync-Skill: 5 Pitfall-Duplikate entfernt, AUDIT-LESSON ergänzt. Quarantine: auth.json.corrupt, log.md.hermesbak-cl, sync.log → .archive-Dirs; leere Projects/Templates entfernt.
- **LCM-Audit nachgeholt:** lcm_doctor healthy (Integrity/FTS/schema/lineage pass, 480 MB, 185k Messages, 83/83 externe Payloads). LCM war in SOUL.md, index.md und memory-sync-Skill nicht als Layer verzeichnet (nur concepts/memory-layer-architecture.md hatte es richtig) → jetzt als L4-Co-Träger in allen Dreien verankert. Warnbefund: 447 stale lifecycle-rows (kosmetisch, Cleanup optional).
- Siehe: docs/solutions/workflows/2026-10-11-memory-system-audit-remediation.md
## [2026-10-11] home-migration-wave21 | Welle 2.1 abgeschlossen: 3 Seafile-Transfers verifiziert
- MBP_bis2017 (6,9 GB) + MBAir (1,1 GB) → „Archiv Alte Rechner" (gemerged in bestehende Unterordner, Heal-Pass RC=0); Backupfestplatte-Uni-Working-Tree (ohne .git, ohne 6.839 Immich-Foto-Pfade) → NEUE Lib „Backupfestplatte Uni" (208b4444), byte-exakt verifiziert: 81.338 Files / 7.790.262.028 Bytes MATCH=True; DropboxSync-Rest (192 Files / 2,0 GB, 765 Foto-Pfade excluded) → „Urkunden und Dokumente"/DropboxSync-Archiv.
- 4 persönliche Foto-Items (Hochzeits-Zip 512 MB, Fotos.zip 603 MB, Urkundenübergabe 221 MB, Lesezimmer-Zip 22 MB) aus der Seafile-Route herausgenommen → Immich-Queue auf NAS (/pool01_n2_redundant/.seafile-migrate/immich-queue/), wartet auf GO (Dedup-Check gegen Bestand nötig).
- Teardown sauber: 3× desync, Daemon gestoppt, /tmp geleert, Creds geschreddert. Seafile-Disk: 285G/345G (46G frei).
- Neue Fallstrick-Klasse dokumentiert: Prefill-Race-Sequencing (synchronized als GATE), Space-gepaddingte Statusfelder brechen exakte Vergleiche, Status-Tabellen-Truncation unter Last täuscht fehlende Syncs vor, pkill-in-eigener-Deploy-Shell suizidiert Orchestrator, mv über ZFS-Datasets hinterlässt Partials (rsync --remove-source-files heilt). Solution Doc: `docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md`; Skill `devops/seafile-api`-Referenz entsprechend erweitert.
- Offen (warten auf GO): Welle-2-Punkt-2 (Immich-Gaps: DSC_0923.NEF-Retry + Kroatien-2021 ~44 GB) und Punkt-3 (Löschliste ~21 GB).
## [2026-10-11] cron-pin-release-flash | Alle 30 Cron-Jobs auf vllm/release/glm-5-3-flash gepinnt
- Audit 11.10. (30 Jobs: 23 aktiv, 7 pausiert) förderte 2 drift_skip-Tote ans Licht: Finanzblick Cashflow Monitor (c594cdde5fef) + User Drift Detection (280458a2b035) — globale Inference-Config driftete glm-5-2→glm-5-3-flash, ungepinnte Jobs verweigerten aus Spend-Schutz. Finanzmonitoring 7+ Tage blind.
- PINNING: `vllm/release/glm-5-3-flash` zunächst live verifiziert (200 OK auf ai.noris.de Main-Key; NORIS-NAMESPACE-FALLE: `glm-5.3/release/glm-5-3-flash` → 403 model_blocked — neues `glm-5.3/*`-Schema ist ein ANDERER Virtual-Key-Realm; `vllm/*`-IDs funktionieren weiter). Dann 30/30 Jobs via `hermes cron edit --model --provider noris` gepinnt, Readback jobs.json: 0 Abweichungen. Auch no_agent-Jobs konsistent gepinnt (kosmetisch, aber uniformer Drift-Schutz).
- Ex-drift_skip-Jobs wieder scharf: Finanzblick nächster Fire heute 20:00 UTC, User Drift Di 04:00. Smoke-Test Price-Watch (a8ba6bf2891e) BESTANDEN (53,7 s Lauf mit gepinntem flash-Modell, Amazon-Fetch ok, still da ≥120 €, State-File last_check 06:50:22Z geschrieben) — flash läuft E2E durch die Cron-Pipeline.
- Offen aus Audit (nicht genehmigt): Comfy-e2e-Zombie (31k Runs ins Leere), Beleg-Sammler 41-Tage-Alert-Streak (3 failed Belege + 470-Dateien-Staging-Leck), Rechnungen-Organizer Repeat-Limit 171/500, 6 tote pausierte Jobs, EMHASS-v2 ohne Watchdog, Notfallbuch-Herbst-Review verpasst, HA-SSH-PW im Klartext im EMHASS-Watchdog-Prompt.
## [2026-10-11] dream-epoch-fix | Dream-Cycle epoch-aware v2 + Memory-Dekontamination
- Fact-Check des Dream-Reports 11.10. ergab: 1/3 falsch (VM302-Phantom — stale P0-TODO als Ist-Zustand gelesen), 1/3 stale-aber-echt (Prometheus-VIP .206→.202, NAS-IP 10.0.30.100→10.0.20.100 — beide Wiki-Stales gefixt), 1/3 handlungsrelevant (DNS-Apex 84.39.83.204 DOWN — Nutzerentscheidung: bewusst ignorieren).
- ROOT CAUSE Epoch-Mixing: reflect-Queries ohne Zeitdimension ließen Juli- und Oktober-Observationen als gleichzeitige Konflikte rangen. Kontaminationsschleife als Verstärker: 3 Dream-Output-Rows (28./29.09., alte agent-Ära) waren als „Fakten" re-speichert worden — der Dream zitierte seine eigenen Falschmeldungen.
- FIX 1 (Daten): 3 Gift-Rows neutralisiert via `metadata.archived='true'::text` + Tag `debunked` (reversibel, kein DELETE; Boolean-Cast-Falle vermieden). Reflect narriert danach korrekt Historie statt Konflikt.
- FIX 2 (Script v2): EPOCH_RULES in allen Queries (neueste Fact gewinnt; superseded = Historie; ±7-Tage-Fenster; Datums-Pflicht via `_has_dates()`-Gate mit Downgrade), TODO-Check fragt nach Erledigungs-Beweis, Stale-Check nur Zustands-Aussagen, Disclaimer-Header gegen Retain-Kontamination. Skill-Kopie re-synchronisiert (md5 42ea3a76…).
- Verifikation: Volllauf v2 — VM302-Phantom eliminiert, TODO-Sektion still, Stale-Sektion liefert echte hypothetisierbare Zustands-Claims mit Datum (Authelia id.schoen.eu 19.07., PBS-Remote 10.0.30.106:8007 17.07. — .106 heute dead). Genau das Ziel-Signal-Rausch-Verhältnis.
- Solution Doc: `docs/solutions/bug-fixes/2026-10-11-hindsight-dream-epoch-mixing.md`; Skill `hindsight` §4.2 gepatcht (v2-Design + Dekontaminations-Rezept).
## [2026-10-10] dream-cycle-factcheck | Nightly-Dream-Report gegen Live-Systeme geprüft
- Dream-Claim „VM302 auf n5pro widerspricht Wiki" → **FALSCH**: Live pvesh zeigt VM302 auf ms-a2-2 (Wiki-konform). Ursache des Artefakts: Hindsight hält die P0-Mitigation „VM302 von n5pro weg migrieren" als offenen Zustand — die Migration ist längst erledigt (Episoden 29.09./04.10.). Stale-Todo wurde als Ist-Zustand gelesen.
- Dream-Claim „10.0.30.206 Prometheus unerreichbar" → **stale-Wiki-Fund bestätigt**: VIP .206 existiert nicht mehr; Prometheus-LB ist heute `monitoring-kube-prometheus-prometheus` auf **10.0.30.202:9090** (live verifiziert, Queries OK). ports.md korrigiert.
- Dream-Claim „NAS 10.0.30.100 doppelt geführt" → **stale-Wiki-Fund bestätigt**: ARP dead seit Crash 03.10. (VLAN-30-IP nie persistiert); kanonisch ist 10.0.20.100 (VLAN 20). ip-map.md korrigiert (STALE-Markierung).
- Dream-Claim „WG: .106 erreichbar, .124 nicht" → **zeitlich invertiert/stale**: heute .106 DEAD, .124 ONLINE. Kein Konflikt, nur alte Momentaufnahmen.
- Dream-Claim „Tradfri/NUT/Moonraker/LIFX setup_retry auf alten IPs" → **teilweise**: Tradfri 17 Entities unavailable ✓, ESP32 58/58 unavailable, gesamt 460/2516 (18 %). Aber Moonraker gesund (`update=off`, Snapmaker ready), LIFX 0 Entities, UPS-Sensoren fehlen in HA komplett (nur `sensor.apc_alarme`=unavailable, bekannter Normalzustand). Pauschal-Ursache „alte IPs" unbelegt.
- Dream-Claim „DNS-Apex 84.39.83.24 → 84.39.81.87 ausstehend" → **WAHR und offen**: Apex zeigt noch auf .83.204 und ist DOWN (HTTP 000); alle Subdomains laufen über CNAME schoen.sytes.net → .81.87 sauber (id. = HTTP 200). Einziger echter Handlungspunkt.
- Sonstige Claims (Immich v3.3.1, ArgoCD behoben, CT111=.99) korrekt; PBS-13.08.-Episode nirgends dokumentiert (historisch, nicht verifiziert).
- Meta-Lektion: Dream-Cycles vergleichen Hindsight-Snapshots unterschiedlicher Epochen — erzeugen Schein-Widersprüche. Immer Live-Verifikation vor Reaction. Zwei echte Wiki-Stales ließen sich dennoch daraus ziehen.
## [2026-10-10] home-migration-wave1 | Unterlagen Uni + eBooks + grafiniert → Seafile, 86 Repos → Gitea
- Seafile (CT111): Neue Lib **Unterlagen Uni** (c4677b64, 19 GB 1:1 aus Home — Lehre/Klausuren/Praxis/Verwaltung, KEIN ZIP gem. Nutzervorgabe); **Bücher** +eBook-Sammlung (60 Titel) + Calibre-Bibliothek (1277 Autoren, 5,9 GB); **Archiv grafiniert** +Delta 4,2 GB (MontaMusic, huawameieri, grafiniert_2011, Buchhaltung …). Alles serverseitig via API verifiziert.
- Weg: seaf-cli-Staging auf 10.0.20.100 (`/pool01_n2_redundant/.seafile-migrate/staging/`, 30 GB bleiben als Kopie), rsync additiv; Syncs desynct, Daemon gestoppt, Plaintext-Creds auf NAS shredded (PWs in 1P: „Seafile Web Login (dominik)").
- Gitea (git.schoen.codes): **86/86 eigene Repos** migriert (--all+--tags; dev-* 51, idea-* 26, mbpdoc-* 6, sempa-* 3). Skip: go/src-Vendor, clinfo, libcoap (shallow Fork), Privat/Promotion-.git (Dokumentenhistorie → Seafile später).
- Pitfalls geloggt: Create-500 legt Gitea-Repo trotzdem an (immer listen+branchen statt Status glauben); shallow push --all rejected; safe.directory-* für root-Scans; SSH-Timeout killt Wrapper-Ketten → setsid nohup; seaf-cli-Sync bidirektional (Downstream beachten).
- Solution Doc: `workflows/2026-10-10-home-migration-seafcli-staging-gitea-bulk-push.md`; Skill `seafile-api`→bulk-migration-Referenz um seaf-cli-Weg ergänzt. Multi-Agent-Kollision mit Parallel-Session (PW-Rotation 16:30) im Doc `workflows/2026-10-10-multi-agent-credential-collision-moving-target-guards.md`.
## [2026-10-10] homeassistant | Warn-Push beim Verlassen + Garagentor-Flanken-RCA
- Neue Automations (REST-config, live): `warn_offen_beim_verlassen` (Dominik >2min weg + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button; tag aktualisiert Notification) + `garagentor_push_close` v8 Single-Edge (EIN switch.turn_on, KEIN turn_off-Präludium; Guards offen/>90s stabil/45s Anti-Doppeltipp; 45s-Verifikation per Neigungssensor; Retry nach 480s; ehrliche Fehler-Push).
- RCA (Logbook-belegt): Motor toggelt auf JEDE Kanalflanke. Einzelimpuls schließt sauber (17:51: ~90s). ZWEI schnelle Flanken = Start-Stopp → Tor bleibt offen (17:07 mein OFF→ON-Doppelpuls; 17:48 Nutzer-Doppelklick am Wandtaster). Doppelklick-Gewohnheit wirkt der Schließfahrt entgegen. Wirkungslose Impuls-Serie 16:46–17:07 → vermutlich Motortermik-Sperre.
- BUG offen: `switch.garagentor` Status seit 05.10. `unknown` (SysAP→HA Feedback tot); SysAP-REST 401 (Credentials unbekannt, admin/admin falsch), SSH-Addon gestoppt. Tor-Endzustand nach Tests: GESCHLOSSEN (verifiziert).
- Nur 2 physische Öffnungssensoren im Haus: Garagentor + Esszimmertür; free@home-Panels sind Taster.
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`; Wiki systems/homeassistant gepatcht.
## [2026-10-10] frigate-notifications | v3: Review-Alert-Trigger + KI-Gate (Spam behoben)
- RCA: Alt-Automation triggerte auf `frigate/events` (Raw-Detections) statt `frigate/reviews` (kuratiert); 2 Pushes/Event; Cooldown-Key camera+label = Ping-Pong bei Labelwechsel; keine Known-Face-Suppression. Messung 10.10.: 21 Raw-Events → 9 Runs → 18 Pushes/3,5h bei Null relevanter Szenen.
- v3 (ID 1714065780832, in-place via REST): Trigger=frigate/reviews severity=alert; 12s Delay → Snapshot → llmvision.image_analyzer (gemma via noris, Prompt KRITISCH/NORMAL) → Gate → 1 Push. Suppress: Sarah/Dominik, 300s Kamera-Cooldown, Review-ID-Dedup. Fail-safe: KI-Fehler oder nachts Person → Push.
- E2E verifiziert: Synthetischer Alert → Verdict „NORMAL: leere Einfahrt mit geparktem Auto“ → korrekt kein Push; Readback 10/10 Checks. **v3.1 (gleicher Tag, Nutzervorgabe „nicht nur 23–5 Uhr"): Person-Push auf 24/7 ausgeweitet** (Gate `crit or ki_fail or person_here`), neues Titel-Tier „👤 Person“ tagsüber; E2E erneut verifiziert (Gate-Rendering True bei Tag+person, Logbook-Run bestätigt).
- Frigate-0.18-Payload-Falle: review `data.objects` = String-Liste, sub_labels separat; HA-Jinja kennt kein `is not null` (→ `is not none`).
- Zombies (garten, ai_event_summary ×2) = Registry-Ghosts, kein Konflikt. Ohne Zonen geblieben (User-Wahl).
- Solution Doc: `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`; Wikis systems/frigate+homeassistant gepatcht.
## [2026-10-10] notfallbuch | eol-dr-Playbook für Sarah live gestellt
- Repo `dominik/notfallbuch` @ git.schoen.codes (privat, Secrets allowed — Uservoting, intern hosted). 9 Sarah-Kapitel + `generated/`-Inventar aus Live-Cluster + `mapping/triage-map.md` (Join ArgoCD-Label↔Klartext).
- Generator `scripts/generate_inventory.py` (ArgoCD/Traefik-IngressRoute/Velero/Proxmox, graziöse Degradierung) + Watchdog `update_and_commit.sh` (Diff ohne Timestamp-Zeile → kein Schein-Drift; Commit+Push nur bei Echt-Drift; Digest nur bei Drift/Ungeklärt).
- Crons: `c4eb1bbe63df` monatl. Watchdog + `d8c6cdd5a1eb` halbjahrl. Review-Reminder → telegram:-5265906503. Build: pandoc+xelatex → A4-PDF/DOCX mit Datum+SHA-Stempel (nun auf hermes-agent installiert).
- Live-Funde: Immich-URL = photos.familie-schoen.com (nicht immich.*); Domain schoen.eu existiert (Kap. 07 erweitert); kein cert-manager (Traefik-LE). 26 Apps ungelabelt → UNGEKLAERT-Liste mahnt; holmes/holmes-config = KLÄREN.
- Offen: Stefans dormant Gitea-Account (1P-Zugriff blockiert, Passwort darf nicht unbefristet nur im Terminal liegen), Triage-Label-Freigabe in iac-homelab, Fill-in-Abende ([FELD]-Marker), Proxmox-Token für Generator.
- Wiki neu: `systems/notfallbuch.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md` (Gitea-API 401 bei Basic-Auth → Token-Header).
## [2026-10-10] hermex-backend | hermes-webui auf Runner deployed — Hermex-iOS kann verbinden
- Hermex (iOS) spricht NICHT das offizielle Dashboard (:9119) an, sondern braucht hermes-webui (nesquena). Native Installation: `/opt/hermes-webui`, server.py unter Agent-Venv-Python (in-process Imports von Agent-Modulen), systemd `hermes-webui-dominik.service`, `0.0.0.0:8790`, LAN-only.
- Hermex-Werte: `http://10.0.30.230:8790` + PW aus 1P (Vault Hermes → `dominik-hermes-webui`).
- E2E verifiziert: Login 200/401 korrekt, Sessions-API zeigt echte CLI/TG-Sessions (state.db-Bridge), Chat-Run durch API → Agent-Antwort `hermex-e2e-ok` (glm-5.3/noris), Test-Session danach sauber gelöscht.
- Sicherheiten: KEIN Cron-Scheduler-Thread im WebUI (Doppel-Feuer ausgeschlossen, Scheduler bleibt im Gateway); Signing-Key auto-gen persistiert Login über Restarts.
- Pitfalls geloggt: `/api/chat` auf CLI-Session-ID → KeyError (erst `/api/session/new`, eigene hex-ID); Cold-Start /api/sessions 34–70 s, warm 0,2 s; `op item view --vault` existiert nicht → `op read op://…`; sed-%-Templating zerstörte Unit (static+Garbage-PW) → Python-Substitution; logrotate war auf dem Runner nicht installiert (nachgezogen, daily×7).
- Wiki neu: `systems/hermes-webui.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md`.
## [2026-10-10] immich-nas-ingest | NAS-Foto-Archive komplett in K8s-Immich übernommen
- 29.423 neue Files / 78,2 GB (Dominik 27.966, Sarah 1.436) via API-Upload von NAS direkt nach K8s-Immich v3.3.1; Laufzeit ~75 min, 4 Worker, JSONL-Checkpoint/Resume.
- Methode: Census-Manifest (sha1/size/path) + `POST /api/assets` mit `x-immich-checksum` (Server-Dedupe pre-write: 200=dup, 201=new) + mtimes aus NAS-stat. Keys `nas-ingest-d/s` via Direct-DB-INSERT (varchar[]-Cast, decode(hex)).
- Reconciliation: alle 29.423 erwarteten SHA1s in DB, 0 fehlend; 86.316 Assets / 85.960 Unique; Owner-Split korrekt (d 55.271 / s 31.045). PVC 365/500 G.
- Strauchelsteine gelöst: Bearer-vs-x-api-key (401), varchar[]-Permissions (Typ existiert nicht), `'\x'`-Literal-Falle bei bytea, fehlender Host-Header an Traefik (404), 1 Schein-Fail (SSL-EOF, Upload war durch).
- 5 RAWs mit dcraw-Thumbnail-Fehlern — Originale bitidentisch (libraw-Kosmetik). Grayzone 559 Files bewusst exkludiert.
- Artefakte: `~/home-drilldown/census/` (Manifests, Archive mit Checkpoints+Logs+Uploader). Solution-Doc: `docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md`. Wiki `systems/immich.md` aktualisiert.
- Follow-up 10.10.: immich-config-Freeze-Exit (Commit `3ec6327`, selfHeal+prune scharf; vorher Label-Sweep: kein Objekt trägt Tracking-Label → prune sicher); NAS-Plaintext-Keys vernichtet (keys.env + lokale Kopie, Key-Records in DB bleiben re-mintbar); NAS /tmp/immich_ingest geleert nach Archivierung (MD5-verifiziert). Beobachtung: immich-server 5 Overnight-Restarts (≥1 OOMKilled 137) unter Thumbnail-Job-Last nach Ingest, seitdem 7 h stabil bei 760Mi/4Gi.
- OOM-Fix 10.10. (Commit `6ce2a0a`): Server-Mem 4→6Gi, Request 1→2Gi, nodeSelector pin auf rke2-worker-01. Grund: worker-04 nur 7,9 Gi allocatable (kleinster Node) + Limits 169 % überzeichnet → Limit-Raise allein hätte Node-Pressure-Eviction riskiert (postgres-main-2 Kollateral). Rollout verifiziert: neuer Pod auf worker-01, Restarts 0, API grün, ML/valkey unberührt. Patch-Falle dabei entdeckt und VOR Commit gefangen: Probe-Indentation im rendered-Manifest (immer YAML-Parse-Validierung nach patch).
## [2026-10-08] emhass-phase2-shadow | Shadow-Dual-Solve live + Deferrables entfernt
- Shadow Phase-2 live: Cron `d046e808f543` (*/15m, silent-on-healthy) + Staleness-Watchdog `19aef2351273` (:35, >45 min -> Alert). Ledger `~/shadow_phase2/ledger.jsonl`, Report `~/scripts/report_phase2.py`.
- Bewiesene CSV-Gesetze: +P_batt=Entladung, P_grid signed (Export NEGATIV), Deferrable-Spalten=Phantom-Last (+12 kWh Summeninvarianz, keine Consumer).
- PRODUKTIV: `number_of_deferrable_loads` 2->0 (Direct-File-Edit + Addon-Restart im :50-Fenster, Backup `config.json.hermesbak-20261008`); Beweis: Incumbent-CSV jetzt 17 Spalten.
- Solution Doc: `docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md`
## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38.
- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar.
- **Key-Falle:** Cache-Key ist `custom:<base_url>` (neu: `…#<fp>`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37).
- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen).
- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29).
- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht.
- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts".
- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar.
- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓).
- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig).
- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext.
- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6.
## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓.
- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen).
- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch).
- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren.
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt.
- Hindsight: Config + Pitfall semantisch indexiert.
## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
- RBAC-Lektion: Descheduler braucht `list/watch` auf `namespaces` in ClusterRole.
- ArgoCD repoURL: `ssh://git@10.0.30.200:22/...` (mit `git@` User-Prefix, wie alle anderen Apps).
- Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
## [2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
- Zwischenfail: `aliases:`-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate.
- SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit cc2f237.
## [2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. *(Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)*
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt: `crush reweight osd.3 0.05` + in. Cluster 17/17 up/in, Degraded 0,78 % fallend.
- ubuntu-Hosts-Fix: `10.0.20.100 ubuntu` in /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben.
- Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
## [2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
- Eigener Fehler: `grep -vn`-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. **Rescue-Pfad etabliert:** CT-Rootfs direkt am Host mounten (`mount /dev/rbd2 /mnt/...` — rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok.
- **Lessons**: (a) NIEMALS `grep -n`-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate.
- Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit <SHA>.
## [2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
- Zwei neue Rules in CT141 (`placement_guardrails`): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok.
- Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
## [2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender `body`-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON).
- Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit `{{escape title}}`/`{{escape message}}` (Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200.
- Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
## [2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
## [2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. **x-vga=1 bricht AMD-Passthrough** (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
- Monitoring (CT141): Regelgruppe `pressure_alerts` (5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. **LXC-Bindmount-Inode-Trap:** sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc.
- proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
## [2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
- Diagnose-Signatur: `qm status --verbose` RSS-Kollaps + tote Guest-Agent + statischer Tap-TX
- Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
- Drift-Fund: frühere node-affinity `na-vm102` (NICHT ms-a2-2) existiert live nicht mehr
- Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
## [2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert `pip install -e .` NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bis `import run_agent`
- Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret ## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
- Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params - Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params
- CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx - CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
@@ -230,3 +908,315 @@
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running - Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md - Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING) - Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
## 2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
## 2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
- Cutover 09.10.: v2 prodiziert solo (Cron a32005d62226, --publish --allow-grid-charge), v1+Shadow pausiert als Rollback; Publish-Kette bewiesen (Stamp+Inhaltsmatch+Kaskaden-Konsum); Guard 95/75->30/20 s
- 09.10.: Deutsche Plan-Visualisierung: Section 'Solar-Plan (EMHASS)' auf dashboard-akkus (ApexCharts Ladeplan+SoC) via WS lovelace/config/save; Getter heisst 'lovelace/config'
## 2026-10-09 — Immich: K8s-Upgrade v3.3.1 + Legacy-Stilllegung nach Reconciliation
- K8s-Immich v3.2.2→v3.3.1 via GitOps (Commits 3ff08c4, canonical): values.yaml+rendered Tags, ArgoCD selfHeal; Public-API beweist 3.3.1; Restic-Backup 04:09 als Netz
- Reconciliation formal: Legacy 53.613 Assets/53.257 uniq CKSUMs ⊆ K8s 56.887/56.531 — Multiplicity-Match 53257/53257, 0 fehlend; 356 Leg-Dubletten alle doppelt vorhanden; K8s-Extra 3.274 = Nachwuchs
- Methode: Counter-Multiplicities statt Set-Diff; PITFALL: psql-Fehlerzeilen in SSH-Pipelines simulierten Datensätze ("4 Null-CKSUMs"), Schema-Spalten v2.6.3=asset_exif.fileSizeInByte vs v3=exif.fileSizeByte
- Legacy-Stilllegung CT111 (GO "1 kann starten"): Pre-Flight 0 Conns auf :2283, graceful Stops server→ML→redis→postgres, restart=no, Seafile-Stack unberührt; ~625MB RAM frei; compose-file bewusst nicht angefasst (rollback = docker start + restart=always)
- CT111-Cleanup-Subagent: Root 99%(768MB)→83%(8GB frei): journal vacuum 3,9G + apt 320M + dangling imgs 2,83G; ROOT CAUSE fluent-bit→Loki 10.0.30.207:3100 'No route to host' flutet Journal (77%) — FIX OFFEN
- Wiki systems/immich.md NEU + index.md ergänzt; Solution-Doc 2026-10-09-immich-legacy-decommission-prep.md
## 2026-10-09 — ArgoCD-Ownership-Krieg Immich beendet (Nachtrag zur Legacy-Stilllegung)
- Symptom: App immich permanent OutOfSync/Healthy, autoHealAttemptsCount 13.353+ wachsend — Root Cause NICHT das Upgrade
- Zwei Apps verwalteten dieselben Workloads: immich (path .../rendered, wave3) vs immich-config (path clusters/main/immich, recurse:true, wave2) → Tracking-Label-Ping-Pong (instance: immich vs immich-config)
- Diagnose: argocd app diff im Pod (--plaintext) = Fingerabdruck; erster Fix-Versuch exclude: rendered wirkungslos (matcht keine Verzeichnisinhalte)
- Wirksam: recurse streichen + exclude 'rendered/**' + Übergangs-Freeze prune:false/selfHeal:false (Löschschutz); Ownership-Labels wanderten nach Freeze automatisch zu immich
- Endzustand: beide Apps Synced/Healthy, Heals eingefroren 13.357, Prod v3.3.1 unbeeindruckt; Commits 57cfa65+497aa34
- OFFEN: immich-config-Freeze nach 24 h reaktivieren (prune+selfHeal true)
## 2026-10-09 — Loki-VIP-Restaurierung: Fleet-weites Journal-Flut behoben
- Symptom: fluent-bit Fleet (9 Hosts + LXCs) fluutete Journals seit ~7.10. mit "No route to host 10.0.30.207:3100"; CT111-Journal 4,1 GB, Disk 99 %
- Root Cause: manueller SVC loki-external (LB .207) nie in Git, verschwand bei Helm-Iterations-Recreates unbemerkt
- Fix: clusters/main/logging/loki-lb.yaml (LB 10.0.30.207:3100, Selector single-binary) via App logging-config; Commit fb4d8b9; + journald-Cap 200M auf CT111 (airbag)
- Verifiziert: /ready=200, flushes succeeded, Loki empfängt live Streams, Errors 726/10min → 0/60s (CT111 + ms-a2-1)
- Lesson: manuelle kubectl-Ressourcen = Zombie-Quelle Nr.1; eine tote VIP spammed 30+ Maschinen synchron
## [2026-10-11] emhass-publish-path-fix | EMHASS-Publish-Deadlock nach HA-Restart behoben (User-GO)
- Symptom: Seit HA-Core-Restart 17:45 UTC (Recorder-Incident) crashte jeder v2-Optimizer-Tick FATAL (p_batt_forecast rc=22); „Trigger EMHASS"-Automation client_error; smart_battery_target=0 → Nachtladung gefährdet
- Root Causes (2 kombiniert): (1) p_/plan_-Sensoren = set_state-Entities, überleben Restart nicht; v2 liest hart → Deadlock. (2) rest_command localhost:5000 — HA im Host-Netz vs. Addon in HassIO-Bridge → connection-reset nach Restart (10.0.30.10:5000 parallel OK)
- Fix: configuration.yaml beide rest_command-URLs → http://10.0.30.10:5000 (Backup .bak-20261011-restcmd) + rest_command/reload; Immediate-Heal via direktes POST /action/publish-data ans Addon
- Verifiziert: manueller Publish 200, p_batt_forecast/soc_batt_forecast auferstanden, v2-Tick 20:32 UTC komplett durchlaufend („OK: v2 cycle complete"), plan_* 48 Slots live, Kaskade folgt (smart_battery_target 876→874 W)
- Nebenfund (Rename-Trap): Trockner-Powercalc zeigt auf tote switch.trockner_2 (Plug heute waschmaschine_2) → Trockner seit ~03.10. ungezählt; Wrapper maskiert 0 W
- Offen: Legacy-„Trigger EMHASS"-dayahead-Call 400 (Payload ohne pv/load-Arrays) — vom v2-Cron abgedeckt; disable vs. Fix ausständig
- Lesson: „Automation last_triggered aktuell" ≠ erfolgreich — Transportfehler nur via HA-Log+Addon-Log korrelierbar. Solution Doc: integrations/2026-10-11-emhass-publish-path-break-after-restart.md
## [2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
- Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5
## [2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
- Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5 %, Muskulatur 61,2 kg, Wasser 50,8 %, Knochen 3,24 kg. Kette: 92,4 (10.10.) → 92,7 (15.10.) → 93,1 (19.10.). Memory-Fragment "dd14, 92,1 NEW LOW" ließ sich weder in HA noch in Sessions reproduzieren → als unbestätigt markiert, aus Telemetrie-Fragment entfernt.
- Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0).
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
- **28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel** — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
- **29.10. 05:0x (Chair) Traefik-interne EntryPoints nach ArgoCD-Sync verloren + Tower 0.15 Sandboxes-View** — Tower (.213) und fleet-webui (.212) waren ab 28.10. 22:21 down: ArgoCD-`proxy`-Sync (Rev 4ecb30e) fiel exakt mit Helm-Release #96 zusammen, das ohne HelmChartConfig-Werte renderte (keine `web-internal`/`websecure-internal`/`tower-internal`, kein allowCrossNamespace) — Pods blieben 1/1 Ready, Service-Endpoints 8/8 ready, nur die EntryPoints fehlten; nach Wiederherstellung der Config lief KEIN neuer Job (Controller reagiert nur auf Hash-Änderung). Fix: Kommentar in `valuesContent` → Push → ArgoCD-Sync → Release #97 mit allen Ports; verify 200 von 10.0.20.92, 403 von VLAN 30, `/api/fleet/sandboxes` 9 Agenten all_running. Tower 0.15 (Commit 4ecb30e, Digest 00a82fef…): fleet-native Sandboxes-View via read-only PromQL/kube-state-metrics (Upstream-Views brauchten Host-CLI). NAR-Eskalation edd15ff1 war bereits per `[APPROVE]` entschieden (devops hat GitOps-Grant umgesetzt). SolDoc bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md (Bug Fixes 53), Skill traefik-proxy-administration gepatcht, Wiki systems/agent-fleet.md aktualisiert.
- **29.10. (Chair) Media-Library: Sorter v11, HEVC-Rest, Jellyfin 215/215 grün** — 70 neue Downloads sortiert (0 übersprungen): PureTaboo 49, nzbindex-5 12, HogTied 8, nzbindex-4 1. Sorter v10 führte die **generische Serien-Ableitung** ein (Marken-Token vor Datum/E-Code → `media/<Marke>/` statt `OTHER`); v11 erweitert den Fallback auf `YYYY-MM-DD`-Namen und mappt `DigitalSin → He's in Charge`. Neue Serien: PureTaboo, SilkSub, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, KinkUniversity. Dedupe 8 Gruppen → 10 Verlierer (5,7 GB) nach `quarantine/dedup2/`. 66/70 waren bereits h264+AAC; die 5 HEVC-Dateien per VAAPI auf h264 umkodiert (BratTamer 479→991 MB, Lustery 688→1192, DungeonSex 753→1607, Deeper 605→1194, HogTied 460→835) — alle `ftyp→moov→free→mdat` = faststart, Originale in `transcode-originals/`, **HEVC-Rest 0**. Owner-Drift von 61 Dateien auf 1000:1000 korrigiert. **Jellyfin-Scan-Hänger (84 %) war der Ordner `Other`**, nicht die Datei und nicht die DB-Zeile (Canary-Beweis: gleiche Datei in `Solo` indexiert sofort) — Ordner aufgelöst, Strays nach `Deeper/`; Scan jetzt **Idle, 215 Items = 215 Videos, 215 NFOs**. Disk 608G/1008G (61 %). Pitfalls (Wiki sabnzbd.md): Pod-Rollout SIGKILLt laufende In-Pod-Transcodes (erst Deploy, dann Encode); Sorter-Script nur im sabnzbd-Container, VAAPI-ffmpeg nur im converter-Sidecar; faststart nie mit 200-KB-Sniffing prüfen (moov kann größer sein) — Atom-Kette lesen. SolDoc integrations/2026-10-29-jellyfin-scan-hang-other-folder.md. Offen: Quarantäne 82 GB (27 4K-Varianten mit 1080p-Gegenstück) wartet auf Lösch-GO; `_hold/src.mp4` 618 MB.
- **29.10. (Chair) Fleet-Autonomie Iteration 3: Identität (SOUL.md) + Ideations-Pflicht + Tower-Token-Anzeige** — Owner: „Loop läuft nicht sauber, keine neuen Ideen, Karten bewegen sich nicht, keine Token-Consumption." Drei unabhängige Root Causes: (1) **SOUL.md** (Identitäts-Slot des Hermes-Prompts, im Workspace `/sandbox/.hermes/`) enthielt nur generischen Boilerplate bzw. fehlte bei cto/research/devops → 9 rollenlose Agenten, `max_turns: 40` wurde mit Selbstbeschäftigung gefüllt (devops: 8,5 Mio Input-Tokens in 30 min, dann rc=1). (2) Tower zeigte `0 tok/s` bei realem Verbrauch: `rate()` liefert je VK mehrere Serien, `out[vk].in = v` überschrieb mit der letzten (meist 0) → `sum by (virtual_key_name)`. (3) Der Idle-Auftrag des Watchers sagte wörtlich „**Keine neuen Karten erfinden**" — Ideen waren im System verboten, die Organisation konnte nur den Seed-Backlog abarbeiten. Fix: `gen_soul.py` + `deploy_soul.sh` (9× SOUL.md 2,9–4,0 KB, `max_turns 20`, `reasoning_effort` je Rolle), `start-agent.sh` `ensure_soul()`, Tower `sha256:84a79b99…`, watcher 0.19 `sha256:93777fc0…` mit Pflicht-Schritt 4 IDEATION (<3 Karten `Neu` → genau EINE Idee: eigene Karte oder Ideations-Auftrag an Rotation cto/cmo/coo/research). Commits `a362144`, `1407c0e`, `ce38c34`, `3f9f0cd`. Beweise: Turns 32–138 s statt 30 min; Tower-Raten (ceo 4489 / ciso 3516 / devops 9424 tok/s) identisch mit Prometheus; Karte `rueckbau-nar-tower-healthz-readonly` Neu→In Bau→Fertig mit Review; **CEO nimmt eine Abnahme nicht ab** (ZURÜCKGEWIESEN + Nachbesserung); **ciso triagiert NAR als KRITISCH** und eskaliert an tower-owner; devops stellt `[CHANGE-ORDER]` an ciso. Pitfalls: SOUL.md liegt im PVC (Image-Rebuild ändert bestehende Sandboxes nicht), Idle-Task-Text schlägt SOUL-Mandat, `wert`/`machbarkeit` 1..10, Tower bindet auf Pod-Hostname, `pkill -f "<script>"` killt die eigene SSH-Session. SolDoc Architecture 17.
- **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh <agent> <model>`); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18.
- **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung <n>p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`.
- **29.10. (Chair) Sammler-NZBs: 5 Szenen eingereiht + Automatik gebaut** — Owner: „starte alle nzb files in incomplete. gewährleiste, dass korrekt heruntergeladene nzbs aus sammlern künftig automatisch geladen werden". Befund: die Jobs `nzbindex.nzb-*` sind **Collection-NZBs**; ihr Payload enthält weitere `.nzb`-Dateien (12 in `incomplete/` aus `-9/-10/-7`, 1 in `complete/nzbindex.nzb-8/`), die SABnzbd als Dateien lädt, aber **nie einreiht** — bezahlter Traffic ohne Bibliotheksinhalt. Neu `/config/tools/nzb_harvest.sh` (PVC): XML-Parse als Reife-Test (unfertige NZBs sind NUL-vorbelegt), sha256-Ledger `/config/nzb-inbox/.ledger`, **Bibliotheks-Guard** (Serien-Ordner + ISO-Datum gegen `media/`), Einreihung per `mode=addlocalfile` + `script=convert720.sh`; Drop-Inbox `/config/downloads/nzb-drop` (SMB `downloads/nzb-drop`). Zwei Trigger: **Postproc-Hook** am Anfang des Sorters (Commit `d7a9fd9`, live via ConfigMap ohne Restart, Zeilen 17–23) für erfolgreiche Jobs + **Hermes-Cron `cbe8b52009a2`** alle 15 min (`no_agent`, silent) für gescheiterte. E2E-Beweis mit synthetischer Mini-NZB durch den echten Postproc-Weg (Queue-Slot „TestBrand - 2019-01-01 - Hook Probe", danach restlos entfernt). Ergebnis: **5 eingereiht, 9,9 GB** (TheUpperFloor 2011-10-20/21, TheTrainingOfO 2013-01-11/03-22, MaxineX Velvet Skye Part 3), **4 übersprungen** weil schon in der Bibliothek (10,7 GB nicht erneut geladen), 4 waren unvollständig → 3 inzwischen komplett+übersprungen, offen nur `2015-05-22 Savannah Fox` (kommt automatisch mit Job `-9`). Pitfalls: API von `127.0.0.1` braucht `Host: sabnzbd` (host_whitelist), Harvest muss **vor** der Junk-Quarantäne laufen. SolDoc `integrations/2026-10-29-sammler-nzbs-automatisch-einreihen.md`.
- **29.10. (Chair) Owner-Entscheide 4a+5a: Deadman-Kaskade `autonomy` + Phantom-Rückbau korrigiert** — 4a: neue Kaskade im Deadman (0.13.1, `508f0e60…`, `ff7e1b3`), die erkennt, wenn der Loop stillsteht, obwohl Arbeit möglich wäre: kein offener Agenten-Task, ≥1 Karte `Neu`, `idle_age > silence+backoff+600` UND `task_age > silence+600`; Schwelle selbstjustierend aus dem Journal (Backoff bis 4 h). Beweise: 11/11 Unit-Tests, isolierter E2E-Job im echten Image (Alarm-Task, DEADMAN-ALARM.md, Journal, Heilung), plus ein echter Live-Alarm — der allerdings vom noch laufenden Alt-Pod ohne die task_age-Regel kam (Fehlalarm 4 min nach Task-Ende) und damit genau die Regel bestätigt. Watcher 0.21 (`30fedca9…`, `85e1a40`) nimmt Owner-Tasks aus dem Idle-Gate (Ursache des 56-min-Stillstands). 5a: Der Owner hatte die beiden P1-Eskalationen 12:55 selbst mit APPROVE entschieden; devops hat daraufhin `openshell-policies/ceo-sandbox.yaml` **erfunden** (`b5643ea`, `egress: []` — schema-invalid, hätte einen CEO-Recreate ohne Netz hinterlassen) → revertiert (`0887212`), Korrektur-Task `6c226195` an devops, der den Befund selbst bestätigte und nichts weiter schrieb. Lektion: Agenten-Selbstauskunft ist kein Beweis (Commit beweist das Gegenteil), und `policy_commit` darf neue Dateien nicht ohne explizites Flag anlegen. SolDoc Architecture 19.
- **29.10. (Chair) Worker-Disconnect-Regex + Single-Claim-Gate: Loop wieder autonom (v5.4 / board 0.16)** — Owner: „Loop läuft nicht sauber". Zwei Wurzeln: (1) `worker_loop.py` erkannte den CLI→Daemon-Disconnect nur am Präfix `Gateway disconnected`, das echte stderr langer Turns enthält aber nur `session_id: local-<64hex>` → im Daemon **fertig gelaufene** Turns (47–48 Msgs, 20 API-Calls, `end_reason=cli_close`) galten als Fehler, wurden retryt (Duplikate, 68k Input-Tokens) und Tasks failten; Fix `5de1763` (generischer session_id-Regex + Erfolgs-Check vor Disconnect-Pfad), Agent-Image **v5.4** `sha256:27a2f3a2…` (Commit `a8c07fd`) 9/9 rollout. (2) Der Agent hält die Board-MCP-Tools im Turn: CEO claimte **9 Tasks parallel** und ließ sie bei Turn-Ende offen; Watcher resettet `working` im Agents-Mode bewusst nicht → Waisen + Idle-Gate blockiert. Fix `1cf0560`: board-service **0.16** (`sha256:3318632c…`) mit **Single-Claim-Gate** — `claim_next_task` liefert bei eigenem working-Task `OK_OWN_ACTIVE` + genau diesen Task (Lease: max 1 pro Identität; Worker resumed statt stapelt). Beweise: In-Pod 2 Claims = dieselbe task_id; Bestand 1 working statt 9; Auto-Abarbeitung 16:29–16:41 (FYIs instant + 1 Eskalation mit echtem Ergebnis); **Autonomie-Kaskade feuerte produktiv 17:06:56** → CEO claimt 17:07:09. Eigener Incident: `kill -9 56` traf den Sandbox-Main-Prozess (ceo+devops phase=Error, exit 137) → nur Gateway-Recreate heilt; Regel: keine Sandbox-PIDs ohne cmdline-Check killen. Pitfalls: Digest-Präfix-Replace erzeugt 128-Zeichen-Frankendigest; Build+Push+Inspect im 420s-Terminalblock (Timeout ≠ Fehler, Zustand separat prüfen); `kubectl exec`-Heredoc liefert leer. SolDoc bug-fixes 54.
- **29.10. (Chair) Owner-Grant Internet-Egress für research (OpenShell-Grenzen dokumentiert)** — Owner entschied zur NAR-Eskalation www.nvidia.com:443: research soll generell Internetzugriff bekommen. OpenShell 0.1.5 kann alle Hosts nicht (Upstream #3856): host '*'/'**'/'*.*'/'**.*' abgelehnt; hostless+allowed_ips autorisiert nur IP-Literale (Hostnamen scheitern mit policy_dns_ineligible, synthetische 198.18.0.x); '**.*.*' deckt alle Namen mit >=3 Labels. Umgesetzt: research-sandbox.yaml (Commit a2fe891) = Basis + zwei Endpoints (hostless CIDR-Klammer aus 51 oeffentlichen IPv4-Bloecken + Wildcard **.*.*, Ports 80/443, identische allowed_ips wegen Overlap-Constraint), live per policy set v3 ohne Recreate. Beweise: www.nvidia.com 307, docs.nvidia.com 200; 2-Label nvidia.com, K8s-API 6443 und Metadata 169.254.169.254 weiter DENY; ceo-Gegenprobe DENY (Scope research-only). Fuer 2-Label-Domains Advisor aktiviert (agent_policy_proposals_enabled, proposal_approval_mode=auto) bzw. NAR mit exaktem Host. Eigenen CHANGE-ORDER des Agents an devops als gegenstandslos geschlossen (haette engere Datei geschrieben -> Grant-Verlust beim Recreate); Verifikations-Task ea9b135f an research gestellt. SolDoc integrations 14.
- 2026-10-29 18:25 - agent-fleet: Research-Internet via Reader-Proxy (r.jina.ai) live; L4-Bypass + 0.1.6 als Wege ausgeschlossen (Gateway-Error, Release-Notes); SOUL/Policies-Commits b91e559, 3a739f0; E2E-Task 3a19f80a 75 s, arXiv:2606.15549 unabhaengig verifiziert; Pitfall: kubectl exec ohne Supervisor-DNS.
- 2026-10-29 19:05 - agent-fleet: Watcher 0.22 live — Idle-Gate ignoriert tower-owner-Tasks, Pick-Regel ueberspringt rueckbau-*; E2E 18:55-19:00: Trigger→CEO→owner-mvtk8gaf In Bau→devops-Delegation→Ideation tower-kosten-ampel. Digest 3e3c6ff0…, Commit 989c4a6. SolDoc bug-fixes/2026-10-29-fleet-watcher-idle-gate-tower-owner-block.md
- 2026-10-30 06:25 - agent-fleet: Tower 0.20 live (Tasks-View, Task-Detail, /healthz, /api/status, Re-Dispatch-Badge) + board-service 0.20 (`redispatch_task`) + watcher 0.23 (Envelope-Whitelist); E2E: Dead-Letter-Task 01956904 → cc6c6f97 → ceo lieferte Rollenbeschreibung; Builds jetzt in-cluster via Kaniko (Runner-VM 200 ext4-Journal-Hang). SolDocs bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md + tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md.
- 2026-10-30 06:27 - agent-fleet: deadman 0.13.2 live — progress-Kaskade ignoriert Owner-Lane (drittes Vorkommen der Semantik-Luecke); progress/open_tasks 0, gateway_ok 1.
- 2026-10-30 06:20 - sabnzbd: QuickTime spielt HEVC nicht — Ursache `hev1` statt `hvc1` (Apple/AVFoundation akzeptiert nur hvc1) + stale Jellyfin-MediaStreams nach In-Place-Ersetzung. Fix: `-tag:v hvc1` im Encode, Bestand per lossless Remux (`-c copy -tag:v hvc1`), ein Library-Refresh. Owner bestaetigte Wiedergabe. HEVC-Lauf: 30/278, 95,4 -> 24,3 GB (-75 %). Pitfalls: orphan ffmpeg 8,6 h GPU-Blockade nach abgebrochenem exec; `export -f log` fehlte; Selbst-Kill durch PID-Filter in eigener Kommandozeile (2x Exit 137). SolDoc integrations/2026-10-30-hevc-quicktime-hvc1.md
- 2026-10-30 06:45 - agent-fleet: watcher 0.24 live — verwaiste Claims werden requeued (7200s, max 3 -> blocked); Live-E2E gruen; Kreis requeue->claim->complete geschlossen.
- 2026-10-30 08:15 - systems/mgmt-runner neu: „ext4-Hang" VM 200 als Pool-Latenz entlarvt (jbd2 Ø 739ms commit, fsync 10 kB/s, Sequenzial 1,4 GB/s); Root-Disk auf hdd_disk (HDD-OSDs mit slow ops); Regel: Builds nur via Kaniko.
- 2026-10-30 08:45 - sabnzbd: 4K-Einzelstueck auf 1080p skaliert (5,26 GB -> 893 MB, -83 %, hvc1, Dauer identisch, GPU-`scale_vaapi`). Dabei **Batch-Bug** gefunden: Faststart-Gate mit 2-MB-Fenster verwarf 23 fertige Encodes (moov endet bei 3,18 MB/61 min) -> v3 mit 16-MB-Fenster + entschaerfter Bedingung, Worklist 338, laeuft. SolDoc integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md; Skill video-codec-compatibility gepatcht.
- 2026-10-30 08:50 - agent-fleet: board-service 0.22 (dismiss_owner_task) + Owner-Lane-Disziplin (FLEET-POLICIES 1.3, ciso-SOUL live). 13 Owner-Tasks geschlossen, Inbox 0. Entscheid: Kaniko bleibt Builder, Gitea-Actions-DinD verworfen (cp-01-Disk 7,7 GB frei).
- 2026-10-30 09:50 - agent-fleet: p1-e2e-flow 4/4 GRUEN live (Kette Owner->CEO->cto->Abnahme 13 min inkl. Karte Fertig; FYI ohne Antwort-Task; Envelope-Quarantaene; Egress-Deny rc=7). Strukturbefund: 10 von 13 devops-Tower-Change-Orders nicht integriert, Chair ist Deploy-Deckel.
- 2026-10-31 06:52 - proxmox3: eigener Watchdog-Test kostete 2 h Ausfall. **Ursache im Skript, nicht in der Hardware:** `cat .../carrier || echo 1` — bei administrativ down liefert die Datei `Invalid argument`, `|| echo 1` machte daraus "gesund". v1 lief 2 h alle 20 s mit exit 0 und unternahm nichts; auch die Rueckfallebene des Tests hatte denselben Denkfehler (`"" != "0"`). Watchdog v2 deployed: Tri-State (1/0/-1), `IFF_UP`-Flags, MGMT-IP-Check auf vmbr1, `ifreload -a`, kein `modprobe` mehr, flock. Risikofrei gegen Dummy-Interface `nictst0` verifiziert. Recovery war nur per Power-Cycle moeglich (Boot 06:40:49). Danach: PVE 8/8 quorate, Ceph 17/17 up+in / 530 PGs clean, K8s 8/8 Ready. SolDoc bug-fixes/2026-10-31-nic-watchdog-carrier-blindspot.md
- 2026-10-31 13:35 - systems/schoenkitchen: **Wertstromanalyse** (VS-1 Content, VS-2 Software) in `docs/value-stream.md` + HTML-Karte. Gemessen: 200.000 Rezepte aus 22 Quellen (224.036 Sitemap-URLs, 89,3 % Ausbeute), seit 24.10. **0 neue/Tag** (Target-Gate), %C&A 67 %, 200k Embeddings+Semantik vom Frontend **ungenutzt**, Konsum läuft am Frontend vorbei (Generator KW43–45 vs. 18 UI-Plan-Items aus W30). Software: 104 Tage kein Commit, CI `|| true` (Gate offen), Deploy `:latest` + `git-overlay`-Init (Prod läuft Git-HEAD), 1 Replica/Recreate. Kernthese: Engpass von Angebot → **Verwertung + Frische** verschoben. Wiki-Seite auf Ist-Stand gezogen (74k→200k, Roadmap veraltet).
- 2026-11-01 07:55 - systems/homeassistant: **BLE-Trilateration ausgebaut** — 11 Shelly Gen2/3 + 2 ESPHome = 13 aktive Scanner (vorher 5), Bermuda 13/13, alle Mode auto. Shelly-Scanner nur per HA-Options-Flow `ble_scanner_mode=auto` freischaltbar (RPC `BLE.SetConfig enable` wirkt NICHT, `BLE.GetStatus` bleibt leer — kein Fehler). Shelly = passiv (connectable=false) → GATT braucht ESPHome. `shellypro4pm` Area Garten gesetzt → Repair `scanner_without_area` weg (Bermuda-Area-Cache: Config-Entry reload nötig, WS-Command existiert nicht). esp32c3-supermini (90:DA:72:88:EB:42) offline.
- 2026-11-01 09:20 - systems/homeassistant: **Area-Korrektur Sauna-Scanner + neue Bermuda-Falle** — Shelly „Strommessung Sauna" sitzt in der Garage (EG), Sauna steht auf dem Garagendach (Dachterrasse OG); Area `garage` von floor=None auf `eg` gesetzt, Shelly-Gerät + 3 Phasen-Kinder + BT-Record auf `garage`. Erkenntnis: Bermuda attribuiert Scanner-Areas über den **Bluetooth-Geräte-Record** (`Name (MAC)`), nicht über das Shelly-Gerät — bis der BT-Record stimmte, blieb „Dachterrasse/OG" trotz Reload. Zusätzlich Options-Flow-Detail: `ble_scanner_mode` Enum disabled/auto/active/passive, Default auto, Wert im REST/WS-Listing unsichtbar; A/B 13→12→13. Skill-Referenz + Solution Doc nachgezogen.
- 2026-11-01 12:40 - systems/homeassistant: **BLE-Kalibrierung korrigiert** — ref_power gilt PRO GERÄT (nicht pro Scanner); Geometrie gemessen: 18/27 Geräte von ≥3 Scannern gesehen, iPhone indoor nur 2 → Innenraum-Proxy-Dichte ist der Engpass, nicht Kalibrierung. Fix: Output-0 (Brunnenstein) → Garten, Shelly-Entry-Titel 'Stromverbrauch Heizung' → 'Strommessung Wärmepumpe'. Tool: ~/workspace/bermuda_calib.py.
- 2026-11-01 13:50 - systems/sabnzbd: **Codec-Audit komplett** (507 Videos): 164 HEVC/hvc1 (32%), 338 h264, 2 WMV3, 3 defekt (2x `.hevc_`-Temp ~1,9 GB, 1 Tutorial-MP4 moov fehlt). HEVC-Lauf stoppte 30.10. 17:56 (Manifest 126 Eintraege, kein ffmpeg aktiv). Fortsetzung blockiert: GPU-Node worker-05 (ms-a2-2) dunkel, worker-04 ohne renderD128 -> CPU-x265 unrentabel. Audit-Rohdaten: /config/convert-state/scan.tsv im Pod.
- 2026-11-01 13:50 - entities/haus-grundrisse neu: Grundrisse EG/OG abgelegt (`assets/haus/`), Raum-Mapping OG vom Owner (Schlafen=Büro Sarah, Kind2=Schlafzimmer, Kind1=Cleo). Vision-Auswertung offen (Backend 502/WASM).
- 2026-11-01 19:20 - systems/galera-maxscale: **MariaDB 11.8.9 rolling, 3/3 Synced, kein App-Ausfall** — Drift 11.4.12/12/13 erkannt, Stufe 1 alle auf 11.4.13, Stufe 2 node-fuer-node 11.4.13->11.8.9 (db3->db2->db1, Master zuletzt), `galera-4 26.4.27` unveraendert. `.72` per IST (5 s), `.73`/`.71` per SST (mariabackup-Stream, danach ~2 min Schema-Init). Verifiziert: VIP .70:3306 offen, gitea+5x ha_recorder ueber MaxScale verbunden, wsrep_last_committed +4/30 s, 0 ERROR-Zeilen, Gitea HTTPS 200, Schemas 116/25/16/13 Tabellen. Pitfalls: drain auf Master verboten -> `maintenance`; `maxctrl clear server X <state>` braucht State-Arg; Repo-Dateiname `.sources` vs `.list` je Node; apt auf HDD-Ceph ~10 min/Node -> nohup im Node. Logischer Dump verworfen (13 MB/min, ~6 h) -> Rollback = qm-Snapshots VM300/301/302. Naechster Schritt: Repo-Suite deb12->deb13 (trixie), Version bleibt 11.8.9. SolDoc migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md
- 2026-11-01 20:10 - systems/jellyfin: **StashDB-Metadaten-Pipeline** — 439/506 Szenen (87 %) mit Original-Englisch-Plot, Studio, Datum, Cast, Regie; 31 Collections als Studio-/Serien-Kategorien; 437 NFOs ersetzen die Boilerplate. Fallstricke: `searchStudio` token-basiert (DeviceBondage→0, Device→*Device Bondage*), `performers` nur `INCLUDES` (EQUALS = Serverfehler, Recovery lief 5 min mit 0 Treffern), `text` matcht nur Titel → Cast nur via `searchPerformer`-ID, Pfad-Prefix `/media` vs `/config/downloads/media` normalisieren. Jellyfin-Write = voller DTO per `POST /Items/{id}` (204), Collections `POST /Collections?name=…&ids=…`. 67 ohne Match (28 Tutorials nicht in StashDB). SolDoc integrations/2026-11-01-stashdb-metadata-pipeline.md
- 2026-11-01 20:15 - systems/jellyfin: **Dauerbetrieb** — StashDB-Enricher (`~/workspace/media_meta/`) + Cron `7264208b70b0` (6h, no_agent, still bei Leerlauf). 437 Items Tag `StashDB`, 67 Tag `nosdb` (zweiter Anlauf inkl. Performer-Recovery: 0 weitere Treffer). Sorter bewusst unangetastet (GitOps + Rollout killt Transcodes). Secrets: JF in `~/.hermes/secrets/media_meta.env`, StashDB-Key via `op read`.
- 2026-11-01 19:05 - systems/agent-fleet: **Watcher 0.26 fyi-Retention live** — `phase_archive()` verschiebt fyi älter 1 Tag per os.replace nach `_archive/` (Move, nie Delete; max 250/Lauf, alle 300 s, Journal `fyi_archived`). Digest `sha256:aeb6efc6…ad30beb`, Smoke 32/32. Zwei Läufe: **319 fyi archiviert**, top-level 1574→1255, Rest 345 fyi alle ≤1,0 d. **Korrektur einer Fehlaussage:** von 664 fyi waren 651 `completed` — nur **12 `submitted`** blockierten das Idle-Gate. Kaniko-Pitfalls: interne Gitea-CA (`--skip-tls-verify-registry`), `BLOB_UPLOAD_UNKNOWN` + lügende `--digest-file` (Wahrheit = Pushed-Zeile; `--compressed-caching=false` + frischer Pod). SolDoc bug-fixes/2026-11-01-fyi-retention-archive.md
- 2026-11-01 19:10 - systems/sabnzbd: **Sorter-Stillstand beendet** — `script = Default` in ini (kein Postproc!) + 3 Skript-Bugs (case-sensitiv, 15 Marken fehlten, obfuskierte Ordner) + Retry-Automat wiederholte permanente Fehler. 11 Dateien sortiert, Jellyfin 504→516, Disk 90→88%%.
- 2026-11-01 19:56 - systems/rke2-kubernetes: **ArgoCD-Sync-Blocker entkoppelt** — App `fleet` hing 1,5 h an `DaemonSet/fleet-agent-image-prepuller` (8/7 ready, worker-05 Unknown): ArgoCD bewertet DS erst ab `numberReady==desiredNumberScheduled` als Healthy. `resource.customizations.health.apps_DaemonSet` mit enger Toleranz (nur dieses DS, genau 1 Node, ab 2 → Progressing) → Settings-Reload ohne Restart, laufender Op wurde `Succeeded`, App `Synced/Healthy`. Dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`), weil argocd-cm Helm-managed ist. Nebeneffekt: der Op rollte das Watcher-Deployment aus Git neu aus → Retention-Env + `_archive`-Init-Container erst dadurch live (`set image` hatte sie übersprungen). SolDoc bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md
- 2026-11-01 20:05 - systems/sabnzbd: **Sorter-Sweep-Watchdog** (Cron `57900310b6e5`, 30 min) + Retry-Automat um Postproc-Klasse erweitert (`nachbearbeitung wurde abgebrochen`, `no such file`) → Sarah18-Wrack weg. Befund: `complete/` = 104 GB, darin **0 Videos** (67 GB Anime + 37 GB RAR-Sets + 89 NFO/JPG-Huelsen) → Loeschung braucht GO.
- 2026-11-01 20:45 - systems/agent-fleet: **Karten-Bewertungs-Sweep live** (board-service 0.23 `2d8d3026`, watcher 0.25 `580773d3`, Commits 801409c/e8ef165/a233597). Zwei Zustell-Blocker behoben: (1) Dedupe filterte auf `type: review` — ein fachlicher Abnahme-Task (`working`, vs-fleet-rebuild) sperrte 40 fällige Karten → `_is_card_review_task()` = Sender-Diskriminator; (2) `board-service` fehlte in der **Hardcode-Kopie** der Sender-Allowlist im Watcher (`watcher_main.py` importiert nichts) → 4 Tasks `accepted` + 1 s später `quarantined`, Automatik meldete 40 min Erfolg ohne Zustellung. `accepted` ist Schreib-, `task_claimed` ist Zustellbeweis. Regressionsschutz `spool/test_sender_sync.py` (AST, 14 Checks). E2E: 5 Karten an ceo zugestellt (`c5473d17`), Karten unverändert `Neu`, Folgelauf ohne Doppel-Task. Pattern PAT-018 (`patterns/automatik-erfolg-kein-zustellbeweis.md`), Skill-Ref `agent-fleet-operations/references/spool-delivery-contract.md`, SolDoc bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
- 2026-11-01 21:55 - systems/galera-maxscale: **Welle 4 komplett — alle 5 DB-Nodes auf Debian 13 trixie, Kernel 6.12.113** (schließt CVE-2026-98432 für diese Tier). Galera: MariaDB 11.8.9+maria~deb13, galera-4 26.4.27-deb13, 3/3 Synced/wsrep_ready=ON; MaxScale 24.02.9~trixie-1 auf .81/.82, VIP .70:3306 offen. Ablauf: MaxScale zuerst (.82→.81), dann Galera db1→db2→db3 (Master zuletzt via `maintenance`, weil `galeramon` keinen switchover kennt). Pitfalls: cloud-init 25.1.4 schrieb auf .81 leeres netplan → DHCP/IP-Verlust (Fix 99-static-eth0.yaml per MAC + cloud-init-Netz aus); Repo-Namen driften (`mariadb.sources` vs `mariadb.list`, `fluent-bit.list` auf .72/.73); apt auf HDD-Ceph ~10-20 min/Node → nohup + `=== END`-Sentinel. E2E: Gitea 200 (1.27.0), Immich pong. Seafile-502 vorbestehend (VM203 ai-inference-01 gestoppt). SolDoc migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md
- 2026-11-01 21:25 - systems/agent-fleet: **Deadman-Alarm an toten ceo umgeleitet** (Commit `7b621ad`, deadman 0.13.3 `d8dbc57a`, watcher 0.27 `ced4430b`). Vorfall: ceo-Sandbox `PHASE Error` ab ~18:43, Deadman erkannte korrekt, legte Alarm mit `to: ceo` → 1 h 43 m ungesehen, 73 Tasks Rückstau. Fix: `alarm_recipient()` leitet bei `source_key == agent:<ALARM_TARGET>` an `tower-owner`. Sender-Matrix in allen drei Ebenen erweitert (submit_task.py, watcher_main.py, CM-Kopie). Tests: test_alarm_routing 19/19, sender_sync 0 Fehler, echter Validator im Pod 6/6. ceo wiederhergestellt (stop→start nach OIDC-Login). Pattern PAT-019. Offen: Reconcile-Loop für PHASE Error, OIDC-Refresh-Token
- 2026-11-02 - systems/proxmox-cluster: **CVE-2026-98432 Reststatus live geprüft** — PVE 8/8 `7.0.14-26-pve`, alle 29 LXC erben das (Edge CT99999 inkl.), Galera/MaxScale 5 VMs `6.12.113`, RKE2 7/8 Nodes `6.12.113` (worker-05/VM102 gestoppt), Debian-VMs 107/200/230 `6.1.0-54`, HAOS `6.18.58-haos`. **Offen nur:** Ubuntu .100 (6.8.0-146 läuft, 147 installiert, Fix 6.8.0-149 laut CVE-JSON weiter pending → Mitigation statt Patch) und worker-05 (Kernel beim Start prüfen, evtl. noch 7.1.8). SolDoc Reststatus-Abschnitt ergänzt.
- 2026-11-02 - systems/rke2-kubernetes: **worker-05 (VM102) wieder online** — `qm start 102` auf ms-a2-2, Kernel `6.12.113+deb13`, Node `Ready`, 13 Pods laufen, GPU-Passthrough (AMD Granite Ridge, amdgpu, /dev/dri/renderD128) ok. Ursache des Ausfalls war **`onboot: 0`** + Host-Boot am 01.11. 11:31, kein Crash/CVE. `qemu-guest-agent` fehlte im Gast (PVE zeigte "agent: down" trotz gesundem Gast) → nachinstalliert, `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO).** CVE-2026-98432 damit 25/26 zu, nur Ubuntu .100 offen.
- 2026-11-02 11:45 - systems/agent-fleet: **CEO-Sandbox wieder voll operativ — drei Egress-Gates entkoppelt** (Image `v5.5` `013bfac8`, Commits `d36f334`/`d431f6d`/`5d039ea`, Policy-Push `5d039ea`). Nach dem Landlock-Fix (Hermes real `/usr/local/hermes`, `/opt/hermes` Symlink) war `ceo` 2 h ohne Netz; die acht anderen Agenten unberuehrt. Ursachenkette: (1) Landlock verweigerte Spawn des Entrypoints (Pfad nicht in `read_only`); (2) Network-Broker matcht `binaries[].path` exakt — reale Interpreterpfad fehlte; (3) Gateway staged neue Endpoint-Namen als `staged unapproved ... for TCP policy review`, Default `--approval-mode manual` haelt jede Proposal im Review-Inbox -> Create mit `--approval-mode auto` noetig. Freigabe kommt eine Runde spaeter (`CONFIG:PUBLISHED ... mapped ... ~20 s`), erster Heartbeat 11:09:36 noch FAIL, ab 11:19:36 alle 300 s `hb ok`. Endstand: 9/9 Agent-Pods, 10/10 Deployments, `deadman_silence_seconds{ceo}=292` (<300), alle `deadman_alert_active=0`; ceo arbeitet Tasks ab (u. a. `a9bd0470` Deadman-Eskalation, `49f6f7cf` review von board-service). Pitfalls: Policy-YAML nie per `sed` (Muster kuerzte `/opt/hermes/tools/.../python3.14` auf `/opt/hermes/` — YAML blieb gueltig, Regel matchte kein Binary); `policy set` scheitert live an Bestandspfaden -> `policy update`; Diagnose nur via Supervisor-Log, `kubectl exec` umgeht die Policy. SolDoc bug-fixes/2026-11-02-ceo-egress-landlock-pfad-und-policy-approval.md; Skill-Ref `agent-governance-runtimes/references/openshell-sandbox-provisioning.md` um Abschnitt "Policy liveness" erweitert.
- 2026-11-02 12:35 - systems/agent-fleet: **Rollout v5.5 auf alle 9 Agenten abgeschlossen** (Digest `013bfac8`). Ablauf je Agent: tar-Backup aus dem Pod -> `openshell sandbox delete` -> `create --approval-mode auto` -> Ready -> `kubectl cp` + `tar xzf --no-overwrite-dir` -> Egress-Check; Skript `~/workspace/fleet-rollout/`, Backups `~/fleet-workspace-backups/`, Logs daneben. 8/8 fehlerfrei (coo Pilot, dann chro/agile-coach/cmo/research/cto/devops/ciso), ~1-7 min je Agent nach Erstpull (3m48s). **Recreate kostet den Workspace**: PVC haengt per OwnerRef an der Sandbox, neuer PVC; Groessen nach Restore deckungsgleich (cto 84, ciso 117, devops 113, research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB). **Egress-Freigabe ist asynchron**: Supervisor staged DNS-Namen und reicht selbst Policy-Chunks ein (`add-rule allow_fleet_beacon_...`, resolved_from:sandbox), Gateway auto-approvet bei leerem Prover-Delta (CONFIG:APPROVED, Revision Loaded) — bis zum naechsten Heartbeat-Zyklus 5-10 min, dann `hb ok`. Endstand: 9/9 Pods neuer Digest, 9/9 hb ok, deadman_alert_active alle 0 (max Stille 230 s), 10/10 Deployments, Quarantaene unveraendert 64, 0 Tasks `working`. Offen: 32 Tasks an tower-owner (Owner-Lane, kein Agenten-Backlog). Aufgeraeumt: 7 abgeschlossene Build-Pods im NS fleet geloescht.
- 2026-11-02 13:16 - systems/sarah-hermes: **Compression-Stall behoben** — `model.context_length` 131072→262144, `compression.context_timeout_seconds: 300`, `context_total_ceiling_seconds: 900` (Backup `config.yaml.bak-20261102-131314`, Restart 13:13:33). Verifiziert `resolve_context_compression_timeouts() → (300.0, 900.0)`, Preflight-Threshold 131.072 statt 45.875. Gleiche Werte in lokaler Runner-Instanz gesetzt (Backup `config.yaml.bak-20261102-131606`), dort threshold 0.5 → 131.072 statt 524.288. Offen: Waise-PID 521 (PPID 1, keine Sockets) nach systemd-Restart; `fallback_providers: []` weiter leer.
- 2026-11-02 13:3x - systems/noris-ai: **Context-Fenster an Hermes gepinnt** — Bifrost liefert `max_context_length` nur verschachtelt (`input_modalities[].supported_inputs`), Hermes parst Top-Level und fiel auf Hardcodes zurück (deepseek 128k statt 1.048.576, glm-5-3 1.310.720 statt 1.048.576, gpt-oss 256k statt 131k). Fix: `model.context_length: 1048576` (lokal default + 4 Profile + Sarah VM107) + Per-Modell-Overrides `providers.noris.models.<id>.context_length` aus dem Live-Katalog (29 Fenster). E2E: `lcm_status` 1.048.576 / threshold 524.288 (lokal), 367.001 (Sarah). SolDoc bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md
- 2026-11-02 14:25 - systems/homeassistant: **EMHASS-v2 3 Tage still ausgefallen — Token in /tmp + Publish-Pfad maskierte es.** Cron `a32005d62226` starb beim Host-Boot 30.10. an `FATAL: token file missing` (/tmp volatil, `no_agent`+deliver=local → niemand sah es); `automation.trigger_emhass` postete weiter per `/action/publish-data` die LETZTE Zeile des 3 Tage alten Plans (frische Timestamps, eingefrorene Werte p_batt 0/SoC 99,57). Zweiter Blocker nach Token-Fix: `every 15m`-Anker auf Minute ≡0 gedriftet → Race-Guard `REFUSED rc=2` dauerhaft. Fix: Token kanonisch `~/.hermes/secrets/ha_token.txt` + `/tmp`-Symlink + `ha-token-ensure.sh`, Cron auf `4,19,34,49 * * * *`, neuer Watchdog `3a99e3837250` (>75 min Plan-Alter / <10 h Horizont, Telegram). E2E: manuell 14:09 + Cron-Tick 14:19 `status ok`, CSV 48 Zeilen Optimal. Nebenbefund: SoC 8,8 % (BYD ~6 %, Marstek 14,8 %), Plan C kommandiert 2500 W Marstek-Entladung trotz EMHASS-Hold; alter Watchdog `a2a1b429bc2e` seit 25.09. pausiert + SSH-Klartextpasswort in jobs.json. SolDoc bug-fixes/2026-11-02-emhass-v2-token-tmp-silent-3d-outage.md
- 2026-11-02 16:19 - systems/homeassistant: **EMHASS-Produzent nach Home Assistant verlagert (AppDaemon) — Token-Klasse eliminiert, EMHASS-Add-on unangetastet.** AppDaemon-Add-on `a0d7b954_appdaemon` v0.19.3 (Store, `boot: auto`, bekommt HA-URL+Token automatisch vom Supervisor) führt jetzt die App `emhass_optimizer` aus (`:04/:19/:34/:49`), Quelle `~/scripts/emhass_app/` (Kern per AST verbatim aus v2). Parity: 19/19 unittest + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs Shadow, 48 Slots, 0 Warnungen). E2E: Cutover 16:04, erster Einzelproduzent 16:19 mit CSV-Mtime 16:19:00 und identischem Plan (5 Entlade-/7 Ladeslots, SoC 8,1→10 %). Hermes-Cron `a32005d62226` pausiert = Rollback. **Watchdog-Fix:** Frische wird jetzt an `sensor.p_batt_forecast` (>90 min) gemessen, nicht mehr an `plan_last_forecast`; die `plan_*`-Sensoren schreibt ein neuer Display-only-Cron `4bc13a052329` (`:05/:20/:35/:50`). Pitfalls: `scp` geht auf HAOS nicht (tar over ssh), AppDaemon kann die EMHASS-CSV nicht lesen (Verify über Attribute), AppDaemon-Config liegt unter `app_configs/` nicht `/config/appdaemon`. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md
- 2026-11-03 05:49 - systems/homeassistant: **5 h stiller EMHASS-Ausfall durch eigenen Idempotenz-Bug — gefixt, Watchdog auf CSV-Mtime umgestellt.** AppDaemon-App skippte ab 01:04 jeden Tick mit `already ran for slot …`: `_slot_key` enthielt nur Datum + `minute//15` (4 Keys/Tag), also lief die Optimierung nur 4×/Tag um 00:xx; CSV stand auf 00:49. Warum unbemerkt: der Watchdog maß `sensor.p_batt_forecast`, und `automation.trigger_emhass` ruft alle 15 min `publish_data` → frische Zeitstempel bei eingefrorenem Plan (dieselbe Maske wie beim 3-Tage-Ausfall); `plan_*` frischte der Display-Publisher ebenfalls alle 15 min auf. Fix 1: Key `%Y%m%d_%H%M`. Fix 2: Watchdog prüft jetzt CSV-Mtime (>40 min) + Horizont, Overrides `EMHASS_MAX_AGE_MIN`/`EMHASS_CSV_PATH`; Alarmpfade getestet (stale rc=1, unlesbar rc=1, gesund rc=0). Fix 3: App-Arg `run_on_start` für Sofort-Zyklus nach Deploy. E2E: Zwangszyklus 05:49:45 (Plan 5/8 Slots, SoC 4,3→10 %, 12 Warnings = 77 % Preis-Coverage um 05:49, normal) und planmäßiger Tick 06:04:00 (CSV 06:04:00). Offen: `automation.trigger_emhass` deaktivieren (redundant + dauerhafte Maskierung) — braucht Owner-GO. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md (Nachtrag)
- 2026-11-03 06:40 - systems/homeassistant: **`automation.trigger_emhass` deaktiviert (Owner-GO).** Sie rief nur alle 15 min `rest_command.emhass_publish_data`, übermalte damit eingefrorene Pläne mit frischen Zeitstempeln und war die zentrale Maske beider EMHASS-Ausfälle. YAML: `initial_state: false` (Backup `automations.yaml.bak-20261103-0620`), `automation.turn_off` + `automation.reload` je HTTP 200, Entity `state=off`. Nachweis: um 06:45 blieb `p_batt_forecast` auf 06:34 (statt wie sonst auf 06:45 aufgefrischt), `last_triggered` unverändert; Produzent (AppDaemon) publiziert weiter im 15-min-Takt.
- 2026-11-02 15:5x - systems/sabnzbd: **4 VAAPI-korrupte HEVC-Files per Re-Fetch repariert (Option B), HEVC zurueckgefuehrt.** Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx: Release per Binsearch -> `publish_nzb.py` -> Sorter-Insert-Dedupe (gleiche Dauer +-2 s, gleiche Hoehe -> groessere Datei gewinnt, korrupte nach `quarantine/dedup-sorter/SexAndSubmission/`) -> Volldekodierung 0 Fehlerzeilen -> software libx265 crf24 (hvc1, faststart) -> Gates -> Tausch, Original nach `transcode-originals/`. Endstand alle vier `hevc,hvc1,1080`, Dauer-Delta 0, 13 GB h264 -> 3,2 GB HEVC (Alexa 4,41->1,14 GB), Jellyfin 553 Items / Scan Idle. **Gate-Falle:** Converter-Sidecar hat kein python3 -> `GATE FAIL Dauer` bei identischen Werten; Gates+Swap gehoeren in den App-Container. BoundGangBangs: nur 10,8-GB-Rar-Set (`part0.nzb`) -> kein Re-Fetch, Re-Encode bleibt. Offen (eigenes GO): quarantine 171 G, complete 105 G, transcode-originals 17 G gesunde Master, 2 WMV3-Twins 1,98 GB. SolDoc integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md
- 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md
- 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md
- 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv.
- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.
- 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft.
## 2026-11-15 (2) — Fleet-CTs gelöscht, Galera-02 offline migriert, HA-Regeln analysiert
- **VM 301 (mariadb-02) proxmox7 → proxmox6** (offline, sauberer MariaDB-Stop), Galera danach 3/3 synced.
Stolpersteine: (1) HA-Regel `na-vm301` pinnt die VM auf proxmox5/6/7 → `qm migrate n5pro` wird abgelehnt,
CRM startet sie auf proxmox5 (528 MB frei!); (2) `ha-manager set --state started` VOR Migrationsende →
`request_start_balance` → VM springt auf den alten Knoten zurück. Richtig: state=started lassen, nur
`ha-manager migrate vm:301 <ziel>`. (3) Erster Boot → emergency mode (root locked) → `qm reset` → zweiter
Boot ok, MariaDB per IST rein.
- **9 Fleet-CTs (160,161,163,164,165,201,202,205,206) gelöscht** nach vzdump auf PBS `noris_v4`
(je 4 Snapshots, jüngster 10:17–10:36 UTC, extern per `pvesm list` verifiziert) und Cross-Ref-Scan
über alle 8 Nodes (keine Fremdreferenzen). Disks mit entfernt (`rbd ls vm_disks` = 0). Die Fleet läuft
jetzt in K8s (NS `fleet` 20 Pods / 11 Deployments, NS `agent-fleet` 4 Pods).
- **HA-Regel-Befund:** `galera-anti-300-301` und `galera-anti-300-302` sind wirkungslos — sie enthalten nur je
EIN Resource (`vm:301` bzw. `vm:302`); Grund: **VM 300 ist nicht HA-managed** (`cannot use unmanaged
resource(s) vm:300`). Nur `galera-anti-301-302` greift. Fix braucht erst `ha-manager add vm:300`, dann
Ressourcen-Listen vervollständigen; `na-vm301` (und `na-vm310`) sind Pflaster auf dieser Lücke und sollten weg.
- Neue Bilanz: ms-a2-1 frei 23,8 GB, proxmox7 11 GB, proxmox4 7,5 GB, proxmox6 6,1 GB, proxmox5 5,7 GB.
## 2026-11-17 — PVEHighCPU n5pro: 720p-Batch, nicht der Cluster
- Alarm `pve_cpu_usage_ratio{node="n5pro"}` 0,91 über 43 h. Ursache: **manueller Batch**
`/root/sweep/applefix720.sh rest720.txt 3` (seit 15.11. 16:48, aus SSH-Session
`session-5169.scope`), 3× ffmpeg libx265 `-threads 8` = 24 Threads auf 24 Kernen, nice 0.
Nicht corosync/pmxcfs — der reguläre `conv-n5pro.service` lief und loggte nur
„keine Kandidaten".
- Fix ohne Arbeitsverlust: `renice -n 19` + `ionice -c3` + `CPUQuota=800%` auf den Session-Scope
→ Encoder 20→8 Kerne, Host 90 %→45 %, Gäste unberührt (8 nice-0-Testthreads holten 780 %).
**Falle: systemd `CPUQuota=25%` = 25 % eines Kerns**, nicht des Hosts.
- Job läuft weiter (365/439 Dateien, 74 offen, ~18 h bei 8 Kernen).
Doku: `docs/solutions/infrastructure/2026-11-17-n5pro-high-cpu-transcode-batch.md`,
Skill `video-library-maintenance` um die Hypervisor-CPU-Regeln erweitert.
## 2026-11-15 (3) — HA-Audit abgeschlossen, 14 HA-Services
- **Regeln:** `galera-anti-300-301`/`-300-302` repariert (brauchten `ha-manager add vm:300`, sonst
„cannot use unmanaged resource"), `na-vm301` und `na-vm310` gelöscht. 7 Regeln, alle wirksam.
- **Neu in HA:** ct:141 monitoring, ct:99999 traefik, ct:108 gitea, vm:117 rke2-worker-03 —
vorher alle ohne `mp*`/`dev*`/`hostpci` geprüft, Uptimes unverändert (kein Gast neu gestartet).
- **Control-Plane bewusst NICHT in HA:** etcd liegt auf lokalem NVMe (`scsi1: local-lvm` 10G →
`/var/lib/rancher/rke2/server/db/etcd`), Failover ist damit unmöglich. `vm:122` aus HA entfernt,
dafür `onboot=1` auf allen drei CPs (112 hatte 0). Redundanz liefert etcd selbst (3er-Quorum).
- **Gelöscht (Owner-GO):** CT 110 (VLAN-Testcontainer v. 22.09.2025, 1,1 GiB) und CT 199
(Fleet-Gründungscontainer „ceo" v. 23.10.2026: /root/fleet mit CHARTER/spec/org.yaml + 78-MB-
Hermes-state.db, 4,7 GiB). Beide vorher per `debugfs` auf dem read-only gemappten RBD gelesen,
PBS-Snapshots (je 3, keep-last=3) bleiben als Restore-Pfad. Cluster jetzt 58 Gäste / 40 laufend.
- **Weitere Leichen gelöscht (Owner-GO):** CT 103 (LXC-Template base-103, unreferenziert), CT 904
(mariadb-node4, Tag plb_exclude_db), CT 121 (community-script docker, 03/2026), VM 501 (MaxScale1,
plb_exclude_maxscale), VM 991 (test-mariadb-01, RBD-Kopie vm-300-disk-0-test). Alle RBD-Bilder
entfernt verifiziert. Cluster 60→53 Gäste (40 laufend).
- **WICHTIG — NICHT gelöscht: VM 9000/9002 (debian-12/13-cloudinit)** sind **VM-Templates** und
harte IaC-Abhängigkeiten: epic-2-k8s/tofu/main.tf `template_vm_id=9000`/`gpu_template_vm_id=9002`
(Clone für CPs + GPU-Worker), epic-7-mariadb-vm/tofu/main.tf `vm_id=9000` (2×),
epic-8-sarah-hermes/tofu/variables.tf default 9000. Löschen bricht jedes `tofu apply`.
Vor jedem Löschen: `.tf`-Referenzen greppen, nicht nur den PVE-Bestand ansehen.
- **Nicht HA-fähig:** ct:150/153 technitium-dns (rootfs local-lvm), ct:151 frigate (`/dev/dri`),
vm:102/114 worker-05/02 (hostpci GPU). Doku: docs/solutions/infrastructure/2026-11-15-pve-ha-rules-audit.md
## 2026-11-15 — Cluster-Rebalancing (Capacity + Failure Domains), mit Zwischenfall
- **Move 1 (ok, mit Panic):** VM 300 mariadb-01 proxmox4→ms-a2-2, `qm migrate --online`, 79 s,
483 ms Downtime. Danach **Gast-Kernel-Panic im futex-Pfad** → `qm reset` → EXT4-Recovery des
115-GB-Ceph-Volumes (33 s) → MariaDB startete ins Mount-Race (Errcode 13 auf /var/lib/mysql)
→ `systemctl restart mariadb` → GCache-Recovery → **IST** → 3/3 synced. Kein Datenverlust.
- **Move 3 (ok):** Ceph-MON proxmox4 entfernt → **3 MONs** (proxmox5, ms-a2-1, n5pro), quorum ok.
- **Move 4 (ok):** 9 Fleet-CTs auf ms-a2-1 `memory 8192→2048`, `swap 1024→512` (sind **CTs**, nicht VMs!)
→ ms-a2-1 committed 140,5 GB (153 %) → 86,5 GB (94 %).
- **Move 5 (teil, ok):** proxmox7 CTs 119 pbs 8→4 GB, 123 ollama 4→2 GB, 104 paperless 4→2 GB.
- **Bewusst gestoppt:** Move 2 (VM 301 mariadb-02 proxm7→n5pro) — ein zweites Galera-Mitglied
zu migrieren, während die Panic-Ursache unklar ist, gefährdet das Quorum.
- **Offen/destruktiv:** `ubuntu`-CRUSH-Bucket mit osd.2/15/17 (kein PVE-Node, 18 % Kapazität);
EC-Pool `media_ec` mit `failure_domain=osd` trotz 7 OSDs auf n5pro.
- Neue Bilanz: proxmox4 78 % (frei 7,9 GB), ms-a2-2 50 %, n5pro 67 %, ms-a2-1 94 %,
proxmox3 102 %, proxmox7 201 % (Config, frei 5,4 GB), proxmox5 104 %, proxmox6 97 %.
- Doku: `~/docs/solutions/infrastructure/2026-11-15-pve-migration-mariadb-kernel-panic.md`;
Pitfall-Dreizeiler im Skill `proxmox-ve-administration`.
## 2026-11-13 — Cron 'Abend-Reflexion' (personal-coach) 400er gefixt
- Symptom: `HTTP 400: DeepSeek V4.1 reasoning_effort must be low, high, xhigh, max…` bei
einem Job, der gar kein Modell pinnt → **Fallback-Fire**.
- Zwei Defekte: `cron.model: vllm/release/glm-5-2` ist per Virtual Key **403 model_blocked**
→ jeder Fire wanderte in die Fallback-Kette; `agent.reasoning_effort` war leer, und
deepseek-v41-flash lehnt `""`/`medium` ab (nur low/high/xhigh/max oder int 1–100).
- Beweismatrix gegen ai.noris.de: glm-5-3 akzeptiert alles, glm-5-3-flash high/max,
deepseek-v41-flash nur high/max → `high` ist der einzige gemeinsame Nenner.
- Fix personal-coach: `agent.reasoning_effort: high` + `cron.model: vllm/release/glm-5-3`
(Backup `config.yaml.bak-20261113-pre-reasoning`). Run via
`hermes cron run 8c9e9ab50892 --profile personal-coach` → succeeded, Abend-Reflexion
mit echten Daten (93,3 kg, 5,56 h Schlaf) ausgeliefert.
- Latent offen (nicht angefasst): `infra-sre` + `nutrition-coach` haben
`reasoning_effort: ''` → gleicher 400er, sobald dort ein Fallback auf DeepSeek greift;
`dynamic-coach` + Default-Profil haben `cron.model: glm-5-2` (gesperrt, aber durch
`max` bzw. Fallback abgedeckt).
- Doku: `docs/solutions/bug-fixes/2026-11-13-cron-deepseek-reasoning-effort.md`;
Skill `cronjob` um die Pitfall-Zeile erweitert.
## 2026-11-12 21:2x — Earnie vollständig konfiguriert (parallel, read-only)
- Fünf Konfigdateien gegen Earnies eigene JSON-Schemas validiert und in **beide** Config-Pfade
gelegt (`/config` + `/data/earnie_env/config`); kanonische Bindings `ess.<id>.…`/`inv.<id>.…`.
- Blocker-Kette: `deferred=True` (Refs unvollständig) → `export_tariffs[..].k_push_cent` fehlt
→ Legacy-Key `sens_ess_soc` → gelöst durch UI-Migration `dm4.required_signal_activation`
(Backup `/config/backups/pre-migration-dm4-dm4-20261112T202005Z`).
- Telemetrie über eigenen Push-Dienst `earnie_push.py`/`earnie-push.service` (10 s, Peer
10.0.30.230) statt 649-Zeilen-HA-Paket; sechs Signale, verifiziert im Earnie-Log.
- Erster echter Plan 21:22: Preis 35,36 ct (deckungsgleich mit unserem EPEX-Sensor),
SoC 5,0 %, Netzbezug 2,22 kW, `outcome=ok`, alle `set_ess_*` mit „mapping incomplete"
übersprungen → keine Steuerung, EMHASS unberührt.
- Doku: `docs/earnie/2026-11-12-earnie-live-setup.md`; Wiki `systems/earnie-hems.md`.
## 2026-11-12 — HA-VM CPU-Typ kvm64 → x86-64-v2-AES (Earnie-Blocker)
- `qm set 106 --cpu x86-64-v2-AES` (Backup `/root/vm106-config.bak-20261112-161151`),
Kaltstart. Downtime 25 s, HA-Core nach 70 s, alle Add-ons nach ~5 min.
- Grund: Earnie-Image (Python 3.14) zieht numpy 2.5.4/pandas 3.1.0/pyarrow 26.0.0/highspy
1.15.1 als `manylinux_2_28+`-Wheels → x86-64-v2 (SSSE3/SSE4.x/POPCNT) Pflicht.
EMHASS (Python 3.12, numpy 2.2.6, `manylinux_2_17`) lief auf kvm64 problemlos — daher
fiel es nie auf. Alle 8 Nodes können v2 → migrationssicher.
- Earnie v2.7.0 danach `started` + `healthy` (0 Restarts), UI via Ingress :8501.
- EMHASS/AppDaemon/evcc/Frigate alle `started`; Frigate-Container `healthy`, API 0.18.2.
- AppDaemon-Guard hat beim Boot korrekt geblockt (`get-config failed: Connection reset`),
statt in einen toten Solver zu posten; Zyklus 17:19 dann 96/96 echte Preise (Auktion
für morgen veröffentlicht), load 36,3 kWh aus dem neuen Profil, `Optimal`.
## 2026-11-12 — EMHASS Preis-Gate + 15-min-Raster, Earnie-Bewertung
- `emhass_prices.py` neu: Tiering Sensor → energy-charts → gelernter 28-Tage-Tagesgang, Gate blockiert Phantompreis-Pläne (real 58 %+42 % Shape live).
- `optimization_time_step` 30 → 15 (96 Slots), `slot_min: 15` im Producer + Mismatch-Block.
- Rolling Load Profile: `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00); 3 Bugs in `emhass_build_profile.py` gefixt.
- Neue Seite [[systems/earnie-hems]], Referenz [[reference/emhass-cascade-automation-architecture]] aktualisiert (deficit_cost 0.0, Raster, Preise).
- Solution Doc: `docs/solutions/bug-fixes/2026-11-12-emhass-phantom-price-gate.md`.
## 2026-11-14 — Technitium DNS HA (LAN-Resolver + Adblock) live
- CT150 `10.0.30.150` (proxmox6, Primary) + CT153 `10.0.30.153` (n5pro, Secondary), unprivileged, 1C/1G/4G RBD, onboot.
- Technitium **v15.6.2**; Cluster `dns.internal.schoen.codes`, Config-Sync 300 s, Blockliste HaGeZi Multi Pro (227.848 Domains).
- **VIP 10.0.30.149** (keepalived, VRID 51, unicast, nopreempt, Check TCP:53 + API:5380) — Failover in ~4 s gemessen.
- Omada-DHCP (bleibt bei Omada, nur 2 DNS-Felder): `10.0.30.149` + `1.1.1.1`. Echte Client-Queries kommen an.
- Upstream: 1.1.1.1/1.0.0.1 + Cloudflare-v6; `recursion` per NetworkACL auf private Ranges begrenzt.
- Monitoring: `blackbox_dns` + `blackbox_http` (:5380) in kube-prometheus-stack, PrometheusRule `technitium-dns-rules`.
- **Nebenbefund:** `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** → Prometheus lädt sie nicht; alle Alt-Regeln (NodeDown, Galera, Ceph, Blackbox, PBS) sind im K8s-Stack **inaktiv**. Offener Punkt.
- Fallstricke: community-scripts-Bootstrap 404 (Framework nach `community-scripts/core`), HaGeZi-URL `hosts/` → `wildcard/`, Cluster-Join nur per FQDN-URL.
- Neue Seite [[systems/technitium-dns]], [[reference/ip-map]] ergänzt.
## 2026-11-15 — Beschattungsautomatik Wohnzimmer (Ecowitt-Lux + Sonnenstand)
- Fassaden: WZ-Tür + Fenster 1 = **143° SO**, Fenster 2 = **233° SW** (90° versetzt), free@home-Jalousien (Pos + Lamellen).
- Entscheidung über 2 Template-Binary-Sensoren: `kt` = Ecowitt-Lux ÷ Clear-Sky-Lux (Haurwitz, 110 lm/W) ≥ 0,45 **und** Einfallswinkel ≤ 75° **und** Sonnenhöhe ≥ 8° — statt fester Lux-Schwelle (Winter-Sonne bringt nur ~20 klx, Sommer >100 klx).
- 4 Automations: 4-min-Bestätigung → Öffnungsgrad (20 %) + Lamellen (25 %); Release nach 10 min nur wenn Rollladen noch auf Beschattungsposition (Manuell-Schutz).
- 8 Helper (1 boolean + 7 number), Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer".
- E2E live: 08:37 Release (exakt 10:00 nach Sensor-off), 08:42 Shade (exakt 4:00 nach Sensor-on), echte Fahrzeiten 25–40 s.
- Pitfalls: `reload_core_config` legt neue Helper NICHT an (→ `input_number.reload`/`input_boolean.reload`); HA-Templates haben kein `radians()`; Umlaute in Entity-Namen → unbrauchbare IDs.
- Solution Doc: `docs/solutions/integrations/2026-11-15-beschattungsautomatik-ecowitt-sonnenstand.md`; Details [[systems/homeassistant]].
### Nachtrag 15.11. ~09:00 UTC — Anti-Flatter am Ausfahr-Trigger
- Owner sah Rollläden „wieder hochfahren" (waren meine Verifikations-Läufe 08:37/08:45) und markierte damit ein echtes Design-Problem: Ausfahren hing an derselben kt-Schwelle (0,45) wie das Einfahren → jede dickere Wolke hätte nach 10 min geöffnet und 4 min später wieder geschlossen.
- Fix: Ausfahr-Automationen triggern jetzt auf **Template** `elev > 0 and (elev < 8 or inc > 88 or kt < 0.2)` mit `for: 15 min` (Geometrie-Ende oder echte Trübung), nachts kein Öffnen. Gerenderte Fälle geprüft: live false / kt 0,11 true / az 235 true / elev 5 true / elev −5 false.
- 2026-11-15 10:55 - systems/homeassistant: **BLE-Proxy Wäscheraum (10.0.50.206) auf ESPHome 2026.10.2 geflasht** — Ursache der Hänger war WLAN-Starvation durch das 1100/1100-ms-BLE-Scanfenster (ESPHome 2026.10 warnt selbst); Fix 320/300 ms. Vorher 36 Requests/6 min mit 2 Aussetzern (1,0 s / 2,9 s) und Ping bis 317 ms, danach 18/18 in 3 min ohne Aussetzer, worst 0,15 s, Ping max 35 ms. Neue Diagnose-Entities (Uptime, WiFi-Signal, Heap, Reset-Grund, Restart-Button) + `project:`-Metadaten für künftige HA-Update-Entity. YAML/Secrets liegen jetzt in /config/esphome/; Original war verloren (Device am 09.09. vom MacBook geflasht).
### Nachtrag 15.11. 11:54 UTC — Owner: „zu dunkel" → Schwellen kalibriert
- Beide WZ-Rollläden standen seit 08:46 (SO) bzw. **09:42:56 (SW, produktiv!)** auf Beschattung; der 15-min-Release griff nicht, weil ich kurz zuvor die Helligkeits-Freigabe komplett entfernt hatte (nur Geometrie/kt<0,2). Bei 16 klx / kt 0,43 blieb es also dunkel.
- Owner-Kalibrierpunkt: **16.144 lx / kt 0,43 / Sonnenhöhe 21,3° / inc 53° = zu dunkel**; echte Wintersonne morgens 18,9 klx / kt 0,83 = angenehm.
- Neue Schwellen: Einfahren **kt ≥ 0,52 UND ≥ 15.000 lx**, Ausfahren **kt < 0,45** (5 min) — Hysterese-Band 0,07. Nachts kein Öffnen.
- Rollläden sofort auf 100/100 gefahren, beide Sensoren `off`. Dashboard-Karte um `beschattung_lux_min` + `beschattung_klarbeit_aus` erweitert (jetzt 9 Helper).
### 15.11. 14:05 UTC — Heizung: Raum-Sollwerte gesenkt + WW-Peak-Logik (Owner: „go a")
- **Befund:** Haus 23,5 °C Kernbereich, kein Nachtprofil (Nacht=Tag), Bad/Schminken/Windfang 7 Tage auf **100 % Ventilhub** (Ziele 26,5/24/28 °C unerreichbar). Heizkurve selbst unauffällig (29,2 °C VL bei 0 °C außen, Spreizung 1,2 K, 0–4 Starts/Tag).
- **Ursache:** Raum-Sollwert an der WP (24 °C) ist der Heizkurven-Parameter; zwei Automationen schrieben Normal=24 bzw. Reduziert=23/24.
- **Umgesetzt (mit Rücklesung):** Normal 24→**23**, Reduziert 23→**21** (21,5 von HA verworfen: step=1 → HTTP 500), Komfort bleibt 24; 11 Raumthermostate −1 bis −1,5 K (Bad 23,0, Windfang 20,0); `komfort_heizung` + `normaltemperatur` **off**; neu `ww_peak_blockade_14_30` / `ww_peak_ende_20_30` / `ww_schutz_unter_40_c`.
- **Sofortwirkung:** Ventile Wohnen 100→50 %, Essen 79→19 %, Bad/Schminken/Windfang 100→0 %; VL 27,8→26,8 °C.
- **Gelernt:** HA kann Automations sehr wohl per `POST /api/config/automation/config/{id}` anlegen (verifiziert, HA 2026.10.4) — „nur YAML" ist falsch. ViCare-Cloud-Writes sind asynchron (~30–60 s). Doc: `docs/solutions/architecture/2026-11-15-waermepumpe-raumsollwert-ist-heizkurve.md`, Wiki: `systems/heizung-viessmann.md`.
- **Offen:** Heizgrenze (~14 °C) nur in ViCare-App; Auslöser der Einmaligen WW-Ladung 09:35 unbekannt; Kurven-Verifikation bei < −3 °C (21./22.11.).
### Nachtrag 15.11. 12:50 UTC — „Beschatten gerade nicht notwendig" → Temp-Gate
- 11:47 hatte die Automatik korrekt beschattet (Sonnenausbruch: 30–36 klx, kt 0,83–0,97), Raum aber nur **22,3 °C**. Owner will im November Licht, keine Kühlung.
- Umbau: Beschattung = **Wärmeschutz** — neue Bedingung Raumtemperatur ≥ 24 °C (`input_number.beschattung_raum_temp_min`, Sensor `sensor.wohnzimmer_abb700c81313_wohnzimmer_temperature`) und `einfall_max` 75° → **40°** (Streiflicht zählt nicht mehr).
- Nebenbefund: die Morgen-Flatterei (08:19→09:01→10:41→10:52) kam vom Oszillieren des kt um die Schwelle; mit dem Temp-Gate ist sie strukturell weg.
- Rollläden alle auf 100/100, Sensoren `off` (22,3 °C < 24 °C). Dashboard erweitert (Raumtemp + Schwelle).
### 16.11.2026 — Beschattung: Temperatur-Gate raus, Median-Glättung rein + free@home-Ausfall
- Owner-Vorgabe: „kein temperaturbasiertes Beschatten; helligkeit: kurze peaks nach oben und unten ignorieren."
- Neues Modell: `sensor.helligkeit_geglaettet` (Median der letzten 7 Messwerte, trigger-basiertes Template mit Ringpuffer im Attribut) ersetzt den Instant-Wert; Entscheidung nur `elev >= 5°` + `inc <= 25°` + `Median-Lux >= 8.000`; Ausfahren = Sensor 10 min off (nur tagsüber). Alle Temperatur-/kt-Gates entfernt (Helper gelöscht), Dashboard-Karte auf 1 Boolean + 7 Number reduziert.
- Prüffälle gerendert: Morgen frontal → BESCHATTEN, 11:47-Streiflicht → offen, 13:56 frontal → BESCHATTEN, Regen/Dämmerung → offen.
- **Pitfall:** `input_number.reload` übernimmt geänderte `min`/`max` NICHT → Core-Restart nötig.
- **Incident:** Nach den Core-Restarts free@home `setup_error`, alle Cover `unavailable` (~35 min). SysAP selbst wedged (`/sysap` 15–49 s, `/configuration` Timeout, Web-UI 000). Recovery: `rescue.py reboot` (reboot(0)) → SysAP ~4 min weg → `docker restart homeassistant` → Entry nach **4 min 20 s** `loaded`, alle Cover wieder da. `rescue.py probe` GETALL_TIMEOUT ist KEIN Health-Oracle.
+4
View File
@@ -43,9 +43,13 @@ Hermes automation.
- Limit the number of SecretStores that reference 1Password - Limit the number of SecretStores that reference 1Password
- Consider caching secrets locally to reduce API pressure - Consider caching secrets locally to reduce API pressure
- Never run `op` in tight loops — always add delays for batch operations - Never run `op` in tight loops — always add delays for batch operations
- **Nie `op read` pro Watchdog-Tick:** statische Secrets (HA-Long-Lived-Token, API-Keys) in einen lokalen 0600-Cache legen, `op` nur on-miss/401. Ein 15-Minuten-Watchdog macht sonst 96 Reads/Tag und wird bei jedem Limit blind (2026-11-06: free@home-Watchdog meldete „BLIND (RuntimeError)").
- **Bei anhaltendem Limit (>10 min ohne lokalen Verursacher) zuerst ESO prüfen:** `kubectl logs -n external-secrets deploy/external-secrets --since=10m | grep -c "rate limit exceeded"`. Fehlschlagende ExternalSecrets mit kurzem `refreshInterval` erzeugen einen Retry-Sturm, der die Quote dauerhaft verbraucht.
- 5 ES mit `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret) sind die üblichen Verdächtigen — Rest steht auf 12h.
## Evidence ## Evidence
- Hit twice: Jul 2026 (initial discovery) and during token corruption investigation - Hit twice: Jul 2026 (initial discovery) and during token corruption investigation
- Solution doc: `docs/solutions/architecture/2026-07-24-1password-account-level-rate-limit.md` - Solution doc: `docs/solutions/architecture/2026-07-24-1password-account-level-rate-limit.md`
- MEMORY.md entry: "1P CLI:3 vaults R/W. Rate-limit=acct-level. Stop ESO, wait 1hr, no polling." - MEMORY.md entry: "1P CLI:3 vaults R/W. Rate-limit=acct-level. Stop ESO, wait 1hr, no polling."
- **2026-11-06:** free@home-Watchdog (Cron `43612c6d52b6`) täglich „BLIND: kann HA-Status nicht prüfen (RuntimeError)" — Ursache `op read` pro 15-min-Tick. Parallel: ESO (`onepasswordSDK`, ClusterSecretStore `onepassword-store`) im Retry-Sturm — 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h`. HA selbst gesund (Entry `freeathome` = `loaded`, SysAP HTTP 200). Fix Watchdog: Cache-first-Token + dynamischer PVE-Node (VM 106 war von ms-a2-2 auf proxmox3 gewandert, hardcodierter Node → Rettungs-Reboot unmöglich). SolDoc `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
@@ -0,0 +1,84 @@
---
pattern_id: PAT-018
title: "Erfolgsmeldung einer Automatik ist kein Zustellbeweis — dateibasierte Queues validieren zweimal"
category: integration
severity: high
status: active
first_observed: 2026-10
last_updated: 2026-11-01
related_systems: [fleet-spool, board-service, spool-watcher, submit_task]
related_solution_docs:
- bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md
- bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
related_skills: [devops/agent-fleet-operations]
---
# Erfolgsmeldung einer Automatik ist kein Zustellbeweis
## Symptom
Ein Automatik-Dienst meldet Erfolg (Log-Zeile, `rc=0`, `{"result":"OK","task_id":…}`,
MCP-`OK_*`) — aber der erzeugte Auftrag existiert nirgends:
- `grep` nach dem Sender findet **0** Dateien im Spool,
- die Zielgröße bleibt unverändert (Karte `Neu`, Dead-Letter-Eintrag weg),
- im Journal stehen **zwei** Events zur selben `task_id`: `accepted` **und**
`quarantined`.
Der Dienst läuft stundenlang „grün" und arbeitet nichts ab.
## Root Cause
Der Spool hat **zwei unabhängige Validierungsschichten**:
| Schicht | Datei | Zeitpunkt | Sichtbar für den Einleger? |
|---|---|---|---|
| Einleger | `spool/submit_task.py` (`VALID_SYSTEM_SENDERS`, `VALID_SYSTEM_SENDER_TYPES`) | beim Schreiben | ja (Rückgabewert) |
| Watcher | `spool/watcher/watcher_main.py` (`SUBMIT_SYSTEM_SENDERS`, `SUBMIT_SYSTEM_SENDER_TYPES`, `validate_schema_loose`) | beim Scan, Sekunden später | **nein** |
Der Watcher-Pod hat `submit_task.py` nicht im Image und hält eine **Hardcode-Kopie**
derselben Konstanten. Wer nur eine Seite pflegt, erzeugt Drift: Der Einleger
akzeptiert, der Watcher quarantäniert (`_invalid/`), und `accepted` wird **vor**
der Quarantäne geschrieben — der Aufrufer sieht nur den Erfolg.
Zweite Ausprägung derselben Klasse: Der Watcher prüft das Envelope-Schema
strikt (uuid4-`task_id`, Status-Enum, Feld-Whitelist). Ein Erzeuger, der eigene
IDs oder Zusatzstatus schreibt, wird erst beim Scan abgewiesen.
## Mitigation
1. **Zustell-Indikator prüfen, nicht den Rückgabewert:**
`grep -l "^from: <sender>" <spool>/*.yaml | wc -l` → muss > 0 sein.
2. **Journal nach der `task_id` fragen:** `accepted` + `quarantined` in
derselben Sekunde beweist Einleger-schuld-frei / Watcher-schuld-tragend.
3. **`_invalid/*quar-<id>.yaml` prüfen** — der Envelope ist meist inhaltlich
korrekt und kann nach dem Fix unverändert zurück in den Spool
(`mv` statt Neuerzeugung, IDs/Bodies bleiben).
4. **Beide Konstanten-Dateien patchen**, dann Sync-Test laufen lassen
(`spool/test_sender_sync.py`, AST-Vergleich beider Dateien).
## Prevention
- **Sync-Test für Duplikate:** Wo eine Konstante bewusst doppelt liegt, muss ein
Test die Gleichheit erzwingen (`test_sender_sync.py`: Sendermengen,
Typ-Mapping je Sender, keine Kollision System-Sender/Org-Agent).
- **Erfolg erst behaupten, wenn zugestellt:** Automatik-Trigger loggen „ok"
erst bei `task_claimed` / Datei im Spool nach dem Scan — nicht bei `accepted`.
- **Typen sind Format, nicht Absicht:** Dedupe/Filter nie auf einen Typ stützen,
den auch Menschen benutzen (`review` = fachliche Abnahme **und** Sweep-Auftrag).
Diskriminator ist der Sender (`from`).
- **Automatik-Tasks nicht mit `karte_id` versehen**, wenn sie nur aktivieren
sollen — sonst koppelt `complete_task` die Karte blind auf `Fertig`.
## Evidence
- **2026-10-30** — Re-Dispatch verletzte den Envelope-Vertrag (synthetische
`task_id`, `status: re-dispatched`, Zusatzfelder) → zwei `quarantined`-Events,
Dead-Letter-Eintrag weg. SolDoc
`bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md`.
- **2026-11-01** — Karten-Bewertungs-Sweep: `board-service` fehlte in der
Watcher-Kopie der Sender-Allowlist; 4 Tasks quarantäniert, 12 Karten blieben
unbewertet, Sweep meldete `cards=5` als Erfolg. Zusätzlich sperrte ein
fachlicher `review`-Task (`Abnahme: deadman-rezidiv-research-4`, `working`)
den Value Stream `vs-fleet-rebuild` mit 40 fälligen Karten. SolDoc
`bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md`.
+44
View File
@@ -0,0 +1,44 @@
# PAT-014 — Dead-NVMe-Resurrection für Ceph-OSD
## Trigger
Ceph-OSD auf externem/non-Corosync-Host startet nicht: KernelDevice errno-5 I/O-Errors beim
Label-Lesen, Symlink `/var/lib/ceph/osd/ceph-*/block` ins Leere, VG „verschwindet".
## Root Cause
NVMe-Controller im PCIe-Fabric gestorben (state=dead, Namespace 0B) — NICHT das Medium selbst.
Nach PCI-reset kehrt der Controller oft unter NEUER Nummer zurück (nvme0 → nvme2!), alte
Device-Mapper-Tabelle bleibt stale.
## Resurrection-Sequence (verifizierte Reihenfolge)
1. **Korrekte PCI-Addr finden**: über sysfs-Pfad des Namespaces (`/sys/class/block/nvmeXnY/device`),
NICHT raten — erster Versuch traf den falschen (gesunden!) Controller.
2. `echo 1 > /sys/bus/pci/devices/<ADDR>/remove && echo 1 > /sys/bus/pci/rescan`
→ Controller kommt als neue Instanz zurück, Namespaces wieder da.
3. `pvscan --cache` → VG/LV wieder sichtbar.
4. **Stale DM-Table**: `lvchange -an <vg>/<lv> && lvchange -ay -K <vg>/<lv>`
5. **Lesetest**: `dd if=/dev/<vg>/<lv> bs=4M count=8 of=/dev/null` — bei weiteren errno-5:
NAND/Media defekt → OSD out lassen, Drive tauschen.
6. **Permissions-Falle nach lvchange**: udev setzt Owner root →
`chown ceph:ceph /dev/mapper/<dm-name>; chmod 660` (sonst `bdev open: (13) Permission denied`).
7. `systemctl reset-failed ceph-osd@<id> && systemctl start ceph-osd@<id>`
8. `ceph osd in osd.<id>` + Weight restaurieren.
## Begleitregeln
- Klein/niedergewichtetes OSD niemals mit Weight 1.0 reintegrieren, solange Pools an
Full-Ratios kratzen → sonst `backfillfull`/`backfill_toofull`-Blockade (Fall osd.3:
re-in@1.0 → 96 % voll instant → 13 PGs blocked; Fix: `crush reweight osd.3 0.05`).
- Externe Non-Corosync-Hosts in `/etc/hosts` ALLER PVE-Nodes pflegen (GUI-500
„hostname lookup failed"), oder echter DNS-Record.
## Verified
2026-09-30: osd.2 revived (Kingston SFYRDK2000G, PCI 03:00.0, → nvme2), 495 GiB, Weight 1.0;
Cluster 17/17 up/in; Degraded 0,78 % fallend. osd.3 stabilized @ weight 0.05.
## Smart-Log-Abgleich 2026-09-30 (korrigiert frühere Alters-These)
Kingston SFYRDK2000G (nvme0n2, trägt osd.2): percentage_used **6 %**, media_errors **0**,
available_spare 100 %, unsafe_shutdowns 2, power_on_hours 1469, power_cycles 3.
Geschwisterplatte nvme1n1 identisches Profil (6 % wear, 0 media errors).
⇒ Drive ist MEDIZINISCH GESUND — der Vorfall war rein Controller-(PCI)-Ebene, kein
Media-Verschleiß. **Kein Austausch nötig.** Einziges Beobachtungsfeld: Temperatur 70 °C /
Sensor2 78 °C (thermisches Throttling T1 3× aktiviert) — Kühlung prüfen wäre sinnvoll,
aber keine Akutgefahr.
@@ -0,0 +1,50 @@
---
pattern_id: PAT-016
title: "Ceph OSD-Keyring-Rotation: Reboot macht stale lokale Keyrings zur Zeitbombe"
category: storage
severity: high
status: active
first_observed: 2026-09
last_updated: 2026-10-10
related_systems: [ceph, proxmox, n5pro, ubuntu-host]
related_solution_docs:
- docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md
related_skills: [proxmox-ve-administration]
---
# Ceph OSD-Keyring-Rotation: Stale lokale Keyrings detonieren beim Reboot
## Symptom
Nach einem Node-Reboot crashloopen einzelne/alle OSDs eines Hosts:
```
monclient(hunting): handle_auth_bad_method failed to auth with my available methods: (13) Permission denied
failed to fetch mon config
```
Innerhalb ~10 Minuten markiert der MON sie `down`+`out` → PGs inactive/degraded, Recovery-Churn. Betrifft typischerweise ganze Host-Gruppen, deren OSDs seit der Rotation liefen.
## Root Cause
Rotation der MON-Auth-DB auf aes256k (23.09.2026) ändert die Keys **in der DB**, aber `ceph auth get`-Ergebnisse werden NICHT automatisch in die lokalen `/var/lib/ceph/osd/ceph-<id>/keyring`-Files propagiert. Laufende OSDs merken nichts (Session-Tickets bleiben gültig); erst der Neustart erzwingt die Neu-Auth — und scheitert am alten Key. Erkennungsmerkmal: lokaler Key-String beginnt mit `AQ…` (alt) vs. DB-Key `Ag…` (rotiert).
## Mitigation
```bash
# Auf MON: frisches Keyring je betroffenem OSD erzeugen und verteilen
ceph auth get osd.<id> > /tmp/osd.<id>.keyring # scp → OSD-Host
cp -a /var/lib/ceph/osd/ceph-<id>/keyring{,.bak} # Backup!
mv /tmp/osd.<id>.keyring /var/lib/ceph/osd/ceph-<id>/keyring
chown ceph:ceph $_; chmod 600 $_
systemctl reset-failed ceph-osd@<id>; systemctl start ceph-osd@<id>
```
**Pitfall 1:** Direkter `systemctl restart` nach Crashloop → Startratelimit („Start request repeated too quickly"). IMMER `reset-failed` zuerst.
**Pitfall 2:** Währenddessen setzen MONs die OSDs evtl. `out` → nach Fix prüfen: `ceph osd in osd.<id>` falls nötig (hier automatisch re-in gegangen).
**Pitfall 3:** `ceph-authtool <file> --print-key` benötigt `-p`-Syntax je Version; robuster Key-Extraktionsweg: `awk '$1=="key"{print $3}' keyring`.
## Prevention
- **Vor JEDEM Node-Reboot**: Konsistenz-Sweep aller lokalen Keyrings gegen `ceph auth get-key` (Script: `~/workspace/osd-keyring-fix-2026-10-10/ksweep_local.sh`, getestet 10.10.: 17/17 MATCH).
- Nach jeder Key-Rotation: Sweep als Abschluss-Kriterium, nicht „betroffene Daemons neugestartet".
- Monitoring-Idee: Cron/Watcher, der Prefix-Differenzen (AQ vs Ag) alarmiert (<60s-Alert-Pflicht).
## Evidence
- 2026-09-28: 5 OSDs auf n5pro + osd.5 (proxmox5) nach Reboot — manueller Keyring-Refresh (erste Detonation)
- 2026-10-03: osd.17 (ubuntu) — „clusterweit gelöst", aber nur laufende OSDs gepatcht
- 2026-10-10: osd.7 (proxmox7) + osd.10 (proxmox6) beim ersten Reboot seit Rotation — selbes Fehlerbild, Bestätigung des systemischen Charakters; danach Voll-Sweep 17/17 MATCH
- Solution Doc: `docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md`
+118
View File
@@ -0,0 +1,118 @@
---
title: "LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden"
pattern_id: PAT-015
category: patterns
tags: [llm, timeout, diagnosis, noris, hermes, debugging]
created: "2026-10-02"
severity: high
---
# PAT-015: LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden
## Symptom
Agent-Turns laufen in Timeouts. Logs zeigen:
```
httpx.ReadError: [Errno 32] Broken pipe
→ openai.APIConnectionError: Connection error.
→ 3 Retries mit Backoff
→ "Provider has been unresponsive (no response received) for
5 consecutive stale attempts — aborting this call"
```
Der Instinkt sagt "Netzwerk" oder "VM überlastet". **Meist falsch.**
## Signatur des Modell-Defekts
| Beobachtung | Bedeutung |
|-------------|-----------|
| TCP-Connect **erfolgreich** (`time_connect` < 1s) | Netzwerk ist in Ordnung |
| TLS-Handshake OK (`time_appconnect` gesetzt) | Proxy/Ingress funktioniert |
| **`ttfb = 0.000000`**, Timeout mit *0 bytes received* | Backend nimmt an, antwortet nie |
| Trifft stream **und** non-stream gleich | Kein Streaming-Bug — Modell-Server hängt |
| **Andere Modelle am selben Endpoint: 200** | Key, Netz, Infra alle gesund |
**Kernpunkt:** `code=000` bei erfolgreichem Connect = der Upstream-Backend-Prozess
für *dieses eine Modell* ist tot/hängt. Nicht das Netz.
## Diagnose-Rezept (5 Minuten)
Identischer Key, identischer Host, **Modell-Matrix** gegentesten:
```bash
KEY=<from running process>
for m in <broken-model> <candidate-a> <candidate-b>; do
curl -s -o /tmp/r.json -w "%{http_code}" --max-time 20 \
https://<endpoint>/v1/chat/completions \
-H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
-d "{\"model\":\"$m\",\"messages\":[{\"role\":\"user\",\"content\":\"say OK\"}],\"max_tokens\":8}"
done
```
**Ein einziges Modell 000 + Rest 200 ⇒ Modell-Defekt, kein Infra-Defekt.**
Gegenprobe von einem **zweiten Host** ausschließen, dass es host-spezifisch ist.
## Pitfalls bei der Diagnose
1. **Key aus `~/.hermes/.env` greppen schlägt fehl**, wenn der Key im systemd-Unit
als `Environment=` steht. → Aus dem laufenden Prozess lesen, nicht aus `.env`:
`sudo tr '\0' '\n' < /proc/<PID>/environ`
Die PID rotiert bei jedem Restart — nicht cachen.
2. **401/403/400 nicht mit 000 verwechseln.** Key-Scope-Fehler antworten sofort
mit Body. `code=000` ist der einzige echte Hang.
3. **`/v1/models` listet auch Modelle, die der Key nicht darf** (`403 model_blocked`).
Auflisten ≠ nutzbar.
4. **Veraltete Response-Datei:** bei `code=000` schreibt curl keine Datei →
`head` zeigt die *vorherige* Antwort. Sieht aus wie Erfolg. Immer `-w %{http_code}`
als Wahrheit nehmen, nicht den Body.
## Amplifier: fehlender Fallback
```yaml
fallback_providers: [] # ← kein Fallback
agent:
api_max_retries: 3
mcp_servers:
playwright:
timeout: 120
connect_timeout: 60
```
Ohne Fallback hängt jeder Turn bis `timeout` × Retries. Ein defektes Modell
legt dann die **ganze** Instanz lahm statt einen degradierten Betrieb zu erzeugen.
## Fix
Default-Modell auf ein verifiziert funktionierendes umstellen, **dann E2E testen** —
nicht nur Config-Write verifizieren:
```bash
# 1. Backup
cp -a config.yaml config.yaml.bak.$(date +%Y%m%d_%H%M%S)
# 2. Beide Modell-Referenzen patchen (model.default + providers.<p>.model)
sed -i 's|<old>|<new>|g' config.yaml
# 3. YAML validieren
python3 -c "import yaml;yaml.safe_load(open('config.yaml'))"
# 4. mtime(config) MUSS < Prozessstart sein
stat -c '%y' config.yaml; systemctl show <svc> -p ActiveEnterTimestamp
# 5. Restart + E2E-Turn
```
**Verifikationskette, die zählt:**
- Neue Session meldet das neue Modell (`session.model`)
- Ein echter Turn läuft durch (`terminal_state: completed`)
- Transcript enthält die Assistant-Antwort
## Referenz-Vorfall
2026-10-02, sarah-hermes VM107: `vllm/release/glm-5-2` hing bei `ai.noris.de`
(0 Bytes, stream + non-stream, von 2 Hosts). Derselbe Key lieferte mit
`qsu/deepseek-v41-flash`, `release/gpt-oss-120b`, `qsu/qwen3.8-27b`,
`release/qwen3.6-27b` jeweils 200. Fix: Default → `qsu/deepseek-v41-flash`,
E2E-Turn in 15s.
## Related
- [[systems/sarah-hermes]] — Vorfall VM107
- [[systems/noris-ai]] — Endpoint, Modell-Katalog
@@ -0,0 +1,57 @@
---
pattern_id: PAT-020
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
category: storage
severity: high
status: active
first_observed: 2026-09
last_updated: 2026-11-15
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
related_solution_docs:
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
---
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
## Symptom
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
zusätzlich `backup ended but finished flag is not set`.
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
## Root Cause
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
während echte Änderungen seit Wochen nicht gesichert sind.
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
## Mitigation
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
## Prevention
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
## Evidence
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
+23
View File
@@ -0,0 +1,23 @@
# PAT-012 — Placement Guardrails (RAM-Deckel + Swap-Verbot)
**Trigger**: Neue Gastplatzierung oder Kapazitätsfrage auf einem PVE-Node.
**Policy**:
- Committed RAM pro Hypervisor ≤ 70 % physikalisch. Über Deckel = "voll",
Guests redistribuieren BEVOR neue Last kommt.
- Resident Swap > 100 MiB für >10 min = Politikverstoß → Placements prüfen,
nie als Normalzustand akzeptieren.
**Enforcement (live)**: Gruppe `placement_guardrails` in CT141
(`/opt/monitoring/prometheus/rules/alerting_rules.yml`):
- `PVEPlacementCeilingBreached` (ratio > 0.70, for 15m, warning)
- `HVResidentSwapNonzero` (SwapTotal-Free > 100MiB, for 10m, warning)
**Vor jeder Platzierung**: Ratio-Query ziehen
(`pve_memory_usage_bytes{id=~"node/.*"} / pve_memory_size_bytes{id=~"node/.*"}`)
— >70 %-Nodes meiden, Headroom liegt primär auf ms-a2-1/ms-a2-2.
Baseline-Rollout 30.09.: proxmox3 80,6 / p4 79,3 / p5 75,5 / p6 72,6 %
über Deckel (Warnburst erwartet = Rebalancing-Backlog, kein Emergency).
Ref: docs/solutions/architecture/2026-09-30-placement-guardrails-ram-ceiling.md
+28
View File
@@ -0,0 +1,28 @@
# PAT-013 — Prometheus Config Rescue (Crashloop + LXC Rootfs Channel)
**Trigger**: Prometheus crashloop nach Config-Rewrite, oder pct exec unbrauchbar.
**Iron Rules**:
1. NIEMALS `grep -n`-Ausgabe als Rewrite-Source — Nummernpräfixe verseuchen die Datei.
Nutze `grep -v` (ohne -n) oder Python/awk.
2. YAML validieren BEVOR Container recreate (sonst Crashloop = totale Blindheit).
3. Beim Löschen von Targets/IPs ALLE Locations sweeppen — Dubletten leben gern in
mehreren Jobs derselben Datei (node_exporter-Liste ≠ blackbox-Liste).
**Rescue-Kanal (universell für LXC auf RBD)**:
```bash
# Auf dem Hyper visor, der den CT hostet:
lsblk # rbdX finden (size matchen)
mount /dev/rbdX /mnt/rescue
# Dateien direkt editieren unter /mnt/rescue/opt/...
umount /mnt/refuge
# im CT: docker compose up -d --force-recreate <svc>
```
**Symptom-Signature Crashloop**: `docker logs prometheus` → "yaml: line N: mapping
values are not allowed in this context" = klassisches NN:-Präfix-Gift.
**Stale-Series-Note**: gelöschte Targets erscheinen sekundenweise weiter in Queries —
erst nach Scrape-Zyklus-Gap re-checken, dann Erfolg erklären.
Ref: docs/solutions/bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md
+22
View File
@@ -0,0 +1,22 @@
# PAT-011 — PVE Webhook Notifications Pipeline Repair
**Trigger**: PVE notifications (esp. vzdump) reach Telegram not / test returns 500.
**Signature diagnosis ladder**:
1. `pvesh create /cluster/notifications/targets/<name>/test` — error taxonomy:
- `Connection refused` → transport/down (check URL target alive)
- `failed to render webhook body` → template broken (syntax/base64)
- `http status: 400` → bridge rejected payload (escaping!)
2. Listener-Sweep über VLAN: `for ip in .xx…; do /dev/tcp/$ip/port probe; done`
3. Byte-Level-Truth via temp mini-sniffer (redirect URL, capture, restore!).
**Hard rules**:
- Mutations an `/etc/pve/notifications.cfg` NUR via `pvesh set` (hand-edits poison
global deserialization!). Vorher Snapshot.
- `body`/header-values/secrets = **base64 blobs**: `printf '%s' tpl | base64 -w0`.
- Handlebars helpers: `{{escape title}}` (Space!), NICHT `{{escape:title}}`.
- Immer `{{escape title}}`/`{{escape message}}` verwenden — rohe Interpolation bricht
bei Apostrophen/Multiline (Backup-Reports!).
- Sniffer-Redirect URL IMMER restaurieren.
Reference: `docs/solutions/bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md`
+49
View File
@@ -0,0 +1,49 @@
---
pattern_id: PAT-010
title: "PVE host OOM-kill freezes guest VM as zombie (RSS collapse signature)"
category: infrastructure
severity: high
status: active
first_observed: 2026-09
last_updated: 2026-09-30
related_systems: [proxmox-cluster, rke2-kubernetes]
related_solution_docs: [docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md]
related_skills: [rke2-cluster-administration, systematic-debugging]
---
# PAT-010: PVE host OOM-kill freezes guest VM as zombie
## Symptom
- K8s node NotReady, kubelet heartbeat stops abruptly
- PVE shows VM `running`, but: no ping, no SSH, qemu-guest-agent dead,
tap-interface TX counters static
- **Signature:** `qm status <vmid> --verbose` → kvm RSS collapses to a
tiny fraction (<5%) of assigned RAM — guest kernel no longer touches
its memory
- Downstream alerts (DS misscheduled, workload CrashLoops) fire, but
NOTHING alarms on the actual OOM
## Root Cause
Host RAM oversubscription (allocations >> physical RAM). OOM-killer picks
the largest anon-RSS process = biggest kvm. After TWO consecutive kills of
the same guest (HA auto-restarts in between), the revived QEMU comes up
but the guest kernel stays inert → zombie VM.
## Mitigation
1. Relieve host pressure FIRST (move movable tenants away) — otherwise
the unfreeze re-boots the guest into the same thrash.
2. Hard cycle the VM: `qm stop` + `qm start` (respect HA guards).
3. Re-query `ha-manager status` afterwards — HA may relocate the VM.
4. Uncordon the K8s node; orphan DS pods self-reconcile.
## Prevention
- Allocation ceiling per PVE host (≤ ~70% of RAM) enforced in placement/
IaC; swap is a buffer, not capacity.
- PSI/OOM alerting per PVE node in Prometheus — OOM kills are currently
invisible to alerting (noticed only via downstream K8s symptoms).
## Evidence
- 2026-09-30: proxmox6 (16 GB, ~47.8 GB allocated): OOM-killed
rke2-worker-05 kvm twice (18:43:38, 20:44:12 UTC on 29.09.), second
revival = zombie (RSS 239 MB / 12 GB). Fixed via Laya-CT migration +
hard recycle; HA relocated VM to ms-a2-2. Full RCA in related doc.
+12
View File
@@ -14,6 +14,7 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
``` ```
| Date | Skill | Change Type | Description | Validation | Outcome | Ref | | Date | Skill | Change Type | Description | Validation | Outcome | Ref |
``` ```
| 2026-10-08 | smart-home-automation | adopted | EMHASS-References erweitert: Status-Block in defect-analysis (Pointer-Datei) + neue Sektion "CSV Laws & Shadow Testing" in api-and-config | tested | accepted | docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md |
- **Change Type**: `created` | `patched` | `deleted` | `adopted` - **Change Type**: `created` | `patched` | `deleted` | `adopted`
- **Validation**: How was success measured? (`manual` | `tested` | `benchmark` | `n/a`) - **Validation**: How was success measured? (`manual` | `tested` | `benchmark` | `n/a`)
@@ -38,3 +39,14 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
`validation: manual` — they may enable future improvements. `validation: manual` — they may enable future improvements.
- **Rollbacks** are explicitly tracked — if a skill patch caused regressions and was - **Rollbacks** are explicitly tracked — if a skill patch caused regressions and was
reverted, the entry stays with `outcome: rolled-back`. reverted, the entry stays with `outcome: rolled-back`.
| 2026-10-08 | smart-home | patched | NUT-Absatz ergänzt: Kaskade, Master/slaves, roh-Proto-Details, Watchdog-Cron 4cbf03ccb4de | tested | accepted | docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md |
| 2026-10-08 | (none) | adopted | PAT-016 systemd-path-blindness erstellt (Exit-127-Klasse: ~/.local/bin unsichtbar im Service-PATH; trap-EXIT-Cleanup-Pflicht) | tested | accepted | docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md |
| 2026-10-11 | devops/seafile-api | patched | references/seafile-bulk-migration.md um Welle-2-Guardrails erweitert: synchronized-as-Gate (Trim-Parser), Status-Tabellen-Truncation unter Last, Heal-Pass, --from0-Exclude-Engineering, Byte-Verification statt du, mv-across-ZFS-Datasets, pkill-in-eigener-Shell-Falle, Locale-abhängige rsync-stats; Disk-Stand 285G/46G aktualisiert | tested | accepted | docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md |
| 2026-10-17 | productivity/imap-file-delivery | patched | Pitfall-Tabelle +2: verschachtelte FETCH-Tupel (rekursiv flattening statt dat[0].decode) und RFC2047-q-kodierte Subjects (decode_header+Klartext-Vergleich statt Rohmatch) — sonst FALSE NEGATIVE trotz APPENDUID-OK | tested | accepted | docs/solutions/integrations/2026-10-17-imap-append-verification-rfc2047-tuple-pitfalls.md |
| 2026-10-19 | devops/rke2-cluster-administration | patched | Neue Reference `references/cilium-networkpolicy-traps-2026-10-19.md` (4 stumme CNP-Fallen: Selektion⇒Default-Deny, `[{}]`=Null-Allow, service.name≠Identity-Label, VIP-SNAT⇒world) + Description-Link; L3 deckte Cilium-NP zuvor nicht ab (nur LB-Pool) | tested | accepted | docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md |
| 2026-11-02 | devops/ai-noris-inference-api | patched | Context-Fenster-Pitfall ergänzt: Bifrost liefert max_context_length verschachtelt; Hermes-Fallback 128k/1.31M/256k; Fix via model.context_length + providers.noris.models.<id>.context_length | tested | accepted | docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md |
| 2026-11-05 | security/security-exposure-audit | patched | Auth-Bypass-Regel ergänzt: sshd-libc per `ldd` prüfen (musl-Loader ≠ musl-sshd), fünf AND-Bedingungen für sshhole.com | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
| 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
| 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md |
| 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md |
| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md |
+42
View File
@@ -0,0 +1,42 @@
# Skill Impact Tracker
> Inspired by WikiSkill (arXiv:2608.27454) — tracks skill modifications, their validation
> outcomes, and acceptance decisions. Prevents repeating failed modifications and provides
> an audit trail of skill evolution.
## How to Use
When a skill is patched, created, or deleted, append an entry to the table below.
The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
### Entry Format
```
| Date | Skill | Change Type | Description | Validation | Outcome | Ref |
```
- **Change Type**: `created` | `patched` | `deleted` | `adopted`
- **Validation**: How was success measured? (`manual` | `tested` | `benchmark` | `n/a`)
- **Outcome**: `accepted` | `rejected` | `rolled-back` | `pending`
- **Ref**: Session ID or solution doc path
## Audit Trail
| Date | Skill | Change Type | Description | Validation | Outcome | Ref |
|------|-------|-------------|-------------|------------|---------|-----|
| 2026-08-30 | compound-learning | patched | Added WikiMaintainer phase + patterns/ guidance from WikiSkill paper analysis | tested | accepted | this session |
| 2026-08-30 | (retrospective) | created | 4 solution docs + 2 new patterns (PAT-008, PAT-009) from 30-day retrospective | tested | accepted | this session |
| 2026-08-13 | hindsight | patched | Expanded meta-memory automation table (decay scoring, drift detection, skill health) | tested | accepted | session 2026-08-13 |
| 2026-08-13 | (3 cron jobs) | created | Decay scoring, drift detection, skill health check — no_agent cron jobs | tested | accepted | session 2026-08-13 |
## Notes
- **Rejected proposals persist here** — they are NOT deleted. Future skill updates can
consult this log to avoid repeating failed approaches (the WikiSkill paper showed this
is critical for effective evolution).
- **Neutral changes** (no improvement, no regression) are recorded as `accepted` with
`validation: manual` — they may enable future improvements.
- **Rollbacks** are explicitly tracked — if a skill patch caused regressions and was
reverted, the entry stays with `outcome: rolled-back`.
| 2026-10-08 | smart-home | patched | NUT-Absatz ergänzt: Kaskade, Master/slaves, roh-Proto-Details, Watchdog-Cron 4cbf03ccb4de | tested | accepted | docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md |
| 2026-10-08 | (none) | adopted | PAT-015 systemd-path-blindness erstellt (Exit-127-Klasse: ~/.local/bin unsichtbar im Service-PATH; trap-EXIT-Cleanup-Pflicht) | tested | accepted | docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md |
+49
View File
@@ -0,0 +1,49 @@
---
pattern_id: PAT-016
title: "systemd-PATH-Blindness: binaries aus ~/.local/bin verschwinden im Service-Kontext"
category: infrastructure
severity: high
status: active
first_observed: 2026-10
last_updated: 2026-10-08
related_systems: [hermes-agent-01, systemd]
related_solution_docs: [docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md]
related_skills: []
---
# PAT-016 — systemd-PATH-Blindness
**Trigger**: Ein Skript, das interaktiv/per SSH fehlerfrei läuft, stirbt als systemd-Service mit
`command not found` (Exit 127) — typischerweise bei pip-user-installierten CLIs (`aws`, `uv`),
Node/npm-Tools oder allem unter `$HOME/.local/bin`, `$HOME/.cargo/bin`, `/opt/*`.
## Symptom
- Journal: `<script>: line NN: aws: command not found` → `status=127`
- Dieselbe Binary funktioniert problemlos in der interaktiven Shell desselben Users.
- Bei `set -e`-Skripten mit Cleanup AM ENDE: sekundär Müll-Akkumulation, weil der Exit
vor dem Aufräumschritt liegt.
## Root Cause
systemd startet Units mit definiertem Minimal-PATH (`/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin`),
OHNE die User-Shell-Profile zu sourcen. Pip `--user`-Installationen landen in `~/.local/bin`,
das nur via `~/.profile`/shell-Init in PATH kommt. Interaktiv≠Serviceland.
## Mitigation
1. **Robuste Variante (im Skript):** Absolutpfad mit Fallback-Kette:
`BIN="$(command -v foo || true)"; [ -z "$BIN" ] && BIN="/home/user/.local/bin/foo"; [ -x "$BIN" ] || exit 1`
2. **Unit-seitig:** Drop-in `Environment="PATH=/home/user/.local/bin:$PFAD"` — macht ALLE
Scripts der Unit robust, auch solche Dritter.
3. **Cleanup-Traps:** `trap 'rm -f "$TMPFILE"' EXIT` — garantiert Aufräumen bei JEDEM Exit,
egal wo `set -e` zuschlägt.
## Prevention
- Beim Schreiben neuer systemd-Units mit User-Skripten: PATH-Annahme niemals erben lassen.
- Watchdog-Muster: Backup-Jobs brauchen Alter-des-letzten-Erfolgs-Monitoring (still sterbende
Jobs bleiben sonst Wochen unsichtbar — hier 10+ Tage TOOT).
- Bei Exit-127 im Journal zuerst PATH-Differenz interaktiv vs. Service prüfen (`systemctl show -p Environment`).
## Evidence
- 2026-10-08: hermes-backup.service (backup-to-s3.sh, täglich 04:00 UTC) Exit 127 seit ≥27.09.,
10× ~2G-Tarballs in /tmp bis Root-FS 100 %. Fix: Skript-AWS_BIN + Drop-in-PATH + trap.
Verifikation: Produktionslauf SUCCESS + S3-Readback 2.284.533.218 B.
→ docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md
@@ -0,0 +1,51 @@
---
pattern_id: PAT-017
title: "Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert (404 ohne Log)"
category: networking
severity: medium
status: active
first_observed: 2026-10-23
last_updated: 2026-10-27
related_systems: [rke2-kubernetes, traefik, agent-fleet]
related_solution_docs: [integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md]
related_skills: []
---
# Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert
## Symptom
IngressRoute (oder andere Traefik-CRD) mit korrektem Host/Path/TLS-Setup liefert
404 (Traefik-Default), obwohl LoadBalancer, entryPoint und Backend alle
funktionsfähig sind. Kein Fehler im Traefik-Log, Objekt ist per kubectl sichtbar.
## Root Cause
Traefik läuft mit Provider-Filter
`--providers.kubernetescrd.ingressClass=traefik`. Objekte ohne die Annotations
`kubernetes.io/ingress.class: traefik` UND `traefik.io/ingress.class: traefik`
werden vom CRD-Provider komplett verworfen — still, ohne Log-Eintrag.
## Mitigation
Beide Annotations am CRD setzen:
```yaml
metadata:
annotations:
kubernetes.io/ingress.class: traefik
traefik.io/ingress.class: traefik
```
Wirkung sofort (Router matcht). Nebenerkenntnis 27.10.: Für ipAllowList-Zwang
am VIP-LB braucht es `externalTrafficPolicy: Local` am LB-Service — bei
`Cluster` SNATet Cilium die Client-IP weg und die ACL blockt fälschlich alles.
## Prevention
- Vor Deploy einer neuen Traefik-CRD: gegen eine bereits funktionierende
Route diffen und die ingressClass-Annotations kopieren.
- Review-Checkliste für Exposure-PRs: ingressClass-Annotations? eTP Local bei
ACL? EntryPoint-Länge ≤15 Z. (Chart kürzt)?
## Evidence
- 2026-10-23: fleet-webui (VIP .212) — Original-Incident, 404 → Fix
Commit-Kette 37f40ec…1d35b1f; Solution-Doc integrations/2026-10-23.
- 2026-10-27: Fleet Control Tower (VIP .213) — **zweite Inkarnation**,
identisches Bild, Fix Commit 8d201bf (8d201bf..0ddad265-Kette). DOM-Smoke
23/23 PASS danach. Evidence-Update im Solution-Doc.
- MEMORY.md-Pointer ergänzt.
@@ -0,0 +1,93 @@
---
pattern_id: PAT-019
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
category: infrastructure
severity: high
status: active
first_observed: 2026-11
last_updated: 2026-11-01
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
related_solution_docs:
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
---
# Watchdog-Alarm an das ausgefallene Ziel
## Symptom
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
der Watchdog messbar korrekt gearbeitet hat:
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
- im Spool liegt ein P1-Task mit korrektem Text
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
Funktion), nicht durch die eigene Überwachung.
## Root Cause
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
ergeben:
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
keinen vom Ziel unabhängigen Empfänger.
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
wird damit permanent, statt sich selbst zu reparieren.
## Mitigation
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
kein Agent, eigenes Deployment):
```python
def alarm_recipient(self, source_key):
if source_key == f"agent:{ALARM_TARGET}":
return OWNER_TARGET
return ALARM_TARGET
```
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
inkl. Vorbedingungen (Login).
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
## Prevention
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
ein Logbuch.
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
nicht selbst.
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
wenn sie gebraucht wird.
## Evidence
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
Klasse: Fehlerzustand ohne Reconcile. SolDoc
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
@@ -0,0 +1,212 @@
---
title: "EMHASS Kaskaden-Automations-Architektur"
category: reference
tags: [emhass, battery, cascade, homeassistant, byd, marstek]
created: "2026-10-02"
modified: "2026-10-08"
---
# EMHASS Kaskaden-Automations-Architektur
> Steuerung der dualen Batterie-Systems (BYD 11kWh + Marstek 5kWh) via EMHASS Optimizer + HA Kaskaden-Automation.
## Architektur-Übersicht
```
EMHASS (LP Solver) → sensor.smart_battery_target
↓
┌───────────────────┴──────────────────┐
│ Kaskaden-Automation (jede 2 Min) │
├───────────────────────────────────────┤
│ BYD/SMA: 803 Auto (default) │
│ 802 Manual (bei target≤0) │
│ Marstek: force_mode via │
│ sensor.marstek_target_power │
│ (= smart_target − BYD_actual)│
└───────────────────────────────────────┘
```
## EMHASS Configuration (12,32 kWh Virtual Battery)
> **Korrigiert 03.11.2026:** Kapazität war mit 16000 Wh angesetzt (Annahme BYD 11 kWh),
> real nutzbar sind 7,2 kWh (SMA SBS, aus 10 T Lade-/Entladehistorie gemessen) + 5,12 kWh
> (Marstek) = **12320 Wh**. `sensor.total_soc` rechnet seit dem Fix mit demselben Nenner,
> sonst wäre die SOC-Kurve inkonsistent zur Modellkapazität.
| Parameter | Value | Hinweis |
|-----------|-------|---------|
| `battery_nominal_energy_capacity` | 12320 | SMA 7,2 kWh nutzbar + Marstek 5,12 kWh |
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
| `battery_discharge_power_max` | 6700 | dto. |
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
| `battery_discharge_efficiency` | 0.9 | dto. |
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
| `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) |
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
| `battery_maximum_state_of_charge` | 1.0 | 100% |
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
| `set_use_battery` | True | Batterie aktiv |
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
| `use_websocket` | True | |
| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h |
| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP |
| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet |
## Preise & Gate (neu 12.11.2026)
`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers:
1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min)
2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares
auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional,
429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht).
3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der
Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30.
**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % →
sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`.
Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die
Phantom-Nachtpreise, nicht ein Fehler).
**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`;
die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch.
## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026)
Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die
Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 /
**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k
Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %.
Konsequenzen, umgesetzt:
- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich
aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus.
- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet
eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird
das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag.
- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil
enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt.
## ⚠️ Known Pitfall: set-config Full Overwrite
`POST /set-config` ersetzt die **gesamte** Konfiguration, nicht nur gesendete Felder.
Nicht angegebene Parameter fallen auf Defaults zurück (capacity→5000, power→1000, etc.).
**Regel:** Immer ALLE Parameter zusammen senden. Nach jedem Write mit `GET /get-config` verifizieren.
Siehe Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
## Kaskaden-Automation
**Automation ID:** `1774430238377` (ON)
**Schedule:** Alle 2 Minuten
**File:** `/mnt/data/supervisor/homeassistant/automations.yaml`
### BYD/SMA Steuerung
| EMHASS target | PV | BYD Modus | Bedeutung |
|--------------|-----|-----------|-----------|
| `> 0` (Entladung) | egal | **803 Auto** | BYD self-managed, Marstek kriegt Rest |
| `≤ 0` (Hold/Ladung) | `< 100W` | **802 Manual** | BYD hält/zwingt Ladung, EVCC hold |
| `< 0` (Ladung) | `≥ 100W` | **803 Auto** | PV reicht, BYD lädt selbst |
- BYD läuft permanent in Auto/Normal — nur bei EMHASS-Hold/Zwangsladung auf 802
- Modbus Register: 44425 (Mode), 44427 (Power)
- BYD IP: `10.0.50.202:502`
### Marstek Steuerung
- `sensor.marstek_target_power` = `smart_battery_target − actual_BYD_discharge + actual_BYD_charge`
- Cap: ±2500W
- Force modes: `charge`, `discharge`, `standby`
- Writable entities: `select.marstek_venus_modbus_force_mode`,
`number.marstek_venus_modbus_ladeleistung_einstellen`,
`number.marstek_venus_modbus_entladeleistung_einstellen`
- Marstek IP: `10.0.50.113`
### Gelöste Bugs
1. **Double-Counting (behoben 2026-10-01):** `sensor.sma_target_power` nahm volle EMHASS-Target,
ließ Marstek 0W. Fix: `sma_target_power` gelöscht, `marstek_target_power` nutzt jetzt
echte BYD-Werte (discharge - charge) statt Forecast-Split.
2. **Overnight Hold Too High (behoben 2026-10-02):** EMHASS hielt bei 65% weil
`target_state_of_charge=0.30`. Geändert auf 0.15.
3. **BYD ignoriert Hold (behoben 2026-10-02):** 802-Bedingung war `target < 0`,
jetzt `target <= 0` (Hold bei target=0 eingeschlossen).
## Template Sensoren (configuration.yaml)
- `sensor.smart_battery_target` — EMHASS p_batt_forecast, gerundet
- `sensor.marstek_target_power` — Plan A: smart_target − actual_BYD_net_discharge
- Guards: SoC-Checks, ±2500W cap
- `sensor.sma_target_power` — **ENTFERNT** (war Double-Counting Source)
## Cron Jobs
| Job ID | Schedule | Typ | Funktion |
|--------|----------|-----|----------|
| `a32005d62226` | every 15m | no_agent script | Ruft EMHASS Optimization auf, published Plan zu HA |
| `d046e808f543` | */15m | LLM-Agent (silent-on-healthy) | Shadow-Dual-Solve A/B + Ledger |
| `19aef2351273` | hourly :35 | no_agent script | Shadow-Staleness-Watchdog (>45 min -> Alert) |
Runner: `/home/debian/.hermes/scripts/emhass-optimizer-runner.sh`
Optimizer: `/home/debian/scripts/emhass_optimizer.py`
Shadow: `/home/debian/scripts/emhass_optimizer_v2.py --shadow` - Ledger `~/shadow_phase2/ledger.jsonl` - Report `~/scripts/report_phase2.py`
## Shadow Phase-2 (live seit 2026-10-08)
Dual-Solve-Validierung (A=Standard, B=grid-charge erlaubt) auf IDENTISCHEN
Inputs; Incumbent unangetastet. Bewiesene CSV-Gesetze: `+P`=Entladung,
`P_grid` signed net import (**Export NEGATIV**), Deferrable-Spalten =
Phantom-Last (+12 kWh Summeninvarianz, KEINE Consumer) ->
**produktiv entfernt 2026-10-08** (`number_of_deferrable_loads: 2->0`,
Direct-File-Edit + Addon-Restart im :50-Fenster, Backup
`config.json.hermesbak-20261008`; Beweis: Incumbent-CSV faellt auf 17
Spalten). Auswertung: `python3 ~/scripts/report_phase2.py`.
## Deaktivierte Komponenten
| Component | Status | Grund |
|-----------|--------|-------|
| Tibber Smart Charging Bridge | OFF | EMHASS ist sole optimizer |
| Marstek Kaskaden-Steuerung (Modbus) | OFF | Alte PV-only Kaskade, ersetzt durch EMHASS-Kaskade |
## Hardware Referenz
| Device | IP | Capacity | Max Power | Interface |
|--------|----|----------|-----------|-----------|
| BYD/SMA SBS | 10.0.50.202:502 | 11 kWh | 4.2 kW | Modbus 44425/44427 |
| Marstek Venus E | 10.0.50.113 | 5 kWh | 2.5 kW | HA Entities (Modbus) |
| SMA SB #1 | 10.0.50.201:502 | — | — | PV Wechselrichter |
| SMA SB #2 | 10.0.50.203:502 | — | — | PV Wechselrichter |
| Hoymiles | 10.0.40.55 | — | — | OpenDTU |
## Known Issues (2026-10-11)
1. **TZ-Bug in v2 build_pv_series — GEFIXT 11.10. 18:29**: `norm_key()` erzeugt Berlin-Wallclock-Keys,
Zurückparsen war als `tzinfo=timezone.utc` → +2h-Versatz im gesamten PV-Plan. Fix deployed:
`stamps = [datetime.strptime(k, "%Y%m%d%H%M").replace(tzinfo=BERLIN) for k in keys]`.
Backup: `emhass_optimizer_v2.py.bak-20261011-tzfix`. Live-Tick 18:28: korrekte Sunset-Kurve.
2. **Solcast-Kontamination (GEFIXT 11.10.)**: Demo-Site "Ogdak Netherlands" trug ~9,6 kWh/Tag
Phantom-PV bei; via Options-Flow `exclude_sites=["59c8-caae-52f5-1686"]` entfernt.
Optimizer-Tick danach: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW.
3. **Reload-Race-Crash (GEHÄRTET 11.10. 18:47)**: Solcast-Options-Reload → Sensoren ~16 s
`unavailable` → 18:43-Tick crashte. Fix: `collect_solcast_pools()` 3×10s-Retry, loud.
4. Solcast läuft mit EINER gemittelten Site ("Schön Rohr", 16 kW, -132,6°/19°); seit 11.10.
kalibriert via `auto_dampen=True` + `get_actuals=True` + `sensor.pv_production` als
Generationsquelle (Validator-Kopplung: auto_dampen erfordert get_actuals).
## Zugriff
- EMHASS API: `http://10.0.30.10:5000`
- HA intern: `http://10.0.30.10:8123`
- HA extern: `https://homeassistant.familie-schoen.com`
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox -p 22222 root@10.0.30.10`
- HA Token: `/tmp/ha_token.txt`
- HA Config: `/mnt/data/supervisor/homeassistant/`
- Backups: `.bak.20261001_175804` (configuration.yaml + automations.yaml)
## Related
- [[systems/homeassistant]] — HA System Seite
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
@@ -0,0 +1,141 @@
---
title: "EMHASS Kaskaden-Automations-Architektur"
category: reference
tags: [emhass, battery, cascade, homeassistant, byd, marstek]
created: "2026-10-02"
modified: "2026-10-02"
---
# EMHASS Kaskaden-Automations-Architektur
> Steuerung der dualen Batterie-Systems (BYD 11kWh + Marstek 5kWh) via EMHASS Optimizer + HA Kaskaden-Automation.
## Architektur-Übersicht
```
EMHASS (LP Solver) → sensor.smart_battery_target
↓
┌───────────────────┴──────────────────┐
│ Kaskaden-Automation (jede 2 Min) │
├───────────────────────────────────────┤
│ BYD/SMA: 803 Auto (default) │
│ 802 Manual (bei target≤0) │
│ Marstek: force_mode via │
│ sensor.marstek_target_power │
│ (= smart_target − BYD_actual)│
└───────────────────────────────────────┘
```
## EMHASS Configuration (16 kWh Virtual Battery)
| Parameter | Value | Hinweis |
|-----------|-------|---------|
| `battery_nominal_energy_capacity` | 16000 | BYD 11k + Marstek 5k kombiniert |
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
| `battery_discharge_power_max` | 6700 | dto. |
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
| `battery_discharge_efficiency` | 0.9 | dto. |
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung |
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
| `battery_maximum_state_of_charge` | 1.0 | 100% |
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
| `set_use_battery` | True | Batterie aktiv |
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
| `use_websocket` | True | |
## ⚠️ Known Pitfall: set-config Full Overwrite
`POST /set-config` ersetzt die **gesamte** Konfiguration, nicht nur gesendete Felder.
Nicht angegebene Parameter fallen auf Defaults zurück (capacity→5000, power→1000, etc.).
**Regel:** Immer ALLE Parameter zusammen senden. Nach jedem Write mit `GET /get-config` verifizieren.
Siehe Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
## Kaskaden-Automation
**Automation ID:** `1774430238377` (ON)
**Schedule:** Alle 2 Minuten
**File:** `/mnt/data/supervisor/homeassistant/automations.yaml`
### BYD/SMA Steuerung
| EMHASS target | PV | BYD Modus | Bedeutung |
|--------------|-----|-----------|-----------|
| `> 0` (Entladung) | egal | **803 Auto** | BYD self-managed, Marstek kriegt Rest |
| `≤ 0` (Hold/Ladung) | `< 100W` | **802 Manual** | BYD hält/zwingt Ladung, EVCC hold |
| `< 0` (Ladung) | `≥ 100W` | **803 Auto** | PV reicht, BYD lädt selbst |
- BYD läuft permanent in Auto/Normal — nur bei EMHASS-Hold/Zwangsladung auf 802
- Modbus Register: 44425 (Mode), 44427 (Power)
- BYD IP: `10.0.50.202:502`
### Marstek Steuerung
- `sensor.marstek_target_power` = `smart_battery_target − actual_BYD_discharge + actual_BYD_charge`
- Cap: ±2500W
- Force modes: `charge`, `discharge`, `standby`
- Writable entities: `select.marstek_venus_modbus_force_mode`,
`number.marstek_venus_modbus_ladeleistung_einstellen`,
`number.marstek_venus_modbus_entladeleistung_einstellen`
- Marstek IP: `10.0.50.113`
### Gelöste Bugs
1. **Double-Counting (behoben 2026-10-01):** `sensor.sma_target_power` nahm volle EMHASS-Target,
ließ Marstek 0W. Fix: `sma_target_power` gelöscht, `marstek_target_power` nutzt jetzt
echte BYD-Werte (discharge - charge) statt Forecast-Split.
2. **Overnight Hold Too High (behoben 2026-10-02):** EMHASS hielt bei 65% weil
`target_state_of_charge=0.30`. Geändert auf 0.15.
3. **BYD ignoriert Hold (behoben 2026-10-02):** 802-Bedingung war `target < 0`,
jetzt `target <= 0` (Hold bei target=0 eingeschlossen).
## Template Sensoren (configuration.yaml)
- `sensor.smart_battery_target` — EMHASS p_batt_forecast, gerundet
- `sensor.marstek_target_power` — Plan A: smart_target − actual_BYD_net_discharge
- Guards: SoC-Checks, ±2500W cap
- `sensor.sma_target_power` — **ENTFERNT** (war Double-Counting Source)
## Cron Jobs
| Job ID | Schedule | Typ | Funktion |
|--------|----------|-----|----------|
| `a32005d62226` | every 15m | no_agent script | Ruft EMHASS Optimization auf, published Plan zu HA |
Runner: `/home/debian/.hermes/scripts/emhass-optimizer-runner.sh`
Optimizer: `/home/debian/scripts/emhass_optimizer.py`
## Deaktivierte Komponenten
| Component | Status | Grund |
|-----------|--------|-------|
| Tibber Smart Charging Bridge | OFF | EMHASS ist sole optimizer |
| Marstek Kaskaden-Steuerung (Modbus) | OFF | Alte PV-only Kaskade, ersetzt durch EMHASS-Kaskade |
## Hardware Referenz
| Device | IP | Capacity | Max Power | Interface |
|--------|----|----------|-----------|-----------|
| BYD/SMA SBS | 10.0.50.202:502 | 11 kWh | 4.2 kW | Modbus 44425/44427 |
| Marstek Venus E | 10.0.50.113 | 5 kWh | 2.5 kW | HA Entities (Modbus) |
| SMA SB #1 | 10.0.50.201:502 | — | — | PV Wechselrichter |
| SMA SB #2 | 10.0.50.203:502 | — | — | PV Wechselrichter |
| Hoymiles | 10.0.40.55 | — | — | OpenDTU |
## Zugriff
- EMHASS API: `http://10.0.30.10:5000`
- HA intern: `http://10.0.30.10:8123`
- HA extern: `https://homeassistant.familie-schoen.com`
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox -p 22222 root@10.0.30.10`
- HA Token: `/tmp/ha_token.txt`
- HA Config: `/mnt/data/supervisor/homeassistant/`
- Backups: `.bak.20261001_175804` (configuration.yaml + automations.yaml)
## Related
- [[systems/homeassistant]] — HA System Seite
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
+11 -4
View File
@@ -3,7 +3,7 @@ title: IP-Map (Quick Reference)
category: reference category: reference
tags: [ip, network, reference, quick-lookup] tags: [ip, network, reference, quick-lookup]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-09-26" modified: "2026-09-30"
--- ---
# IP-Map # IP-Map
@@ -17,8 +17,8 @@ modified: "2026-09-26"
| 10.0.20.60 | proxmox6 | 6 | | | 10.0.20.60 | proxmox6 | 6 | |
| 10.0.20.70 | proxmox7 | 7 | MON, Traefik CT99999 | | 10.0.20.70 | proxmox7 | 7 | MON, Traefik CT99999 |
| 10.0.20.91 | n5pro | 8 | Templates 9000/9001/9002, MON, MGR (active) | | 10.0.20.91 | n5pro | 8 | Templates 9000/9001/9002, MON, MGR (active) |
| 10.0.20.92 | ms-a2-1 | 9 | OSD 13 (SSD 1.8TB), GPU 1002:13c0, MON | | 10.0.20.92 | ms-a2-1 | 9 | OSD 13 (SSD 1.8TB), GPU 1002:13c0, MON, **NUT-Master (APC UPS USB, upsd :3493, Shutdown-Kaskade)** |
| 10.0.20.93 | ms-a2-2 | 1 | OSD 14 (SSD 1.8TB), GPU 1002:13c0 | | 10.0.20.93 | ms-a2-2 | 1 | OSD 14 (SSD 1.8TB), GPU 1002:13c0, NUT-Slave |
> ⚠️ n5pro (10.0.20.91, nodeid 8) ≠ proxmox7 (10.0.20.70, nodeid 7) — separate Nodes! > ⚠️ n5pro (10.0.20.91, nodeid 8) ≠ proxmox7 (10.0.20.70, nodeid 7) — separate Nodes!
> proxmox1 (10.0.20.10) und proxmox2 (10.0.20.20) wurden dauerhaft entfernt. > proxmox1 (10.0.20.10) und proxmox2 (10.0.20.20) wurden dauerhaft entfernt.
@@ -47,8 +47,12 @@ modified: "2026-09-26"
## Infrastructure VMs (10.0.30.x) ## Infrastructure VMs (10.0.30.x)
| IP | Host | Service | | IP | Host | Service |
|----|------|---------| |----|------|---------|
| 10.0.30.149 | — | **Technitium DNS VIP** (keepalived/VRRP 51, floatet zwischen .150/.153) |
| 10.0.30.150 | CT150 technitium-dns-01 (proxmox6) | DNS-Cluster-Primary, Web-UI :5380, TLS :53443 |
| 10.0.30.153 | CT153 technitium-dns-02 (n5pro) | DNS-Cluster-Secondary, Web-UI :5380, TLS :53443 |
| 10.0.30.66 | sarah-hermes (VM107, n5pro) | Sarahs Hermes: WebUI :8787 (LAN-only, pw) + TG-Bot (geplant) |
| 10.0.30.99 | CT111 | Immich (n5pro), Migration zu K8s geplant | | 10.0.30.99 | CT111 | Immich (n5pro), Migration zu K8s geplant |
| 10.0.30.100 | ubuntu | Physischer Ubuntu-Node (Ceph OSDs, ZFS pool01_n2_redundant) | | 10.0.30.100 | ubuntu | **ZURÜCK (15.11. verifiziert):** SSH 9.6p1 Ubuntu-13.20 antwortet wieder; Host-Keys (RSA/ECDSA/Ed25519) identisch mit 10.0.20.100 → derselbe NAS-Host, VLAN-30-IP wieder aktiv. Ob beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten). Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
| 10.0.30.105 | — | ~~Gitea~~ CT108 GESTOPPT 2026-09-17 (Archive: /home/debian/git-archive/ct108-final/) | | 10.0.30.105 | — | ~~Gitea~~ CT108 GESTOPPT 2026-09-17 (Archive: /home/debian/git-archive/ct108-final/) |
| 10.0.30.124 | VM200 | IaC Runner (DHCP), SSH `debian` | | 10.0.30.124 | VM200 | IaC Runner (DHCP), SSH `debian` |
| 10.0.30.141 | CT141 | Monitoring (Prometheus/Grafana) | | 10.0.30.141 | CT141 | Monitoring (Prometheus/Grafana) |
@@ -63,7 +67,10 @@ modified: "2026-09-26"
| 10.0.30.203 | Traefik (K8s Ingress) | kube-system | 80/443 | | 10.0.30.203 | Traefik (K8s Ingress) | kube-system | 80/443 |
| 10.0.30.204 | InfluxDB | influxdb | 8086 | | 10.0.30.204 | InfluxDB | influxdb | 8086 |
| 10.0.30.205 | PostgreSQL (CNPG rw LB) | postgres | 5432 | | 10.0.30.205 | PostgreSQL (CNPG rw LB) | postgres | 5432 |
| 10.0.30.206 | SABnzbd (Web+SMB) | sabnzbd | 8080/445 |
| 10.0.30.207 | Loki Gateway | loki | 3100 |
| 10.0.30.208 | Hindsight API | hindsight | 9177 | | 10.0.30.208 | Hindsight API | hindsight | 9177 |
| 10.0.30.209 | Jellyfin | sabnzbd | 8096 |
## External CTs (10.0.30.xxx) ## External CTs (10.0.30.xxx)
| IP | CT/VM | Service | Notes | | IP | CT/VM | Service | Notes |
+1 -1
View File
@@ -20,7 +20,7 @@ modified: "2026-07-24"
| 8000 | Paperless-ngx | paperless.svc | K8s internal | | 8000 | Paperless-ngx | paperless.svc | K8s internal |
| 8086 | InfluxDB | 10.0.30.204 | LB | | 8086 | InfluxDB | 10.0.30.204 | LB |
| 8989 | MaxScale Admin | 10.0.30.81 | admin:mariadb | | 8989 | MaxScale Admin | 10.0.30.81 | admin:mariadb |
| 9090 | Prometheus | 10.0.30.206 | LB | | 9090 | Prometheus | 10.0.30.202 | LB `monitoring-kube-prometheus-prometheus` (10.10. live verifiziert; ~~.206~~ stale) |
| 9093 | Alertmanager | K8s internal | | | 9093 | Alertmanager | K8s internal | |
| 9095 | HolmesGPT Adapter | K8s internal | Alertmgr → HolmesGPT | | 9095 | HolmesGPT Adapter | K8s internal | Alertmgr → HolmesGPT |
| 9177 | Hindsight API | 10.0.30.208 | LB, NOT localhost | | 9177 | Hindsight API | 10.0.30.208 | LB, NOT localhost |
File diff suppressed because it is too large Load Diff
+61 -23
View File
@@ -3,18 +3,18 @@ title: Ceph Cluster
category: systems category: systems
tags: [ceph, storage, rbd, ec-pool, osd] tags: [ceph, storage, rbd, ec-pool, osd]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-09-26" modified: "2026-11-15"
--- ---
# Ceph Cluster # Ceph Cluster
## Overview ## Overview
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9 - **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed) - **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
- **Version**: 20.2.4 (tentacle) — all 17 OSDs - **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1) - **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in - **OSDs**: 17 (10 HDD, 7 SSD), all up/in
- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail - **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing) - **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
## OSD Layout ## OSD Layout
@@ -23,39 +23,43 @@ modified: "2026-09-26"
|-----|-------|------|------|----------|-------| |-----|-------|------|------|----------|-------|
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | | | 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host | | 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
| 3 | ssd | 233 GB | proxmox4 | 1.0 | | | 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down | | 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down | | 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | | | 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
| 7 | hdd | 931 GB | proxmox7 | 0.95 | | | 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | | | 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | | | 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 10 | hdd | 931 GB | proxmox6 | 0.95 | | | 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | | | 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | | | 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | | | 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | | | 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New | | 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New | | 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New | | 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD. > OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded). > OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
## Pools ## Pools
| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes | | Pool | Name | PGs | Stored | %USED | Notes |
|------|------|------|------|-----|------------|-----|-------| |------|------|-----|--------|-------|-------|
| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off | | 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off | | 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on | | 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | | | 4 | .mgr | 1 | 136 MiB | 0.02 | |
| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on | | 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true | | 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB | | 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites | | 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | | | 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | | | 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
## CRUSH Rules ## CRUSH Rules
- **Rule 0** (replicated_rule): default root, host-level placement - **Rule 0** (replicated_rule): default root, host-level placement
@@ -65,6 +69,19 @@ modified: "2026-09-26"
## Known Issues ## Known Issues
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
### HEALTH_WARN: Insecure Key Types (2026-09-26) ### HEALTH_WARN: Insecure Key Types (2026-09-26)
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4. Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set). Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set).
@@ -73,6 +90,27 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity. osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
Consider removing from CRUSH or replacing with larger drives. Consider removing from CRUSH or replacing with larger drives.
### Full-Ratios angehoben (Stand 2026-11-15)
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill `ceph-cluster-administration` → planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
### NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out.
Revived via PCI remove/rescan + lvchange -ay -K + chown-Falle am mapper-device.
Details: patterns/ceph-dead-nvme-resurrection (PAT-014). **Update 2026-09-30 (Abend): SMART-
Audit spricht FREI — percentage_used 6 %, media_errors 0, spare 100 %, PoH 1469. Vorfall war
rein Controller-Ebene, kein Media-Verschleiß, KEIN Austausch nötig. Beobachten: Temps 70/78 °C,
thermal throttle T1 3×.**
### ubuntu-Host in /etc/hosts aller PVE-Nodes (2026-09-30)
Ohne DNS-Record wirft die PVE-GUI `hostname lookup 'ubuntu' failed (500)`.
Fix: hosts-Eintrag `10.0.20.100 ubuntu` fleetweit auf allen 8 Nodes.
### worker-04 (VM 139) NotReady in K8s ### worker-04 (VM 139) NotReady in K8s
Node offline — not a Ceph issue but affects Ceph CSI attachments. Node offline — not a Ceph issue but affects Ceph CSI attachments.
+92
View File
@@ -0,0 +1,92 @@
---
title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik"
category: reference
tags: [earnie, hems, emhass, milp, vergleich, homeassistant]
created: "2026-11-12"
modified: "2026-11-12"
---
# Earnie HEMS vs. eigene EMHASS-Kaskade
Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source:
privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an
den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests.
## Architektur-Vergleich
| | Earnie | Unsere Kaskade |
|---|---|---|
| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) |
| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h |
| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` |
| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) |
| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) |
| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild |
| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC |
| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual |
| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) |
## Wo Earnie voraus ist
Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität
(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein
**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit
Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall.
## Wo unsere Lösung vorn bleibt
~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im
Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode)
existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität,
Gate) ist methodisch sauber.
## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts
```
MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW
MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s
```
- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf):
`/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und**
`.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json`
(`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`,
ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE,
49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct,
Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs).
- **Bindings müssen kanonisch sein**: `ess.<id>.sens_ess_soc`, `inv.<id>.sens_inv_power_pv`;
nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler.
- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*).
`scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach.
- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart),
sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host
(systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus
`sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung
signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`.
- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade
bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427,
Marstek force_mode) **und** EMHASS-Kaskade abschalten.
- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`.
## Stand des Parallelbetriebs (B)
- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert
(`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped`
→ schreibt nichts.
- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie,
sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 /
pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2`
kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft
mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM.
**Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben
die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen).
Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min.
Danach: Earnie `state: started`, Container `healthy`, 0 Restarts.
- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`.
Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt
`options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401.
→ einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine
Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings).
- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an
Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1,
Marstek = ESS 2, EVCC = Wallbox.
## Vergleichs-Ergebnis (12.11.)
Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster,
Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU.
+43
View File
@@ -0,0 +1,43 @@
# evcc + SMA Wallbox
> Energy Charge Controller (evcc 0.317.x) als HAOS-Addon auf VM106, steuert SMA EV Charger via HA-Template-Bridge.
> Angelegt 2026-10-21 (Compound-Learning nach alwaysCharge-Rootcause).
## Topologie
| Komponente | Detail |
|---|---|
| evcc Addon | HAOS VM106 (ms-a2-2), Slug `49686a9f_evcc`, Version 0.317.2, Port 7070 |
| Config | Host-Pfad `/mnt/data/supervisor/homeassistant/evcc.yaml` (Container-Sicht `/homeassistant/evcc.yaml`) |
| Session-DB | SQLite `/data/evcc_*.db` im Addon; lesbar via evcc-API |
| Charger | SMA EV Charger "SChön", via custom-Template auf HA-Entities (REST 10.0.30.10:8123) |
| Ladepunkt | "Wallbox", mode smart, min/max 6/16 A (UI-DB, seit 21.10. nicht mehr in YAML), limitSoc 80 % |
| Vehicle | Hyundai Kona via Hyundai-API (vehicle db:1) |
| Meters | Grid+SBS via Modbus 10.0.50.201/.202, PV .201/.203 + Hoymiles OpenDTU 10.0.40.55, Marstek via HA-REST |
| Tarif | Tibber (Token in evcc.yaml), residualPower 100 |
## Bekannte Issues / Geschichte
- **2026-10-21 (behoben):** `alwaysCharge=on` (versehentlich 14.10. 19:53 in evcc-UI gesetzt) lud nachts dauerhaft Netzstrom — 2 Fehlnächte à ~31/43 kWh, ~24 € Schaden. Fix: `select.evcc_wallbox_always_charge` → off. alwaysCharge ist ein STILLER Override: Log nennt nie den Grund, smart-Modus rechnet parallel PV-Überschuss. → Solution Doc bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md
- **2026-10-21 (bereinigt):** Deprecated `minCurrent`/`maxCurrent` aus evcc.yaml entfernt (Backup `evcc.yaml.bak.20261021_depkeys`), Addon-Restart clean, effektive Limits 6/16 A unverändert aus UI-DB.
- **Architektur-Risiko (offen):** Dual-Master — Sunny Home Manager 2.0 (10.0.50.204:4712, Serial 3011478040) aktiv, von evcc via EEBus/mdns entdeckt; Box-Phasensteller auf `boost_charging` (SHM-Lademanagement umgangen). Langfristig: Migration auf native SMA/EEBus-Integration (nicht terminiert).
- HA-Template-Charger pollt 2×/Min mit `uncached request repeated within 1s` (bekanntes HA-Upstream-Verhalten, kosmetisch).
## Guardrail (seit 2026-10-21)
- HA-Automation `automation.wallbox_alarm_bei_netzladen_ohne_pv_ueberschuss` (id `evcc_wallbox_grid_charge_alarm_20261021`): Trigger `sensor.evcc_wallbox_charge_power > 1 kW` (10 Min) + Condition `sensor.netzfluss_saldo > 1 kW` (positiv = Bezug, empirisch verifiziert) + `smart_cost_active != on` → Push `notify.mobile_app_iphone_dominik` mit Ist-Werten. Backup: `automations.yaml.bak.20261021_gridalarm`. Manuell getriggert und verifiziert.
## Native SMA-Integration (Recon 2026-10-21, Migration noch nicht ausgeführt)
- Charger: SMA EV Charger klassisch, IP **10.0.50.205**, Serial 3010510346, lokale Web-API (HA-Integration `smaev`, User „Domi").
- Option A: evcc `type: smaevcharger` (direkt auf lokale Web-API, identisch zur HA-Integration) — **Sponsor-Token nötig**, im evcc-Source als deprecated markiert, aus Docs entfernt.
- Option B (offiziell): evcc `type: template, template: semp-sma` (SEMP, URI `http://10.0.50.205/SEMP`) — **Sponsor-Token nötig**; Voraussetzungen lt. Docs: Drehschalter auf PV/Eco, Abmelden aus Sunny Portal, „Betrieb mit Netzanschlusspunktzähler=Ja"+Zähler konfigurieren (freigibt SEMP), Ladefreigabe über App=Nein, Geräteneustart. Verbietet explizit parallele SHM-Registrierung (Dual-Master!). Features: mA-Regelung, 1P/3P-Umschaltung, integrierter Zähler.
- Option C: evcc SHM-2.0-HEMS-Integration (evcc-Ladepunkte erscheinen im Sunny Portal, SHM steuert) — Gegenrichtung, nicht gewünscht.
- Bei Migration: HA-`smaev`-Integration deaktivieren (sonst neuer Dual-Master), evcc.yaml-Backup + Rollback via Restore.
## Zugriffswege (Cheatsheet)
- evcc API: `http://10.0.30.10:7070/api/state` (FLACHE Struktur) und `/api/sessions?lang=de` (Liste, neueste zuerst).
- Config-Edit ohne SSH: PVE Guest-Agent-Exec auf VM106 → siehe Solution Doc workflows/2026-10-21-haos-qemu-guest-agent-file-access.md (incl. `ha addons restart 49686a9f_evcc`).
- HA-Entities der SMA-Seite: `switch.ev_charger_schon_manuelle_ladefreigabe`, `number.ev_charger_schon_ac_strom_begrenzung` (6–32 A), `select.ev_charger_schon_betriebsart`, `sensor.ev_charger_schon_zahlerstand_ladestation`.
- evcc-exponiert: `select.evcc_wallbox_always_charge`, `number.evcc_wallbox_limit_soc`, `binary_sensor.evcc_wallbox_*`, `sensor.evcc_wallbox_charge_power`.
## Related Solution Docs
- `docs/solutions/bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md`
- `docs/solutions/workflows/2026-10-21-haos-qemu-guest-agent-file-access.md`
- Verwandte Wikis: [[systems/homeassistant]], [[entities/infrastructure]]
+14 -6
View File
@@ -42,11 +42,13 @@ modified: "2026-09-27"
## HA Automation ## HA Automation
- **ID:** `1714065780832` in `/config/automations.yaml` - **ID:** `1714065780832` in `/config/automations.yaml`
- **Mode:** `single`, cooldown 600s - **v3 (2026-10-10):** Trigger = `frigate/reviews` (severity alert, OHNE Zonen), KI-Gate (noris gemma) VOR Push, bekannte Gesichter (Sarah/Dominik) unterdrückt, 300s Kamera-Cooldown + Review-ID-Dedup, GENAU EIN kombinierter Push. Fail-safe: KI-Fehler oder nachts Person → Push trotzdem.
- **Dedup:** `input_text.frigate_last_event_id` speichert letzten Event - **Dedup:** `input_text.frigate_last_event_id` = `cam;epoch;review_id;KI-Verdict` (auch diagnostisch lesbar)
- **Flow:** MQTT trigger → 10s delay → snapshot → notify → LLM Vision (optional) - **Flow:** MQTT review-alert → 12s delay → snapshot → llmvision.image_analyzer (KRITISCH/NORMAL) → Push-Gate → 1 Push
- **Labels:** person, car, license_plate, face, dog, cat, amazon, ups, package - **Push-Policy:** KRITISCH ∨ KI-Fail ∨ **Person (24/7)**. Sonst Stille. (v3.1: Person-Push nicht mehr auf 23–5h begrenzt)
- **Sublabel-Extraktion:** `sub[0]` (Jinja, Array-Leck-Fix) - **Lesson:** `frigate/events` = Raw-Feed (Spam), `frigate/reviews` = kuratiert. Nie wieder auf Raw triggern.
- **Zombies:** `frigate_garten`, `ai_event_summary`, `ai_event_summary_v1_4_1` sind Registry-Ghosts (bereits aus yaml entfernt, `unavailable`)
- **Old (v2):** Mode `single`, cooldown 600s, Dedup camera_label (Ping-Pong-Lücke), 2 Pushes/Event, KI nach Push
## Bekannte Issues ## Bekannte Issues
- Stationäre Autos triggerten wiederholt "new" Events → Flood → gefixt mit cooldown+dedup - Stationäre Autos triggerten wiederholt "new" Events → Flood → gefixt mit cooldown+dedup
@@ -54,9 +56,15 @@ modified: "2026-09-27"
- v0.18 Breaking Changes: `clean_copy` entfernt, `license_plate.mask` Format geändert (list→dict) - v0.18 Breaking Changes: `clean_copy` entfernt, `license_plate.mask` Format geändert (list→dict)
## Old Container ## Old Container
- CT120 (frigate): gestoppt, wartet auf Deletion - CT120 (frigate): **zerstört ~02.10.** — ACHTUNG: `vzdestroy:120` löschte `hdd_disk:vm-120-disk-1`, das CT151s mp0 noch referenzierte (Shared-Volume-Falle!). CT151 lief blind weiter, crashte erst beim Reboot 10.10. → mp0 neu als `hdd_disk:vm-151-disk-1` (50G, leer, mkfs.ext4). Historische Sept.-Aufnahmen im PBS-Backup 30.09. (mp0 enthalten). Aufnahmen laufen auf das ROOTFS `/media/frigate` (69% belegt — Wachstum beobachten), nicht aufs mp0.
## Reboot-Recovery 2026-10-10
- osd.7 (p7) + osd.10 (p6): stale Keyrings nach Rotation → Permission-denied-Crashloop beim Reboot, kurzzeitig `out` (105 inactive PGs). Gefixt via `ceph auth get` + Keyring-Replace + `systemctl reset-failed` (Startratelimit-Pitfall!). Danach 17/17 up+in, 533 PGs clean. Voll-Sweep: alle 17 Keyrings MATCH. Siehe PAT-016.
- CT117 (immich-postgresql): stale vzdump-Lock (04.08.) entfernt; Inhalt LEER (kein Postgres — Prod über CNPG) → gestoppt, onboot=0. Kandidat für Dekommission.
- HA-Failover während Downtime: VM301→proxmox5, VM310→proxmox4 (affinity-konform, belassen).
## Related ## Related
- [[systems/homeassistant]] — MQTT, Automations, Notifications - [[systems/homeassistant]] — MQTT, Automations, Notifications
- [[systems/noris-ai]] — LLM Vision für Event-Klassifizierung - [[systems/noris-ai]] — LLM Vision für Event-Klassifizierung
- [[entities/infrastructure]] — CT151 auf proxmox6 - [[entities/infrastructure]] — CT151 auf proxmox6
- [[patterns/ceph-osd-keyring-rotation-reboot]] — PAT-016
+38 -11
View File
@@ -3,27 +3,38 @@ title: MariaDB Galera + MaxScale
category: systems category: systems
tags: [mariadb, galera, maxscale, database, ha] tags: [mariadb, galera, maxscale, database, ha]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-07-24" modified: "2026-11-12"
--- ---
# MariaDB Galera + MaxScale # MariaDB Galera + MaxScale
## Galera Cluster (3/3 Synced) ## Galera Cluster (3/3 Synced)
| Node | VM | IP | Role | **Version (2026-11-01, nach Welle 4): MariaDB 11.8.9 (`-deb13`), `galera-4 26.4.27-deb13`,
|------|----|----|------| OS Debian 13 trixie, Kernel `6.12.113+deb13-amd64`** auf allen 3 Nodes. Rolling: 11.4.12/13 → 11.8.9
| db1 | VM300 (ms-a2-1) | 10.0.30.71 | Slave | (Runbook `docs/solutions/migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md`), danach OS-Suite
| db2 | VM301 (proxmox3) | 10.0.30.72 | Slave | bookworm → trixie (`docs/solutions/migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md`).
| db3 | VM302 (proxmox6) | 10.0.30.73 | Master | Nebeneffekt: Kernel 6.12.113 schließt **CVE-2026-98432** für diese Tier.
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|------|----|----------------------|--------------------------|----|
| db1 | VM300 | proxmox4 | n5pro, proxmox3, proxmox4 | 10.0.30.71 |
| db2 | VM301 | proxmox7 | proxmox5, proxmox6, proxmox7 | 10.0.30.72 |
| db3 | VM302 | ms-a2-2 | ms-a2-1, ms-a2-2 | 10.0.30.73 |
Rollen (Master/Slave) dynamisch — 10.10. war db2 Master. Anti-Collocation-Rules: 300⊥301, 300⊥302, 301⊥302.
- **Root Credentials:** `/root/.my.cnf` auf VM300 (via `qm guest exec`) - **Root Credentials:** `/root/.my.cnf` auf VM300 (via `qm guest exec`)
- **1Password `mariadb-root` Item:** PASSWORT IST FALSCH — stimmt nicht mit `/root/.my.cnf` überein - **1Password `mariadb-root` Item:** PASSWORT IST FALSCH — stimmt nicht mit `/root/.my.cnf` überein
## MaxScale Proxy (HA) ## MaxScale Proxy (HA)
| Node | VM | IP | Port | **Stand 2026-11-01 (Welle 4): beide Nodes Debian 13 trixie, Kernel `6.12.113`, MaxScale `24.02.9~trixie-1`** — Upgrade .82 zuerst, dann .81; VIP blieb durchgehend erreichbar.
|------|----|----|------| | Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
| MaxScale-01 | VM310 (proxmox1) | 10.0.30.81 | Admin :8989 | |------|----|----------------------|--------------------------|----|
| MaxScale-02 | VM311 (ms-a2-1) | 10.0.30.82 | Standby | | MaxScale-01 | VM310 | proxmox7 | proxmox4, proxmox5, proxmox7 | 10.0.30.81 (:8989 Admin) |
| **VIP** | — | **10.0.30.70** | :3306 (keepalived) | | MaxScale-02 | VM311 | ms-a2-1 | ms-a2-1, ms-a2-2 | 10.0.30.82 |
| **VIP** | — | — | — | **10.0.30.70** :3306 (keepalived) |
Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live auf p7 zurückmigriert (`ha-manager migrate`), verifiziert via MaxCtrl: db2 Master/Synced/Running, 3/3 Synced, VIP .70:3306 offen, maxscale+keepalived active.
- **Admin:** `admin:mariadb` auf :8989 - **Admin:** `admin:mariadb` auf :8989
@@ -36,6 +47,14 @@ modified: "2026-07-24"
- VM310/311 (MaxScale): Fluent Bit aktiv - VM310/311 (MaxScale): Fluent Bit aktiv
## Bekannte Issues ## Bekannte Issues
- **2026-11-13 (3. Tag — 06:00-Fenster externally verursacht, Morgen-Briefing entlastet):** Recipe-Scraper-Crash in `db_count()` zum 3. Tag in Folge (06:00:28, pymysql 2013). Neu heute: COUNT hing **>122 s** im Fenster 06:01–06:04 (PROCESSLIST "Sending data"), ab 06:05 **4× 0,0 s** instant — die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Galera selbst gesund (3/3 Synced, wsrep_ready=ON, Flow Control aus, Uptime 4,5 d). **Morgen-Briefing (parallel 06:00) als Verursacher widerlegt** — dessen Scripts greifen nicht auf recipes-DB zu; am 10.11. lief COUNT während des Briefings durch. Ursache des Fensters offen: Backup-Jobs/Cron auf DB-VMs prüfen (neben Ceph osd slow-ops seit 08.11.). SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` + Nachtrag im 11-12-Doc.
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
- **2026-10-04 (GROSSER VORFALL): Ext4-Volume-Label `MARIADB_DATA` auf allen 3 Galera-Datadisks verlor sich** (Ursache ungeklärt, Symptome ab 04.10. ~07:58 MESZ). fstab montiert per `LABEL=MARIADB_DATA` mit `nofail` → Boot ging durch, aber `/var/lib/mysql` blieb LEER → mariadb crashte im Loop (Permission denied auf leeres Dir). Reparatur: `e2label <dev> MARIADB_DATA` je Disk (VM300 im Gast, VM301/302 offline via `rbd map` + mount auf Hypervisor) → Reboot. **Pattern: bei leerem /var/lib/mysql trotz intakter fstab IMMER `tune2fs -l` → "volume name" prüfen.** Galera-Recovery: Bootstrap-Kandidat per gvwmstate/grastate-Mtimes bestimmt (VM301, letzte View 38={301,300}), `safe_to_bootstrap: 1` offline in grastate geschrieben → 301 startete als PC, 300 jointe sofort, 302 folgte (IST 570871→570923, Delta nur 52 Tx). Ende: 3/3 Synced, MaxScale beide aktiv, VIP offen.
- **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md` - **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md`
- **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <vmid> <<< 'info status'` prüfen. - **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <vmid> <<< 'info status'` prüfen.
- **HA-Guard:** `ha-manager disable` existiert nicht. Bei Resource-State `request_stop` geht `qm stop` trotzdem durch. - **HA-Guard:** `ha-manager disable` existiert nicht. Bei Resource-State `request_stop` geht `qm stop` trotzdem durch.
@@ -46,3 +65,11 @@ modified: "2026-07-24"
## Related ## Related
- [[systems/proxmox-cluster]] - [[systems/proxmox-cluster]]
- [[reference/ip-map]] - [[reference/ip-map]]
## Totalausfall-Recovery (08.11.2026) — MERKEN
**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: <uuid>:<seqno>`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available").
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
+34 -1
View File
@@ -43,6 +43,30 @@ modified: "2026-09-27"
- **DinD Pitfalls:** docker:27-dind creates docker.sock as directory → use TCP mode (--host=tcp://, --tls=false). act_runner:0.2.13 has no docker CLI → use nc for port check. act_runner:0.2.13 doesn't auto-register → wrapper script needed. - **DinD Pitfalls:** docker:27-dind creates docker.sock as directory → use TCP mode (--host=tcp://, --tls=false). act_runner:0.2.13 has no docker CLI → use nc for port check. act_runner:0.2.13 doesn't auto-register → wrapper script needed.
- **Solution Doc:** `docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md` - **Solution Doc:** `docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md`
## Container Registry (OCI, seit 25.10.2026 verifiziert push+pull-fähig)
- **Repos:** `git.schoen.codes/v2/dominik/hermes-agent` (Fleet-Agent-Image, digest-gepinnt
`sha256:32eda413…` = Tag `fleet-v1`, 1,07 GB) und `dominik/beacon` (Iteration 1).
- **Zertifikat:** Internes Wildcard `*.schoen.codes` via ESO/1P (`git-schoen-codes-tls`,
template `b64dec`, Commit e8b006b) — Traefik serviert es per SNI. Push/CI NUR gegen
`git.schoen.codes`; `git.familie-schoen.com` terminiert am externen Proxy mit
LE-Cert (deckt familie-schoen.com, nicht *.schoen.codes) und erzeugt den
http-Realm-Bug.
- **KNOWN BUG (Gitea 1.27.0):** Token-Realm-URL wird per
`GuessCurrentHostURL` aus Request-Headern gebaut, nicht aus ROOT_URL. Ohne
`X-Forwarded-Proto` (öffentlicher Pfad) → `realm="http://…/v2/token"` → Docker
stript Auth beim 301→https-Redirect → anonymes Token → **Push 401** (Pull
klappt, wenn Repo public). Intern hinter Traefik: Header vorhanden, Realm https.
- **Push-Runbook:** (1) `docker login git.schoen.codes` VOR dem Push; (2) bei
HTTP 499 am Manifest-PUT NICHT neu anfangen — Blobs sind idempotent drin,
einfach erneut pushen; (3) kubectl port-forward überlebt keine SSH-Session und
ist für Bulk-Pushes zu langsam; (4) tags/list zeigt nur Tags mit eigener
Manifest-Revision — Beweis via `GET /v2/…/manifests/<tag>` (200).
- **Kubelet-Pull:** Node-DNS löst git.schoen.codes auf; Pull-Secret
`agent-fleet-registry-pull` (NS fleet, default-SA imagePullSecrets, out-of-band,
nicht im Git). E2E: 1,07 GB in 34,6 s auf rke2-cp-01.
- **Solution Doc:** `docs/solutions/integrations/2026-10-25-gitea-oci-registry-push-chain.md`
## IaC Remotes ## IaC Remotes
- iac-homelab hat EINEN remote: `origin` = K8s Gitea (git.schoen.codes) - iac-homelab hat EINEN remote: `origin` = K8s Gitea (git.schoen.codes)
- Alter CT108 remote wurde entfernt (CT108 decommissioned) - Alter CT108 remote wurde entfernt (CT108 decommissioned)
@@ -51,8 +75,9 @@ modified: "2026-09-27"
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push) - **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4) - **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik) - **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.202:22/dominik/iac-homelab.git HEAD:main` - **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.200:22/dominik/iac-homelab.git HEAD:main` (SSH-LB-IP ist **10.0.30.200** — NICHT .202; .202 = alte/andere Adresse, Verbindung timed out. Beweis 28.10.: Port-22-Check von .124 und .213 OK auf .200, BLOCKED auf .202.)
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s. - **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
- **Anti-Pattern „Gitea ist down" (01.11.2026):** Ein Fleet meldete wochenlang „Gitea :3000/:80 unerreichbar, Merge-Pipeline blockiert" — **alles Fehlschlüsse**. (a) `10.0.30.200` hat nie :3000/:80 (nur SSH-LB 22→31441; :80 = Traefik .203; `gitea-http` ist headless ClusterIP, nur in-cluster). (b) ICMP auf Cilium-LB-VIPs schlägt **immer** fehl → `ping` 100 % Loss ist kein Ausfallindiz; Erreichbarkeit per TCP-Connect je Port messen. (c) Der echte Blocker war Auth: Pod `1/1 Running`, 0 Restarts, Log `services/auth/basic.go:145 UserSignIn: user's password is invalid [uid: 1, name: dominik]` — das HTTPS-Token in `origin`/`k8s` war tot. **Lehre: bevor „down" gemeldet wird, `kubectl -n gitea get svc,pods` + `kubectl -n gitea logs deploy/gitea` lesen; Push-Recht per `git push --dry-run <remote> <branch>` testen (zeigt `* [new branch]` ohne etwas zu übertragen — `ls-remote` beweist nur Leserecht).**
## Known ArgoCD Issues (Sep 2026) ## Known ArgoCD Issues (Sep 2026)
- **`gitea` app:** Sync=Succeeded, Health=Progressing — Ingress hat keine LoadBalancer IP (Traefik reporting gap). Kosmetisch, Funktionalität OK. - **`gitea` app:** Sync=Succeeded, Health=Progressing — Ingress hat keine LoadBalancer IP (Traefik reporting gap). Kosmetisch, Funktionalität OK.
@@ -67,6 +92,14 @@ modified: "2026-09-27"
- Nach Fix: Alle 24 VolumeAttachments `true`, Gitea Pod Running nach Pod-Delete. - Nach Fix: Alle 24 VolumeAttachments `true`, Gitea Pod Running nach Pod-Delete.
- **Lesson:** Bei CSI-basierten PVs immer zuerst VolumeAttachment Status prüfen, nicht nur PVC Phase. - **Lesson:** Bei CSI-basierten PVs immer zuerst VolumeAttachment Status prüfen, nicht nur PVC Phase.
## API-Quirks (Gitea 1.27.0, verifiziert 2026-10-10)
- **`PUT /repos/{owner}/{repo}/collaborators/{user}` antwortet 204** und listet den User danach in `GET /collaborators` — ABER: `permissions.pull/push/admin` kommen dort als `null` zurück (Anzeige-Artefakt). Wirksamkeit stattdessen per `ls-remote`-Test oder `GET /repos/{owner}/{repo}/collaborators/{user}/permission` prüfen.
- **`GET /admin/users/{username}` → 405 Method Not Allowed.** Admin-Info via `POST /admins/users/search`-Variante oder `GET /users/{username}` (öffentlich, ohne admin-Felder).
- **Basic-Auth-Login eines Users mit `must_change_password=true` → 403** mit klarer Meldung („You must change your password"), statt 200. Erwartetes Gate-Verhalten, kein Defekt.
- **`must_change_password=true` blockiert Web/API, aber NICHT Git-over-HTTPS** — der Account kann sofort klonen. Wer volles Web/UI braucht, muss erst das PW wechseln.
- **`DELETE /repos/{owner}/{repo}/collaborators/{user}` → 204 unabhängig davon, ob je eine Collaboration existierte** — kein brauchbarer Existenz-Check.
## Related ## Related
- [[systems/rke2-kubernetes]] - [[systems/rke2-kubernetes]]
- [[concepts/gitops-workflow]] - [[concepts/gitops-workflow]]
+79
View File
@@ -0,0 +1,79 @@
# Heizung — Viessmann CU401B S + free@home-Zonen
Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus).
## Anlage
| Komponente | Detail |
|---|---|
| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) |
| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt |
| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) |
| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) |
| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` |
| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) |
| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h |
| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C |
## Messwerte (7 Tage, 08.–15.11.2026)
- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH)
- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW)
- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC
- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL
## Raum-Sollwerte (seit 15.11.2026)
Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 ·
Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5
Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken,
Windfang hingen dadurch dauerhaft auf 100 % Ventilhub.
## Automationen
| Entity | Status | Funktion |
|---|---|---|
| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % |
| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW |
| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` |
| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) |
| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert |
| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft |
| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 |
| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 |
| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 |
| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) |
**Wichtig:** HA kann Automations per `POST /api/config/automation/config/{id}` anlegen und
per `DELETE` löschen (verifiziert 15.11.2026, HA 2026.10.4) — die verbreitete Annahme
„geht nur per YAML" stimmt nicht.
## Preisbild / Lastverschiebung
EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots):
09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %).
Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins
billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start).
## Morgen-Profil (Owner-Wunsch 15.11.)
Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %,
Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve.
Bad überschoss danach auf **24,3 °C (07–09 Uhr)**.
Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00):
Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis.
**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %.
Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin;
28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche
dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises
oder Zusatzheizung (Handtuchheizkörper/IR).
## Offene Punkte
- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme.
- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt.
- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden.
- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C).
- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s).
+44
View File
@@ -0,0 +1,44 @@
---
category: systems
tags: [hermes-host, runner, systemd, backup, housekeeping, watchdog]
updated: 2026-10-08
---
# systems/hermes-agent-01 — Lokaler Hermes-Runner
## Identity
- Debian 12, Kernel 6.1.0-53-amd64, Root-FS **79G ext4 (/dev/sda1)** — historisch knappe Resource!
- Rolle: Hermes-Agent-Host (Telegram-Gateway, Crond, Playwright, avahi `hermes-agent-01.local`);
Arbeitstiers laufen aus `~/hermes-agent` Worktree (`venv/bin/python -m hermes-cli main`).
## Storage-Governance (Stand 08.10., nach Krisenwoche)
- **Worst Case erlebt:** 96–100 % volles Root-FS (10./08.10.) → korrupte write_file-Writes (mid-stream truncation); Syntax-Checker fing 2× korrupte Dateien.
- Aktuell: **59 % belegt, 32 G frei** (von 96 % morgens).
- **Permanenter Guards:**
- journald: Drop-in `/etc/systemd/journald.conf.d/sizecap.conf` → `SystemMaxUse=200M` (1017M→199M)
- uv-Cache: Guard-Cron `624a2f98fb10` (So 09:00, no_agent, Skript `clean_uv_cache.sh`, Threshold 3 GiB, leise wenn drunter)
- **Podman bereinigt (08.10.):** 160 → 15 Images, ~23 G freigegeben (Inventory: `~/podman_inventory_2026-10-08.txt`). `schoenkitchen:latest` wurde versehentlich mitgeprünt (Namensregel-Fehler beim Pin-Container) → aus Git-Quelle rebuildet (`8c439711ceef`, 168 MB).
- Producer der alten Krise: siehe Backup unten (tarballs in /tmp ohne Limit).
## Backup-Pipeline (produzierend seit 08.10.)
- systemd `hermes-backup.timer` 04:00 UTC → `hermes-backup.service` (User debian) → `~/.hermes/scripts/backup-to-s3.sh`
- Ziel: Norris S3 `rgw.nbg.nsc.noris.cloud`, Bucket `homelab-hermes-backup`, Retention 14 Tage; Creds via 1P Item `postgres-s3-backup` (Vault Kubernetes ESO).
- **RCA 08.10.:** Exit 127 `aws: command not found` seit ≥27.09. (systemd-PATH ohne `~/.local/bin`) → Offsite TOOT + /tmp-Vollauf. Fix: Skript (absoluter AWS_BIN + `trap ... EXIT`-Cleanup) + Drop-in `/etc/systemd/system/hermes-backup.service.d/override.conf` (PATH + TimeoutStartSec 3600). Produktionslauf verifiziert (SUCCESS, S3-Readback 2.284.533.218 B). → PAT-016.
- Belt-and-braces: manuelle Tarballs liegen zusätzlich auf NAS `10.0.20.100:/pool01_n2_redundant/backups/hermes-host/` (10 Stück, SHA256-verifiziert).
## Watchdogs (lokal registriert)
- **NUT UPS Watchdog** Cron `4cbf03ccb4de` (1/min): rohes NUT-Proto gegen 10.0.20.92:3493, quiet-if-OK → Wiki systems/nut.
- **uv Cache Guard** Cron `624a2f98fb10` (So 09:00).
- HA-Backup-Alter Checker `2006a91fba21` (tägl. 12:00, Schwelle 30 h).
## Gotchas dieses Hosts
- systemd/cron kennen `~/.local/bin` NICHT (aws, uv!) → Absolutpfade oder Drop-ins. PAT-016.
- Root-FS-Volllauf = Korruptionsquelle Nr. 1 (write_file mid-stream truncation) — vor großen Writes Platz checken.
- Terminal-Foreground verbietet `&`-Konstrukte; Async nur via `background=true`.
- PDF-Generation via `/home/debian/.venvs/pdfkit/bin/python3` (PEP-668 sperrt System-pip).
- `~/.hermes/state.db` 1,84 G + Snapshots 507 M — größte Nicht-Container-Posten.
## Related
- [[systems/nut]] — UPS-Watchdog-Detail
- [[reference/emhass-cascade]], [[systems/homeassistant]]
- docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md
+54
View File
@@ -0,0 +1,54 @@
---
title: Hermes WebUI (Hermex-Backend)
category: systems
tags: [hermes, hermex, ios, webui, systemd, mobile]
created: "2026-10-10"
modified: "2026-10-10"
related: [systems/hermes-agent-01, systems/sarah-hermes, reference/ip-map]
---
# Hermes WebUI (Hermex-Backend auf hermes-agent-01)
Third-Party-Server **hermes-webui** (github.com/nesquena/hermes-webui) als Backend für
die iOS-App **Hermex**. NIEMALS verwechseln: Hermex spricht NICHT mit dem offiziellen
`hermes dashboard` (:9119) — das ist ein anderes Protokoll.
## Stack
| Komponente | Wert |
|---|---|
| Service | systemd `hermes-webui-dominik.service` (system-weit, enabled) |
| Binary | `/opt/hermes-webui/server.py` unter `/home/debian/hermes-agent/venv/bin/python3` (Agent-Venv = Superset; Server importiert Agent-Module in-process) |
| Listen | `0.0.0.0:8790` (LAN-only; Runner 10.0.30.230) |
| Auth | `HERMES_WEBUI_PASSWORD` (1P Vault Hermes → Item `dominik-hermes-webui`, bgjgnoe57n2uteyqzqvoodgtqq); Signed-Cookie, Key auto-gen in `~/.hermes/webui/.signing_key` |
| Agent-Integration | `HERMES_HOME=/home/debian/.hermes`, `HERMES_WEBUI_AGENT_DIR=/home/debian/hermes-agent` (Checkout liegt NICHT unter ~/.hermes/hermes-agent!) |
| Cron | KEIN Scheduler-Thread im WebUI-Prozess — Scheduler bleibt allein im Gateway, WebUI nur API-Zugriff auf jobs.json (Doppel-Feuer ausgeschlossen) |
| State | WebUI-eigene Sessions in `~/.hermes/webui/`; CLI/Telegram-Sessions via state.db-Bridge sichtbar (read-only für alte, materialisierbar) |
| Logs | `/var/log/hermes-webui/dominik.log`, logrotate daily×7 (`/etc/logrotate.d/hermes-webui`; logrotate musste auf dem Runner nachinstalliert werden) |
## Hermex-Verbindungswerte (iOS-App)
- **Server-URL**: `http://10.0.30.230:8790`
- **Passwort**: 1Password Vault „Hermes" → `dominik-hermes-webui`
Unterwegs nur via VPN (WireGuard) erreichbar — bewusst kein Internet-Exposure.
## API-Spickzettel
- `GET /health`, `GET /api/auth/status` (password_auth_enabled)
- `POST /api/auth/login` `{password}` → Cookie; falsches PW → 401
- `GET /api/sessions` — Cold-Start 34–70 s (state.db-Scan), warm 0,2 s
- `POST /api/session/new` → eigene hex-ID (mitgegebenes session_id-Feld wird IGNORIERT)
- `POST /api/chat` `{session_id, message}` → `{status:"done", answer}` (Agent-Subprocess)
- Chat auf fremde CLI/TG-Session-ID → KeyError/500 (read-only)
## Pitfalls
- `op item view <id> --vault <v>` existiert nicht → `op read "op://Hermes/<id>/password"`
- Unit-Templating per sed-%-Format zerstört Unit (static, Garbage-PW) → Python-Substitution
- Gateway-Self-Guard blockiert kombinierte Terminal-Commands mit `state.db`-Strings nearby (False-Positive) → aufteilen
## Verwandt
- Sarahs Instanz: [[systems/sarah-hermes]] (VM107, Docker-Variante :8787)
- Solution Doc: `docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md`
+260 -13
View File
@@ -3,7 +3,7 @@ title: "Home Assistant"
category: systems category: systems
tags: [homeassistant, smart-home, mqtt, automation] tags: [homeassistant, smart-home, mqtt, automation]
created: "2026-09-27" created: "2026-09-27"
modified: "2026-09-27" modified: "2026-11-01"
--- ---
# Home Assistant # Home Assistant
@@ -11,10 +11,17 @@ modified: "2026-09-27"
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen. > Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
## Infrastruktur ## Infrastruktur
- **Host:** `10.0.30.10` (HAOS VM) - **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf)
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes") - **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup
`/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der
Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26,
manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können
das, `host` wäre nicht migrationssicher.
- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root`
- **URL:** `https://homeassistant.familie-schoen.com` - **URL:** `https://homeassistant.familie-schoen.com`
- **Container:** `homeassistant` (Docker) - **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet
(`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon,
EMHASS, evcc und Earnie wieder laufen.
## MQTT ## MQTT
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883 - **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
@@ -27,20 +34,55 @@ modified: "2026-09-27"
- **Schreibmethode:** SSH → `docker exec homeassistant chmod 666`, danach restore 644 - **Schreibmethode:** SSH → `docker exec homeassistant chmod 666`, danach restore 644
- **Reload:** REST API mit JWT (HS256, signed from `/config/.storage/auth`) - **Reload:** REST API mit JWT (HS256, signed from `/config/.storage/auth`)
### Frigate Einfahrt Notification (ID 1714065780832) ### Frigate AI Notification v3 (ID 1714065780832)
- MQTT trigger `frigate/events` → filter `type=='new'` + cameras [Einfahrt,Terrasse] + labels [person,car,...] - **Trigger:** MQTT `frigate/reviews` (severity=alert, Kameras Einfahrt/Terrasse) — NICHT `frigate/events` (Raw=Spam)
- Mode: `single`, cooldown 600s - **Gate:** llmvision.image_analyzer (noris gemma-4-31b-it) VOR Push, binär KRITISCH/NORMAL
- Dedup: `input_text.frigate_last_event_id` - **Suppress:** sub_labels Sarah/Dominik; 300s Kamera-Cooldown; Review-ID-Dedup
- Flow: delay 10s → snapshot → notify iPhone → optional LLM Vision - **Push:** GENAU EIN kombinierter (Titel+Verdict+Objekte+Bild) nur bei KRITISCH ∨ KI-Fail ∨ Person (24/7, v3.1)
- Siehe [[systems/frigate]] - Siehe [[systems/frigate]] + Solution Doc `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`
### Büro EG: Licht nach Präsenz (ID `buero_eg_licht_praesenz_nachlauf`, seit 02.11.2026, Stand 14.11.)
- **Trigger:** `binary_sensor.esp32_c3_buero_eg_presence` → `on` schaltet `switch.licht_buro` an — **nur wenn dunkel**; `off` für **2 min** schaltet aus (Nachlauf; Nutzer-Historie: 15 → 5 → 2 min am 14.11.)
- **Helligkeits-Gate:** `sensor.wetterstation_illuminance` (Wetterstation Beleuchtungsstärke, outdoor) **< 7000 lx** = Licht erlaubt. Schwellen-Historie (jeweils Nutzer-Vorgabe „ab der aktuellen Helligkeit"): 500 → 1.500 lx (14.11., 1.300 lx) → **7.000 lx (16.11., 6.400 lx)**. Outdoor-Lux ist nur ein **Proxy** für die Büro-Helligkeit (Nordseite/trüb ≠ Outdoor-Wert). Sensor `unavailable`/`unknown` → Licht wird eingeschaltet (Fail-safe Richtung Licht). Zusätzlicher Trigger `numeric_state below 7000 for 3 min` → bei Dämmerung einschalten, wenn Präsenz schon an ist (sonst käme nie eine neue Präsenzflanke)
- **Bewusst KEIN Ausschalten bei Helligkeit** (Heuristik-Veto: würde manuelles Einschalten überfahren); „Sonne raus → Licht aus" wäre ein separater Trigger mit Bestätigungszeit
- **Sweep:** `time_pattern /2` (Nutzer-Wert) — nur Restart-Recovery: Licht an + Präsenz ≥2 min aus → aus. Kein Re-Assert auf `on` — manuelles Ausschalten bei Anwesenheit bleibt respektiert
- **Sensor-Verhalten:** ESP32-C3 (10.0.50.147, Büro EG) meldet Präsenz in 20–60-s-Bursts mit Lücken von 15 s bis 6 min (Log 16.11. 08:00–09:00) → mit 2-min-Nachlauf fällt das Licht in längeren Lücken aus. Lux-Tagesgang 16.11.: 06:00 35 lx → 07:15 ~6.400 → 08:15–08:45 13.000–20.000 → 09:15 ~5.900 lx. **Offene Verbesserungen:** (a) Indoor-Lux (BH1750 am Büro-ESP32) statt Outdoor-Proxy, (b) LD2410-Hold/Absence-Timeout im ESPHome prüfen, (c) Nachlauf ggf. zurück auf 5 min
- **E2E verifiziert 14.11. (nach Umbau):** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Präsenzflanke → Licht an; echter 5-min-Nachlauf (Presence off 09:01:26 → Licht aus 09:06:28, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. **Schwellen-A/B (14.11., gleiche Helligkeit ~1.280–1.300 lx):** Flanke 15:23:13 mit 500 lx → bleibt aus (`choose/3/conditions/0`), Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`). **16.11. gleiches Muster bei ~6.000 lx:** Flanke 09:11:26 mit 1500 lx → bleibt aus, Flanke 09:15:49 mit 7000 lx → Licht an 09:15:50 (`choose/0/sequence/0`). **2-min-Nachlauf (nach Umstellung):** Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10, Trace `choose/2`
- **Pitfall:** Nutzer hatte die Automation zwischenzeitlich selbst editiert (5 min, Sweep /2) — blindes `POST` überschreibt das. Alte Config war aus dem Automation-Trace (`ws trace/get`) rekonstruierbar; seither gilt: vor Overwrite `GET` + Diff
- Entity-ID nach Anlegen via WS-Entity-Registry umbenannt (Alias-Slugify verschluckt Umlaute: „Büro"→`buro`, „Präsenz"→`prasenz`)
## Beschattungsautomatik Wohnzimmer (15.11.2026)
**Fassaden (Owner-Angabe):** Wohnzimmertüre (`ABB240561F51/ch0000`) + Wohnzimmerfenster 1 (`ch0001`) = **143° Südost**; Wohnzimmerfenster 2 (`ch0002`) = **233° Südwest** (90° versetzt). Alle drei sind free@home-Jalousien (Pos + Lamellen, Features 143).
**Entscheidung (Fassung 16.11.2026, Owner: „kein temperaturbasiertes Beschatten, kurze Helligkeits-Peaks ignorieren"):**
- **Helligkeit geglättet:** `sensor.helligkeit_geglaettet` (trigger-basiertes Template, **Median der letzten 7 Messwerte** — ein einzelner Peak kann den Wert nicht bewegen; ~3,5 min bei 30-s-Report). Roh bleibt `sensor.wetterstation_illuminance`.
- **Beschattet, wenn** `elev >= beschattung_sonnenhoehe_min (5°)` **und** `Einfallswinkel <= beschattung_einfall_max (25°)` **und** `Median-Lux >= beschattung_lux_min (8.000)`. Kein Temperatur-Gate, kein kt-Gate mehr (kt nur noch Diagnose-Attribut).
- **Ausfahren:** Sensor `off` **10 min**, nur bei Sonnenhöhe > 0 (der Sensor ist das einzige Abbild der Wahrheit — keine separaten Ausfahr-Schwellen).
- Attribute: `einfallswinkel`, `helligkeit_gefiltert`/`helligkeit_roh`, `klarheit_kt`, `sonnenhoehe`.
- Fassaden: Suedost 143° (Tür + Fenster 1) / Suedwest 233° (Fenster 2).
**Aktorik (automations.yaml, 4 Stück):** `beschattung_wz_so_sonne_einfahren` / `_sonne_raus`, `beschattung_wz_sw_sonne_einfahren` / `_sonne_raus`
- Einfahren: Sensor `on` **4 min** (`for`) → `cover.set_cover_position` (Öffnungsgrad, Default **20** — Owner-Korrektur 15.11.: „ein bisschen weiter runter") → warten bis Position ±6 → `cover.set_cover_tilt_position` (Lamellen, Default 25) → 20 s später Verifikation, bei Abweichung >8 % `persistent_notification`
- Ausfahren (Stand 15.11. 12:00 UTC): **eigener Template-Trigger 5 min** — `elev > 0` und (`elev < 8` **oder** `inc > 88°` **oder** `kt < input_number.beschattung_klarbeit_aus` 0.45) → 100/100, **nur wenn die Rollläden noch auf der Beschattungsposition stehen** (Manuell-Schutz, kein Überschreiben von Handeingriffen). Kein Re-Assert während aktiver Beschattung. Die Ausfahr-Schwelle liegt **0,07 kt unter** der Einfahr-Schwelle (Hysterese-Band) — nicht gleich setzen, sonst flattert es bei jeder Wolke. Nachts (`elev <= 0`) kein Öffnen (Privatsphäre) — das macht die Abend-Szene.
- Kein Zeit-Gate: nur Sonnenstand + Helligkeit.
**Tuning:** Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer" (1 `input_boolean` + 10 `input_number` + Raumtemperatur).
**Pitfalls (live erlebt):**
- `homeassistant.reload_core_config` legt **neue** YAML-Helper NICHT an — dafür `input_number.reload` / `input_boolean.reload` (danach sind sie sofort da).
- HA-Templates: **kein** `radians()`/`degrees()`; `sin/cos/acos` rechnen im Bogenmaß, `pi`/`e` sind vorhanden → `R = pi/180` selbst multiplizieren. `sin(30,'deg')` ignoriert die Einheit (Ergebnis = sin(30 rad)).
- free@home-Cover invertieren intern (`100 - position` / `100 - tilt`): HA-Position 0 = zu, 100 = offen; HA-Tilt 100 = Lamellen offen.
- Entity-IDs aus Namen mit Umlauten/Klammern werden unbrauchbar → Sensornamen bewusst „Suedost"/„Suedwest".
## Notify Services ## Notify Services
| Service | Status | | Service | Status |
|---------|--------| |---------|--------|
| `notify.mobile_app_iphone_dominik` | ✅ aktiv | | `notify.mobile_app_iphone_dominik` | ✅ aktiv (DER Service für iPhone-Pushes) |
| `notify.mobile_app_sarahs_iphone_app` | verfügbar | | `notify.mobile_app_sarahs_iphone_app` | verfügbar |
| `notify.mobile_app_ipad_2` | verfügbar | | `notify.mobile_app_ipad_2` / `notify.mobile_app_sm_x205` | verfügbar |
| `notify.mobile_app_sm_x205` | verfügbar |
⚠️ **SERVICE ≠ ENTITY (Falle, 12.10.2026 live erlebt):** mobile_app registriert zusätzlich notify-ENTITIES mit anderem Namen (z.B. Entity `notify.iphone_dominik`). Diese Entities existieren in `get_states`, sind aber KEINE Service-Targets. Als action-Target in Automations ist IMMER `notify.mobile_app_*` zu verwenden; Verifikation ausschließlich via `get_services` (nicht `get_states`!). Verwechslung führte am 12.10. zu einem fehlgeleiteten 14-fachen-Rename, der via Backup sofort revertiert wurde.
## Entitäten ## Entitäten
- Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration) - Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration)
@@ -62,9 +104,214 @@ modified: "2026-09-27"
- LLM Vision (noris AI `gemma-4-31b-it`) - LLM Vision (noris AI `gemma-4-31b-it`)
- Tibber (Strom) - Tibber (Strom)
- Marstek Speicher (VENUS-E, IP 10.0.50.113) - Marstek Speicher (VENUS-E, IP 10.0.50.113)
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
- Various sensors (Xiaomi BLE, etc.) - Various sensors (Xiaomi BLE, etc.)
## Zigbee / Zigbee2MQTT (Stand 10.11.2026)
- **Stack:** Z2M Add-on `45df7312_zigbee2mqtt` **2.14.3-1**, zigbee-herdsman 11.2.0, **ZHC 26.125.0**; Addon-Zugriff nur über HA-Ingress-WS (Details: Skill-Ref `smart-home-automation/references/zigbee2mqtt-remote-diagnosis.md`)
- **Coordinator:** SONOFF Dongle-M, EmberZNet 7.4.5 [GA], EZSP 13, **TCP** `tcp://10.0.50.145:6638`
- **Netz:** Kanal **25**, PAN 33072; 8 Geräte (5× Schlafzimmer-Lampen, Esszimmertür, Garagentor-Neigungssensor, Wetterstation)
- **permit_join:** nur via `switch.zigbee2mqtt_bridge_permit_join` (254-s-Fenster, Refresher-Loop beim echten Pairing); `mqtt.publish` auf `zigbee2mqtt/bridge/request/permit_join` wird von der Broker-ACL **still verworfen**
- HA-MQTT-Entry-Titel `192.168.100.27` ist kosmetisch/veraltet — Discovery läuft normal
### Shelly/Ecowitt WS90 (gekoppelt 10.11.2026, Zigbee-Variante)
- **IEEE `0xc02cedfffe774579`**, `EndDevice`, interview complete, FW `251015/v1.1.6@62`, Manufacturer Shelly, Model-ID `WS90`
- **22 Entities** `sensor.wetterstation_*` / `binary_sensor.wetterstation_rain_status` / `button.wetterstation_identify` (Auto-Discovery, keine Handarbeit)
- Alle 12 Reportings + 7 Bindings von ZHC selbst provisioniert (inkl. `precipitation`); **keine** manuellen Reporting-Fixes nötig
- **Einheiten real:** pressure **hPa** (nicht kPa wie Z2M-Doku), Wind **km/h** (nicht m/s), precipitation mm `total_increasing`
- Live-Nachweis: humidity 51→42 % / Wind + Richtung / Gust innerhalb 95 s
- Battery **73 %** (0 %-Anfangsproblem nach Sonnenlicht aufgelöst); `capacitor_voltage` lädt mit Sonne; `voltage` unknown
- **Kein** `weather.`-Entity von Z2M — Wetterzustand nur als `sensor.wetterstation_weather_condition` (z. B. „cloudy")
### DWD-Integration hg1337/homeassistant-dwd (installiert 15.11.2026)
- **HACS** (`hg1337/homeassistant-dwd` v2026.10.0, Category `integration`), Core-Restart nötig zum Laden; Setup via Config-Flow: Station **P339 „Freystadt-Oberndorf"** (14 km, Messdaten+Forecast), `current_weather: hybrid`, `forecast: true` → `weather.freystadt_oberndorf`
- **`weather.get_forecasts` hourly: 244 Einträge MIT `precipitation_probability`** (met.no kann das nicht!) + precipitation, cloud_coverage, dew_point, pressure, wind_gust_speed
- DWD-Config-Flow-Falle: **max. EIN aktiver Flow pro Integration** — halbfertige Flows blockieren mit Abort `already_in_progress`; erst den hängenden Flow zu Ende führen (flow_id behalten!), nicht neue starten
- `sensor.regenwahrscheinlichkeit_6h_dwd` (trigger-basiertes Template, /30 min, DWD hourly, **max** `precipitation_probability` der nächsten 6 h) — 2. Block-Item in configuration.yaml `template:`-Liste
## Wetter-Dashboard (gebaut 15.11.2026)
- **View „Wetter"** im Default-Dashboard (Tabs: Home/Jalousien/Licht/**Wetter**) — via `lovelace/config/save` gebaut, View-Path `wetter`
- **HACS-Karten (installiert 15.11.):** `clock-weather-card` (pkissling), `lovelace-hourly-weather` (decompil3d), `weather-radar-card` (jpettitt, DWD-Quelle), `lovelace-windrose-card` (aukedejong), `MeteoalarmCard` (MrBartusek) — alle via HACS-WS (`hacs/repositories/add` + `hacs/repository/download`, Category `plugin`), Ressourcen verifiziert (HTTP 200)
- **Aufbau:** Meteoalarm-Card (DWD-Warnstufe) → Grid 2-spaltig: Clock-Weather (Forecast met.no + Ist-Temperatur vom WS90 via `additional_sensors`), Hourly-Weather (12 h), DWD-Regenradar (2 h), Windrose (WS90 Wind), ApexCharts Luftdruck (absolut, 48 h) + ApexCharts Regen 7 Tage (`precipitation` mit `group_by: delta/1h`) → Entitäten-Liste „Regen & Bewässerungs-Gates" (Warnstufen, regen_heute/monat/7_tage/regenprognose_6h, beide Gates)
- **Konventionen:** Mushroom/native Cards erlaubt, Bubble Card verboten (Skill `home-assistant-dashboard-conventions`); die 5 Custom-Cards sind Wetter-spezifische Ausnahmen nach Nutzer-Freigabe
- **Offen:** „go DWD" — hg1337/homeassistant-dwd via HACS installieren, `regenwahrscheinlichkeit_6h` (DWD `precipitation_probability` hourly) als zweites Gate-Kriterium; DWD-Vorhersage könnte auch `clock-weather-card`/`hourly-weather` füttern
## WS90-Regen-Automationen (gebaut 15.11.2026)
- **A — Regen-Sperre:** `binary_sensor.bewaesserung_regen_sperre` (Template-Config-Flow) = `rain_status` on ∨ `sensor.regen_heute` ≥ 3 mm ∨ `sensor.regenprognose_6h` ≥ 0,5 mm (met.no-Mengensumme) ∨ `sensor.regenwahrscheinlichkeit_6h_dwd` ≥ 60 % (DWD-Wahrscheinlichkeit). Fail-open (unbekannte Werte = 0 = nicht sperren). **Zwei unabhängige Vorhersage-Quellen** — das Gate sperrt, wenn eine von beiden Regen meldet.
- **B — Statistik:** `sensor.regen_heute`/`sensor.regen_monat` (utility_meter daily/monthly auf `sensor.wetterstation_precipitation`), `sensor.regen_7_tage` (statistics `change`, 168 h), `sensor.regenprognose_6h` (trigger-basiertes Template in configuration.yaml, /30 min + Start, `weather.get_forecasts` hourly, **Summe** `precipitation` der nächsten 6 h — met.no hourly hat **keine** `precipitation_probability`, Wahrscheinlichkeits-Gate daher unmöglich).
- **C — Frost/Sturm:** `binary_sensor.bewaesserung_frost_sturm_sperre` = Temp < 3 °C ∨ Böen > 40 km/h ∨ Sensoren unavailable (**fail-closed, bewusst: tote Station = keine Bewässerung**).
- **D — DWD-Push:** `automation.dwd_warnung_freystadt_push_ab_stufe_3` (automations.yaml, id `dwd_warnung_freystadt_push_20261115`): `numeric_state` above 2 auf `sensor.stadt_freystadt_aktuelle_warnstufe` → Push `notify.mobile_app_iphone_dominik` mit `warning_1_headline`/`warning_1_description` (+ Hinweis bei warning_count > 1).
- **E2E:** Gates mit echtem Wetter (−1,3 °C, rain_status on → beide `on`); DWD-Push via State-Override 1→3 mit TEST-Attributen (`last_triggered` 06:56:48Z), danach State+Attribute restoriert; `check_config` grün (nur bekannter Dimmer-Schlafzimmerlicht-Fehler).
- **Files:** configuration.yaml (Template-Block als Item in bestehendem `template:`-Block eingefügt), automations.yaml (Append); Backups `*.hermesbak-20261115` im selben Ordner. Rollback: Backup zurückkopieren + `template.reload` + `automation/reload`.
- **Verwaltung:** Gates/Statistik-Entities via Config-Flow-Options (GUI) änderbar; `regenprognose_6h` via configuration.yaml; verwaiste Entität `sensor.regenwahrscheinlichkeit_6h` (erste Version, Wahrscheinlichkeits-Ansatz) ist per Registry `disabled_by: user` versteckt — endgültiges Löschen nur via UI (WS-Delete-Command fehlt in 2026.10).
- **Pumpe noch offen:** `switch.bewaesserungspumpe` trägt die Gates noch nicht als Bedingung — Klärung „wie wird die Pumpe heute geschaltet?" steht aus. Gate-Bedingungs-Snippet: Skill `irrigation-rain-gates`.
## Xenia Kaffeemaschine (Stand 11.10.2026)
- ESP32 FW 3.9, IP 10.0.50.128 (VLAN 50, SSID IoT), REST `/api/v2/overview` (enthält MA_CUR_PWR in A!), `/api/v2/machine/data|status|control`
- **WARNUNG: MA_CUR_PWR ist AMPERE** — Power (W) = MA_CUR_PWR × Spannung L1 (`sensor.sn_3007105790_metering_voltage_l1` ≈ 234 V)
- Sensoren: `sensor.xenia_machine_data` (REST, scan_interval 1s, attr-basiert robust), `sensor.xenia_current_power_2` (GUI-Template, W), `sensor.xenia_total_energy_2` (Integration daraus), `sensor.xenia_status`, `switch.xenia_power` (Alexa-Pfad, rest_command control), Wrapper `sensor.xenia_active_power` (Disagg)
- **Fix 11.10.:** `xenia_current_power_2` war seit ~Aug tot (Entity-Rename `xenia_current_power`→`current_power_consumption` brach GUI-Template-String) → neu: `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × voltage_l1|float(0)`; Metadaten (W/power/measurement) via Options-Flow komplett erhalten. Lesson: GUI-Template-Strings überleben Entity-Renames NICHT; REST-Sensoren feuern nur bei Wertänderung (idle = wenige History-Punkte ≠ offline); ESP32-Ping-Jitter (bis 550 ms) ist Power-Save, HTTP ist schnell (12–50 ms)
- **OFFEN (manuell, Setter defekt):** Web-UI http://10.0.50.128: `MA_MAX_AMPERE` 0→10, `MA_SET_TIMER_ECO_MA` 0→5 restaurieren (Fehlschrieb 05.10.)
- 4 Leichen im HA-Config-Dir: xenia_fix/modern/patch/remove_di.py (Alt-Sessions, ignorieren)
## EMHASS Batteriesteuerung
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle Batterie **12,32 kWh** (SMA SBS 7,2 kWh nutzbar + Marstek 5,12 kWh). Bis 03.11.2026 stand hier fälschlich 16 kWh (11k + 5k) — gemessen aus 10 Tagen Lade-/Entladehistorie, siehe unten.
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
- **Aktuelle Config (2026-11-03):**
- Capacity **12320 Wh**, Charge/Discharge 6700 W, Efficiency 0.9 (Backup: `/config/config.json.bak-20261103` im Add-on-Container)
- ⚠️ `config.json` liegt im Add-on unter `/config/config.json`, NICHT über die Add-on-Options (dort nur Solcast-Keys). Änderung = Datei editieren + `docker restart app_5b918bf2_emhass`.
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
- `set_battery_dynamic: True`, `set_use_battery: True`
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
- **Cutover 2 (2026-11-02 16:19): Produzent lebt jetzt IN Home Assistant.** AppDaemon-Add-on `a0d7b954_appdaemon` (v0.19.3, `boot: auto`), App `emhass_optimizer` unter `/mnt/data/supervisor/app_configs/a0d7b954_appdaemon/apps/` (Quelle: `~/scripts/emhass_app/`: `emhass_core.py` = per AST verbatim aus v2 extrahierte Mathematik, `emhass_cycle.py` = Input-Phase, `emhass_app.py` = Trigger/POST/Verify/Ledger). Trigger `:04/:19/:34/:49`, Ledger `/share/emhass/ledger.jsonl`, Fehler → `persistent_notification`. **Kein Long-Lived-Token mehr im Produktionspfad** (AppDaemon bekommt HA-URL+Token automatisch vom Supervisor); EMHASS-Add-on bleibt unangetastet (nur `/action/dayahead-optim` + `/action/publish-data`). Hermes-Cron `a32005d62226` **pausiert = Rollback** (`cronjob_manage resume`, Token-Symlink existiert weiter). Parity-Nachweis: 19/19 Unit-Tests Kern↔v2 + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs. Shadow, 48 Slots, 0 Warnungen). E2E 16:04 (Cutover) und 16:19 (erster Einzelproduzent, CSV synchron 16:19:00). SolDoc `architecture/2026-11-02-emhass-producer-appdaemon-cutover.md`
- **Publish-Pfadbruch 11.10. (GEFIXT ~20:30 UTC):** Nach HA-Core-Restart (Recorder-Incident) DEADLOCK: `p_batt_forecast`/`soc_batt_forecast`/`plan_*` sind set_state-Entities (überleben Restart NICHT), v2 liest sie hart → jeder Tick FATAL → nichts publizierte je wieder. Zweiter RC: `rest_command`-URLs `localhost:5000` — HA läuft im HOST-Netz, Addon in HassIO-Bridge; nach Restart connection-reset (10.0.30.10:5000 ging stets). Fix: beide URLs → `http://10.0.30.10:5000` (Backup `configuration.yaml.bak-20261011-restcmd`) + `rest_command/reload`. Heal-Pattern: `POST :5000/action/publish-data` direkt ans Addon. Verifikation: v2-Tick 20:32 komplett, plan_* 48 Slots, Kaskade folgt. ⚠️ Legacy-Automation „Trigger EMHASS" (*\/15): dayahead-call 400 (Payload ohne pv/load-Arrays) — funktional durch v2-Cron abgedeckt, disable/fix offen. Solution Doc `integrations/2026-10-11-emhass-publish-path-break-after-restart.md`
- **Token-Pfad (seit 02.11.2026):** HA-Token kanonisch `~/.hermes/secrets/ha_token.txt` (0600, aus 1P `op://Hermes/ewviwqhnpcpd2tg2gh5jbv76xm/password`), `/tmp/ha_token.txt` nur Symlink; `~/.hermes/scripts/ha-token-ensure.sh` heilt fehlenden Symlink/Token bei jedem v2-Lauf. Grund: /tmp wurde beim Boot 30.10. geleert → v2-Cron starb 3 Tage still (`FATAL: token file missing`), während `automation.trigger_emhass` per `/action/publish-data` weiter die **letzte Zeile** des alten Plans postete (frische Zeitstempel, eingefrorene Werte).
- **Cron-Schedule (seit 02.11.2026):** `a32005d62226` nicht mehr `every 15m` (Anker driftet in den Race-Guard → dauerhaft `REFUSED rc=2`), sondern `4,19,34,49 * * * *` Europe/Berlin.
- **Watchdog:** `3a99e3837250` `check_emhass_plan_freshness.sh`, stündlich :12, silent-on-healthy, Alarm wenn die **Result-CSV-Mtime** >40 min alt ist oder der Plan-Horizont <10 h (Telegram). ⚠️ **Keine Sensor-Zeitstempel als Liveness nutzen:** `automation.trigger_emhass` ruft alle 15 min `rest_command.emhass_publish_data` und frischt `p_batt_forecast`/`soc_batt_forecast` bei eingefrorenem Plan auf (dieselbe Maske wie beim 3-Tage-Ausfall); der Display-Publisher tut dasselbe für `plan_*`. Nur `opt_res_latest.csv` schreibt ein echter `dayahead-optim`. Test-Overrides `EMHASS_MAX_AGE_MIN` / `EMHASS_CSV_PATH`. Der alte Kaskaden-Watchdog `a2a1b429bc2e` ist seit 25.09.2026 pausiert (und enthält ein SSH-Klartextpasswort in `cron/jobs.json`).
- **`automation.trigger_emhass` (1774260225020) ist seit 03.11.2026 06:40 OFF** (`initial_state: false`, Backup `automations.yaml.bak-20261103-0620`). Sie rief nur alle 15 min `rest_command.emhass_publish_data` und hat damit einen eingefrorenen Plan mit frischen Zeitstempeln übermalt — die zentrale Maske beider EMHASS-Ausfälle. Der Produzent publiziert selbst; die Automation ist nicht mehr nötig.
- **Incident 03.11. 01:04–05:49 (5 h still):** Idempotenz-Bug in der App — `_slot_key` war `%Y%m%d_{minute//15}` → nur 4 Marker/Tag, danach `already ran … skip` für jeden weiteren Tick (Optimierung lief nur 4×/Tag um 00:xx). Fix: Key `%Y%m%d_%H%M`; App-Arg `run_on_start` als Ops-Hebel für Sofort-Zyklus nach Deploy. Warum unbemerkt: Watchdog maß `p_batt_forecast`, das die Publish-Automation alle 15 min auffrischte → jetzt CSV-Mtime. Verifiziert: Zwangszyklus 05:49:45 + planmäßiger Tick 06:04 nach dem Fix.
- **Display-Publisher (seit 02.11.):** Cron `4bc13a052329` (`:05/:20/:35/:50`, `no_agent`) → `emhass-extra-publisher-runner.sh` → `emhass_extra_publisher.py`. Spiegelt die EMHASS-CSV (per SSH, read-only) in `sensor.plan_pv_forecast` / `plan_netz_forecast` / `plan_last_forecast` fürs Akku-Dashboard. Optimiert **nie**; braucht den HA-Token nur zum Schreiben dieser drei Anzeige-Sensoren.
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
## PV-Anlage & Forecasts (Stand 11.10.2026)
**Arrays/WR:**
| Array | WR | Strings | kWp/Real | Forecast-Lage |
|---|---|---|---|---|
| Dach Teil 1 | SMA SB SN 3006252807 (10.0.50.201) | 2 (A+B, je String Ausrichtung unklar, SO/SW-Mix) | ~5,7 kWp; 6,7 kWh/11.10. | nur via FS-Site "Dach Südwest" (225°/23°/5760 W) — Zuordnung zu WR unbelegt |
| Dach Teil 2 | SMA SB SN 3006252817 (10.0.50.203) | 2 (dto.) | ~4,0 kWp; 6,7 kWh/11.10. | FS-Site "Dach Südost" (145°/24°/4000 W) — Zuordnung unbelegt |
| Speicher | SMA SBS SN 3007105790 (10.0.50.202, BYD) | keine PV-Strings | — | n/a |
| Zelt | Hoymiles HM-1500 (OpenDTU 10.0.40.55) | 2 Module zeltartig SW/NE aneinandergelehnt | 1,5 kWp; 2,1 kWh | ✅ FS-Sites "Zelt Südwest"+"Zelt Nordost" (65°/225°+65°/45°, je 750 W) seit 11.10. |
| Schuppen 1 | Hoymiles HMS (Limit 2250 W) | SW, ~5° flach | 2,2 kWp; 2,9 kWh | FS-Site ✓ (225°/5°/2200) |
| Schuppen 2 | Hoymiles HMS (Limit 2250 W) | SW, ~5° flach | 2,64 kWp; 3,5 kWh | FS-Site ✓ (225°/5°/2640) |
Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_power + 3×Hoymiles) ✓ korrekt.
⚠️ `sensor.pv_daily_energy_total` = SUMME der 3 SMA daily_yields OHNE Hoymiles (−11%) und inkl. SBS-Batteriedurchsatz — nicht als PV-Tagesertrag verwenden!
**Forecast-Systeme (3 parallel):**
1. **Solcast** (Custom, Entry `01KKTKEN0VAWQTQCS4WWCQJWPT`) = PV-Input für EMHASS-v2-Optimizer (pooled aus `*_prognose_heute/morgen/tag_3` detailedHourly). Sites: "Schön Rohr" (043e-b831-88bf-b087, 16 kW, Azimut -132,6°/Tilt 19°, Freystadt = gemittelte Gesamtanlage) AKTIV; "Ogdak Netherlands" (59c8-caae-52f5-1686, Solcast-DEMO-Site Apeldoorn/NL) seit 11.10. **excludiert** (war ~9,6/23,4 kWh Phantom-PV!). API-Quota 30/Tag (Site-getrieben), hard_limit 100.
2. **forecast.solar** (Core, 4 Subentries): Dach SW/SO, Schuppen 1/2 — Dashboard-only, kein Optimizer-Input. Nutzer-Beschluss 11.10.: **komplett neu bauen** (war unbedacht eingerichtet). Achtung: API liefert lokale Timestamps; HA-Sensoren zeigten +2h-versetzte Werte (physikalisch unmögliche "Resttag"-Energie nach Sonnenuntergang) — beim Rebuild prüfen.
3. **EMHASS-Addon intern** (open-meteo + pvlib, generisches Fronius/CSUN-Modell) — irrelevant, v2-Optimizer published eigene Pläne.
**Bekannte Issues (11.10.):**
- ✅ TZ-Bug `emhass_optimizer_v2.py::build_pv_series` **GEFIXT 18:29** (`tzinfo=BERLIN` statt utc, Backup `.bak-20261011-tzfix`): Live-Tick 18:28 zeigte erstmals korrekte Abendkurve (36 W/18:30, 0 W nach Sunset statt ~1750 W Phantom).
- ✅ Reload-Race-Gefahr **GEHÄRTET 18:47**: `collect_solcast_pools()` mit 3×10s-Retry (Solcast-Options-Reload setzt Sensoren ~16s `unavailable`; 18:43-Tick crashte laut doctrine-konform).
- ✅ forecast.solar: **Zelt-Sites ergänzt** — "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W), Area Photovoltaik. Dach/Schuppen-Entries validiert (SW/SE-Split ~62/38 ↔ 5,76/4,0 kWp passt zu Messdaten). HA-Parser ist KORREKT (Bibliothek fordert `time=utc` an; früherer +2h-Verdacht war Eigen-Parse-Artefakt).
- ✅ Solcast: `auto_dampen=True` + `get_actuals=True` + Kalibrierquelle `sensor.pv_production` (Validator-Kopplung "dampen_without_actuals" beachtet). Dämpfung lernt ab jetzt.
- ✅ `sensor.pv_daily_energy_total` repariert: Hoymiles REIN, SBS-Batteriedurchsatz RAUS (19,44→22,03 kWh, real ~22,4).
- 🟡 Solcast-Single-Site "Schön Rohr" = Mittelung (1 Azimut/Tilt für 6 Arrays) — Struktur grob, aber jetzt kalibrierend gedämpft; Feintuning über auto_dampen-Daten (Tage) beobachten.
- ✅ **Sauna-Shelly misst NETTO** (HM-1500 speist auf dem Sauna-Stromkreis rück): Shelly = Kreislast − Zelt-PV (validiert 11.10.: Steigung −0.983, r=−0.9985; Integrale 2,07 vs. 2,13 kWh). Template `Sauna Active Power` GEFIXT 19:39: `max(0, ΣPhasen + hm_1500_power)` mit float(0)-Guards — liefert jederzeit die wahre Sauna-Last, "Rest"-Helfer korrekt.
- Solution Doc: `docs/solutions/integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md`
## Garagentor (free@home ch0003) — Flanken-Toggle-Semantik
- **Kanal:** `switch.garagentor` = free@home Schaltaktor `ABB20C351F51/ch0003`, treppenlicht-parametriert (Kanal nach Aktivierung AN bis Timer-Ablauf). `cover.garagentor` = Template-Cover darüber (open/close = je EINE Kanalaktivierung).
- **Motor toggelt auf JEDE Kanalflanke.** Einzelimpuls = sauber Umschalten (belegt: 17:51 Puls → schloss in ~90s). **Zwei schnelle Flanken = Start-Stopp** (belegt: 17:07 mein OFF→ON-Doppelpuls, 17:48 Nutzer-Doppelklick — jeweils blieb das Tor offen!). Doppelklick-Gewohnheit wirkt der Schließfahrt aktiv entgegen.
- **BUG (seit 05.10.):** `switch.garagentor` = `unknown`, 0 Logbook-Events — Statusrückmeldung SysAP→HA für ch0003 tot. SysAP-REST-Zugang ist bekannt (Local-API-User `Installer`, s. Abschnitt „free@home Local-API" unten), SSH-Addon gestoppt.
- **Automations (2026-10-10, REST-config):** `warn_offen_beim_verlassen` (Person weg >2min + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button) + `garagentor_push_close` **v8 Single-Edge** (Guards: offen+90s stabil+45s Anti-Doppeltipp; EIN switch.turn_on, KEIN turn_off-Präludium; 45s-Verifikation per Neigungssensor; Retry erst nach 480s; ehrliche Fehler-Push). Tag `warn_offen_beim_verlassen` aktualisiert Notifications.
- Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte.
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`
## free@home SysAP XMPP-Wedge & Remote-Reboot (Stand 12.10.2026)
- **Chronik:** 05.10. IqTimeout-Massenausfall (22 Entities, Fix: 120s-getAll-Timeout+300s-Keepalive, ephemeral in Container). **11.10. 19:56 erneuter Totalausfall** — diesmal trotz Patch: XMPP-RPC-Dispatcher lebte (echoTest/HW 0,1s), aber `getAll` hing serverseitig (>280s, REST liefert dieselben Daten instantan). HA-Restart wirkungslos (Fehler kam direkt nach frischem HA-Start 19:53).
- **HEBEL: `RemoteInterface.reboot(0)` via XMPP** — derselbe RPC, den die SysAP-Web-UI nutzt (Qt-WASM, kein REST-Endpoint). Funktioniert AUCH im Wedge (ACK 7,6s, ~4min Downtime, Konfig unversehrt). Param: RestartEraseCode 0=simpleRestart, 1=factoryReset(!), 2=resetUsingFlags, 3=factoryResetWithoutIA — **nur 0**. Danach `homeassistant/reload_config_entry`.
- **Recovery ist push-gestaffelt (Normverhalten, kein Defekt):** Steuerplane (Switch/Light/Cover-Pos) sofort aus getAll-Seed; Sense-Plane (Panel-Temp odp0010, Climate, BinSens, Locks) erst beim ersten Bus-Push (Min–Std). Identisch nach 05.10.-Vorfall (Recorder-History belegt).
- **Garagentor-switch BUG bleibt:** ch0003-Status weiterhin `unknown` (Status-Datapoint seit 05.10. tot, auch nach SysAP-Reboot 12.10.). Befehlspfad funktioniert. → dauerhafte Lösung nur via Local-API-Migration.
- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen.
- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.**
- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only).
- **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026)
- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt).
- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft).
- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün.
- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten).
## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026)
- **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
- **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.**
- **Display:** `ABB6BC5495EA` „free@homeTouch 7\"" (deviceId 1038), Raum Essbereich (EG) — **nur ein Display im SysAP** (die drei HA-HomeKit-Einträge sind Bridge-Accessories, keine Panels).
- **Widgets = Panel-Kanäle `ch0000`–`ch000f` + `/pairings`:** 9 belegt, 7 frei; leere Slots auto-benannt `" 1,<row>,<col>"` (4×4-Raster, Kanalindex zeilenweise). Kanäle `ch0010`–`ch001c` = Türsprech-Funktionen.
- **Live-Status** nur über Ziel-Aktor-`odp` lesen — Panel-Kanäle sind eigene, nicht gespiegelte Datapoints.
- Solution Doc: `docs/solutions/integrations/2026-11-03-freeathome-panel-widgets.md` · Skill-Ref: `smart-home-automation/references/freeathome-local-api.md`
## BLE-Proxies / Trilateration (Stand 01.11.2026)
**Bermuda** (Entry `01M1CF5AT5FAKMBHTMVCX0DRBS`) = Trilateration. HA hat KEINEN lokalen BT-Adapter (VM, `manager.adapters = {}`), alles läuft über Remote-Scanner.
| Proxy | Typ | Area | connectable |
|---|---|---|---|
| shellypro3em-08f9e0e98b9c ("Stromverbrauch Heizung") | Shelly | Heizraum | ❌ |
| shellypro3em-08f9e0e952e0 ("Strommessung Sauna") | Shelly | **Garage (EG)** — Gerät sitzt in der Garage, nur die Sauna steht auf dem Garagendach (Dachterrasse OG) | ❌ |
| shellyplus1-d0ef76d91930 ("Bewässerungskreis vorne") | Shelly | Garten | ❌ |
| 6× shellyplus1 (Beete/Hochbeete/hinten/mitte/Pumpe/Licht Terrasse Gartenhaus) | Shelly | Garten | ❌ |
| shellyplus1-a0a3b3c396e4 ("LED Streifen Windfang") | Shelly | Windfang | ❌ |
| shellypro4pm-841fe89726d0 | Shelly | Garten (gesetzt 01.11.) | ❌ |
| ble-proxy (10.0.50.206) | ESPHome **2026.10.2** | Wäscheraum | ✅ |
| esp32c3-supermini-buero-eg (10.0.50.147) | ESPHome | Büro EG | ✅ |
| esp32c3-supermini (90:DA:72:88:EB:42) | ESPHome | System | OFFLINE |
→ 13/13 aktive Proxies (`sensor.bermuda_global_active_proxy_count`), alle Mode **auto**; jede Shelly liefert 5–21 distinkte Geräte/Minute (Diagnostics `data.devices[*].stamps`, 45-s-Fenster).
**Area-Zuordnung der Scanner (Falle 01.11.):** Bermuda nimmt die Area NICHT vom Shelly-Gerät, sondern vom **Bluetooth-Geräte-Record** (`"<Name> (<MAC>)"`, angelegt von der bluetooth-Integration). Beide Records müssen dieselbe Area haben, sonst gewinnt der BT-Record. Beispiel Sauna: Shelly-Gerät + 3 Phasen-Kinder auf `garage` gesetzt → Bermuda zeigte weiter „Dachterrasse (OG)", bis auch der BT-Record `Strommessung Sauna (08:F9:E0:E9:52:E2)` auf `garage` stand. Danach: `area_name=Garage`, `floor_name=EG`. Area `garage` hatte floor=None → auf `eg` gesetzt.
**Shelly als BLE-Scanner freischalten (der einzige Weg, 01.11. verifiziert):** nicht per RPC (`BLE.SetConfig enable=true` reicht NICHT, `BLE.GetStatus` bleibt `{}`), sondern HA-Options-Flow der Shelly-Integration:
1. `POST /api/config/config_entries/options/flow` `{"handler": <shelly entry_id>}` → Formular mit **einem** Feld `ble_scanner_mode`: `disabled | auto | active | passive`, **Default `auto`**
2. `POST /api/config/config_entries/options/flow/<flow_id>` `{"ble_scanner_mode":"auto"}` → `create_entry` (löst Reload des Shelly-Entry aus)
3. Verify: Shelly-Scanner erscheint im BT-Manager (`scanning=true`, `last_detection` frisch) — Device-seitig bleibt `BLE.GetStatus` leer, das ist normal.
4. Beweis (A/B, 01.11.): `disabled` → Scanner weg (13→12), `auto` → wieder da (12→13). Die Option ist die Steuerung; der Wert selbst ist im REST-/WS-Entry-Listing NICHT sichtbar (`options={}`) — nicht als Statusquelle nutzen, sondern die Scanner-Liste prüfen.
**Wichtig:**
- Shelly-Scanner sind **passiv** (`connectable=False`) → GATT-Geräte (LD2410-Presence, Schlösser, aktive Sensoren) brauchen ESPHome-Proxies.
- 13 Scanner > 3 Slots → HA `bluetooth.auto_scheduler` teilt Scan-Fenster (15 s) im Round-Robin zu; nicht auf `always` stellen (2,4-GHz-Kollision).
- Bermuda cached Scanner-Areas beim Setup → nach Area-Änderung Config-Entry reloaden (REST `POST /api/config/config_entries/entry/<id>/reload`; WS `config_entries/reload` existiert NICHT). Repair-Issue `scanner_without_area` verschwindet danach.
- Neue Distanz-Sensoren (`sensor.*_ble_distance_to_<scanner>`) entstehen erst beim Bermuda-Reload; Werte `None` = Scanner hört das Gerät aktuell nicht.
- Distanzen sind unkalibriert (Default `ref_power=-55`, attenuation 3). **Korrektur 01.11.: `ref_power` ist PRO GETRACKTEM GERÄT** (iPhone/Tag/Schlüssel), NICHT pro Scanner — Bermuda-Entity `number.<device>_ble_calibration_ref_power_at_1m_0_for_default`, `0` = Default. Pro Scanner gibt es nur `attenuation` (Pfadverlust-Exponent, `options.attenuation=3`). Kalibrierung = Gerät auf 1 m neben einen Scanner legen, `sensor.<device>_ble_nearest_rssi` (Default deaktiviert → `config/entity_registry/update disabled_by=null` + Bermuda-Reload) samplen, Median als `ref_power` setzen. Werkzeug: `~/workspace/bermuda_calib.py {status,sample,apply,geometry}`.
- **Geometrie ist der eigentliche Engpass, nicht die Kalibrierung** (Messung 01.11., 30-s-Fenster): 18 von 27 BLE-Geräten werden von ≥3 Scannern gleichzeitig gesehen (Top: 11) — aber **nur im/am Garten**, weil 9 der 13 Scanner dort hängen. Indoor (iPhone Dominik) sieht genau **2** Scanner (`BLE Proxy`, `Büro EG`), beide ESPHome → Area-Ausgabe fürs iPhone unbrauchbar (`Wäscheraum` bei 8,3 m). Vor weiterer Kalibrierung: mehr ESPHome-Proxies indoor (Wohnen/Schlafen/Essen).
- `sensor.<device>_ble_nearest_rssi` / `_nearest_scanner` sind per Default **disabled**; nach dem Aktivieren braucht es einen Bermuda-Entry-Reload, sonst 404 im State-Machine.
- Config-Entry-**Titel** umbenennen geht per WS `config_entries/update {"entry_id":..,"title":..}` (existiert, im UI nicht dokumentiert); `config_entries/reload` existiert dagegen nicht (nur REST).
- **`$HA_TOKEN` in der Host-Env ist veraltet (401)** — funktionierender Token liegt in `/tmp/ha_token`. Skripte müssen die Datei bevorzugen, sonst 401 auf jedem API-Call.
- Shelly-Devices haben Kind-Geräte (Pro3EM `Phase A/B/C`, Pro4PM `Output 0..3`); Area-Zuweisung nur am Eltern-Gerät reicht nicht — Kinder können vereinzelt ohne Area bleiben (Fix 01.11.: `Output 0`/„Brunnenstein" → Garten via `config/device_registry/update`).
## BLE-Proxy Wäscheraum: OS-Update + WLAN-Starvation-Fix (15.11.2026)
- **Ist → Soll:** ESPHome **2026.8.2** (Build 09.09.) → **2026.10.2** per OTA (Upload 7,2 s, Commit 0,72 s). Gerät: `ble-proxy`, MAC C8:C9:A3:C8:65:2C, Board `esp32dev` (klassischer ESP32, 4 MB).
- **Symptom:** sporadische 1–3-s-Aussetzer auf der API (36 Requests/6 min → 2× 1,0 s und 2,9 s), Ping-RTT bis 317 ms, ein TCP-RST auf 6053 bei lebendem ICMP, Handshake-Abbrüche nach mehreren Connect-Zyklen → „hängt sich auf".
- **RCA:** `esp32_ble_tracker` lief mit **interval 1100 ms / window 1100 ms** (Vollduty). ESPHome 2026.10 warnt selbst: *„BLE scan window of 1100ms with wifi on the same radio starves wifi… keep the window at or below 600ms"*. BLE-Scan und WLAN teilen sich den Funk → WLAN wird periodisch ausgehungert.
- **Fix:** `interval: 320ms / window: 300ms` + `debug`-Sensoren. **Beweis nach Flash:** 18/18 API-Requests in 3 min, **0 slow / 0 fail, worst 0,15 s**; Ping 10/10, max 35 ms; Heap free 114,9 KB, Fragmentation 25 %.
- **Neue Entities** (Namen mit Area-Präfix `wascheraum_ble_proxy_*`): `uptime`, `wifi_signal` (−52 dBm), `heap_free`, `heap_max_block`, `heap_fragmentation`, `reset_reason`, `esphome_version`, `button.restart`.
- **Warum vorher kein Update möglich war:** HA legte keine `update`-Entity an (Config ohne `project:`-Metadaten), und im ESPHome Device Builder auf HA lag **keine YAML** — `/config/esphome` wurde erst am 30.10. frisch initialisiert, im Juli-Vollbackup existiert kein `esphome/`-Ordner. Geflasht worden war das Gerät am 09.09. vom **MacBook** (dort lag das OTA-Passwort).
- **Quelle der Wahrheit jetzt:** `/config/esphome/ble-proxy.yaml` + `/config/esphome/secrets.yaml` (Key `ble_proxy_api_key`, `iot_wifi_password`, `ota_password`). OTA-Passwort (aus dem Mac-secrets) bleibt in der neuen Firmware gesetzt und liegt jetzt in 1Password: Item **`ESPHome OTA ble-proxy`** (Vault Hermes). Der IoT-WLAN-PSK liegt in 1P-Item **`WLAN IoT`**.
- **Pitfalls:** (1) `esphome upload --password` ist der **MQTT**-Parameter — OTA-Passwort kommt ausschließlich aus `ota: password:` im YAML. (2) Falsches OTA-Passwort bricht vor jedem Schreibzugriff ab (risikolos). (3) `qm guest exec` killt den Prozessbaum, wenn der Agent-Timeout greift — Compile nur mit `--timeout 1500` fahren. (4) IoT-WLAN-PSK steht **nicht** in 1Password und ist in der Omada-Cloud-UI nicht lesbar; per API `GET /{omadacId}/api/v2/sites/{siteId}/setting/wlans/{gid}/ssids` → `pskSetting.securityKey` (Csrf-Token aus einem echten SPA-Request nötig).
## Related ## Related
- [[systems/frigate]] — NVR Integration - [[systems/frigate]] — NVR Integration
- [[systems/noris-ai]] — LLM Vision Provider - [[systems/noris-ai]] — LLM Vision Provider
- [[reference/ip-map]] — IP Assignments - [[reference/ip-map]] — IP Assignments
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
## Security-Status
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
## free@home setup_error 12./13.11.2026 — SysAP-Reboot wirkungslos, Core-Restart = Fix
- **Verlauf:** 12.11. 16:18 UTC Entry `setup_error` (28/29 Entities `unavailable`), Log `IqTimeout` auf `RemoteInterface.getAll`. Watchdog feuerte 13.11. 05:11 den SysAP-Reboot (`REBOOT_ACKED`, SysAP-HTTP nach ~3 min wieder da), `reload_config_entry` blieb `setup_error`; HA-Retry um 06:13 weiter `IqTimeout`, danach Retry-Backoff erschöpft (letzte Logzeile 06:17 — **Stille ≠ gesund**).
- **Diskriminator:** SysAP-REST `/configuration` = 200 in 3 s (62 Geräte), `/sysap` 200, TCP 5222 offen ⇒ kein Server-Wedge, sondern **clientseitiger slixmpp-Desync**.
- **Fix:** `docker restart homeassistant` (qm guest exec @ proxmox3) 07:10 → `not_loaded` → `setup_in_progress` 07:14:18 → `loaded` 07:14:48. Alle 28 ABB-Entities available (nur `button.garagentor` = `unknown`, bekannter ch0003-Status-Bug), Temperatursensoren pushen wieder (07:15:41).
- **E2E:** `light.schaltaktor_4_fach_16a_reg_abb208351f51_ankleidelicht` turn_on → `on` (07:15:03), turn_off → `off` (07:15:05), beide HTTP 200.
- **Watchdog Stufe 2 (13.11. ergänzt):** Wird nach `reboot(0)` + reload der Entry nicht `loaded` UND liefert SysAP-REST `/configuration` 200 → automatischer `docker restart homeassistant` (State `last_core_restart`, 6-h-Cooldown, 1 Throttle-Meldung/Tag, Boot-Wait 6 min). Ohne REST-200 gibt es **keinen** Core-Restart (dann ist der SysAP das Problem) — nur Alert. Verifiziert: `--selftest` grün, Tick bei gesundem Entry still + State-Reset.
- **Pitfall:** `rescue.py probe` meldet `GETALL_TIMEOUT_OR_FAIL 45.0s` auch bei gesunder Integration (zweite Installer-Session parallel zu HA + 45-s-Hardtimeout) → nicht als Health-Oracle nutzen; Entscheidung über Entry-State + REST.
+87
View File
@@ -0,0 +1,87 @@
---
title: "Home Assistant"
category: systems
tags: [homeassistant, smart-home, mqtt, automation]
created: "2026-09-27"
modified: "2026-09-27"
---
# Home Assistant
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
## Infrastruktur
- **Host:** `10.0.30.10` (HAOS VM)
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes")
- **URL:** `https://homeassistant.familie-schoen.com`
- **Container:** `homeassistant` (Docker)
## MQTT
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
- **HA MQTT User:** ehemals `opendtu` (BROKEN — ACL blockiert), gefixt
- **ACL:** `/etc/mosquitto/acl` definiert `user homeassistant` + `user addons`
- **Auth Plugin:** `go-auth.so` (files,http backends)
## Automations
- **File:** `/config/automations.yaml` (35 Automations)
- **Schreibmethode:** SSH → `docker exec homeassistant chmod 666`, danach restore 644
- **Reload:** REST API mit JWT (HS256, signed from `/config/.storage/auth`)
### Frigate Einfahrt Notification (ID 1714065780832)
- MQTT trigger `frigate/events` → filter `type=='new'` + cameras [Einfahrt,Terrasse] + labels [person,car,...]
- Mode: `single`, cooldown 600s
- Dedup: `input_text.frigate_last_event_id`
- Flow: delay 10s → snapshot → notify iPhone → optional LLM Vision
- Siehe [[systems/frigate]]
## Notify Services
| Service | Status |
|---------|--------|
| `notify.mobile_app_iphone_dominik` | ✅ aktiv |
| `notify.mobile_app_sarahs_iphone_app` | verfügbar |
| `notify.mobile_app_ipad_2` | verfügbar |
| `notify.mobile_app_sm_x205` | verfügbar |
## Entitäten
- Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration)
- Motion: `binary_sensor.einfahrt_motion_2`, `binary_sensor.terrasse_motion_2`
- Input Text: `input_text.frigate_last_event_id` (dedup storage, max 255 chars)
## Snapshots
- Gespeichert: `/config/www/snapshots/{camera}_latest.jpg`
- URL: `/local/snapshots/` (HTTP 200, keine Auth)
## JWT Auth
1. `jwt_key` aus `/config/.storage/auth` lesen
2. Client `Hermes_202606` (token id `1444b2c6757b4d66a6f8f8e5899b4e6a`)
3. HS256 signieren, Bearer Header
4. `?return_response=true` für Service-Call Responses
## Integrations
- Frigate (MQTT)
- LLM Vision (noris AI `gemma-4-31b-it`)
- Tibber (Strom)
- Marstek Speicher (VENUS-E, IP 10.0.50.113)
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
- Various sensors (Xiaomi BLE, etc.)
## EMHASS Batteriesteuerung
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle 16 kWh Batterie (BYD 11k + Marstek 5k).
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
- **Akuelle Config (2026-10-02):**
- Capacity 16000Wh, Charge/Discharge 6700W, Efficiency 0.9
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
- `set_battery_dynamic: True`, `set_use_battery: True`
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
- **Cron:** `a32005d62226` (no_agent, every 15m, runner script) ruft EMHASS Optimization auf.
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
## Related
- [[systems/frigate]] — NVR Integration
- [[systems/noris-ai]] — LLM Vision Provider
- [[reference/ip-map]] — IP Assignments
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
+72
View File
@@ -0,0 +1,72 @@
# Immich — Foto/Video-Management
> **Status 2026-10-10:** K8s-Immich (v3.3.1) ist **alleinige Produktion** für `photos.familie-schoen.com`. Legacy-Immich auf CT111 (v2.6.3) nach Reconciliation **stillgelegt** (Container gestoppt, Autostart aus, Daten unangetastet). **NAS-Foto-Ingest 09./10.10. KOMPLETT:** 29.423 neue Files (78,2 GB) via API-Upload, Reconciliation 0 fehlend.
## Produktion: K8s-Immich (v3.3.1)
| Eigenschaft | Wert |
|---|---|
| URL | `https://photos.familie-schoen.com` → WAN-Traefik CT99999 `photos`-Router → **10.0.30.203** (K8s `traefik-lb`) → IngressRoute `immich/immich` → `immich-server:2283` |
| Alt-Host | `immich.familie-schoen.com` → **301-Redirect** auf photos (WAN-Middleware `immich-to-photos`, 30.10.26). Legacy-Route auf CT111 `.99:2283` damit entfallen |
| Namespace | `immich` |
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
| Assets | **86.316** (85.960 unique Checksums) — Stand 10.10. nach NAS-Ingest |
| Storage | **`pv-fuse-immich-library`** (500Gi CephFS, statisches PV mit `mounter: fuse`, seit 31.10.26) + `pv-fuse-immich-thumbs` (100Gi); Subvolume `csi-vol-305a46d8…` unverändert. tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
| ⚠️ CephFS-Mount | Kernel-CephFS **unbrauchbar** (aes256k 32 B vs. 16-B-Limit) → Fuse-Mounter. Details `systems/rke2-kubernetes.md`. P1-Ausfall 31.10.: Immich 503, 8 Pods blockiert → nach Fuse-Umstellung 200 |
| ArgoCD-App | `immich`, Path `clusters/main/immich/implemented`, Repo `canonical` (HEAD) |
| Deployments | `immich-server` (6Gi-Limit, 2Gi-Req, **pinned rke2-worker-01** — OOM-Fix 10.10., Commit `6ce2a0a`), `immich-machine-learning`, `immich-valkey` |
| DB | `postgresql` namespace, `postgres-main-1`, DB `immich` (CNPG-managed) |
| DB-Zugriff | `kubectl -n postgres exec postgres-main-1 -- psql -U postgres -d immich` (nicht `-U immich`!) |
### GitOps-Anatomie (wichtig!)
- **ZWEI Apps teilen sich das Verzeichnis:** `immich` (path `clusters/main/immich/rendered`, Workloads) + `immich-config` (path `clusters/main/immich` OHNE recurse, Namespace/StorageClasses/PVCs/Externalsecrets/Ingress/DB)
- **Nie wieder `recurse: true` auf immich-config** — das ließ beide Apps dieselben Workloads verwalten → Tracking-Label-Krieg (13.353+ Heals, ewiges OutOfSync; behoben 09.10. via Commits 57cfa65+497aa34)
- Diagnose-Hebel bei OutOfSync: `argocd app diff <app>` im argocd-server-Pod (`--plaintext`, PW aus `argocd-initial-admin-secret`) — Tracking-Label-Diff = App-Kollisions-Fingerprint
- `status.resources` kann Stale-Einträge zeigen; Wahrheit = `argocd app diff`
- ~~Übergangs-Freeze auf immich-config~~ Aufgehoben 10.10. (Commit `3ec6327`): selfHeal+prune scharf nach bewiesenem Label-Sweep — Ownership-Krieg endgültig beendet (Commits 57cfa65+497aa34+3ec6327)
### GitOps-Upgrade-Rezept (bewährt)
1. `clusters/main/immich/values.yaml`: Image-Tags patchen (3 Stellen: controllers.main + explizite Repos server/ML)
2. `clusters/main/immich/rendered/all.yaml`: 2 Image-Zeilen (server + machine-learning) mitpatchen
3. Commit + Push zu Remote `canonical` → ArgoCD selfHeal rollt automatisch
4. Verifikation: `kubectl -n immich get deploy` (Images `:v3.3.1`) → Public-API `/api/server/version` erst NACH Endpoint-Wechsel aussagekräftig (alter Pod bleibt sonst im Pool)
5. Sicherheitsnetz: Restic-Backup gleicher Tag 04:09
### Bekannte Mess-Pitfalls (Schema-Versionen!)
- v3.x: Tabelle `exif`, Spalte `fileSizeByte`; v2.6.3-Legacy: Tabelle `asset_exif`, Spalte `fileSizeInByte` — Spalten-/Tabellennamen vor jeder Query erst via `information_schema` verifizieren
- psql-Fehlerzeilen in SSH+dockexec-Pipelines sehen aus wie Datensätze — stderr nie wegmaskieren, Counts gegen Roh-Count-Queries kreuzvalidieren
## Legacy-Immich auf CT111 (stillgelegt 2026-10-09)
| Eigenschaft | Wert |
|--- verwende ---|---|
| Host | CT111 = 10.0.30.99 (Proxmox-CT, Root-FS /dev/rbd1 49 G) |
| Version | v2.6.3, Docker-Compose `/opt/immich/docker-compose.yml` |
| Assets | 53.613 (53.257 unique; 356 Dubletten) — **vollständige Teilmenge von K8s, formal bewiesen** |
| Container | `immich_server`, `immich_machine_learning`, `immich_redis`, `immich_postgres` — alle `exited`, `restart=no` |
| Daten | unangetastet: `/mnt/data/immich-library` (344 G, eigenes RBD), `/mnt/data/immich-postgres` (1,4 G, Root-FS) |
| Seafile-Stack | derselbe CT, UNBERÜHRT (seafile, seafile-redis, seafile-memcached, seafile-mysql, seadoc, ideogram4-api) |
### Stilllegungs-Rezept (nachvollziehbar)
1. Pre-Flight: aktive Connections auf Published Port 2283 prüfen (`ss -tn established`) — nur bei 0 stilllegen
2. Graceful Stops in Order: server → ML → redis → postgres
3. `docker update --restart=no` je Container (compose-file NICHT anfassen — dort stehen noch `restart: always`, ein `compose up -d` würde alles wieder hochfahren)
4. Verify: `docker inspect` status+restart-policy je Container, `docker ps` zeigt nur noch Seafile-Stack
### Rollback jederzeit möglich
`docker start immich_postgres immich_redis immich_machine_learning immich_server` (Reihenfolge!) + `docker update --restart=always …` — Daten unberührt.
## Offene Punkte
- ~~fluent-bit-Journal-Flut auf CT111~~ **GEFICKT 09.10.** (Loki-LB .207 restauriert, Commit fb4d8b9; journald-Cap 200M airbag) — siehe [[systems/loki-fluentbit]]
- ~~Foto-Ingest NAS → K8s~~ **KOMPLETT 10.10.:** 29.423 Files / 78,2 GB (d 27.966 + s 1.436), Reconciliation 0 fehlend; Artefakte `~/home-drilldown/census/`; Rest: Grayzone 559 Files bewusst draußen, 5 RAWs mit dcraw-Thumbnail-Fehlern (Originale intakt)
- ~~**immich-config-Freeze reaktivieren**~~ **ERLEDIGT 10.10.** (Commit `3ec6327`): selfHeal+prune scharf nach bewiesenem Label-Sweep (kein Objekt trägt mehr das Tracking-Label); beide Apps Synced/Healthy, kein Ping-Pong. Präzedenz: Vor `prune:true` nach Ownership-Konsolidierung IMMER cluster-weiten Label-Sweep machen — `status.resources` der App kann stale Workload-Einträge zeigen.
- Endgültige Dekommissionierung Legacy (Volumes/DB/Images) separat genehmigen; bis dahin bleibt alles liegen
- CT111-Disk-Reserven: ~15,6 GB ungenutzte getaggte Images + diverse Volumes — nur mit Freigabe
- ~~NAS-Ingest-Keys `nas-ingest-d/s`~~ Plaintext-Keys vernichtet 10.10. (NAS keys.env + lokale Kopie gelöscht); Key-Records leben in DB, Re-Mint jederzeit via decode()-Insert möglich
## Verweise
- [[systems/seafile]] — Dokumente/Archive-Ziel der Home-Migration
- [[systems/ceph-cluster]] — cephfs-PVC der K8s-Instanz
- [[systems/rke2-kubernetes]] — Cluster-Anatomie
- Solution-Doc: `docs/solutions/workflows/2026-10-09-immich-legacy-decommission-prep.md`
- Solution-Doc: `docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md` (Massen-Upload-Rezept: Manifest+x-immich-checksum+Checkpoint)
+139
View File
@@ -0,0 +1,139 @@
---
title: Jellyfin Media Server
category: systems
tags: [jellyfin, media, kubernetes, vaapi, swiftfin]
created: "2026-10-19"
modified: "2026-10-19"
---
# Jellyfin (Media Server)
## Überblick
Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series + Erika Lust), Abspielziel AppleTV via **Swiftfin**.
| Fakultät | Wert |
|---|---|
| Version | `jellyfin/jellyfin:12.2` (Tag gepinnt, nie `latest`) |
| Namespace | `sabnzbd` (Co-Lokation wegen RWO-Mount der sabnzbd-PVC) |
| Node-Pin | `rke2-worker-05` (einziger iGPU-Node, `/dev/dri/renderD128`, GID 991, `privileged: true`) |
| VIP | **10.0.30.209:8096** (Cilium LB-IPAM, Annotation `io.cilium/lb-ipam-ips`) |
| Config-PVC | `jellyfin-config` 5Gi RWO ceph-hdd-replica |
| Media-Mount | sabnzbd-PVC **read-only** auf `/media` (= `/config/downloads/media` im SABnzbd-Pod) |
| Manifeste | `iac-homelab/clusters/main/jellyfin/` + App `clusters/main/apps/jellyfin.yaml` |
| NetworkPolicy | CNP `jellyfin-lan-only` (world/host/remote-node auf 8096 — VIP-Ingress kommt durch SNAT als `world` an, s. Cilium-Traps) |
| Admin-Login | 1P-Item **„Jellyfin Login dominik"** (Vault Kubernetes ESO), User `dominik`, IsAdministrator |
## Bibliothek
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`. Stand **29.10.2026: 215 Videos, 215 NFOs** in 25 Serienordnern (Jellyfin 1:1 = 215 Items, Scan verifiziert) (PureTaboo 42, Deeper 45, KinkUniversity 1, SexAndSubmission 26, TheUpperFloor 18, BratTamer 16, DeviceBondage 13, DungeonSex 13, HogTied 8, TheTrainingOfO 6, ErikaLust 5, He's in Charge 4, Lustery 3, BFTP18/NerdPervert/KinkTestShoots 2, AnalVids/BellesaFilms/BoundGangBangs/BukkakeFest/EnjoyX/GlowingDesire/MajorHotWife/SilkSub/TheLifeErotic 1).
- **Kollaps-Falle**: Movies-Typ fasst mehrere Dateien pro Ordner zu 1 Film + unsichtbaren Extras zusammen. Szenen-Bibliotheken besser als `homevideos` oder untypisiert anlegen (zeigen jede Datei einzeln; NFO-Parsing identisch).
- **Zombie-Items-Falle**: Alte Movie-Items auf gleichen Pfaden überleben Library-Delete+Recreate in `jellyfin.db` (pfadbasiertes Keying) und lassen jeden Scan leer laufen („Validating" ohne Enumeration). Heilung: Full-DB-Reset — ArgoCD selfHeal aus, scale 0, `mv /config/data/jellyfin.db* /config/dbbackup-<datum>/`, Wizard-Flag reset, Neu-Bootstrap. Backup: `/config/dbbackup-20261019/` auf jellyfin-config-PVC.
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
- **Feste Pfadliste-Falle (13.11.2026)**: Die Mediathek hat **pro Serie einen Einzelpfad** (`/media/<Serie>`); neue Sorter-Ordner werden **nicht** automatisch indexiert (0 Items trotz Dateien auf Platte). `POST /Library/VirtualFolders/Paths?name=Mediathek` mit Body `{"Name":"<Serie>","Path":"/media/<Serie>"}` → **204, aber wirkungslos**, wenn `/config/root/default/<Serie>/` fehlt (Log: `Could not find a part of the path '…/<Serie>.mblink'`). Sauberer Weg: `mkdir -p /config/root/default/<Serie>` **plus** `.mblink` selbst schreiben (`printf '/media/<Serie>' > /config/root/default/Mediathek/<Serie>.mblink`, chmod 644, root:root) → **Pod-Restart** → Pfad erscheint in `Locations`, Scan indexiert. Stand 13.11.: 56 Pfade, 58 Ordner auf Platte.
- **Collections entstehen nicht automatisch**: `POST /Collections?Name=<Serie>&Ids=<id,id,…>` (HTTP 200) je Serie mit ≥1 Item; Cover danach via `jf_collection_covers.py`.
## API-Fallen (12.2) — Details: Solution Doc s.u.
1. Auth-Header heißt jetzt **`Authorization: MediaBrowser ...`** (nicht mehr `X-Emby-Authorization` → sonst 400 ArgumentNullException).
2. `/Startup/User` nimmt `{"Name","Password"}` — Feld `Username` → täuschende 404. **Route funktioniert anonym NUR OHNE Authorization-Header** (mit MediaBrowser-Header trotz korrektem Payload ebenfalls 404!). Vorsicht: Probe-POSTs legen echte Admin-User an; Route acceptiert nur EINEN Startup-User (danach 403). `GET /Startup/User` = DTO-Sonde (zeigt Seed-User `root`).
3. Bootstrap-Reihenfolge: Configuration → Startup/User → **erst dann** `/Startup/Complete` (sonst Lockout; Recovery via `system.xml` `IsStartupWizardCompleted=false` + Pod-Restart).
4. Tasks: Trigger-Update `POST /ScheduledTasks/{id}/Triggers`, Ausführen `POST /ScheduledTasks/Running/{id}` (PUT/alte Route → 405; `OPTIONS` zeigt Allow).
5. Null-Users-Boot seedet automatisch User `root` ohne Passwort (Login trotzdem 401 — ignorierbar).
## Swiftfin / AppleTV
- **UDP-Autodiscovery funktioniert durch den K8s-VIP nicht** → im Client Server MANUELL eintragen: `http://10.0.30.209:8096`, User `dominik`.
- Transcode: VAAPI auf worker-05 verfügbar (Hardware-Encoder vorhanden, Jellyfin-Transcodierung ungetestet 19.10.).
## Betrieb
- Scan anstoßen: `POST /ScheduledTasks/Running/<scan-id>` (Task-Id via `GET /ScheduledTasks`, Name „Scan Media Library").
- Neue Medien landen automatisch via SABnzbd-Sorter in `/media/<Serie>/` (Postproc-Skript, CM `sabnzbd-postproc-script`).
- Bekannte Data-Hygiene-Aufgabe (19.10.): Alt-Salvage-MKVs (~600 MB 720p) liegen neben frischen 1080p/4K-MP4s derselben Szene (8 Paare in DeviceBondage, ~5 GB); Löschung nur nach GO.
## Stale MediaStreams nach In-Place-Ersetzung (30.10.2026)
Wird eine Mediendatei **unter gleichem Pfad** ersetzt (Transcode/Remux), behält Jellyfin den alten DB-Stand: es meldet weiter den alten Codec und die alte Dateigröße. Der Client bekommt dann DirectPlay mit falschem Codec angeboten und bricht ab (real: Datei war `hevc`, DB sagte `h264 High 4.418 GB` → QuickTime verweigerte).
**Fix:** genau ein `POST /Library/Refresh` (HTTP 204), Scan läuft async; danach stimmen `Size` und `MediaStreams` (`hevc Main 1920×1080 ~2.4 Mbit`). Verifikation über `GET /Items?...&Fields=Path,MediaSources,MediaStreams`.
**Regel:** Nach jeder In-Place-Ersetzungswelle ein Refresh — **nicht** mehrere parallel (wiederholte POSTs brechen den laufenden Scan ab). Wiederholte Refreshes während eines laufenden Batch sind unbedenklich, weil die Ersetzung atomar per `mv` passiert.
## Green-Artefacts auf AppleTV trotz sauberem Profil (01.11.2026)
Titel `TheUpperFloor - 2011-10-20 - Aiden Starr …` (HEVC Main 720p, hvc1, yuv420p, bt709) spielte in Swiftfin nicht — grüne Artefakte, Rest der Serie (H.264) problemlos. ffprobe sah **unauffällig** aus; Ursache war **echte Bitstream-Korruption**: volles `ffmpeg -i … -f null -` ergab 31 `CABAC_MAX_BIN`-Warnings. FFmpeg-Softdecoder toleriert das still, Apples HW-HEVC-Decoder artefaktet/grün.
**Diagnose-Praxis:** ffprobe reicht nicht — bei Playback-Problemen immer Full-Decode-Scan (`ffmpeg -v error -i FILE -f null -`), Non-CABAC-Zeilen zählen. Doppel-Editlist mit `media_time=-1` war hier Nebenschauplatz (Remux `-c copy -ignore_editlist 1` half nicht — Korruption sitzt in den Frames, nur echter Transcode löst).
**Repertoire (in-place Repair):** Original nach `/config/transcode-originals/<case>/` moven → Transcode nach `_hold` (`libx265 preset superfast crf19 -tag:hvc1`, ~55 min für 60-min-720p) → `chown 1000:1000` + atomic `mv` aufs Ziel → Jellyfin-Pod-Restart erzwingt Re-Inspection (Startup-Scan vergleicht Size/Date) → `_hold`-Temp löschen. Falls API-Key vorhanden: `POST /Library/Refresh` statt Restart.
**Fallstricke:** (1) fg-ffmpeg >300 s stirbt am Tool-Timeout → halbes MP4 ohne moov; immer `nohup … &` detachen und pollen. (2) Jellyfin-API-Tokens aus `Devices`-Tabelle können widerrufen sein (401 trotz Vorhandensein) — Restart ist der robuste Fallback.
## archive.org als Torrent-freie Zweitquelle (31.10.2026)
Usenet liefert keine Shibari-/BDSM-Tutorials (nzbindex null; Alternativ-Indizes JS-Walls), TPB nur per Torrent (Veto). **archive.org Advanced Search** (`advancedsearch.php?q=…&output=json`) + **Metadata-API** (`/metadata/<id>`) + Direktdownload (`/download/<id>/<file>`) lieferten 28 Tutorial-Videos (2,73 GB): BDSM-Skills-Serie, BDSM 101, Mistress Clarissa's Bondage 101 u. a. — alle h264-MP4, AppleTV-Direct-Play.
- **Ablage:** `/media/Tutorials/` (eigener Ordner, 28 Items — kein generischer Sammelordner).
- **Throttle-Falle:** archive.org drosselt pro Verbindung auf ~130 KB/s; sequenziell unbrauchbar. Lösung: **Range-Chunking** (4-MB-Chunks, 32 parallel/Datei, 3 Dateien gleichzeitig) → 1,4 GB in ~8 min.
- **Integration:** tar-Stream via `kubectl exec -i` in die PVC, `chown 1000:1000`, **ein** `POST /Library/Refresh`, Item-Delta +28 verifiziert. `.hevc_*`-Temps im FS zählen nicht (Jellyfin ignoriert sie absichtlich).
- Details: `docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md`
## StashDB-Metadaten-Pipeline (01.11.2026)
Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die 475 Boilerplate-NFOs.
**Crew:** `dschoen`; API-Key in 1Password-Vault **Hermes** (Item *StashDB API Key*), lokal `/tmp/stashdb_key`.
### API
- Endpoint `https://stashdb.org/graphql`, Header **`ApiKey: <JWT>`** (kein Bearer, kein Cookie). `me{ name }` als Auth-Beweis.
- Der Key ist ein JWT (`{"sub":"APIKey"}`) — funktioniert unabhängig vom Browser-Login.
### Matching-Strategie (3 Stufen, 439/506 = 87 % Trefferquote)
1. `queryScenes` mit `studios:EQUALS` + `date:EQUALS` — eindeutig, höchster Score (Feld `release_date` ist `YYYY-MM-DD`).
2. Studio + Titeltext.
3. **Performer-ID** (`performers: {modifier: INCLUDES}`) für undatierte Dateien.
### Fallstricke (alle verifiziert)
- **`searchStudio` ist token-basiert:** „DeviceBondage" → 0 Treffer, „Device" → *Device Bondage*. CamelCase splitten und mit Einzelwort probieren, sonst bleiben ganze Studio-Familien (Kink-Sites) ungematcht.
- **`performers` akzeptiert kein `EQUALS`** — Serverfehler *„unsupported modifier EQUALS for scene_performers.performer_id"*. Nur **`INCLUDES`** liefert Szenen.
- **`text` durchsucht nur Titel**, nicht Darsteller und nicht Description. Cast-Suche geht ausschließlich über `searchPerformer` → Performer-ID.
- Score-Gate: akzeptieren nur wenn **Studio ODER Datum** passt — sonst rutschen Fremd-Studios durch (Textsuche liefert 30 Treffer über alle Studios).
### Schreiben
- **Jellyfin-Update:** `POST /Items/{id}` mit **vollem DTO** (nicht PATCH): `Overview`, `Studios[{Name}]`, `Tags[]`, `PremiereDate`, `ProductionYear`, `People[{Name,Type:Actor|Director}]`, `Genres`. Antwort **204**, Read-Back bestätigt.
- **Collections** (Kategorisierung nach Studio/Serie): `POST /Collections?name=<Brand>&ids=a,b,c` → `{Id}`; Nachfüllen via `POST /Collections/{id}/Items?ids=…`. 31 Boxsets, 439 Items.
- **Pfad-Mapping:** Jellyfin sieht `/media/<Brand>/…`, SAB-Pod `/config/downloads/media/<Brand>/…` — Prefix normalisieren, sonst 0 Treffer trotz 504 Items.
- **NFO:** Kodi-`<movie>`-XML mit `<uniqueid type="stashdb">`, Plot im Original-Englisch, `<actor>`, `<tag>`, `<studio>`; per `tar` + `kubectl cp` in die PVC (nicht Datei-für-Datei).
### Rest
67 ohne Match: 28 Tutorials (nicht in StashDB) + undatierte Einzelfälle. 7 Matches haben leeres `details`-Feld bei StashDB (Titel/Cast/Datum gesetzt, Plot fehlt). Diese 67 sind am 01.11. mit Tag **`nosdb`** markiert (zweiter Anlauf inkl. Performer-Recovery brachte **0** weitere Treffer) — sie werden nicht mehr abgefragt, außer mit `--retry`.
### Automatisierung für Neuzugänge (01.11.2026)
- **Enricher:** `~/workspace/media_meta/stashdb_enrich.py` — idempotent; nimmt Jellyfin-Items **ohne** Tag `StashDB`/`nosdb`, matcht (3 Stufen inkl. Performer-Recovery), schreibt NFO + `POST /Items/{id}`, hängt in die Brand-Collection, markiert Nicht-Treffer mit `nosdb`.
- **Wrapper:** `~/workspace/media_meta/run_enrich.sh` — lädt `~/.hermes/secrets/media_meta.env` (JF-Token, 600) und holt den StashDB-Key via `op read 'op://Hermes/xsjfcmeo23rgleyu2xovvkb3aq/credential'`. Kein Key im Repo, kein `/tmp`-Cache nötig.
- **Cron:** Job `7264208b70b0` (*StashDB-Metadaten für Neuzugänge*), `0 */6 * * *`, `no_agent`, Skript `~/.hermes/scripts/media_meta_nightly.sh` → stdout **leer wenn nichts passiert** (Watchdog-Muster), Log `~/workspace/media_meta/enrich.log`.
- **Nicht** im Sorter (ConfigMap `postproc-scripts`) verankert: Sorter-Änderungen laufen über GitOps, und ein Pod-Rollout killt laufende Transcodes. Der Cron läuft host-seitig, deployt NFOs per `tar`+`kubectl cp` und braucht keinen Rollout.
- Idle-Lauf = **0 s** (alle Items getaggt), Voll-Lauf mit 67 Kandidaten ≈ 160 s.
## Related Solution Docs
- `docs/solutions/integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`
- `docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
## Verwandte Wiki-Seiten
- [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner
- [[systems/rke2-kubernetes]] — Cluster, LB-IPAM
- [[reference/ip-map]]
## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026)
**Modell: Porn hinter Passwort, Familie offen.**
- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets).
- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin.
- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections].
- `dominik`: Admin, Vollzugriff (Passwort).
**Pitfalls JF 12.2 (teuer gelernt):**
1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen).
2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen.
3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`.
4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig.
5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/<Name>`), nicht an Policy.
6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm.
7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen.
8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation.
+7 -2
View File
@@ -3,7 +3,7 @@ title: Loki + Fluent Bit (Logging Stack)
category: systems category: systems
tags: [loki, fluent-bit, logging, observability] tags: [loki, fluent-bit, logging, observability]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-07-25" modified: "2026-10-09"
--- ---
# Loki + Fluent Bit (Logging Stack) # Loki + Fluent Bit (Logging Stack)
@@ -13,7 +13,12 @@ modified: "2026-07-25"
- **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25) - **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25)
- **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps - **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps
- **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`) - **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`)
- **External Service:** `loki-external`, LoadBalancer `10.0.30.207:3100` - **External Service:** `loki-lb`, LoadBalancer `10.0.30.207:3100` (restauriert 2026-10-09, Commit `fb4d8b9`, Manifest `clusters/main/logging/loki-lb.yaml`, App `logging-config`) — Vorgänger `loki-external` war MANUELL kubectl'd, nie in Git, starb unbemerkt bei Helm-Iterationen → Fleet-weiter Journal-Spam. Seit Restaurierung GitOps-gemanagt.
### Known Issues (Fixed 2026-10-09: LB-VIP-Totalausfall)
| Symptom | Root Cause | Fix |
|---------|-----------|-----|
| fluent-bit Fleet (9 Hosts + LXCs) fluutet Journals mit „No route to host 10.0.30.207:3100" seit ~7. Okt.; CT111-Journal 4,1 GB (95 % Spam), Disk 99 % | Manueller SVC `loki-external` (LB .207) verschwand bei Loki-Helm-Iterations-Recreates — keine GitOps-Deckung | `loki-lb` Manifest in Git (Selector single-binary auf loki-0), ArgoCD-App `logging-config` synced es; VIP sofort wieder im Cilium-Pool |
### Known Issues (Fixed 2026-07-25) ### Known Issues (Fixed 2026-07-25)
| Issue | Root Cause | Fix | | Issue | Root Cause | Fix |
+52
View File
@@ -0,0 +1,52 @@
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
**Stand:** 2026-10-30
## Zweck
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
## Harte Fakten
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
| Test | Ergebnis |
|---|---|
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
| `sync` | 3,5 s |
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
## Konsequenz (Betriebsregel)
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
fsync-Latenzen nicht.
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
langsam — nicht als „kaputt" fehldeuten.
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
zurückgestellt, braucht Owner-GO.
+22
View File
@@ -32,3 +32,25 @@ modified: "2026-07-24"
## Related ## Related
- [[systems/loki-fluentbit]] - [[systems/loki-fluentbit]]
- [[systems/rke2-kubernetes]] - [[systems/rke2-kubernetes]]
## Alerting-Reparatur 2026-11-14
- `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT.
Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts:
node (6), ceph (4), blackbox (4), galera (3).
- **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**.
Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt.
- **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als
`/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf
alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt)
→ Regeln für die 8 RKE2-Node-IPs ergänzt.
- **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
- **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
- Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
- **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
(Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P
(Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0`
(**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien.
- **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
`kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'`.
+97 -10
View File
@@ -18,23 +18,110 @@ modified: "2026-09-29"
## Modelle ## Modelle
| Typ | Modell-ID | Hinweise | | Typ | Modell-ID | Hinweise |
|-----|-----------|----------| |-----|-----------|----------|
| Flagship LLM | `glm-5-2` | Primary, OpenRouter-kompatibel | | Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. |
| General | `gemma-4-31b-it` | Vision-fähig, genutzt von LLM Vision | | General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key |
| Large MoE | `gpt-oss-120b` | | | Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.6-27b` | | | Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.8-27b` | | | Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR | | Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
| Embedding | `harrier` | Vektorembeddings | | Embedding | `harrier` | Vektorembettungen |
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. | | Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
### Deployment-Lanes
Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** —
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
Bei Key-Problemen immer beide Lanes gegentesten.
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
Consumer-Skripte nach der alten ID greppen.
### `/v1/models` ist KEINE Verfügbarkeitsliste
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
auch solche, deren Backend hängt (→ curl `code=000`).
## Ausfall-Log
| Datum | Modell | Symptom | Status |
|-------|--------|---------|--------|
| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen |
**Log-Signatur:**
```
httpx.ReadError: [Errno 32] Broken pipe
→ openai.APIConnectionError: Connection error.
→ 3 Retries → "Provider has been unresponsive (no response received)
for 5 consecutive stale attempts"
```
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
Der Katalog liefert `max_context_length` **verschachtelt**
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
Instanzen **explizit gepinnt**:
| Ebene | Key | Wirkung |
|---|---|---|
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
## Verbraucher ## Verbraucher
- **Hermes Agent** — Primärmodell `glm-5-2` via OpenRouter - **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
`vllm/release/glm-5-3` (provider `noris`), Fallback-Kette
`vllm/release/glm-5-3-flash` → `anthropic/claude-haiku-4-5-20251001`.
Vorher: default `qsu/deepseek-v41-flash-1017`, die 4 Profile `glm-5-2`
(infra-sre: `moonshotai/kimi-k2.6`). E2E-verifiziert (5/5 Turns „PONG").
- **Sarah-Hermes (VM107)** — separate Instanz, weiterhin
`qsu/deepseek-v41-flash` (nicht Teil der Profil-Umstellung)
- **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events) - **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events)
- **Paperless** — `ds-v4-flash` für OCR/Kategorisierung - **Paperless** — `ds-v4-flash` für OCR/Kategorisierung
- **Personal Coach Bot** — `glm-5-2` via noris direkt - **Personal Coach Bot** — via noris direkt
- **Dynamic Coach** — `glm-5-2` via noris direkt, `qwen-image-2-1` für Visualisierungen - **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen
- **HolmesGPT (K8s, ns `holmes`)** — SRE-Bot (Robusta-Helm-Chart): `noris-glm` → `openai/vllm/release/glm-5-3` seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in `iac-homelab/clusters/main/apps/holmes.yaml` (ArgoCD-App `holmes`, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + `kubectl rollout restart` (envFrom/Volume-Config wird nicht hot-reloaded).
- **Paperless-AI (K8s, ns `paperless`)** — `PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3` seit 2026-10-20 (vorher `vllm/release/deepseek-v4-flash`); Embeddings bleiben harrier. Config in `iac-homelab/clusters/main/paperless/configmap.yaml`.
## Related ## Related
- [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung - [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung
- [[systems/homeassistant]] — LLM Vision Integration - [[systems/homeassistant]] — LLM Vision Integration
- [[systems/paperless]] — OCR via ds-v4-flash - [[systems/paperless]] — OCR via ds-v4-flash
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
(ArgoCD selfHeal verhindert `scale --replicas=0`).
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
+38
View File
@@ -0,0 +1,38 @@
# Notfallbuch (eol-dr für Sarah)
> Persönliches End-of-Life-Playbook für Sarah, adaptiert von
> [potatoqualitee/eol-dr](https://github.com/potatoqualitee/eol-dr).
> **Enthält Zugangsdaten — intern only, niemals öffentlich spiegeln.**
## Fakten
| | |
|---|---|
| **Repo** | `dominik/notfallbuch` @ https://git.schoen.codes/dominik/notfallbuch (privat) |
| **Lokal** | `/home/debian/notfallbuch` |
| **Secrets** | Dürfen ins Repo/Dokument (Uservoting 2026-10-10 — intern gehostet, Präzedenz `_Recovery`) |
| **Print-Ablage** | Ordner „Vorsorgedokumente" im Büro (bewusst KEINE Feuertasche) |
| **Vertrauensperson** | **Stefan Meier** („Peter-Faktor"): Lab-Abruck, Restore, Verkauf; Kapitel 09; soll dormant lokalen Gitea-Account bekommen (Status: offen) |
| **Design-Doc** | `~/docs/designs/2026-10-10-notfallbuch-sarah-design.md` |
## Struktur
- `manual/01–09*.md` — Sarah-Kapitel (Dominik pflegt halbjährlich; Reminder-Cron)
- `generated/*.md` — Inventar aus Live-Cluster (Monats-Cron regeneriert; DO-NOT-EDIT)
- `mapping/triage-map.md` — Join: ArgoCD-Annotation `eol.familie-schoen.com/triage: keep|reduce|retire|money` ↔ Klartext für Sarah/Stefan. **26 Apps noch ungelabelt (Stand 2026-10-10), holmes/holmes-config = KLÄREN**
- `build.sh` — pandoc+xelatex → `dist/Notfallbuch_<datum>_<sha>.pdf|.docx` (A4; pandoc+xelatex seit 2026-10-10 auf hermes-agent installiert)
## Frische-Mechanik (Hybrid)
1. **Monatlich:** Cron `c4eb1bbe63df` („Notfallbuch Monats-Update", 1. des Monats 06:00, no_agent) → `scripts/update_and_commit.sh`: regeneriert `generated/`, diffed **ohne Timestamp-Zeile** (kein Schein-Drift), committet+pusht nur echten Drift, Digest an `telegram:-5265906503` nur bei Drift oder ungeklärten Apps (Watchdog-Stille).
2. **Halbjährlich:** Cron `d8c6cdd5a1eb` (1.4./1.10. 09:00) erinnert an Review → `./build.sh` → Drucken → alten Druck Reißwolf → Ordner Büro.
## Bekannte Fallstricke
- **Bootstrap-Henne-Ei:** Druck ist der Anker (Sarah braucht kein Gitea); Stefans Zugang = Kapitel 02 + `_Recovery`, daher dormant Account **ohne SSO**.
- Generator braucht `PROXMOX_URL`/`PROXMOX_TOKEN` — provisioniert via `scripts/proxmox.env` (gitignored, 600; Quell-Item: 1P Vault „Proxmox" → „PVE API Token hermes"). Nach Token-Rotation: `./scripts/refresh_proxmox_env.sh`. Failover-URLs nur Live-Nodes (proxmox1/10.0.20.10 existiert nicht mehr!).
- Git-History behält rotierte Secrets → Repo nie öffentlich spiegeln.
- Live-Wahrheit schlägt Annahme: Immich = `photos.familie-schoen.com` (nicht `immich.*`); dritte Domain `schoen.eu` existiert.
## Related Solution Docs
- `docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md` — Gitea-API braucht Token-Header, Basic-Auth gibt 401
+47
View File
@@ -0,0 +1,47 @@
---
title: NUT / UPS Shutdown-Kaskade
category: systems
tags: [nut, ups, apc, proxmox, shutdown, epic-9]
created: "2026-10-08"
modified: "2026-10-08"
---
# NUT / UPS Shutdown-Kaskade
## Überblick
APC Back-UPS ES 700G (USB 051d:0002, SN `5B1940T54935␣␣` — 2 Padding-Spaces, nie per serial matchen!) hängt an **ms-a2-1 (10.0.20.92)**. NUT-Master dort, alle übrigen 7 PVE-Nodes + NAS sind Netclient-Slaves. IaC: `iac-homelab/epic-9-ups-nut/ansible/` (Commits bis `beee480`).
## Topologie
- **Master ms-a2-1:** `nut-driver@apc` (usbhid-ups, vendorid/productid) → `upsd` 0.0.0.0:3493 → `nut-monitor` (upsmon MASTER) + `upssched`
- **Users:** `monuser` (upsmon master, für HA) + `slavemon` (upsmon slave, für Cluster-Clients) — PWs in 1P Vault „Hermes": Items „NUT upsd monuser (ms-a2-1)" + „NUT upsd slavemon (cluster)"
- **Slaves (7 PVE + NAS):** `MODE=netclient`, upsmon `slave` auf `apc@10.0.20.92`, FSD → `/sbin/shutdown -h now`, `nut-server` absent
## Shutdown-Kaskade (BY DESIGN)
1. Stromausfall → UPS meldet ONBATT → upssched startet 60s-Timer
2. Timer läuft ab (>60 s Dauerstörung) → `upsmon -c fsd` → FSD-Broadcast
3. Alle Slaves sehen FSD → sofortiger geordneter Shutdown (PVE fährt Gäste via Guest-Agent)
4. Master wartet `HOSTSYNC 45`s → fährt als letzter runter
- **LOWBATT → sofortiger FSD** (kein Warten auf Timer)
- Kurzunterbrechungen ≤60 s: Timer wird bei ONLINE gecancelt → kein Shutdown
## Betrieb & Verifikation
```bash
upsc apc@10.0.20.92 # Telemetrie (HA: sensor.apc_*)
systemctl is-active nut-monitor # auf ALLEN 9 Maschinen active
ansible-playbook -i inventory.ini site.yml # konvergentes Re-Deploy
# Rollback (Kaskade entschärfen): deploy-nut.yml (disarmiert bewusst)
```
## Grenzen / offene Risiken
- **Runtime 277 s @ 76 % Last** — knapp für Nodes mit vielen Gästen. Remediation: `qm set <vmid> --startup down=60`, zweite UPS (LB>SPOF).
- **n5pro:** pgdg-Repo deformiert (`dists/-pgdg`) — bricht apt-update; NUT-Deploy workaround über no-update_cache. Fix braucht GO.
- Single-UPS = Single Point of Failure für den ganzen Cluster (auch NAS mit ZFS-Pool).
- NAS `nut-driver.target not-found` = harmloses Phantom (Unit-Referenz ohne Paket).
## Monitoring
- **NUT-Watchdog** (Hermes-Cron `4cbf03ccb4de`, jede Minute, no_agent): `~/.hermes/scripts/check_ups_health.sh` fragt upsd via rohem NUT-Protokoll ab (`GET VAR apc ups.status` — anonym möglich, kein Secret). Quiet bei OL; Instant-Alert bei Statuswechsel (OB/LB/upsd down), 10-min-Reminder bei Dauerstörung, einmalige Recovery-Info. State: `~/.hermes/cache/nut_watchdog.state`.
## Related
- [[systems/homeassistant]] — NUT-Integration (Entry `5e1d2138…`, sensor.apc_*)
- [[reference/ip-map]]
- Bugfix-Doku: `docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md`
+2 -1
View File
@@ -21,7 +21,8 @@ modified: "2026-09-27"
- mTLS Client Cert: CN=dominik, gültig bis Juli 2028 - mTLS Client Cert: CN=dominik, gültig bis Juli 2028
## Konfiguration ## Konfiguration
- **AI Backend:** `ds-v4-flash@ai.noris.de` (noris AI) - **AI Backend:** `vllm/release/glm-5-3@ai.noris.de` (noris AI; seit 2026-10-20, davor `vllm/release/deepseek-v4-flash`)
- **AI Embeddings:** `vllm/release/harrier-oss-v1-0.6b` (unverändert)
- **Memory:** 4Gi (PAT-002) - **Memory:** 4Gi (PAT-002)
- **Mail Import:** `dokumente@familie-schoen.com` (iCloud mailbox, max 30 Tage) - **Mail Import:** `dokumente@familie-schoen.com` (iCloud mailbox, max 30 Tage)
- **Owner:** dominik - **Owner:** dominik
+123 -7
View File
@@ -3,26 +3,72 @@ title: Proxmox VE Cluster
category: systems category: systems
tags: [proxmox, virtualization, lxc, qemu, pve] tags: [proxmox, virtualization, lxc, qemu, pve]
created: "2026-04-28" created: "2026-04-28"
modified: "2026-09-29" modified: "2026-10-30"
--- ---
# Proxmox VE Cluster # Proxmox VE Cluster
## PVE API-Tokens (Stand 2026-10-10)
| Token | 1P-Item (Vault „Proxmox") | Zweck |
|---|---|---|
| `root@pam!hermes` | „PVE API Token hermes" | Hermes-Agent-Skripte, Notfallbuch-Generator (`notfallbuch/scripts/proxmox.env`, Refresh via `refresh_proxmox_env.sh`) |
| `root@pam!tofu` | „PVE API Token tofu" | IaC/Tofu/CI (`iac-homelab` epic-7 `destroy.env`, CI-Presets; Commit `eb039b2`) |
| `root@pam!tofu3` | — (nur PVE) | „temp for rebuild" |
| `root@pam!openclaw-readonly` | — (nur PVE) | Read-only, PVEAuditor auf `/` |
| `api@pam!homepage-status`, `exporter@pve!monitoring` | — (nur PVE) | Widgets/Monitoring |
**⚠️ Pitfall:** 1P-Item `proxmox_root` → Feld „Anmeldedaten" ist das **Root-Passwort**, KEIN API-Token (ergibt 401 als `PROXMOX_VE_API_TOKEN`). Endpoint ist kein Secret: `https://10.0.20.30:8006` (proxmox3) hart codieren. `proxmox1`/10.0.20.10 existiert nicht mehr.
## Cluster-Konfiguration ## Cluster-Konfiguration
- **Version:** PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25) - **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt) - **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
- **Hypervisoren:** 10.0.20.x - **Hypervisoren:** 10.0.20.x
- **Guests:** ~30 LXC + ~10 QEMU VMs - **Guests:** ~30 LXC + ~10 QEMU VMs
## Storage ## Storage
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD) - **vm_disks:** Primärer Storage für alle VMs/CTs (SSD). **Konvention (Chef-Vorgabe):** Disk-Definitionen in `vm_disks` pflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren).
- **hdd_templates:** CT Templates - **hdd_templates:** CT Templates
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI) - **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
### Backup-Storage (Stand 2026-11-15)
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
## Netzwerk ## Netzwerk
- VLAN-basiert, Bridge vmbr0 - VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]] - IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
## Wake-on-LAN (eingerichtet 2026-10-30)
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|---|---|---|---|
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
## Fluent Bit (Logging) ## Fluent Bit (Logging)
- Alle 9 Hosts haben Fluent Bit aktiv - Alle 9 Hosts haben Fluent Bit aktiv
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log - Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
@@ -50,18 +96,60 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
- Benötigte modprobe.d Config: - Benötigte modprobe.d Config:
- `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper` - `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper`
- `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci` - `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci`
- Worker-05 (VM 102) lief auf ms-a2-2 mit funktionierendem GPU-Passthrough. Seit 2026-09-29 auf proxmox6 (Anti-Collocation mit Worker-01). Prüfen ob GPU-Passthrough auf proxmox6 funktioniert! - Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 —
`hostpci0: 0000:01:00.0,pcie=1,rombar=1` (OHNE x-vga!) → renderD128 verifiziert.
**Kritische Lehre:** `x-vga=1` bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört
VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless-
Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinity `na-vm102` existiert
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
## Bekannte Probleme ## Bekannte Probleme
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
- CT110 kaputte libc — Reparatur ausstehend (still stopped) - CT110 kaputte libc — Reparatur ausstehend (still stopped)
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen - osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation - osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
- worker-04 (VM 139) NotReady im K8s Cluster — Node offline - **proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.):** VM301 (Galera db2,
8G) am 30.09. via `ha-manager relocate vm:301 proxmox7` migriert (na-vm301 =
5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM,
Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151
Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als
Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppe
`pressure_alerts`, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2).
- **Reboot 10.10. (p6+p7):** osd.7/osd.10 stale-Keyring-Crashloop (PAT-016),
gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim
vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5,
VM310→p4 wurde nach Reboot per `ha-manager migrate` retour auf p7 gebracht
(known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117
(leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert
(workspace/ct117-decommission/117.conf.archived), `pct destroy 117 --purge`,
verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean.
- **PMXCFS-Modell (10.10.):** Gast-Configs liegen NUR auf dem Owner-Node und
wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über
alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem
destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.
## HA Rules (PVE 9.2 Rules System) ## HA Rules (PVE 9.2 Rules System)
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity. Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt. Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
> ✅ **HA-Reaktivierung abgeschlossen (31.10., ~15:05):** Clusterweit `pve-ha-lrm` + `pve-ha-crm`
> re-enabled und gestartet (8/8 Nodes). CRM-Master proxmox3, fencing armed. Alle 10 HA-Gäste
> `started` (ct:127, vm:106/122/128/139/230/301/302/310/311); **`vm:128` (worker-01) nachgetragen**
> mit `max_relocate=3/max_restart=2` (war beim CRM-Stop im `deleting`-Zustand hängengeblieben —
> CRM hat den Löschvorgang beim Start sauber abgeschlossen). Der `freeze`-Status im
> `ha-manager status` war ein Artefakt des gestoppten CRM, keine echte Freeze-Konfiguration.
> Pitfall: `ha-manager add` während deaktiviertem CRM → service bleibt im `deleting`-Übergang
> stecken; Auflösung = CRM starten, Abschluss abwarten, dann add.
**Resource-Affinity (negative = anti-collocation):** **Resource-Affinity (negative = anti-collocation):**
*RKE2 Control Plane (etcd-Quorum braucht 2/3):* *RKE2 Control Plane (etcd-Quorum braucht 2/3):*
@@ -112,10 +200,10 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
| RKE2 CP-03 | 126 | proxmox4 | | RKE2 CP-03 | 126 | proxmox4 |
| RKE2 Worker-01 | 128 | proxmox5 | | RKE2 Worker-01 | 128 | proxmox5 |
| RKE2 Worker-04 | 139 | n5pro | | RKE2 Worker-04 | 139 | n5pro |
| RKE2 Worker-05 | 102 | proxmox6 | | RKE2 Worker-05 | 102 | ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2) |
| Hermes-Agent-01 | 230 | n5pro | | Hermes-Agent-01 | 230 | n5pro |
| Galera db1 | 300 | n5pro | | Galera db1 | 300 | n5pro |
| Galera db2 | 301 | proxmox6 | | Galera db2 | 301 | **proxmox7** (seit 30.09. relocate; vorher proxmox6) |
| Galera db3 | 302 | ms-a2-2 | | Galera db3 | 302 | ms-a2-2 |
| MaxScale-01 | 310 | proxmox7 | | MaxScale-01 | 310 | proxmox7 |
| MaxScale-02 | 311 | ms-a2-1 | | MaxScale-02 | 311 | ms-a2-1 |
@@ -126,6 +214,34 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add. > - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback. > - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
## Bekannte Probleme
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
- **Gegenmaßnahme (aktiv, v2 seit 2026-10-31):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s). Log: `/var/log/nic-watchdog.log`.
- **v1 war blind (Vorfall 2026-10-31):** v1 las `cat /sys/class/net/enp1s0/carrier || echo 1` — ist das Interface **administrativ** down, liefert die Datei `Invalid argument`, und `|| echo 1` machte daraus **„gesund"**. Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUT `No route to host`). Zusätzlich: `modprobe -r r8169` hätte die Bond-Mitgliedschaft zerstört.
- **v2 (deployed + getestet 2026-10-31):** unterscheidet `carrier=1` / `carrier=0` / `carrier=-1 (unlesbar = admin-down)` und prüft zusätzlich `IFF_UP` (Flags-Bit 0x1) **und** ob `vmbr1` die MGMT-IP `10.0.20.30` trägt. Handelt in allen drei Fällen: `up` → `down/up` + `ethtool -r` → **`ifreload -a`** (Bond/Bridge/VLAN idempotent nachziehen). **Kein `modprobe`** mehr. `flock` gegen Parallel-Läufe. Backup: `nic-watchdog.sh.v1-bak`.
- **Test-Methode (risikofrei):** Dummy-Interface `nictst0`, `IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1` — gesund ⇒ kein Log; `ip link set nictst0 down` ⇒ v2 loggt `admin=down carrier=-1` und bringt es hoch. **Kein Live-Test an `enp1s0`** (siehe Lehre unten).
- **Lehre (2026-10-31):** Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node **nicht risikoarm**. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
## INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
**Ablauf:** VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → `qm start` → **ganzer Node dunkel um 11:19:49** (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung `Inappropriate ioctl` trat direkt vorher auf).
**Fallstrick Config-Zeile:** Kommentar `#hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,...` enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: `hostpci0: 0000:01:00.0,pcie=1,rombar=1`.
**Workload-Rettung (GitOps-korrekt):** ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd `nodeName` + jellyfin `nodeSelector` → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
**Ergebnis:** SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
**OFFEN:** ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.
## Related ## Related
- [[systems/ceph-cluster]] - [[systems/ceph-cluster]]
- [[systems/rke2-kubernetes]] - [[systems/rke2-kubernetes]]
+203
View File
@@ -0,0 +1,203 @@
---
title: "Recipe Scraper v8 (Nutrition-Coach)"
category: systems
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
created: "2026-10-12"
modified: "2026-11-18"
---
# Recipe Scraper v8 — Nutrition-Coach-Profil
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
Diagnose gestartet wird.**
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
intermittierend crashen und nur per Retry durchlaufen.
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
(+ Nachtrag im 11-12-Doc).
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
## Architektur
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
tried_counts; Backups `*.bak*` daneben)
- **Log:** `scraper_v8.log` (append)
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
(ID = `{source}_{slug-aus-url}`)
## Frontier-Fix 2026-10-12 (v8.1)
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
~1.400 Errors/Tag). Drei Kernbugs:
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
403-Gescheiterte wurden täglich neu gehämmert.
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
unberührt; remaining=2000 droselte zusätzlich).
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
Skips), nicht echte Fetches.
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
next_retry, last_fail_at; Indizes auf source + source,next_retry).
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
→ nie wieder anfassen.
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
Floor 200/Quelle.
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
## Pipeline-Repair 2026-10-12 (gleicher Tag)
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
→Lost connection bei der allerersten Query.
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
(dieselbe tote harrier-ID).
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
Normalizer regelbasiert danach. Alles resumable.
### Bug #7 + Galera-.73-Episode (12./13.10., nachts)
- **Gift-Scan-Klasse entdeckt:** `embedding` ist LONGTEXT **inline im Clustered
Index** (~25 kB × 198k ≈ 5 GB). JEDE Query mit `WHERE embedding IS NULL`
ist ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem
Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei
89.216). Vierte Instanz der Frontier-Familie.
- **Fix (dreistufig):** (1) Keyset-Cursor `id > watermark` mit persistenter
`embedding_watermark`-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark-
Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) **Generated
Column + Index:** `emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))`
+ Composite `(emb_pending, id)` → NULL-Seeking = Index-Seek, Reset-Pass
O(Index); (3) Batch-Query auf `emb_pending = 1` umgestellt; Fingerprint-
Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan);
vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
- **Galera-.73-Kettenreaktion:** Das DDL replizierte, aber mariadb-03 (.73,
4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading
clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen
→ Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig —
Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
- **Lessons:** Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
`SELECT @@hostname` prüfen, dann direkt killen). DDL auf großem Table =
TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz;
Bufferpool ≥ Table-Größe oder Index über schmale Generated Column.
Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries
weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging.
- **Verifikation:** `emb_pending=1` = 0 auf allen Nodes (198.133/198.133
embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup);
Fingerprint-Shortcut 2,2 s Exit 0.
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
kein Normalizer-Problem), Embeddings laufen.
## Pitfalls (gemessen)
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
SHA1-Hash-PK stattdessen.
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
Laufzeit — Quarantäne ersetzt sie.
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
## Related
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
- [[systems/noris-ai]] — Translation- + Embedding-Backend
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP
+69 -6
View File
@@ -3,15 +3,16 @@ title: RKE2 Kubernetes Cluster
category: systems category: systems
tags: [kubernetes, rke2, cilium, argocd, cnpg, gitops] tags: [kubernetes, rke2, cilium, argocd, cnpg, gitops]
created: "2026-07-24" created: "2026-07-24"
modified: "2026-09-17" modified: "2026-10-19"
--- ---
# RKE2 Kubernetes Cluster # RKE2 Kubernetes Cluster
## Übersicht ## Überblick
- **Version:** v1.35.6-rke2r1 - **Version:** v1.35.6-rke2r1
- **Nodes:** 6 (3 CP + 3 Worker), alle schedulable (keine CP Taints) - **Nodes:** 6 (3 CP + 3 Worker), alle schedulable (keine CP Taints)
- **CNI:** Cilium (LB IP Pool) - **CNI:** Cilium (LB IP Pool)
- **⚠️ Cilium-NP-Fallen (2026-10-19):** (1) Selektion⇒Default-Deny je Richtung; (2) `egress: [{}]` erlaubt NICHTS (Null-Allow, kein Wildcard); (3) `io.kubernetes.service.name` ist KEIN Identity-Label → `k8s-app` + namespaceSelector nutzen; (4) VIP-Ingress kommt SNAT't als Identity `world` an → fromEntities [world, host, remote-node]. Alle 4 stumm (kein Warning) — nach jeder CNP-Änderung positiv+negativ verifizieren. Details: `~/docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
- **Ingress:**两层 Traefik (extern CT9999 + intern K8s) + Authelia SSO - **Ingress:**两层 Traefik (extern CT9999 + intern K8s) + Authelia SSO
## Node IPs ## Node IPs
@@ -20,9 +21,57 @@ modified: "2026-09-17"
| cp-01 | 10.0.30.51 | Control Plane | | cp-01 | 10.0.30.51 | Control Plane |
| cp-02 | 10.0.30.52 | Control Plane | | cp-02 | 10.0.30.52 | Control Plane |
| cp-03 | 10.0.30.53 | Control Plane | | cp-03 | 10.0.30.53 | Control Plane |
| worker-01 | 10.0.30.63 | Worker | | worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) |
| worker-04 | 10.0.30.64 | Worker | | worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) |
| worker-05 | 10.0.30.65 | Worker (GPU renderD128 ✅ on ms-a2-2) | | worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) |
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
**8 Nodes, v1.35.6+rke2r1, alle auf `6.12.113+deb13-amd64` (Stand 2026-10-31, Welle C abgeschlossen).**
> ✅ **CVE-2026-98432 geschlossen (31.10.)** — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste)
> sind durch. Alle RKE2-Knoten rolling auf `6.12.113+deb13-amd64` (DSA-6568-1), jeweils per `boot_id`-Wechsel
> bewiesen, 7.x-Backports gepurged, `GRUB_DEFAULT=0` überall, `linux-image-amd64` auf **allen 8** Nodes auf
> `6.12.113-1` gepinnt (sonst keine automatischen Kernel-Security-Updates!).
> SolDocs: `2026-10-31-cve-98432-wave-c-kernel-612113.md`, `2026-10-30-cve-2026-98432-fleet-exposure.md`.
> **Pitfall:** Metapaket `linux-image-amd64` aus Backports zieht beim Purge des 7.x-Kernels **7.2.11 nach** statt
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
> ⚠️ **worker-05 (VM102) war 01.–02.11. offline — `onboot: 0`, nicht CVE und kein Crash.** ms-a2-2 bootete am
> 01.11. 11:31 (Folge des 30.10.-Crashes); die VM hatte **keinen** `qmshutdown`-Task, sie fehlte nur in der
> Autostart-Liste. `qm start 102` (ms-a2-2 = 10.0.20.93) → 6 min später `Ready`, Kernel `6.12.113+deb13`,
> GPU-Passthrough `0000:01:00.0` (AMD Granite Ridge, amdgpu, `/dev/dri/renderD128`) ok, 13 Pods laufen.
> `qemu-guest-agent` war im Gast **nicht installiert** → PVE zeigte dauerhaft `agent: down` bei völlig gesundem
> Gast; nachinstalliert (static unit, `/etc/rc2.d/S01`), `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO)** —
> sonst fehlt die GPU-Kapazität nach jedem ms-a2-2-Reboot still im Cluster.
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
> CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist **architektonisch** tot (`crypto.c` 6.12.107/113 identisch;
> `aes256k` erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse).
> **Umgesetzt:** 5 Volumes auf **statische PVs mit `mounter: fuse`** auf demselben Subvolume
> (`pv-fuse-immich-library/-thumbs`, `pv-fuse-fleet-spool/-board/-build-src`, alle `Retain` + `Prune=false`).
> Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs `Retain`!) → neues PV+PVC → App wieder hoch.
> Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods `Running`, Mount `ceph-fuse on /data type fuse.ceph-fuse (rw)`,
> Schreibtest OK, Subvolume-`bytes_used` unverändert (400.283.771.738 B). Git: `fbd65c4` (PVCs mit `volumeName`,
> PV-Manifeste unter `clusters/main/{immich,fleet}/static-fuse-pvs.yaml`), ArgoCD `Synced/Healthy`.
> **Pitfalls:** (1) `spec.csi.volumeAttributes` + `spec.volumeName` sind immutable — nur neue PV/PVC-Objekte helfen;
> (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren;
> (3) ArgoCD `selfHeal` der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss
> `volumeName` tragen, sonst Dauer-OutOfSync; (4) `find /data` über 400 GB via Fuse dauert >10 min (nicht im
> Vordergrund laufen lassen). SolDoc `2026-10-31-cephfs-aes256k-kernel-key-blocker.md`.
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`
> auf cp-01 → auf cp-02 `systemctl stop rke2-server`, **kein** `mv` des Mountpoints (ext4 auf `/dev/sdb`,
> `Device or resource busy`), stattdessen Inhalte innerhalb des Mounts nach `etcd/broken-20261030/`
> verschieben (member, name, config) → `start rke2-server` → Rejoin als Learner, neue Member-ID
> `16b9fcd7c4a32825`. **Verifiziert:** 3/3 Member Started, kein Learner, alle 8 Nodes Ready.
> Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in `broken-20261030/` (Aufräumen optional).
> Historie: cp-02 wurde schon am 03.10. so repariert (`etcd.old` vorhanden) — Wiederholungstäter-Knoten,
> bei Welle C zuerst beobachten.
## Storage ## Storage
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec - **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
@@ -31,7 +80,7 @@ modified: "2026-09-17"
- **⚠️ StorageClass `parameters` sind IMMUTABLE** — können nicht gepatched werden, müssen gelöscht+neu erstellt werden. - **⚠️ StorageClass `parameters` sind IMMUTABLE** — können nicht gepatched werden, müssen gelöscht+neu erstellt werden.
- **⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01):** `volumesnapshotclasses`-CRD (RKE2-Addon `rke2-snapshot-controller-crd`) hat **FLAT-Schema** — `driver`/`deletionPolicy`/`parameters` auf TOP-LEVEL, `spec:` existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: `ceph-rbd-snapclass` (default) + `cephfs-snapclass` - **⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01):** `volumesnapshotclasses`-CRD (RKE2-Addon `rke2-snapshot-controller-crd`) hat **FLAT-Schema** — `driver`/`deletionPolicy`/`parameters` auf TOP-LEVEL, `spec:` existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: `ceph-rbd-snapclass` (default) + `cephfs-snapclass`
- **CNPG PostgreSQL**: `postgres-main` Cluster (3/3 Ready), RW Service `postgres-main-rw.postgres.svc.cluster.local:5432`; Specs **100Gi data / 20Gi WAL** (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren) - **CNPG PostgreSQL**: `postgres-main` Cluster (3/3 Ready), RW Service `postgres-main-rw.postgres.svc.cluster.local:5432`; Specs **100Gi data / 20Gi WAL** (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren)
- **⚠️ etcd auf Ceph RBD (~20ms WAL fsync auf allen CP-Nodes)** — architektonisches Risiko; unter API Server Write Pressure → gRPC DeadlineExceeded Cascade. Lokales NVMe für etcd data dirs empfohlen. - **✅ etcd auf lokalem NVMe (migriert 2026-10-04)** — Jede CP-VM hat jetzt eine zweite 10G Disk (`scsi1`, `local-lvm`) gemountet auf `/var/lib/rancher/rke2/server/db/etcd`. WAL fsync von ~20ms (Ceph RBD) auf ~5ms (NVMe) reduziert. gRPC DeadlineExceeded Cascade dauerhaft eliminiert. Monatlicher Defrag nicht mehr kritisch (aber harmlos). Vorheriges Problem: RBD-Netzwerklatenz → API Server Instabilität → Pod Churn. Siehe Solution Doc `2026-10-04-etcd-rbd-to-local-nvme.md`.
## GitOps ## GitOps
- **ArgoCD**: SSH Deploy Keys (read-only) auf Gitea - **ArgoCD**: SSH Deploy Keys (read-only) auf Gitea
@@ -66,9 +115,23 @@ modified: "2026-09-17"
- IaC: unified `amd-gpu` PCI mapping (n5pro + ms-a2-1 + ms-a2-2) + dynamic hostpci (one worker block, gpu flag) - IaC: unified `amd-gpu` PCI mapping (n5pro + ms-a2-1 + ms-a2-2) + dynamic hostpci (one worker block, gpu flag)
- ms-a2-1 has kernel BUG with 1002:13c0 (renderD128 missing) — worker-05 moved to ms-a2-2 (identical hardware) - ms-a2-1 has kernel BUG with 1002:13c0 (renderD128 missing) — worker-05 moved to ms-a2-2 (identical hardware)
## Capacity Management
- **Descheduler** v0.30.0 deployed als ArgoCD-App (`clusters/main/descheduler/manifests.yaml`)
- Plugin: `LowNodeUtilization` (thresholds 30/50/20, targetThresholds 70/70/60)
- Interval: 2m (`--descheduling-interval=2m`)
- `nodeFit: true` auf Profile-Ebene (nicht Plugin-Ebene — v0.30 Schema!)
- RBAC: benötigt `list/watch` auf `namespaces` (fehlt in Default-Helm-Chart)
- Raw Manifests statt Helm Chart (Chart 0.30 hat params/args-Bug, Chart 0.35 hat falsche API-Version)
- Siehe Solution Doc `2026-09-30-k8s-cp01-relief-descheduler.md`
- **CP-01 Relief (2026-09-30):** hindsight-api + hindsight-postgres + paperless von cp-01 → worker-05 migriert
- cp-01 RAM: 93% → 43%; worker-05 bei ~28%
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren
- Live-only nodeSelector (hindsight-api, Sep-17-Hotfix) war nie in Git → Live-Patch nötig
## Known Pitfalls ## Known Pitfalls
- `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`) - `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`)
- ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden - ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden
- **1 NotReady-Node blockiert die ganze Sync-Welle:** ArgoCD (2.14) bewertet ein DaemonSet erst ab `numberReady == desiredNumberScheduled` als Healthy → App bleibt ewig `OutOfSync`/`Progressing`, kein Rollout. Fix: `resource.customizations.health.apps_DaemonSet` in `argocd-cm`, enge Toleranz (nur `fleet/fleet-agent-image-prepuller`, genau 1 fehlender Node, ab 2 wieder `Progressing`); dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`). `hard refresh` und `kubectl set image` entblocken NICHT. SolDoc `bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md`
- CoreDNS: `hosts` configBlock nicht params - CoreDNS: `hosts` configBlock nicht params
- etcd Defrag monatlich (CronJob) - etcd Defrag monatlich (CronJob)
+333
View File
@@ -0,0 +1,333 @@
---
title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
category: systems
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
created: "2026-10-19"
modified: "2026-11-01"
---
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
## Überblick
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
## Container
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
- **samba** (Sidecar): SMB-Share `downloads`
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
## Sorter (Stand v13, 01.11.2026, Commit `a27c85e`)
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
**v13 (01.11.2026) — vier Studios ergänzt:** `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles`.
Wichtig dabei: `*angelogodshack*` **Wildcard** (LegalPorno postet als `LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P`),
`^legalporno[._-][0-9]{4}[._-]` im `norm_title` strippen, und Junk-Token `p0rnl0v3r` (Zahl-3-Schreibweise).
Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (`Submissed - 2026-07-26 - Dragon Fruit.mp4`, `AngeloGodshack - Nikol Raklova.mp4`).
## NZB-Beschaffung (Quellen-Lage 01.11.2026)
| Quelle | Status |
|---|---|
| `nzbindex.com` | Suche (JSON-API) ok, **jeder Download-Pfad 404** → unbrauchbar |
| `nzbking.com` | NZB-Download ok, aber für die Ziel-Posts nur **.par2** indexiert → unbrauchbar |
| `binsearch.info` | **funktioniert**: Suche-HTML + echter NZB-Download |
```bash
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
# Einreihen ohne Drop-Ordner-Race:
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
--data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
--data-urlencode "apikey=$KEY" --data-urlencode "output=json"
```
**Pitfall:** NZB in `nzb-drop/` legen + Harvest-Cron ist eine **Race** — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). `mode=addurl` liefert eine `nzo_id` und umgeht den Ordner.
**Suchterm-Regel:** binsearch UND-verknüpft die Wörter eines Terms — `pascals.sub.sluts` findet nichts, `pascals` 17 Posts, `angelogodshack` 23, `submissed` 26. Immer **einen kurzen, unterscheidbaren Token ohne Punkte** nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort **gar nicht** indexiert — nicht mit ähnlichen Treffern auffüllen.
**Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge):** `nzb_sweep.py` (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → `nzb_plan_filter.py` (Dedupe gegen `media/` über Datum+Performer; ohne Datum nur Performer) → `queue_sweep.sh` (`mode=addurl`). `"status":true` ohne Leerzeichen — Erfolg am `nzo_ids`-Key prüfen, nicht am Status-Text.
SolDoc `~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md`.
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
| Baustein | Zweck |
|---|---|
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
**Zwei Trigger:**
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
### Sorter-Sweep-Watchdog (seit 01.11.2026)
Cron `57900310b6e5` (alle 30 min, `no_agent`, `~/.hermes/scripts/sab_sorter_sweep.sh`) läuft `convert720.sh` über jede **ruhige** Unterordner von `complete/` (mtime > 20 min, keine `_UNPACK_`/`_FAILED_`/`_ADDFROM`-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei `bewegt=0`.
**Container-Pitfall:** Das Sorter-Skript liegt als CM-Mount nur im **`sabnzbd`**-Container (`/config/scripts/convert720.sh`), **nicht** im `converter` — dort ist nur `/config/tools/ffprobe` (PVC) erreichbar. Sweep daher mit `-c sabnzbd`; `converter` liefert `sh: /config/scripts/convert720.sh: not found`.
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
**Pitfalls:**
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
## Provider-Störungen & Reparatur-Fehler (31.10.2026)
**Symptom:** Massenhaft `Failed: Reparatur fehlgeschlagen. Nicht genug Reparatur-Blöcke vorhanden` über Nacht bei 2012–2017-Releases.
**Ursache #1 (falsch-positiv):** **Usenet.Farm-Block leer** → Server antwortet `482 Your block account is fully used`; SAB wertet die 482-Antwort als „Artikel fehlt" und deklariert NZBs als unfixbar, obwohl PureUsenet die Artikel hat. Prüfen: `mode=warnings` zeigt die 482-Meldungen. Fix:
```bash
# API-Semantik: keyword=<SERVERNAME> value=<FELD> <feld>=<wert>
curl -sk "http://10.0.30.206:8080/api?apikey=$KEY&mode=set_config&section=servers&keyword=news.usenet.farm&value=enable&enable=0"
# Falsch: keyword=name&value=news.usenet.farm → erzeugt Phantom-Server "name" (mit mode=del_config&section=servers&keyword=name wieder löschen)
```
Danach `mode=retry&value=<nzo_id>` (**nicht** `mode=history&name=retry` — das liefert nur den History-Blob und macht nichts).
**Ursache #2 (echt tot):** Artikel provider-seitig gelöscht (Retention). **Beweis: identische Fehlblock-Zahl vor/nach Retry** → kein Repost auf nzbindex/nzbking vorhanden → endgültig aufgeben, kein dritter Versuch.
**Teilsalvage lohnt nicht:** `unrar x -kb` liefert bei kleinen Defiziten (17 Blöcke bei 848 MB) zwar 94 % der Bytes, aber **2373 Decode-Fehler** (invalid NAL units) — Video unbrauchbar. Nur bei reinen Datei-Enden (letzte Sekunden) wäre es vertretbar.
**NZB-QC vor Enqueue (Pflicht):** Segment-Bytes-Summe per Regex `<segment[^>]*bytes="(\d+)"` gegen Anzeige-Größe ±6 % prüfen; `.part0X`/`.rXX`/`-sample` im **Namen** sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart `mode=addfile` an `/sabnzbd/api` scheitert am HTML-Redirect — **Watchdir `nzb-drop` mit `kubectl cp` ist der zuverlässige Weg**.
## Provider-Fenster 430-Welle (01.11.2026)
**Symptom:** 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.
**Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket):** AUTH ok → `group` ok → `head <hotNummer>` → **430** auf allen Gruppen/Posters/Nummern, während `stat <gleicheNummer>` → **223 ok**. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.
**Bedien-Fallstricke:** Manual-Probes stoßen an `502 Too many connections` (SAB hält alle Slots) → vorher `set_config section=servers keyword=news.pureusenet.nl connections=6` (danach restore auf 20). History-Rows mit Status `Queued`/`Verifying` und **leerer** fail_message = Postprocessing läuft — **keine Fails**, nicht deleten!
**Recovery nach Fenster:** individuelles `mode=retry&value=<nzo_id>` (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.
## Quarantäne-Inventar (01.11.2026, 163 GB)
Erhoben mit `qcov2.py` (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen `media/`):
| Klasse | Dateien | GB | Bedeutung |
|---|---|---|---|
| A-safe | 62 | 91,9 | exakte Dublette (Dauer ±2 s), Gegenstück in `media/` **gleich oder höher** aufgelöst → löschbar nach GO |
| A-master | 6 | 42,3 | 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten |
| B | 3 | 2,6 | gleiche Szene, **andere Dauer** (2 Samples à 61 s + `NewSensations - Sage Hunter` 1982 s vs 3075 s) → Review |
| C | 17 | 43,5 | kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p) |
| D | 0 | 0 | nicht lesbar |
Summe der Dateigrößen (180 GB) > `du` (163 GB) — apparent vs. belegte Blöcke, kein Fehler.
Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
## Aufräum-Workflow (nach großen Wellen)
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
- **Faststart-Gate im Batch braucht ≥16 MB Fenster** (30.10. teuer): gemessen `moov`-Ende 61 min 1080p = **3,18 MB**, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein `mdat` mehr → der Job verwirft **fertige, korrekte** Encodes als `FAIL faststart` (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: `moov` muss gefunden werden, `mdat` nur prüfen *falls* im Fenster. SolDoc: `docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md`.
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
## VAAPI / GPU-Encoding
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend. **Faktisch gibt es keinen Pin:** das Deployment hat keinen `nodeSelector`; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath `/dev/dri` nur `card0` enthält. `-vaapi_device /dev/dri/card0` ist **kein** Ersatz → `Failed to initialise VAAPI connection: -1` / EIO (3-s-`testsrc`-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
- CPU-Fallback eingebaut (falls renderD128 fehlt)
## Converter-Pipeline (Design)
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
- **Park-Case** `*/incomplete/*`: nur solange Quelle dort EXISTIERT (`[ -f ]`, v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
- **Resolver**: Quelle nach SAB-Move in `complete/` neu suchen
- **Skip-Guard**: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe `-of csv=p=0` QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
- Encode: VAAPI h264 → 720p, Audio → AAC 192k, `-movflags +faststart`, Temp `.converting.mp4`, Rename bei Erfolg
3. Ausgabe neben Quelle in `complete/`; **Originale werden nie gelöscht** (House-Rule)
## Betrieb & Verifikation
```bash
kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
```
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh`.
> **Korrektur 01.11.2026:** Der CM selbst ist nach ~6 s aktuell (`Synced <rev>`), der **Pod-Mount blieb aber stale** (Symlink zeigte >5 min auf den alten `..data`-Snapshot; auch `delete cm` half nicht). Verlässlich: `kubectl -n sabnzbd rollout restart deploy/sabnzbd` → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach `script =`-Setting in der ini erneut prüfen.
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
## HEVC-Bibliothekslauf (30.10.2026, laufend)
**Ziel:** alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript `/tmp/hevc_library2.sh` (detached via `setsid nohup` im converter-Sidecar), Manifest `/config/_hevc_manifest.jsonl` (append-only, Audit-Trail), Log `/config/_hevc_library.log`, Remux-Log `/config/_remux_hvc1.log`.
- **`-tag:v hvc1` ist Pflicht.** Apple/QuickTime/AVFoundation spielt HEVC nur als `hvc1`, ffmpeg-Default `hev1` wird verweigert. Bestand reparieren: `ffmpeg -c copy -tag:v hvc1 -movflags +faststart` (lossless).
- **Manifest ist die Wahrheit**, nicht das Log. Statusfragen daraus beantworten (`rel`, `before`, `after`, `dur`, `h`).
- Nach In-Place-Ersetzung ist Jellyfins `MediaStreams` stale (meldet alten h264 + alte Größe) → Client bricht ab; **ein** `POST /Library/Refresh` reicht (danach hevc sichtbar).
- GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
### Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)
Neben `hev1`-Tag und stale Jellyfin-DB gibt es **Encoder-Ausschuss auf Slice-Ebene**: `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime, obwohl `ffprobe` (`hevc/hvc1/Main/1080p/yuv420p`) und der Box-Parser (`moov@28 < mdat`, `hvcC numOfArrays=3`) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.
- **Beweis:** `ffmpeg -nostdin -v error -i F -f null -` → 35 Zeilen `CABAC_MAX_BIN 26/27/28/30/31`, ~1/Minute über die Laufzeit verteilt; **`rc=0` trotzdem** (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
- **Remux hilft nicht** (Korruption sitzt in den Frames) → Re-Encode `libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart`: 4 vCPU, 1080p30/10 Mbit ≈ **44 fps / 1,45× Echtzeit**, Ausgabe ~2,1 Mbit/s.
- **Gates vor Swap:** `hevc,hvc1` · Dauer ±2 s · <95 % Quelle · Atom-Kette · **Volldekodierung 0 Zeilen** → Original nach `transcode-originals/` → `chown 1000:1000` → atomares `mv`.
- **Auto-Refresh:** zweiter detached Watcher pollt auf die Markerzeile `GETAUSCHT` und schickt **genau einen** `POST /Library/Refresh` — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per `ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"'`, **nie** `pgrep -f` (matcht das eigene `bash -c` → Selbst-Kill, Exit 143).
Solution Doc: `~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md` · `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
### Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)
Bei VAAPI-Ausschuss ist **Re-Fetch erste Wahl** (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.
1. Release per Binsearch (Einzeldatei-MP4, kein `partNNN.rar`-Set) → `publish_nzb.py` → `nzb-drop/`.
2. **Den Tausch macht der Sorter**: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach `quarantine/dedup-sorter/<Serie>/`. Kein manuelles `mv`, keine `(2)`-Kopie.
3. Verifizieren (Codec, Dauer ±2 s, **Volldekodierung 0 Fehlerzeilen**), dann bei Bedarf software-HEVC zurückführen (Original → `transcode-originals/`), **ein** Refresh am Ende.
Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → `hevc,hvc1,1080`, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.
- **Gate-Falle:** der Converter-Sidecar hat **kein `python3`** — ein Gate mit `python3 -c` endet 127 und meldet `GATE FAIL Dauer` bei identischen Werten. Gates + Swap gehören in den App-Container (`/lsiopy/bin/python3`, `/config/tools/ffmpeg` inkl. libx265); Dauer/Größe per `awk`.
- **VAAPI bleibt für Reparaturen gesperrt** (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
- `BoundGangBangs - Rebel Rhyder` hat **kein** Release (nur 10,8-GB-Rar-Set als `part0.nzb`) → dort bleibt Re-Encode aus dem korrupten File.
- Offen (eigenes GO): `quarantine/` 171 G, `complete/` 105 G, `transcode-originals/` 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
- Parität immer über **Stems** zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.
Solution Doc: `~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md`
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)
Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — alle korrekt `hvc1`-getaggt ✅ · **338 H.264** (263×1080p, 42×720p, 27×480p, 6 krumme Auflösungen 240–778p) · 2 WMV3 (ASF, TheUpperFloor 2012) · 3 unlesbar (2 abgebrochene `.hevc_`-Temps ~1,9 GB; 1 Tutorial-MP4 90 MB „moov atom not found" = defekt).
**HEVC-Lauf gestoppt:** Manifest `/config/_hevc_manifest.jsonl` 126 Einträge, letzter Schreibzugriff **30.10. 17:56**; kein ffmpeg aktiv, `convert-queue` leer. 164er-Zahl > 126 Manifest, weil frühere Wellen (30/278 am 30.10. 06:15, WMV-Swap, native HEVC) mitzählen.
**Blocker für Fortsetzung:** hevc_vaapi braucht GPU. worker-05 (ms-a2-2) seit 01.11. 11:19 dunkel; worker-04 hat kein renderD128 → CPU-x265 auf 4 vCPU ≈ Wochen für 343 Dateien. Fortsetzung erst nach ms-a2-2-Revival sinnvoll.
## Netzwerk / Sicherheit
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
## Sorter-Stillstand 01.11.2026 — Root Cause & Fix
**Symptom:** Bibliothek stand stundenlang bei 506 Dateien, `complete/` wuchs auf 155 GB, `incomplete/` 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.
**Root Cause:** In `sabnzbd.ini` stand `script = Default` (Default-Kategorie) → **kein Post-Processing-Skript**, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in `/config/sabnzbd.ini`, PVC):
`/api?mode=set_config&section=categories&keyword=*&script=convert720.sh`
(Verifikation: `grep -n "^script" /config/sabnzbd.ini` → `script = convert720.sh`.)
**Drei Folgefehler im Sorter-Skript** (alle GitOps, Commit `3ffe1c1`, `7527995`):
1. **Case-sensitiv:** `case "$1"` gegen Muster wie `DungeonSex*|dungeonsex*` — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: `case "$(echo "$1" | tr 'A-Z' 'a-z')"`, alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
2. **Markenlücken:** 15 Marken der eigenen Bibliothek fehlten in `series_of` (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + `PublicDisgrace`/`SadisticRope`. Folge: diese Marken konnten **nie** einsortieren.
3. **Obfuskierte Ordner:** bei `_003_..._yEnc/2.1_55_HD_.mp4` steht die Marke nur im Elternordner. Fix: wenn `series_of(basename)` = OTHER → `series_of(basename(dirname))` (deterministisch, kein Raten).
**Retry-Automat:** `sab-retry-automaton.py` retryte **permanente** Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt `complete/_FAILED_*`-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: `PERMANENT_PATTERNS` + `is_permanent_failure()`; bei Treffer wird `attempts = MAX_RETRIES` gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: **retry=0 del=20 skip=0**.
**Wirkung:** Sweep über `complete/` → 11 neue Dateien in `media/`, Jellyfin 504 → **516 Items** (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben `nosdb`: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), `complete/` 155 → 105 GB.
**Rest in `complete/` (nicht sorter-fähig):** 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die **Dubletten** bereits sortierter Szenen sind (`.part01.rar` mit `.1`-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.
## Bekannte Issues / Offene Punkte
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
## Passwortgeschützte Posts & House-of-Usenet (31.10.2026)
- `misc.password` war leer → SAB unpackt mit `-p-` (leer) und scheitert an **jedem** verschlüsselten RAR. Kandidatenliste (Board-Namen) greift beim Auto-Unpack nicht zuverlässig.
- **House-of-Usenet-Banner** (`House-of-Usenet.com/Premium-News`, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → **ohne Board-Login nicht öffnenbar**. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
## Indexer-Abdeckung & Beschaffungsgrenzen (06.11.2026)
- **binsearch.info**: beste Quelle für *aktuelle* Scene-Releases (Kink, LegalPorno, VSEX/WRB/P2P). Alte Kink-Serien (TheTrainingOfO vor 2014) und Nischen-Maledom-Studios (BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured) sind dort **nicht** indexiert.
- **NZBKing**: einzige freie Quelle für TOO 2012/2013 (`a.b.multimedia.bdsm`). Achtung: (a) Seite ist JS-lastig → headless Chrome; (b) **HTTP 429 bei zu vielen `/nzb:<id>/`-Fetches liefert 0-Byte-NZBs** — das ist Rate-Limit, kein fehlender Post (≥20–30 s Abstand, Cookie+Referer, Header prüfen); (c) `.EXE`-geflaggte Posts (z. B. BrutalMaster-„Full Rip") liefern **keine** NZBs, dort liegen nur 89-MB-JPG-Packs.
- **nzbindex.com**: React-SPA, ~10 Monate Retention; per curl/URL keine Treffer, nur Formular-Submit im Browser. Für Titel älter als 10 Monate wertlos.
- **Alte Kink-RAR-Ketten**: SAB meldet „Completed", liefert aber 30–45-MB-Fragmente (`moov atom not found`). Sorter quarantäniert sie; einzelne rutschen durch → nach jedem Batch Duration prüfen (<5 min bei 40–80 min Erwartung = Fragment).
- **Nicht beschaffbar** (alle drei Indexer geprüft): BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured. Nur bezahlter Indexer (DrunkenSlug/NZBGeek) oder Direkt-Rip.
- **Secret-Falle**: `~/.hermes/secrets/media_meta.env` setzt Variablen ohne `export` → Python-Subprozesse sehen `JF_TOKEN` nicht (401). Immer `set -a; source …; set +a`.
## Related Solution Docs
- `~/docs/solutions/integrations/2026-11-06-nzb-indexer-grenzen-rate-limit.md` (Indexer-Abdeckung, 429-Falle, Fragmente)
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
## Converter v18 — einheitlich HEVC (08.11.2026)
**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.
- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`.
- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg).
- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).
+118
View File
@@ -0,0 +1,118 @@
---
title: Sarah-Hermes (VM107)
category: systems
tags: [hermes, webui, vm, sarah, telegram, backup]
created: "2026-09-30"
modified: "2026-09-30"
related: [systems/rke2-kubernetes, reference/ip-map, systems/noris-ai]
---
# Sarah-Hermes (VM107)
WebUI erreichbar unter **hermes-sarah.schoen.eu** und
**h-sarah.familie-schoen.com** (gleicher Traefik-Router `hermes-sarah`,
SAN-Cert deckt beide; seit 14.10.2026).
Zweite, vollständig isolierte Hermes-Instanz für Sarah (Allround-Assistentin:
Erinnerungen, Planung, Smalltalk). Getrennte Memories/Sessions/Skills/Keys von
den 5 Owner-Profilen.
## Eckdaten
| Attribut | Wert |
|----------|------|
| VM-ID | 107 (auto-allokiert) |
| Node | n5pro (Template 9000 debian-12-cloudinit) |
| IP | 10.0.30.66/24 (static via DHCP reservation) |
| Specs | 2 vCPU / 4 GB RAM / 32 GB Disk (vm_disks/RBD) |
| Access | SSH `debian@10.0.30.66` mit `~/.ssh/id_ed25519_cloudinit` |
| Tofu | `iac-homelab/epic-8-sarah-hermes/tofu/` |
| Ansible | `iac-homelab/epic-8-sarah-hermes/ansible/` |
| Plan | `iac-homelab/docs/plans/2026-09-30-sarah-hermes-vm.md` |
## Stack
- **hermes-webui** (ghcr.io/nesquena/hermes-webui:latest), Single-Container,
Port 8787 (0.0.0.0 gebunden, UFW erlaubt nur LAN), Password-Auth.
Compose: `/home/debian/hermes-webui/docker-compose.yml` auf der VM.
- **Agent-Runtime:** nousresearch/hermes-agent geklont nach
`~/.hermes/hermes-agent` auf der VM; installiert in `/app/venv` im Container
(editable). **Wichtig:** Core-Deps im pyproject sind hinter
`python_version >= '3.14'`-Markern gepinnt → auf Python 3.12 installiert
`-e .` NULL Deps. Manual-Dep-Bootstrapping nötig (siehe Pitfalls).
- **LLM:** noris-Provider (`https://ai.noris.de/v1`, Default-Modell
`vllm/release/glm-5-2`), Key via `HERMES_CUSTOM_NORIS_API_KEY` aus
`.env` (Compose mapped explizit in den Container).
- **Telegram:** geplant (blockiert auf BotFather-Token von Sarah/Dominik).
Bei Aktivierung: `gateway.telegram_enabled: true` + Token in `.env`;
Webhook/API-Server-Ports bleiben disabled (Konfliktvermeidung).
## Secrets (1Password, Vault: Hermes)
- `sarah-hermes-webui` → HERMES_WEBUI_PASSWORD
- `sarah-hermes-noris-key` → HERMES_CUSTOM_NORIS_API_KEY
## Backup
- Daily vzdump-Job `backup-2e8a34e3-66cb` (23:00, `all=1`, exclude 301,302,310,311,137,147,501)
→ **deckt VM107 ab** (Storage `noris_v4` = PBS Datastore `noris` @ 10.0.30.119).
- Manueller Verify-Lauf am 30.09.: TASK OK in 48s (inkrementell, 88% reuse).
- Offsite: folgt dem regulären `push-offsite` Sync-Job (Pull↔Push-Korrektur
vom 19.09.).
## Modell / Provider (Stand 2026-10-19)
- **Default-Modell:** `vllm/release/glm-5-3` (gewechselt von glm-5-2 am
19.10.; Zwischenstand deepseek-v41-flash). E2E verifiziert: Neuer Turn
über WebUI-API antwortet („PONG"), Session zeigt `model: vllm/release/glm-5-3`.
- glm-5-3 ist ein Reasoning-Modell (liefert `reasoning`-Felder).
- **Compaction/Compression:** `auxiliary.compression` = provider `auto`,
kein explizites Model → fällt aufs Haupt-Modell zurück (= glm-5-3).
- **Compression-Timeouts (02.11.2026):** `model.context_length: 1048576`
(Zwischenstand 262144, vorher 131072), `compression.context_timeout_seconds: 300`,
`compression.context_total_ceiling_seconds: 900`; Backups
`config.yaml.bak-20261102-131314` und `config.yaml.bak-ctx-<ts>`.
E2E 13:2x: `lcm_status` → `raw_context_length=1048576`,
`threshold_tokens=367001`. Effektiv `resolve_context_compression_timeouts()
→ (300.0, 900.0)`, Preflight-Threshold **131.072** statt 45.875. Ursache der
300s-Turn-Aborts: Session bei 212k Tokens, jeder Turn startete Compression,
Summary-Call lieferte 0 Chunks → Turn endete ohne Provider-Call.
- **Vision:** `auxiliary.vision` = noris / `vllm/release/gemma-4-31b-it`;
403-Block ist weg (19.10. mit Sarahs Key getestet: HTTP 200).
- **`fallback_providers: []`** — kein Fallback konfiguriert! Bei Modellausfall hängt
jeder Turn bis `timeout: 120` + 3 Retries. Kandidat für Redundanz-Fix.
- Key-Scope VM107 (`sk-bf-8779…a6a7`): funktioniert mit `qsu/deepseek-v41-flash`,
`release/gpt-oss-120b`, `qsu/qwen3.8-27b`, `release/qwen3.6-27b`.
**Blockiert (403):** `release/gemma-4-31b-it`.
## Known Issues / Pitfalls
1. **Python-Version-Mismatch:** hermes-agent pyproject pins Core-Deps an
`python_version >= '3.14'`; WebUI-Container läuft auf 3.12 → `-e .`
installiert keine Deps. Fix: manuell `pip install` der gepinschten Pakete
+ iterativer Missing-Import-Loop bis `import run_agent` klappt.
2. **hermes update Ownership-Konflikt:** `hermes update`-Completion beschwert
sich über uid 0 vs. uid 1000 auf `/app/venv/bin/hermes-acp`. Kosmetisch,
Betriebsbetrieb unbeeinträchtigt. Fix-Idee: `chown` im Entry-Point.
3. **telegram-bridge Notify-Target defekt** (seit 19.09., Connection refused):
betrifft vzdump-Notifications clusterweit, nicht nur VM107. Separater Fix.
4. **Upstream-Modell hängt → Turn-Timeouts** (2026-10-02): `vllm/release/glm-5-2`
lieferte bei noris `ai.noris.de` **null Bytes** (TCP-Connect OK, TTFT ∞,
auch non-stream). Symptom im `errors.log`:
`httpx.ReadError: [Errno 32] Broken pipe` → `openai.APIConnectionError`
→ 3 Retries → *"Provider has been unresponsive … 5 consecutive stale attempts"*.
Kein VM-/Netzwerk-/Key-Problem — von VM107 **und** von extern reproduzierbar,
während 4 andere Modelle mit demselben Key 200 lieferten.
**Diagnose-Rezept:** identischer Key, identischer Host, Modell-Matrix
gegentesten (nur so trennt man Modell- von Infra-Defekt).
Fix: Default auf `vllm/qsu/deepseek-v41-flash`. Verifiziert E2E (Turn 15s, PONG).
5. ~~**Vision-Modell 403:**~~ **Behoben/veraltet (19.10.):** `vllm/release/gemma-4-31b-it`
liefert mit Sarahs Key jetzt HTTP 200.
6. **Secrets im Unit-File:** `/etc/systemd/system/hermes-webui.service` ist
`0644 root:root` und enthält `HERMES_WEBUI_PASSWORD` + `HERMES_CUSTOM_NORIS_API_KEY`
im Klartext → für jeden lokalen User lesbar. Sollte in `.env` mit `0400`.
## Verification History
- 2026-09-30: Deploy + E2E-Test (Login 200, Agent-Antwort "HALLO" via glm-5-2).
- 2026-09-30: Manueller vzdump → TASK OK (48s, inkrementell).
+50
View File
@@ -0,0 +1,50 @@
---
title: SchönKitchen
category: Systems
tags: [schoenkitchen, recipes, fastapi, traefik, nutrition, essensplanung, value-stream]
created: "2026-10-11"
modified: "2026-10-31"
---
# SchönKitchen (Essensplanungs-Web-App)
> Ausgelagert aus nutrition-coach L0 (Memory-Audit 11.10.2026): Deployment-Specs gehören ins Wiki, nicht ins hot Memory.
## Deployment (PROD)
- **URL:** https://essen.familie-schoen.com
- **App:** FastAPI (1.352 Z., 28 Endpoints, 4 Templates) auf Port 8420, NS `schoenkitchen`, **1 Replica, `strategy: Recreate`**
- **Repo:** `dominik/schoenkitchen` auf git.schoen.codes (privat), letzter Commit `0615824` (19.07.2026)
- **Image:** `:latest` (SHA-Tag existiert, wird nicht deployt) + **initContainer `git-overlay` klont `main` bei jedem Pod-Start** → Produktion läuft Git-HEAD, nicht Image-Code
- **Public Traffic:** via CT 99999 Traefik (n5pro 10.0.20.70) — K8s-Ingress allein genügt NICHT, Router+Service müssen auch in der CT-99999-Config stehen (`/etc/traefik/conf.d/explicit-http.yml`, file provider, watch:true). Detail-Skill: `family-meal-planning` → `references/ct99999-traefik-proxy.md`
- **Storage:** `plan-data` = `ceph-flash` (RBD) — vom CephFS-Kernelfenster 31.10. **nicht** betroffen
## Views & Datenmodell
- `/` — Wochenplan (Startseite)
- `/vorplanung` — Vorplanung
- `/rezepte` — **200k-Katalog**: Multi-Level-Kategorie (12 L1/55 L2), Favoriten, Similar, Add-to-Plan
- `/einstellungen` — Haushalt, Mitglieder, Einladungen, Küchenpräferenzen
- **DB-Tabellen:** `recipes` (200.000 / 6,7 GB), `recipe_semantics` (200.000, 12 Achsen, Ø-Konfidenz 0,85), `recipe_ingredient_links` (2,14 M / 189.513 Rezepte), `plan_items`, `recipe_favorites`, `meal_decisions`
## Gemessener Stand (31.10.2026)
- **22 Quellen**, 224.036 Sitemap-URLs entdeckt, 200.000 ingestiert (89,3 % Ausbeute); Ramp 18.06.–24.10. = Ø 1.562/Tag
- **Seit 24.10. keine neuen Rezepte** — Daily-Cron endet nach 2 s mit `Target reached` (Ziel als Deckel, kein Fluss)
- **%C&A 67,0 %** vollständig kochbar (133.940/200.000); 27,3 % ohne Schritte, 28,4 % ohne Kategorie, 4,6 % ohne Bild
- **Konsum:** Wochenplan-Generator v5 (Di 19:00) liefert KW43–45; Web-UI: 18 Plan-Items (nur W30/Juli), 0 Favoriten, 1 Haushalt / 3 Mitglieder
- **Enrichment ungenutzt:** Embeddings (≈5 GB) + Semantik werden vom Backend nicht abgefragt — Suche = Text, Similar = Heuristik
## Wertstrom
- **`docs/value-stream.md`** (+ `docs/value-stream.html`) im Repo — VS-1 Content (Quelle→Teller), VS-2 Software (Änderung→Live)
- **Kernthese:** Der Engpass ist von *Angebot* (Frontier, gelöst) zu **Verwertung + Frische** verschoben; der echte Konsum läuft am Frontend vorbei.
## Bekannte Pitfalls
- **Jinja2 + Inline-JS:** NIEMALS JS mit escaped Quotes (`\"`) in Jinja2-Templates. `{% raw %}` verdoppelt Backslashes. **Lösung:** externes `.js` in `static/` (aktuell `static/rezepte.js`).
- **CI-Gate offen:** beide Testschritte in `.gitea/workflows/build.yml` enden auf `|| true` → Build kann nicht fehlschlagen; E2E (9/9) läuft nicht in CI.
- **Taxonomie in 3 Quellen:** `static/taxonomy.json` (genutzt), `recipes.category` (12.157 Rohwerte), `category_map`-Tabelle (**0 Zeilen**, tot).
## Qualitätssicherung (Stand Launch)
- Security-Audit: 46 Checks · pytest: 51 Tests · Playwright E2E: 9 Reisen grün (nicht in CI)
## Related
- Profil `nutrition-coach` (Meal-Planning-Crons, Scraper v8.1 + Enrichment-Pipeline)
- [[systems/recipe-scraper]] — Sammler-Details (Frontier, Quellen, Pitfalls)
- [[concepts/network-architecture]] — CT 99999 / Public-Traefik-Topologie
+156
View File
@@ -47,3 +47,159 @@ Private [[Seafile 13.0.19]] file sync and collaboration server. Self-hosted alte
- Part of [[Infrastructure]] - Part of [[Infrastructure]]
- Shares domain family with [[Email-System]] (familie-schoen.com) - Shares domain family with [[Email-System]] (familie-schoen.com)
- Hosted on same machine as other family services - Hosted on same machine as other family services
## Inventory 2026-10-09 (Bestandsaufnahme nach Crash)
### Topologie
- **Produktiv:** CT111 (10.0.30.99, Docker seafile-mc:13.0-latest + mariadb:10.11), Data `/opt/seafile-data` (RBD 345G, 250G used), OIDC/Authelia aktiv
- **Altlast:** 10.0.20.100 (Ubuntu-Host) — KEIN laufender Seafile-Container mehr (Reboot 03.10.2026, nie restarted). Nur Image `seafileltd/seafile-mc:11.0-latest`.
### Drei Datengenerationen auf 10.0.20.100 (/var/lib/docker/volumes/)
| Volume | Inhalt | Stand | Status |
|--------|--------|-------|--------|
| `seafile_custom_mariadb` + `seafile_custom_data` | **Epoch A** (Seafile 11, DB `seafile-db` m. Bindestrich) | letzter Betrieb 2025-05-16 | **231 GB Content INTAKT** in `storage/{blocks,commits,fs}` |
| `seafile_mysql` | Stand B (MariaDB 10.7.8, DB `seafile_db` m. Unterstrich) | ibdata 2026-03-16 | nur Metadaten (14 Repos), Content gelöscht (`rm -rf seafile-data`) |
| `seafile-mysql.crashed`, `*_2023`, SQL-Dumps 2023-01-25 | Crash-Reste 2023 | 2023 | historisch |
### Epoch A Ownership (autoritativ: RepoOwner der alten DB)
- **dominik@familie-schoen.com:** Meine Bibliothek (32,8 GB), Fotos.Cleo (18 MB), Dokumente (6,6 GB), Sicherung_Fotos (10,3 GB), CodeCamp:N (47,7 GB)
- **sarah@familie-schoen.com:** Meine Bibliothek (18,5 GB), evo-X (42,9 GB), CodeCamp:N (5,6 GB), Sparda Consult (58,3 GB)
- Recoverable (Blocks da, nicht in DB registriert): OneDrive-CodeCampNGmbH, Presentationload, Papa, BarCamp, KEB, Richtlinien
### CT111-Defekt (präzise Diagnose)
- `seahub_db.auth_user` = **LEER (0 Rows)** → nobody in Django-Table; **ABER**: Seafile 13 password-login authentifiziert NICHT über auth_user, sondern `seahub.base.accounts.AuthBackend` → `ccnet_threaded_rpc.validate_emailuser()` → **`ccnet_db.EmailUser.passwd`** (Eigenformat `PBKDF2SHA256$10000$<hex-salt>$<hex-hash>`, hex NICHT base64!)
- Repair (2026-10-10 durchgeführt): INSERT auth_user-Rows (Django-format, für Web-UI-Konsistenz) + UPDATE ccnet_db.EmailUser.passwd mit frischen Hashes → api2/auth-token liefert Tokens für beide User. OIDC-Links (social_auth_usersocialauth) unberührt.
- PITFALL: `$` in Hashes über SSH-inline-Shell wird gefressen → SQL-Files per scp übertragen, nie printf/inline-quoting!
- `seafile_db.RepoOwner` OK (57/57): 40× dominik, 3× sarah, 13× Ghost `bec3ed8a...@auth.local` (alle 0 Byte = leere Hüllen), 1× System
- Ghost-Profile: `406e2202...@auth.local` (=sarah, contact sarah@), `bec3ed8a...@auth.local` (nickname „none")
- `social_auth_usersocialauth`: dominik+sarah korrekt an Authelia gebunden → **Repair = auth_user-Rows reinsert**, Links funktionieren weiter
- Gruppe 1 (Familie): Steuer, Finanzen, Vorsorgedokumente, Versicherungen, Wohnung Tucherstraße, Haus Rohr
- evo-X auf CT111: 24.704 Commits, aber 0 Blocks (Content fehlt dort!) — Epoch-A-evo-X (42,9 GB) liegt auf .100
### Methodik-Pitfalls
- Seafile ≤11: Lib-Namen NICHT in DB, sondern in Commit-JSONs (`storage/commits/<id>/**`, Feld `repo_name`)
- Alte Datadir-Volumes auditieren: `cp -a` → Wegwerf-Container `mariadb:X --skip-grant-tables` → Query gegen Kopie
- `seafile-db` (Bindestrich, Epoch A) vs `seafile_db` (Unterstrich, später) — zwei verschiedene Installationen!
### Empfehlung Zielplattform K8s: **Seafile** (nicht Nextcloud)
Block-Level-Dedupe (Foto-Bestand!), effizientes Sync-Protokoll, etabliertes OIDC-Setup + Skills vorhanden. Nextcloud nur bei Kollaborations-App-Bedarf.
## API-Bestandsaufnahme CT111 (2026-10-10, verifiziert)
### Kernbefunde (korrigieren/frühere Annahmen!)
- **56 Repos lt. Admin-API** (RepoOwner sagte 57; 1 Diff vermutlich System-Repo „My Library Template" nicht per API gelistet — System-Owner-Repo fehlt im Listing).
- **Admin-Statistiken (size/file_count) sind UNZUVERLÄSSIG**: viele Repos melden 0 MB obwohl großer Content vorhanden (z.B. „Bücher" 5bcdffe0: API sagt 0 MB, real 1.005 MB Blocks; „Archiv CodeCampN": API 0, real 56,5 GB!). Immer Walk + du prüfen.
- **evo-X & Sparda Consult sind VOLL INTAKT auf CT111** (Download-Spotcheck: exakte Größe, korrekte PK/ZIP-Magic): evo-X 33,5 GB Blocks, Sparda Consult 46,5 GB Blocks. Frühere These „Content fehlt" IST WIDERLEG'T. Die .100-Epoch-A-Daten sind Redundanz, keine Rescue-Pflicht.
- **244,2 GB Blocks** verteilt auf **37 Repos**; **19 Repos physisch leer** (0 Blocks).
- Ghost `bec3ed8a...@auth.local`: 13 Repos, davon **10 leer**, **3 MIT Content** (Bücher 1.369 MB, Arbeit 813 MB, Auto 161 MB) — NICHT blind löschen!
### Duplikat-Cluster (Detailanalyse via Walk-Signaturen + Block-Intersections)
| Cluster | Repos | Befund | Empfehlung |
|---|---|---|---|
| CodeCamp:N ×14 | 9 dominik-leer, 4 ghost-leer, 8cd0362a (5f/0,9MB), 60fe22e3 (15f/23,5MB) | 60fe22e3 ⊃ 8cd0362a (echtes Superset: +11 HR-Onboarding/Schulungs-Dateien); 13 weitere Leerformen | Behalten: 60fe22e3 (+ evtl. 8cd0362a bis Merge), Löschen: 13 Leerformen |
| Wohnung Tegernheim ×2 | 0727a58c (166f/191MB) vs 2d496a7b (159f/177MB) | 152 Blöcke gemeinsam, 19 nur A, 10 nur B → divergierte Zwillinge | Beide behalten bis manuell konsolidiert; NICHT automatisch mergen |
| _Recovery ×2 | 06892f29 (69f/34MB) vs 472572d6 (71f/35MB) | 39 Blöcke gemeinsam, B=A+2 (Monero_Recover.txt, DATEV-Wiederherstellungscode) | 472572d6 = Superset → 06892f29 löschen (nach Go) |
| Bücher ×2 | 356985d8 (Ghost, 1.369MB) vs 5bcdffe0 (dominik, 1.005MB) | Nur 101/287 Blöcke gemeinsam → unterschiedliche Inhalte | Ghost-Version retten (transferieren), dann Ghost-Repo löschen |
| Arbeit ×2 | 38c9a1be (dominik, 980MB, 846f) vs 515f7f35 (Ghost, 813MB, 735 Blöcke) | 703/735 Blöcke identisch → Ghost ≈ ältere Version | Ghost-Version archivieren, dann löschen |
| Auto ×2 | 09116e0f (dominik, 161MB) vs dc62b8b5 (Ghost, 161MB) | 15/29 Blöcke gemeinsam → divergiert | Beide prüfen, keines ist Subset |
| My Library Template ×3 | e28326f5, 35a6f96c (dominik) leer; d5c1b781 (Ghost) leer | alle leer | Alle drei löschen (nach Go) |
| Meine Bibliothek ×5 | dominik 7bd9393a (685f/4,4GB) ≠ sarah cefb4ca1 (3.023f/6,9GB) | KEINE Duplikate — völlig unterschiedliche Inhalte (dom: Arduino/AirCard; sarah: Promotion/Bewerbungen) | Beide behalten |
| „Arbeit" (dominik) enthält fremden Ordner | 38c9a1be | kompletter Ast `Sarah/Bewerbungen Sarah/` (Bewerbungs­mappe, Zeugnisse, CV) | Gehört vermutlich zu Sarahs Daten → umbauen/umziehen (nach Absprache) |
| „Arbeit" ∩ „Meine Bibliothek" (sarah) | 38c9a1be vs cefb4ca1 | 116 (Name,Size)-Matches, aber 0 identische Pfade | Innerhalb-Repo-Duplikate (Bewerbungen in mehreren Firmenordnern) + Cross-Ordner Sarah/Bewerbungen |
### Physisch leere Repos (0 Blocks) — Löschkandidaten
10× Ghost: Arztrechnungen (ef6e1b49), CodeCamp:N ×5 (87482c2c, 97f66c90, 193081d8, 30bd2c2b, 4b11f621), Meine Bibliothek ×3 (0fe195f0, 0d63f302, b4b83dec), My Library Template (d5c1b781)
9× dominik: CodeCamp:N ×7 (8d482d93, b85e95eb, b9a31812, cbdd4a4e, d309241b, df42746c, 07c2e7c3), My Library Template ×2 (e28326f5, 35a6f96c)
→ Achtung: Diese Liste ist Basis für Cleanup-Go; vor jedem Delete: Block-Du gegen aktuelles Datum wiederholen.
### API-Fakten (Seafile 13)
- `GET /api2/repos/{rid}/dir/?p=/` funktioniert; `/api2/repos/{rid}/dirents/` existiert NICHT (404+HTML)
- File-Download zweistufig: `/api2/repos/{rid}/file/?p=X&dl=1` → JSON-Link → GET Link (redirect auf `/seafhttp/files/...`)
- Admin-Token kann Ghost-Repos NICHT lesen (403 trotz Admin) — Ghost-Content nur via Storage-du/Blocks prüfbar
- Walk-Truncation bei max_req/max_files: „Archiv CodeCampN" (5.660 req), „Sparda" (6.645), „Fotos" (6.604) etc. — Walk-Zahlen sind Untergrenzen, Block-du ist die Wahrheit
### Ghost-Rettung EXECUTED (2026-10-10, nach User-Vorgabe „AS-IS restore an dominik, KEIN Merge")
- Die 3 Ghost-Content-Repos (Auto dc62b8b5, Bücher 356985d8, Arbeit 515f7f35) wurden **unverändert** (kein Rename, kein Copy) an `dominik@familie-schoen.com` übertragen.
- **Methode (funktionierend):** `PUT /api/v2.1/admin/libraries/{rid}/` mit **Form-Feld `owner`** (= Ziel-E-Mail). Achtung: Feld `email` wird stillschweigend ignoriert (HTTP 200, kein Flip!); User-API `PUT /api2/repos/{rid}/owner/` → 403 (nur aktueller Owner darf); POST → 405.
- Verifikation: Ghost-Rest 0, Owner-Verteilung dominik 33 / sarah 3, alle 3 Repos download-getestet (exakte Bytegröße + `%PDF`-Magic), Papierkorb unverändert 20.
- **Offen:** 2 Ghost-Profile (`bec3ed8a…@auth.local`, `406e2202…@auth.local`) existieren weiterhin als User-Accounts → Löschung nur nach Go.
### Cleanup EXECUTED (2026-10-10, per Admin-API, nach GO)
- **20 Repos soft-gedelete** → Admin-Papierkorb (restore-fähig, kein GC konfiguriert, keine Retention-Automatik): 18 Leerformen (0 Blocks frisch per du verifiziert) + 2 verifizierte Subsets (_Recovery 06892f29 ⊂ 472572d6, CodeCamp:N 8cd0362a ⊂ 60fe22e3).
- **RESTORE-DOKTRIN (Chef-Vorgabe, 10/2026):** Restore immer AS-IS + Owner-Fix — NIEMALS Inhalts-Merge. (Aus L0 USER.md ausgelagert 11.10.2026, Memory-Audit.)
- **Bestand danach: 36 Libraries** (dominik 30, sarah 3, Ghost 3) — Sarah sieht ihre 3 (Meine Bib, Sparda Consult, evo-X) regulär.
- Ghost-Rest = exakt die 3 Content-Repos (Bücher 1.369 MB, Arbeit 813 MB, Auto 161 MB) — nächster Schritt: Content in dominik-Repos retten, dann Ghost-Repos löschen.
- 35a6f96c (My Library Template) NICHT gelöscht — Admin-API 404 (erklärt vermutlich die 56-vs-57-Diskrepanz); separat klären.
- Envelope-Pitfall v2.1-Admin-API: Listen liegen auf TOP-LEVEL (`j["repos"]`), NICHT unter `data` — mein erster Verify-Script hatte deshalb Schein-Nullen gemeldet (0 aktive/0 Trash), Raw-Dump brachte Klarheit. DELETE via `/api/v2.1/admin/libraries/{id}/` lief 200/204.
### Duplikat-Twin-Analyse (2026-10-10, read-only, walk-basiert)
Blocks sind content-adressiert/global dedupliziert → `du` pro Repo auf blocks/ immer 0; repo-lokal nur fs/commits-Meta. Wahrheit = API-Walk-Signaturen (Pfad+Size), Admin-API size/file_count unzuverlässig (zeigt 0).
- **Auto**: dc62b8b5 ≡ 09116e0f — PERFEKTES DUPLIKAT (17 Dateien, 160,2 MB, identisch). dc62b8b5 = Ghost-Rettungs-Kopie; 09116e0f behält Original-mtimes (2021).
- **Bücher**: 5bcdffe0 ⊂ 356985d8 — ECHTES SUBSET (145⊆183; Retter 356985d8 hat 38 Extra-Bücher à 364 MB Weber/Kochbücher). Löschenkandidat: 5bcdffe0.
- **Arbeit**: 38c9a1be (846, 1026 MB, aktiv bis 08/2026) vs 515f7f35 (745, 844 MB, Ghost-Rettung, Stand 02/2026). Gemeinsam 744; 38c9a1be hat 102 neuere Dateien (183 MB Präsentationen); 515f7f35 nur 1 Unique = `~$benslauf.docx` (Office-Lock-Junk). Kandidat: 515f7f35 löschen.
- **CodeCamp:N**: 60fe22e3 (15) ⊂ 42d24d5f (31) ⊂ 670abe70 (1286, 8,1 GB Master). Beide Kleine sind ECHTE SUBSETS, 0 Unique. Kandidaten: 60fe22e3 + 42d24d5f löschen, 670abe70 behalten. Achtung intra-repo: 670abe70 enthält ~2,6 GB Redundanz (PST/OST-Outlook-Archive + SFConflict-Kopien: 20210629_backup.pst 710 MB ×2, Sarah.Schoen@nuernberger.de.ost 620 MB ×2, Kundenzentrierung-SFC 603 MB) — optionaler Deep-Clean, separater GO.
- **Wohnung Tegernheim**: 0727a58c (166, hat 2025er Abrechnungen, aktiv 05/2026) vs 2d496a7b (159, Stand 02/2026, 1 Unique = `~$Zahlungsstand….xlsx` Junk). Kandidat: 2d496a7b löschen.
- Gesamt: 6 Lösch-Kandidaten (dc62b8b5, 5bcdffe0, 515f7f35, 60fe22e3, 42d24d5f, 2d496a7b) → alles Soft-Delete in Trash; einziger Verlust = 2 Office-Temp-Dateien. Listing würde 35→29. Physischer Space-Gewinn ~0 (Block-Dedupe) bis GC — Gewinn ist Ordnung, nicht Platz.
- Walk-Budgets: MAX_DIRS=500/MAX_FILES=4000 reichten; 670abe70 (1286 Dateien) vollständig, kein Trunc.
### BYTE-BEWEIS EXECUTED (2026-10-10, read-only) — PASS
Vor jedem Delete geforderte maximale Belastbarkeit; Grundlage: `/tmp/byteproof_walks.json` (Walk-Caches aller 12 beteiligten Repos, Pfad→{id,size,mtime}).
- **Methodik 3 Ebenen**: (1) 1051 gemeinsame Pfade mit IDENTISCHER FS-Objekt-ID (Seafile content-addressed ⇒ per Definition byte-identisch). (2) 59 strittige Pfade (ID≠, aber Size=) → alle Kategorie A: mtime-Delta durch Feb-2026-Massenrepair (Kandidaten uniformly 2026-02-05, Originale alte mtimes), 0× Kat-B (alles gleich außer ID), 0× Kat-C (Size-Diff). (3) Für alle 59: Zwei-Stufen-Download BEIDER Seiten + SHA-256-Vergleich → **59/59 identisch**. Dazu 3 Equal-ID-Kontrollen (identisch ✓).
- **Resultat: 0 Byte-Inhalte gehen verloren** — außer 2 Office-Lock-Temp-Dateien (`~$benslauf.docx` 162 B, `~$Zahlungsstand….xlsx` 165 B), beide jetzt VALIDE gesichert in `/root/delete-candidates-unique-backup/` (vorherige Version dort war 429-Pseudo-Backup, ersetzt).
- **Download-API-Pitfall (wichtig, korrigiert frühere These)**: „429 Throttling" war FALSCH — echtes Verhalten: `GET /api2/repos/{rid}/file/?p=…&dl=1` antwortet HTTP 200 mit **NACKTEM JSON-STRING** (die komplette Antwort ist `"https://cloud.familie-schoen.com/seafhttp/files/<uuid>/<filename>"`, ~122 B). Kein Dict, kein `token`-Feld! Richtiger Flow: String json.loads → urlparse → Netloc auf localhost (oder BASE) umbiegen → GET liefert Bytes. Wer das String-Dict parst bekommt 122-B-„Dateien" und glaubt an Throttling/Korruption.
- Performance: warm gelesen 848 MB/s (99-MB-PDF in 0,1 s); erster Lauf wirkte langsam nur wegen kalter Reads bei Load 8+. Kein Parallelitätsbedarf.
- Checkpoint-Resume: `/tmp/proof_final.json` (Key `seite|repo8|pfad` → {sha,bytes}); Kill+Restart verlustfrei.
- **Transkriptionsfalle 2. Ordnung**: Diagnoseskript tippte Ordner `20_10 Hyundai Kona` — real `2020_10 Hyundai Kona` → 404. Nie Pfade/IDs aus Displays abtippen, IMMER aus Walk-Cache/Servervariablen lesen (bestätigt Regel von bec3ed8a/406e2202).
### _Recovery-Analyse (2026-10-10, read-only) — URTEIL: UNBEDINGT BEHALTEN
Frischer Walk (71 Dateien, 35,3 MB) + Kreuzmatch gegen alle 43 Feb-2026-Signatur-Repos:
- **Inhalt = digitaler Katastrophenkoffer**: Monero-Wallet m. Private Keys (34,8 MB, mtime 2021), 53 SSH-Keys (37 private, inkl. bankz-app.de/nuernberger.de-TLS-Keys 2019), GPG-Secret-Keys ×2, 1PW-Emergency-Kits ×2, DATEV-/Apple-/GitHub-/TeamViewer-Recovery-Codes, Dropbox-Wiederherstellung Sarah.
- **69/71 Dateien existieren NIRGENDS sonst** (nur aktive Repos). 2 Ausnahmen: DATEV-Codes auch in „Meine Bibliothek" (7bd9393a), 1PW-Kit A3-BFJT4Y auch in „Vorsorgedokumente" (968cbf39).
- **Trash-Zwilling 06892f29** (Februar-Cleanup gelöscht) = echtes Subset: 69 Dateien, 0 exclusive, _Recovery hat 2 NEUERE Extras (DATEV-Codes 2026-01-28 = jüngste Datei, Monero_Recover.txt) → Februar-Löschentscheidung retrospektiv validiert, kein Verlust.
- Interne Redundanz: SSH-Ordner hat 25 Dubletten (flat + `ssh/`-Subfolder, size-identisch) — kosmetisch, NICHT anfassen (Rettungskoffer-Integrität, AS-IS-Vorgabe).
- Sicherheitshinweis (offen, kein Handlungsauftrag): Plaintext-Private-Keys/Wallet/Recovery-Codes liegen unverschlüsselt im Repo; mittel-fristig Migrieren in 1Password-Vault erwägenswert.
- **_Recovery ist KEIN Lösch-Kandidat — aus Analysis-Option 3 folgt: Behalten.**
### Duplikat-Soft-Delete EXECUTED (2026-10-10, GO Option 2 „+ Aufräumen")
- **Execution**: Guards OK (35 Libs, dom 32/sarah 3, alle Kandidaten+Behälter da) → 6× `DELETE /api/v2.1/admin/libraries/{id}/` je HTTP 200 (42d24d5f, dc62b8b5, 2d496a7b, 515f7f35, 5bcdffe0, 60fe22e3) → Executor-Verify SUCCESS.
- **Independenter Post-Verify PASS**: API 29 Libs (dom 26/sarah 3), 6/6 Kandidaten weg, 6/6 im Trash, Behälter+_Recovery alle da; SQL: RepoOwner 36→30 (dom 26, sarah 3, System 1 — Seafile räumt Owner-Rows beim Soft-Delete mit auf), RepoTrash 26 (=10 Ghost-alt +10 Feb +6 heute; 16 mit dominik-owner_id).
- **Aufräumen DONE**: byteproof3-Zombie (PID 3063834) gekillt; 104-B-Pseudobackup entfernt (valide 162B+165B bleiben); 38 `/tmp/sea_*.py` remote gelöscht, lokal archiviert unter `~/workspace/seafile-ct111-arc/archive-2026-10-10/`; JSON-Caches (byteproof_walks, signatures, proof_final, recovery_walk, api_inventory) bleiben auf CT111.
- **Endzustand**: 29 aktive Libraries (dom 26/sarah 3), Trash 26 revertierbar (restore via Admin-API), kein GC/Retention → nichts physikalisch gelöscht. Rollback je Repo jederzeit.
- Pitfall nebenbei: `MYSQL_PWD` propagiert NICHT durch `docker exec` — Passwort als argv (-p'…') geben; RepoOwner-Spalte heißt `owner_id` (nicht `owner`).
### CodeCamp-Master-Deep-Clean — stark reduziert (Fresh-Messung 2026-10-10, read-only)
Neuvermessung 670abe70 (1286 Dateien, 8,49 GB) korrigiert die alte „~2,6 GB"-Schätzung deutlich:
- **ID-identische Mehrfachkopien: nur 62 Gruppen / 0,05 GB** (Spiegel in „alte Sicherungen"-Ordnern, Bürokleinkram).
- **50 SFConflict-Kopien (3,75 GB), alle gestempelt 2026-05-04 von `e6227ae3…@auth.local`** (DRITTER Ghost-Identifier, historisch, nur in Dateinamen): **49/50 haben KEIN überlebendes Original im Repo → Sole Survivors** (vermutlich fielen die Originale dem Library/User-Mapping-Crash zum Opfer) — **Löschen VERBOTEN**. Einziger echter Kandidat: `20210629_backup.pst` 744,9 MB ×2 (size=, ID≠; mtime 2021-06-29 vs. Feb-2026-Repair → vermutlich byte-identisch, Proof ausständig).
- Physikalischer Gewinn selbst bei voller Dedupe ≈ 0 (globale Block-Deduplizierung) — Deep-Clean weitgehend MOOT; verbleibender Wert ist Baum-Kosmetik (SFConflict-Umbenennung) bzw. Mikro-Dedup.
### Sanierung EXECUTED (2026-10-10, GO „Volle Sanierung")
- Sequenz: Guards → Row-Backup (mysqldump --single-transaction, 11 INSERTs, `/root/seafile-sanitize-backup-20261010-104751/`) → API-DELETE bec3ed8a (200, GET-Verify 404) → TX-Deletes (ROW_COUNTs exakt: 82/3/2/1/1/1 + 4 Phantom-Rows) → commits-Dir in Quarantäne `/opt/seafile-data/quarantine-20261010-104751/` → Restart.
- **Log-Spam BEENDET**: letzte „Commit is missing"-Warning 08:47:54 (Abschaltphase), danach 0/60s. Zuvor 24.230 Zeilen.
- **Endzustand DB**: EmailUser 2, auth_user 2, profile_profile @auth.local 0, RepoOwner 36 (dominik 32, sarah 3, System 1), RepoTrash 20 (10 ghost + 10 dominik). API: **35 Libraries** (32 dominik + 3 sarah) — 36→35 ist KORREKT: das Phantom stand bislang in der Listing (404 bei Detail-GET) und fiel ersatzlos weg.
- **Neues Verständnis 56-vs-57/36-vs-37-Diff**: nicht die System-Library, sondern jeweils das Phantom; die System-Library (3428f3b9 „My Library Template", intern) ist NIEMALS API-sichtbar. Es gab 2 My-Library-Templates: 35a6f96c (kaputt, Juli-Init-Artefakt, jetzt weg) + 3428f3b9 (System, gesund).
- **Pitfalls dieser Runde**: (1) mysqldump mit Cross-DB-Subquery im --where braucht `--single-transaction` (sonst ERROR 1100 LOCK TABLES); (2) Phantom hatte 4. Meta-Row in `Branch` (master→fehlender Commit e1559727…) = eigentliche Spam-Quelle — Referenz-Karte VOR Delete dynamisch bauen; (3) Guard-Erwartung „Libraries 36" war falsch post-Phantom — Listing-Zahl sinkt um das Phantom.
- Inert verbleiben: `RepoTrash.owner_id` 10× bec3ed8a (Historie der gelöschten Ghost-Repos; verschwindet mit Trash-Leerung).
- Rollback möglich: Backup-SQL reinpipen, Quarantäne-Dir zurückschieben, Account via Admin-API neu anlegen.
### Diagnose Ghost-Accounts + Phantom 35a6f96c (2026-10-10, read-only)
- **bec3ed8a…@auth.local** (Nick „none") = echter Account (ccnet_db.EmailUser id=3, aktiv, PW gesetzt, Admin-API 200) → sauber per `DELETE /api/v2.1/admin/users/{email}/` löschbar. Referenzen: UserActivity 10, UserActivityStat 1, options_useroptions 1, profile_profile 1.
- **406e2202…@auth.local** (Nick „sarah", Kontakt sarah@…) = HALB-Ghost: kein EmailUser-Account (API 404), aber 79 Zombie-Rows in 6 Tabellen (UserActivity 72, UserActivityStat 2, options_useroptions 2, profile_profile 1, base_userlastlogin 1, sysadmin_extra_userloginlog 1) inkl. Login-Log → Identität hat real via OIDC (Missroute Sarah) existiert. Nur per SQL entfernbar.
- **TRANSCRIPTION-TRAP (wichtig!):** Wahrer Identifier = 43 Zeichen (32 Hex + @auth.local); in Terminal-/Context-Kompressionsanzeigen ging 1 Hex-Zeichen verloren → Literal-Queries liefen ins Leere (0 Counts). REGEL: Ghost-/Repo-Identifier NIEMALS abtippen, immer serverseitig extrahieren (`SET @g := (SELECT user FROM …)`).
- **Phantom 35a6f96c „My Library Template"** (RepoOwner id=13, owner dominik, aus Init Jul 6): Meta halb vorhanden (Repo ✓, RepoInfo ✓ status=0/version=1, RepoOwner ✓) aber RepoHead ✗, fs ✗, blocks ✗, commits-Dir nur 12K-Shard ohne den referenzierten Commit e1559727… → **23.797 WARNING-Zeilen** „Commit … is missing" im seafile.log (Dauer-Spam). Wert NULL (leere Template-Hülse). API-Delete unmöglich (404, kein Head). Remediation = 3 Meta-Rows + 12K-Dir (nur nach Go).
- Zahlendifferenz final erklärt: RepoOwner 37 = 36 API-sichtbare + Phantom; die „System"-Owner-Row (1) ist Seafile-intern und erscheint nie in API-Listings.
### Multi-Session-Kollision + NÜRNBERGER-Fehlimport (2026-10-10, read-only diagnostiziert)
**Auth-Mystery „PW geändert" aufgeklärt:** Parallele Hermes-Session („Home-Migration zu Seafile") rotierte um 16:30 dominiks Web-PW per DB-Procedure (Skill seafile-api/password-auth-recovery), restartete Container, legte 1P-Item „Seafile Web Login (dominik)" an. Krypto-Beweis: 1P-PW matcht DB-Hash exakt. Kein Eindringling — klassische Multi-Session-Kollision: Agent A rotierte Credential, das Agent B (diese Session) noch nutzte. **LESSON: Vor jeder Credential-Rotation 1Password prüfen; Agenten sollten PW nie nur im Sessionkontext halten. Persönlicher API-Token (api2_token) überlebt PW-Rotationen — Token-Auth dem PW-Login vorziehen.**
- **Rename-Runner-Ausführung 18:45 Uhr: GATE-ABORT, 0 Mutationen** (Bestand 1840≠1286, SFConflict 74≠50). Gate tat exakt seinen Job.
- **Ursache +554 Dateien:** seaf-daemon der Parallel-Session (Ubuntu-Host, seit 16:36) lud `/NÜRNBERGER/`-Firmensicherungen (530 Dateien mtime 2021-12-17, Outlook-PSTs/Vorlagen/Kundenzentrierung) in 670abe70 „CodeCamp:N 2" hoch + 24 SFConflict-Kopien (Import-Artefakte, Stempel 2026-05-04 von Ghost e6227ae3…@auth.local — lokal vorhandene Konfliktkopien aus Desktop-Client-Ära). Neue Lib „Unterlagen Uni" (c4677b64) angelegt (dominik 26→27 Libs).
- **TWIST 19:00 Uhr — „Sole Survivor"-These OBSOLET:** Zweiter Runner-Lauf (dynamisches Gate: Quiescence-Doppelwalk OK, Daemon SIGSTOP-pt) fand ALLE 74 SFConflict-Kopien MIT Original nebeneinander (74× PARENT-KOLLISION, 0 planbar) → ABORT plan leer, **0 Mutationen**. Die Parallel-Session lud auch die verlorengeglaubten Originale der Mai-Konflikte zurück (verteilt: CodeCamp_N/HR_Camp, Präsentationsvorlagen, Vorlagen, Sicherung Desktop B072118, Sicherung Outlook Nürnberger, Root-PST) — die Originale lagen die ganze Zeit auf der lokalen Sicherungsplatte. Kosmetik-Rename damit MOOT (würde kollidieren). Korrektur: Die +554 Neuzugänge waren NICHT ausschließlich NÜRNBERGER.
- **Neue Situation: 74 redundante Paare** (Original + Konfliktkopie). Optionaler Clean-Up = Konfliktkopien löschen — NUR NACH Byte-Proof (Konfliktkopien können neuere lokale Edits enthalten — Wesen von Sync-Konflikten!), NACH Abschluss der Migration, NUR mit GO. Daemon via SIGCONT resumed (Pause ~23 min, kein Zustandsverlust).
- **Resolved:** (b) SFConflict-Rename — moot, eingestellt. (a) NÜRNBERGER-Platzierung + (c) Sync-Koordination — mit Parallel-Session/user klären.
### Cleanup-Stand 10.0.20.100
- audit_a/audit_b-Container entfernt; `/tmp/audit_*`-Kopien noch vorhanden → beim nächsten .100-Kontakt miträumen
## Zugriffskette (2026-11-01 verifiziert)
`https://cloud.familie-schoen.com` → CT99999 Traefik (`explicit-http.yml`, Router `seafile`) → **10.0.30.203** (das ist die **K8s-Ingress-LB**, `kube-system`, NICHT eine VM-ID!) → K8s-IngressRoute `seafile/seafile` → Service `seafile-external` → Endpoint **10.0.30.99:80** (CT111). Kette liefert 302 → `/accounts/login/` → HTTP 200 „Log In - Private Seafile". Seafile nutzt eine **eigene** `mariadb:10.11` im Container (kein Galera) → DB-Tier-Upgrades betreffen Seafile nicht; CT111 erbt aber den PVE-Host-Kernel (n5pro).
**Legacy-Falle:** `seafile.familie-schoen.com` ist ein alter Router (`seafile_old` → `seafile-old-forwarder` → `http://10.0.30.100:8081`, tot) und liefert dauerhaft **502** — kein Ausfall, sondern stillgelegte Route. Nicht als Störung fehldeuten.
+120
View File
@@ -0,0 +1,120 @@
---
title: Technitium DNS (HA-Cluster)
category: systems
tags: [dns, adblock, ha, keepalived, vrrp, technitium, lxc]
created: "2026-11-14"
modified: "2026-11-14"
---
# Technitium DNS — HA-Cluster (LAN-Resolver + Adblock)
Zwei unprivileged LXC auf getrennten PVE-Nodes, betrieben als **Technitium-Cluster**
(1 Primary + 1 Secondary, Config-Sync) mit **keepalived-VIP** davor.
## Topologie
| | dns-01 | dns-02 |
|---|---|---|
| CT | 150 | 153 |
| PVE-Node | proxmox6 (10.0.20.60) | ms-a2-2 (10.0.20.93) |
| IP | 10.0.30.150/24, gw 10.0.30.1, tag=30 | 10.0.30.153/24 |
| Spez | 1 vCPU / 1 GB / 4 GB **`local-lvm`** (node-lokal, Ceph-unabhängig), unprivileged, onboot | dito |
| Rolle | Cluster-**Primary**, VIP-Träger (VRRP-Prio 150) | Cluster-**Secondary** (Prio 100) |
| Web-UI | http://10.0.30.150:5380 · TLS :53443 | http://10.0.30.153:5380 |
**VIP 10.0.30.149** — keepalived, VRID 51, **unicast** (kein Multicast), `nopreempt`,
Health-Check = TCP :53 **und** Web-API :5380. Failover gemessen: **~4 s**.
## Clients / DHCP
Omada-Gateway (`10.0.30.1`) macht weiterhin DHCP. Es gibt nur **zwei DNS-Felder**:
```
DNS 1: 10.0.30.149 (VIP)
DNS 2: 1.1.1.1 (Cloudflare-Fallback)
```
IPv6-Felder (falls vorhanden): `2606:4700:4700::1111`, `2606:4700:4700::1001`.
Grund für die VIP: mit nur zwei Feldern wäre sonst entweder der zweite Knoten oder der
Public-Fallback verloren gegangen.
## Konfiguration (Cluster-Parameter, syncen auf beide Nodes)
- Cluster-Domain: `dns.internal.schoen.codes` (Zonen: `dns.internal.schoen.codes`, `cluster-catalog...`)
- Forwarder: `1.1.1.1, 1.0.0.1, 2606:4700:4700::1111, 2606:4700:4700::1001` (UDP)
- `recursion = UseSpecifiedNetworkACL` → `10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 127.0.0.0/8, ::1, fd00::/8, fe80::/10` (kein offener Resolver)
- DNSSEC-Validierung an, `logQueries=false` (Datei-Log aus, Query-Log läuft über die MySQL-App)
- Blockliste: **HaGeZi Multi Pro** → `https://raw.githubusercontent.com/hagezi/dns-blocklists/main/wildcard/pro.txt` (227.848 Domains)
## Resilienz-Entscheidung (2026-11-14)
**Rootfs auf `local-lvm`, NICHT auf Ceph.** Grund: `ceph health` = HEALTH_WARN mit
„8 OSDs experiencing slow operations"; ein Ceph-Stall hätte **beide** DNS-Knoten gleichzeitig
blockiert (gleicher Cluster → kein Failover-Effekt) und bei Neustart wäre kein Boot möglich.
Konsequenzen, bewusst akzeptiert:
- **Kein HA-Manager** für ct:150/153 (`state: disabled` → entfernt). PVE-HA kann node-lokale
Disks nicht relocaten; ein Versuch hat am 2026-11-14 beide CTs auf proxmox4/proxmox5
„verschoben" (Config ja, Disk nein) → **~2–3 Min DNS-Ausfall**. Nur `onboot=1`.
- **Node-Ausfall = Handarbeit**: Rebuild per PBS-Restore (siehe unten), Config kommt vom Peer.
- PVE-native Redundanz für lokale Disks existiert nicht: entweder Shared Storage (Ceph/iSCSI/NFS,
automatisch) oder ZFS-Replikation (`pvesr`, **braucht lokales ZFS** — proxmox6/ms-a2-2 haben nur
LVM-thin, `replication.cfg` leer) und selbst dann kein Auto-Promote.
**Wiederaufbau (nativ, ~1–2 Min):**
```bash
pct restore 150 noris_v4:backup/ct/150/<snapshot> --storage local-lvm --hostname technitium-dns-01
# danach: Cluster-Join gegen den überlebenden Node, Zonen/Blocklists syncen automatisch
```
Backups: 23:00-Job (`all 1`, `noris_v4`, keep-last=3) — Erstaufnahme 2026-11-14 manuell
nachgezogen (ct/150 967 MiB, ct/153 890 MiB).
**I/O-Entkopplung:** Technitium-Datei-Query-Log `logQueries=false` (kein Disk-Write pro Query).
Die MySQL-App protokolliert unabhängig davon weiter (verifiziert: 84 Rows/45 s).
keepalived `fall 5` (≈10 s Toleranz) statt 3 → kein VIP-Flapping bei kurzen Slow-Ops.
## Betrieb
- Config-Änderungen **nur am Primary**; Secondary zieht per Cluster-Sync (`configRefreshIntervalSeconds=300`).
- Fällt der Primary irreparabel aus: Secondary per `POST /api/admin/cluster/primary/promote` hochziehen.
- VIP bleibt dank `nopreempt` beim Überlebenden (kein Flapping); bei Kaltstart beider gewinnt dns-01.
- Hostnamen-Auflösung der Nodes läuft über `/etc/hosts` in beiden CTs (Cluster verlangt FQDN-URLs, nicht IPs).
## Query-Logs nach MySQL (Galera)
App **„Query Logs (MySQL) v4.2"** (`isQueryLogger` + `isQueryLogs`), per Cluster-Sync auf **beiden**
Knoten installiert — beide schreiben in dieselbe Tabelle, getrennt über die Spalte `server`.
| Parameter | Wert |
|---|---|
| Datenbank | `technitium_querylog` (utf8mb4) auf Galera, Tabelle `dns_logs` (App legt sie an) |
| Endpoint | **MaxScale-VIP `10.0.30.70:3306`** (nicht .71/.72/.73 — die sind vom VLAN 30 aus nicht direkt erreichbar) |
| User | `technitium`@`%` (nötig: MaxScale verbindet mit **eigener** IP, per-Host-Grants scheitern) |
| Connection String | `Server=10.0.30.70; Port=3306; Uid=technitium; Pwd=<1P>; SslMode=None; ConnectionTimeout=10; DefaultCommandTimeout=30;` |
| Retention | `maxLogDays=30`, `maxLogRecords=10000000`, `maxQueueSize=1000000` |
- **`SslMode=None` ist Pflicht**: der MaxScale-Listener hat kein TLS → MySqlConnector bricht sonst mit
„SSL is required, but the server does not support it" ab (Passwort läuft damit im Klartext über VLAN 30).
- Volumen-Messung: ~**61 Queries/min ≈ 88 k/Tag** → ~2,6 Mio Rows in 30 Tagen (Galera repliziert 3×).
- Passwort in 1P: „Technitium QueryLogs DB (Galera)".
## Monitoring
- Prometheus (K8s, 10.0.30.202): Jobs `blackbox_dns` (A-Query gegen .149/.150/.153) und
`blackbox_http` (Web-UI :5380 auf allen drei Adressen).
- PrometheusRule `technitium-dns-rules`: `TechnitiumDnsProbeFailing`,
`TechnitiumDnsAllNodesDown`, `TechnitiumDnsVIPMissing`, `TechnitiumClusterNotSynced`.
- IaC: `iac-homelab/clusters/main/monitoring/technitium-dns-rules.yaml` + `apps/kube-prometheus-stack.yaml`.
## Bekannte Fallstricke
- **HaGeZi-URL hat sich geändert**: `hosts/pro.txt` → **`wildcard/pro.txt`** (404 sonst).
- **community-scripts-One-Liner aktuell kaputt**: `ct/technitiumdns.sh` sourct `misc/build.func`,
das Framework liegt jetzt in `community-scripts/core` → 404. Installation daher über die
Original-Payload (`install/technitiumdns-install.sh`): MS-Repo → `aspnetcore-runtime-10.0`,
`DnsServerPortable.tar.gz` → `/opt/technitium/dns`, systemd-Unit `technitium.service`.
- **Cluster-Join verlangt FQDN**: `primaryNodeUrl` mit IP wird abgelehnt
(„must use the domain name of the Primary node").
- Erst-Login ist `admin/admin` — sofort `passwort` via `/api/user/changePassword` ändern
(1P-Item „Technitium DNS Admin").
- **`prometheus-rules.yaml` im Repo ist eine ConfigMap** und wird von Prometheus NICHT geladen —
eigene Regeln brauchen eine `PrometheusRule` mit Label `release: monitoring`.
## Related
- [[reference/ip-map]] · [[concepts/network-architecture]] · [[reference/ports]]
- [[systems/monitoring]]
+36
View File
@@ -0,0 +1,36 @@
# Ubuntu-Host (physischer Node, 10.0.20.100)
Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.20.100`.
## Hardware (live verifiziert 2026-10-02)
| Komponente | Detail |
|---|---|
| Board | MSI B150M ECO (MS-7994), µATX, Skylake/Series-100 |
| CPU | Xeon E3-1200 v6 (HD 630 iGPU, keine dGPU) |
| onboard NIC | Intel I219-V (enp0s31f6), **1G only** |
| RAM/Uptime | — / 59 Tage (Stand 2026-10-02) |
## PCI-Anatomie (kritisch für Erweiterungen)
- **PEG x16-Slot (J6B2):** von **ASM2824 PCIe-Switch-Karte** belegt (Dual-M.2-Träger). Root-Port zeigt x8 physikalisch (LnkSta x8 @ 8GT/s), Switch downstream x4 an beide Kingston SFYRDK2000G NVMe (= osd.2/osd.-Partner, ZVG `pool01_n2_redundant`). **Downstream-Busse 04 und 06 sind LEER** (Slots/ASIC-Ports ohne Device) — aber: Switch ist an x8 angebunden, theoretisch bis zu 4 weitere x4-Devices möglich, praktisch hängt das am Trägerkarten-Layout (kein externer Slot).
- **Chipset-x1-Slots (J6B1/J6D1/J7B1/J8B4/J8D1):** laut DMI alle „In Use" — tatsächlich ist **nur 00:1c.0 (ASMedia ASM1064 SATA, Bus 07)** real bevölkert (5 HDD-OSDs + Crucial-Boot-Plate). Die übrigen 1c.x-Root-Ports melden keine Secondary-Bus → **physikalisch frei**.
- **Legacy-PCI (J8B3):** DMI-Inventar-Fantasie, B150 hat keinen PCI-Bus.
## Fazit 10GbE-Erweiterung (Oktober 2026)
**Freier PCIe-x8/x16-Slot: NEIN.** Für 10G-SFP+-NIC bräuchte es den PEG-Slot → NVMe-Träger raus = ZFS-Mirror + 2 OSDs sterben. **Entscheidung: Ubuntu bekommt KEINE 10G-NIC; Anbindung bleibt 1G (I219-V) bzw. via SM5310-T-Modul am Core-Switch SX3008F (2× TL-SM5310-T sind dafür eingeplant, siehe Omada-Upgrade-Einkaufsliste).** Chipset-x1-Slots sind physisch frei, aber x1 Gen3 (~985 MB/s netto) reicht maximal für ~8G — für eine X520/x8-Karte ungeeignet (Mechanik + Lanes).
## Bekannte Themen
- **Wartungs-Shutdown 2026-11-14 (~15 Min):** noout-Gate, sauberer Poweroff 13:09 UTC, Boot zurück 13:22 UTC (SSH ~11 Min nach Power-On), OSDs 2/15/17 sofort up, Cluster 532/533 clean binnen Minuten, noout manuell entfernt (Watchdog unfired wg. osd-tree-$5/$6-Bug → Skill-Ref). ZFS `pool01_n2_redundant` DEGRADED (sdi REMOVED) überlebt Reboot problemlos. IP unverändert .100 (MAC 4c:cc:6a:27:49:c1).
- NVMe-Controller-Tod Kingston PCI 03:00.0 (2026-09-30, PAT-014) — revived via PCI remove/rescan; SMART-Audit gesund, nur Controller-Ebene. Temps 70/78 °C beobachten.
- Host-Eintrag `10.0.20.100 ubuntu` in /etc/hosts aller PVE-Nodes nötig (PVE-GUI 500 ohne DNS/hosts).
## Related
- [[systems/ceph-cluster]] — OSDs 2/15/17 laufen hier (osd.8/18 seit ≥02.11. auf n5pro; stale Units `ceph-osd@8` + `ceph-mon@ubuntu` scheitern bei jedem Boot, kein Schaden)
- [[patterns/ceph-dead-nvme-resurrection]] (PAT-014)
## Security-Status
- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Re-Check 2026-11-10 (CVE-Tracker-Meldung „released"):** Zielzustand bereits aktiv — `apt-get full-upgrade` = 0 Pakete, Kandidat = installiert = 6.8.0-149.149, kein `reboot-required`; **kein zweiter Reboot** (3 OSDs auf dem Host), Ceph unverändert 4/4 MON, 17/17 up+in, 533 PGs active+clean. **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto.