Files
memory/log.md
T
2026-10-13 22:00:52 +00:00

535 lines
74 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
# Memory Log
## [2026-10-12] ha-repairs-cleanup | Stale-Ghost-Errors identifiziert, fehlgeleiteter Rename revertiert
- ANLASS: Repairs-Seite zeigte 34 aktive Issues (5 Errors). Deep-Dive: 4 der 5 Errors waren Stale-Ghosts (Automation längst gelöscht, Services wieder da) — HA Issue-Registry räumt nicht selbst ab.
- FEHLGELEITETER FIX + REVERT: These war, `notify.mobile_app_iphone_dominik` sei tot (14× in automations.yaml). FALSCH — Verwechslung von Entity (`notify.iphone_dominik`, nur in get_states) und Service (`notify.mobile_app_iphone_dominik`, in get_services). Der 14-fache Rename brach die Pushes, ein neuer Frigate-Error erschien sofort. Sofort-Revert aus `.hermesbak-20261012` (MD5-identisch), `automation.reload`, verifiziert: 14 echte Refs zurück, 0 Phantom-Refs.
- BOOT-RACE-ERKENNTNIS: HA validiert Automations VOR Registrierung spät ladender Integrations-Services (Tibber, OpenEPaper, mobile_app) → die 4 Error-Repairs entstehen bei JEDEM Start neu und sind nicht durch Config-Fixes wegzubekommen. Persistieren tun sie trotzdem (Registry räumt nicht ab).
- DIMMER: Alt-Automation `1697532906675` (toter Trigger `ba828033…`) via entity_registry `disabled_by:user` deaktiviert (nicht gelöscht) — dieser Fix bleibt bestehen und ist korrekt.
- RESTART 12.10.: Clean in ~2 min (NOT_RUNNING→RUNNING). Repairs-Diff: 35→20 Issues (16× HACS weg, Dimmer-Error weg, Xenia-Units-Warnung weg). Residual: 5 Errors (4 Boot-Race + 1 Sticky aus dem revertierten Rename) + 15 Warnings (InfluxDB-YAML, HTTP-YAML, Solcast, Cupra, Battery-Notes, Templates).
- LEARNING: (a) Service-Targets IMMER via `get_services` verifizieren, nie via `get_states` — mobile_app registriert gleichnamige Entities als Köder; (b) Repairs-Error = Hypothese; (c) Backup-first erlaubte Zero-Damage-Revert in <2 min. Solution Doc: `bug-fixes/2026-10-12-ha-repairs-stale-ghost-issues.md` (mit Korrektur-Sektion).
## [2026-10-12] recipe-pipeline-repair | Post-Scrape-Pipeline war seit 26.08. komplett tot
- Der erste v8.1-Produktionslauf (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen; Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief NIE seit Deployment).
- ROOT CAUSES: (1) Classifier+Normalizer: DB_CONFIG bekam am 26.08. Timeouts hinzu, Calls übergaben sie zugleich explizit → deterministischer TypeError (got multiple values for kwarg connect_timeout) bei jedem Lauf; (2) Embeddings: read_timeout=60 < 67,6 s für die Count-Query (Full-Scan) → Lost connection bei Query Nr. 1; (3) Verschüttet dahinter: harrier-Embedding-Modell-ID `vllm/harrier-oss-v1-0.6b` → 403 model_blocked (noris-Realm-Migration) — dieselbe Namespace-Falle wie beim Flash-Pinning 11.10.
- FIXES: Kwargs-Duplizität entfernt (3 Stellen), read_timeout 60→300 in allen Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits), Pipeline-Gate in v8.1: läuft jetzt IMMER (inkrementell, chipt am Backlog auch bei 0 Neuscrapes). Realm-Opfer mitgefixt: semantic_search.py + recipe_mcp_server.py (tote harrier-ID).
- VERIFIKATION: Drain live — Classifier ~230/s (0 Errors), Embeddings nach Realm-Fix ~58/s (0 Errors, ETA ~40 Min für 138k). Dimensionen kompatibel (1024).
- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet).
- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor.
- ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft).
- NACHTAG 13.10. (Bug #7 + Galera): (f) VIERTES Familien-Mitglied: `embedding` LONGTEXT inline im Clustered Index (~5 GB) — JEDE `WHERE embedding IS NULL`-Query ist Blob-Scan, degenerierte 91/s→2/s über 11 h bis read-timeout-Tod bei 89.216; Redo-Sweep danach mit Keyset-Watermark (`embedding_watermark`-Tabelle, Zwei-Pass) fertig: 49.315 in 3.029 s, 0 Errors → **198.133/198.133 = 100 % embedded** (arithmetisch + `emb_pending=1`=0 auf allen Nodes bewiesen). (g) Wurzel-Kur: Generated Column `emb_pending` + Composite-Index → NULL-Seeking = Index-Seek; Batch-Query umgestellt; Fingerprint-Shortcut 2,2 s Exit 0. (h) GALERA-EPISODE: DDL-ToI-Build auf kaltem mariadb-03 (.73, 4-GB-Pool) dauerte ~35 Min → Applier-Queue 29 → Certification-Stalls clusterweit; self-healed (Queue 0, Index auf allen Nodes), KEIN Restart nötig. Lessons: Galera-KILL ist NODE-LOKAL (VIP-KILL traf falschen Node, Zombie überlebte 485 s — erst `@@hostname`, dann killen); Terminal-Timeouts töten Shells nicht Python-Kinder (Waisen-Queries mahlen weiter); DDL auf großem Table = Bufferpool-abhängige Bremsklotz-Kette. E2E-Steady-State-Test bestanden (Fake-Insert → instant Detect → Embed → Cleanup).
## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben
- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft".
- ROOT CAUSE (drei ineinandergreifende Bugs): (1) `state["tried"]` wurde jeden Lauf geleert → 403-Gescheiterte täglich neu gehämmert; (2) `todo[:max_new]` schnitt immer die ERSTEN N URLs ab → Frontier eingefroren (allrecipes: 48.626 entdeckt, ~42k nie berührt; remaining=2000 drosselte zusätzlich); (3) Budget zählte Loop-Iterationen statt Fetches → Gratis-Dedup-Skips verbrannten das Budget.
- FIX (Skript `recipe_scraper_v8_intl.py`, Backup `.bak-20261012-frontierfix`): Persistente Failure-Memory in neuer DB-Tabelle `scraper_fetch_log` (PK=url_sha1 statt VARCHAR-PK — InnoDB 3072-Byte-Key-Limit!, Quarantäne-Eskalation 1/3/7/14/30 Tage, dead nach 8 Fails oder 404/410, Forgiveness bei Erfolg); rotierender Frontier-Cursor `frontier_pos`; Budget=zählt echte Fetches; Soft-Deadline 6 Min/Quelle; Sitemap-Refresh 7 Tage (Timestamp nur bei Erfolg); 403/429-Fingerprint-Second-Opinion (1 Retry, rotierend chrome136/firefox135/safari184 — Probe zeigte ratelimit-artige, nicht fingerprint-harte Blocks).
- VERIFIKATION: Smoke-Test allrecipes Budget 15 → **+15 Rezepte in 104 s**, Cursor 0→5015 (5000 Gratis-Skips + 15 echte Fetches), fetch_log-Tabelle angelegt, 0 Errors. Danach Produktionslauf des Cron-Jobs gefeuert (Ergebnis folgt asynchron).
- LEARNING: Cron-Reports sind Sekundärquellen — die tried_counts im State (vielfach exakt 2000 = Cap-Höhe) widersprachen der „ausgeschöpft"-Behauptung sofort. Immer State/DB gegen Behauptungen prüfen.
## [2026-10-12] monero-recovery-complete | 44EYUD-Wallet vollständig recovered
- Passwort geknackt (2021er Keys aus Seafile _Recovery), Adress-Verifikation exakt 44EYUD…, finaler Vollsync: **0.446785648368 XMR**, keine Bewegung seit 06/2021.
- Root Cause Seed-Mismatch: Wallet nutzt **deutsches Mnemonic**; der dokumentierte Seed in Monero_Recover.txt war eine englische Transkription → leitet leere Zweit-Wallet (49PKAh, 0 XMR) ab. Goldstandard-Check bestanden (Offline-Restore aus DE-Seed → 44EYUD).
- Passwort + DE-Seed + Adresse → 1P Vault „Hermes" Item „Monero Wallet 44EYUD (Haupt-Wallet)". Alter EN-Seed als verworfenes Artefakt markiert.
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md (Auflösungs-Sektion ergänzt: Harness-Kalibrierung, Salt-Fehlschluss, 1P-Notes-Falle).
## [2026-10-11] xenia-power-sensor-fix | Xenia _2-Sensor: Rename-Ketten-Tod seit Aug behoben
- Diagnose: `sensor.xenia_current_power_2` (GUI-Template) seit ~Aug `unavailable` — NICHT WiFi/offline. Template referenzierte `sensor.xenia_current_power`, der per Entity-Registry-Rename inzwischen `sensor.current_power_consumption` heißt → String-Referenz tot → float(None)-Render-Fehler. Maschine war die ganze Zeit online (REST 12–50 ms, 5 parallele Requests 200).
- Fix: Options-Flow auf `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × sn_3007105790_metering_voltage_l1|float(0)` (attr-basiert = rename-immun). Pitfall: Teil-Submission wischt Metadaten — ALLE Felder (state/unit/device_class/state_class) gemeinsam; `name` nie im Options-Flow mitschicken. Live: 0.0 W ✓, Metadaten W/power/measurement ✓.
- `xenia_total_energy_2` bleibt vorerst `unknown` (Integration-Helper braucht state-change-trigger; idle 0 W triggert nicht) — selbstheilend beim nächsten Kaffee. Wrapper `xenia_active_power` + „bekannte Geräte" profitieren ab sofort.
- Lessons: (1) GUI-Template-Strings überleben Entity-Renames nicht — beim Rename grep über core.config_entries+configuration.yaml. (2) REST-Sensoren feuern nur bei Wertänderung: 2 Recorder-Punkte/3 Tage ≠ offline-Wochenende. (3) ESP32-Ping-Jitter (avg 173/max 550 ms) = WiFi-Power-Save, HTTP-Latenz ist das Wahrheitskriterium. (4) MA_CUR_PWR ist Ampere → ×L1-Spannung.
- Offen (manuell, Setter defekt): Xenia-Web-UI MA_MAX_AMPERE 0→10, MA_SET_TIMER_ECO_MA 0→5 (Fehlschrieb 05.10.). Solution Doc: integrations/2026-10-11-xenia-current-power-rename-chain.md; Wiki homeassistant.md (Xenia-Abschnitt neu).
## [2026-10-11] l0-purpose-fit-audit | Wave 2: Zweck-Fit aller L0/SOUL-Dateien (aller Profile) hergestellt
- **Auftrag:** „USER.md franst aus — prüfe alle Dateien auf ihren eigentlichen Zweck", später verschärft: gleicher Maßstab überall (auch für default).
- **Mechanik-Befund (Source-verifiziert):** Profil-Sessions sehen die default-L0 **NICHT** (`get_hermes_home()/memories/` je Profil; 5 Gateways mit eigenen state.db). „Basis in default-MEMORY"-Pointer in Profil-L0 waren daher irreführend → alle 4 Profil-MEMORYs auf Wiki-Pointer umgestellt.
- **Rot behoben:** pers-SOUL-Kalorien-Split-Brain (statische 97 kg/3.255 kcal/BMR 1874 vs. HA-Truth 92,4 kg/live) → Struktur-Block: Zahlen nur aus HA-Tracker/Wiki, EFT-Anker 82 kg, Beispiele neutralisiert. Safety-Core (Nie-löschen/Nie-auto-Mail/crash-alert) in infra/nutri/pers-USER nachgerüstet. infra-USER Chef-Widerspruch rekonziliert.
- **Gelb/grün behoben:** default-USER decluttered (IaC/Laya-Dubletten raus — MEMORY trägt sie; Resilience→infra-SOUL-SLA; Sauna-Binding→pers-USER; Restore-Doktrin→Wiki seafile; vm_disks→Wiki proxmox). nutri-MEMORY: SchoenKitchen+CT99999+Jinja2→Wiki systems/schoenkitchen (NEU), Rezept-Feedback→Hindsight (Ofen-Lachs migriert). dyn: E1/E2/E3-Status USER→MEMORY, SOUL Schul→KiGa-Reste. nutri-SOUL: Rezept-DB 36.251 (statt „25.000+"), Filename-Konvention Unterstrich, Feedback→hindsight-Doktrin.
- **Meta-Lesson:** Eigene erste Bewertung hatte Grade-Inflation für default („✅ gut" bei 6 fehlplatzierten Zeilen) — symmetrischer Maßstab erst auf Nachfrage des Users. Solution Doc: architecture/2026-10-11-l0-purpose-fit-audit.md.
- AGENTS.md(iac)-Write vom Protection-Guard geblockt (Approval-Timeout) — vm_disks-Konvention stattdessen ins Wiki; AGENTS.md unangetastet.
## [2026-10-11] pv-forecast-fixes | Alle 3 PV-Forecast-Fixes deployed (User-GO)
- (1) TZ-Fix v2-Optimizer deployed 18:29 (tzinfo=BERLIN, Backup .bak-20261011-tzfix): Live-Tick 18:28 zeigte korrekte Sunset-Kurve (36 W/18:30 statt ~1750 W Phantom). Offline-Unittest bewies buggy(t)==fixed(t−2h) exakt.
- (2) Reload-Race-Crash 18:43 (Solcast-Options-Reload → Sensoren 16s unavailable → Tick crashte doctrine-konform): Gefixt via collect_solcast_pools() 3×10s-Retry, loud, beide Pool-Blöcke (main+shadow) ersetzt.
- (3) forecast.solar: KEIN kompletter Rebuild nötig — Subentries validiert (Dach SW/SO-Split 62/38 ↔ 5760/4000 W passt zu Messdaten). Ergänzt: "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W) für HM-1500 (2× 750 W SW/NE), Device-Rename via WS config/device_registry/update, Area Photovoltaik. HA-Parser KORREKT — früherer +2h-Verdacht war Eigen-Curl-Artefakt (time=utc fehlte); Zelt-Sensoren fielen exakt zum Sunset auf 0.
- (4) Solcast auto_dampen=True + get_actuals=True (Validator-Kopplung!), Kalibrierquelle sensor.pv_production; Actuals-Fetch verifiziert (solcast-actuals.json 91 KB, generation ab 03.10.), Dämpfung startet 1.0.
- (5) sensor.pv_daily_energy_total repariert (Options-Flow): SBS-Batteriedurchsatz RAUS, Hoymiles REIN: 19,44→22,03 kWh.
- HA 2026.9.4 API: Config-Flow POST /api/config/config_entries/flow; Options /options/flow; Device-Rename nur via WS config/device_registry/update; Entry-Titel-Endpoint fehlt (Subentry-Titel via Config-Flow "title"-Step).
- Abgeschlossen: 18:58-Tick-Verifikation des Retry-Rings BESTANDEN (sauber durchgelaufen, plan_pv_forecast now=12 W, positive 24h-Kosten 9,08 € statt Phantom-Einnahmen). Offen: Solcast-Dämpfungs-Learning über kommende Tage beobachten.
## [2026-10-11] pv-forecast-audit | PV-Anlagen-/Forecast-Inventur + Solcast-Decontamination
- Inventur 6 Arrays / 4 WR: 2×SMA SB (je 2 Strings, Ausrichtung je String unklar), SMA SBS (BYD, keine PV-Strings), HM-1500 Zelt (2 Module SW/NE), Schuppen 1+2 (SW, 5° flach). Antwort auf "vernünftige Forecasts für alle?": NEIN — HM-1500 völlig ohne Forecast, forecast.solar 4 Sites parametrisch fragwürdig (Dach-Sites ohne belastbare WR-Zuordnung), Solcast nur 1 gemittelte Site.
- ROTER Befund 1: Solcast-Aggregat (PV-Input des EMHASS-v2-Optimizers!) enthielt die Solcast-DEMO-Site "Ogdak Netherlands" (Apeldoorn/NL) — ~9,6 von 23,4 kWh Tagesphantom. User-Freigabe erteilt, sofort gefixt via HA-Options-Flow HTTP-Endpoint (HA 2026.9.4: WS-Flow-Befehle entfernt!, Endpoint `/api/config/config_entries/options/flow`): exclude_sites=["59c8-caae-52f5-1686"]. Verifikation: Prognose heute 23,44→13,83 kWh; Optimizer-Tick 18:13: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW.
- ROTER Befund 2: TZ-Bug in emhass_optimizer_v2.py::build_pv_series numerisch bewiesen (Offline-Replikation traf publizierte Werte exakt): Berlin-Wallclock-Keys werden als UTC re-tagged → +2h-Versatz im PV-Plan. Published 17:30 = 2384 W, korrekt wären ~163 W. 1-Zeilen-Fix (tzinfo=BERLIN) vorgelegt, wartet auf GO.
- Side-Findings: sensor.pv_daily_energy_total zählt Hoymiles nicht mit (−11%) und SBS-Batteriedurchsatz als PV; forecast.solar-API liefert lokale Timestamps (gleiche TZ-Fehlerklasse möglich); Solcast-API-Quota 30/Tag nahe erschöpft durch 2-Site-Polling; EMHASS-Addon-interner Forecast (open-meteo/pvlib, Fronius/CSUN generisch) irrelevant da v2 published.
- Nutzerbeschluss: forecast.solar komplett neu bauen (Todo). Doku: Solution Doc integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md, Wiki homeassistant.md + emhass-cascade-architecture.md gepatcht.
## [2026-10-11] memory-system-audit-execution | P0/P1/P2 des Memory-Audits umgesetzt
- **P0:** Portainer-CT111-Token zusätzlich in 1P (Vault Hermes, Item `Portainer API Token LXC 111 (proxmox5)`, id it2bbkhn5ddbk7rdaxe5bsqttm) — Token bleibt bewusst auch in infra-sre MEMORY.md (User-Entscheid). Solutions-Repo: Gitea `dominik/solutions` (privat) neu erstellt + 15+ untracked Docs committet/pushed (c7144bb); S3-Tar-Scope um `~/docs` erweitert (backup-to-s3.sh). `~/.hermes/memories`-Remote http→https gefixt, 3 Monate Stillstand beendet (Push e3a4bf3). `sessions.auto_prune: true` in config.yaml (state.db 2,1 GB stoppt Wachstum; Prune-Läufe durch Hermes selbst, min_interval 24h).
- **P1:** DELTA-Prinzip für Profil-MEMORYs etabliert (gemeinsame Fakten nur default+Wiki): infra-sre, dynamic-coach, personal-coach umgeschrieben; Widersprüche behoben: Apple Watch (nutri-USER), Schulkind→Kinder garten (dyn-SOUL+MEMORY), Immich-PROD, Mintos 33,5k kanonisch. default-MEMORY.md neu strukturiert als Einstiegspunkt (2.250 Bytes UTF-8 ≈ 2.178 chars, im Budget). Neue Wiki-Seiten: entities/finanzen-immobilien.md (aus L0), entities/health-fitness.md refreshed (Oura-Telemetrie aus personal-coach L0 konsolidiert).
- **P2:** Wiki-index.md: Immich-Asset-Count 56.887→86.316, Totlink entities/dominik-schoen entfernt, finanzen+drift-report verlinkt, PAT-Dublette aufgelöst (llm-backend-hang behält PAT-015, systemd-path-blindness → PAT-016, alle 5 Referenzstellen umgezogen). Solutions-INDEX.md Header regeneriert (34→83 real, Kategorie-Counts, Offsite-Vermerk). Drift-Report konsumiert (Review-Abschnitt). memory-sync-Skill: 5 Pitfall-Duplikate entfernt, AUDIT-LESSON ergänzt. Quarantine: auth.json.corrupt, log.md.hermesbak-cl, sync.log → .archive-Dirs; leere Projects/Templates entfernt.
- **LCM-Audit nachgeholt:** lcm_doctor healthy (Integrity/FTS/schema/lineage pass, 480 MB, 185k Messages, 83/83 externe Payloads). LCM war in SOUL.md, index.md und memory-sync-Skill nicht als Layer verzeichnet (nur concepts/memory-layer-architecture.md hatte es richtig) → jetzt als L4-Co-Träger in allen Dreien verankert. Warnbefund: 447 stale lifecycle-rows (kosmetisch, Cleanup optional).
- Siehe: docs/solutions/workflows/2026-10-11-memory-system-audit-remediation.md
## [2026-10-11] home-migration-wave21 | Welle 2.1 abgeschlossen: 3 Seafile-Transfers verifiziert
- MBP_bis2017 (6,9 GB) + MBAir (1,1 GB) → „Archiv Alte Rechner" (gemerged in bestehende Unterordner, Heal-Pass RC=0); Backupfestplatte-Uni-Working-Tree (ohne .git, ohne 6.839 Immich-Foto-Pfade) → NEUE Lib „Backupfestplatte Uni" (208b4444), byte-exakt verifiziert: 81.338 Files / 7.790.262.028 Bytes MATCH=True; DropboxSync-Rest (192 Files / 2,0 GB, 765 Foto-Pfade excluded) → „Urkunden und Dokumente"/DropboxSync-Archiv.
- 4 persönliche Foto-Items (Hochzeits-Zip 512 MB, Fotos.zip 603 MB, Urkundenübergabe 221 MB, Lesezimmer-Zip 22 MB) aus der Seafile-Route herausgenommen → Immich-Queue auf NAS (/pool01_n2_redundant/.seafile-migrate/immich-queue/), wartet auf GO (Dedup-Check gegen Bestand nötig).
- Teardown sauber: 3× desync, Daemon gestoppt, /tmp geleert, Creds geschreddert. Seafile-Disk: 285G/345G (46G frei).
- Neue Fallstrick-Klasse dokumentiert: Prefill-Race-Sequencing (synchronized als GATE), Space-gepaddingte Statusfelder brechen exakte Vergleiche, Status-Tabellen-Truncation unter Last täuscht fehlende Syncs vor, pkill-in-eigener-Deploy-Shell suizidiert Orchestrator, mv über ZFS-Datasets hinterlässt Partials (rsync --remove-source-files heilt). Solution Doc: `docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md`; Skill `devops/seafile-api`-Referenz entsprechend erweitert.
- Offen (warten auf GO): Welle-2-Punkt-2 (Immich-Gaps: DSC_0923.NEF-Retry + Kroatien-2021 ~44 GB) und Punkt-3 (Löschliste ~21 GB).
## [2026-10-11] cron-pin-release-flash | Alle 30 Cron-Jobs auf vllm/release/glm-5-3-flash gepinnt
- Audit 11.10. (30 Jobs: 23 aktiv, 7 pausiert) förderte 2 drift_skip-Tote ans Licht: Finanzblick Cashflow Monitor (c594cdde5fef) + User Drift Detection (280458a2b035) — globale Inference-Config driftete glm-5-2→glm-5-3-flash, ungepinnte Jobs verweigerten aus Spend-Schutz. Finanzmonitoring 7+ Tage blind.
- PINNING: `vllm/release/glm-5-3-flash` zunächst live verifiziert (200 OK auf ai.noris.de Main-Key; NORIS-NAMESPACE-FALLE: `glm-5.3/release/glm-5-3-flash` → 403 model_blocked — neues `glm-5.3/*`-Schema ist ein ANDERER Virtual-Key-Realm; `vllm/*`-IDs funktionieren weiter). Dann 30/30 Jobs via `hermes cron edit --model --provider noris` gepinnt, Readback jobs.json: 0 Abweichungen. Auch no_agent-Jobs konsistent gepinnt (kosmetisch, aber uniformer Drift-Schutz).
- Ex-drift_skip-Jobs wieder scharf: Finanzblick nächster Fire heute 20:00 UTC, User Drift Di 04:00. Smoke-Test Price-Watch (a8ba6bf2891e) BESTANDEN (53,7 s Lauf mit gepinntem flash-Modell, Amazon-Fetch ok, still da ≥120 €, State-File last_check 06:50:22Z geschrieben) — flash läuft E2E durch die Cron-Pipeline.
- Offen aus Audit (nicht genehmigt): Comfy-e2e-Zombie (31k Runs ins Leere), Beleg-Sammler 41-Tage-Alert-Streak (3 failed Belege + 470-Dateien-Staging-Leck), Rechnungen-Organizer Repeat-Limit 171/500, 6 tote pausierte Jobs, EMHASS-v2 ohne Watchdog, Notfallbuch-Herbst-Review verpasst, HA-SSH-PW im Klartext im EMHASS-Watchdog-Prompt.
## [2026-10-11] dream-epoch-fix | Dream-Cycle epoch-aware v2 + Memory-Dekontamination
- Fact-Check des Dream-Reports 11.10. ergab: 1/3 falsch (VM302-Phantom — stale P0-TODO als Ist-Zustand gelesen), 1/3 stale-aber-echt (Prometheus-VIP .206→.202, NAS-IP 10.0.30.100→10.0.20.100 — beide Wiki-Stales gefixt), 1/3 handlungsrelevant (DNS-Apex 84.39.83.204 DOWN — Nutzerentscheidung: bewusst ignorieren).
- ROOT CAUSE Epoch-Mixing: reflect-Queries ohne Zeitdimension ließen Juli- und Oktober-Observationen als gleichzeitige Konflikte rangen. Kontaminationsschleife als Verstärker: 3 Dream-Output-Rows (28./29.09., alte agent-Ära) waren als „Fakten" re-speichert worden — der Dream zitierte seine eigenen Falschmeldungen.
- FIX 1 (Daten): 3 Gift-Rows neutralisiert via `metadata.archived='true'::text` + Tag `debunked` (reversibel, kein DELETE; Boolean-Cast-Falle vermieden). Reflect narriert danach korrekt Historie statt Konflikt.
- FIX 2 (Script v2): EPOCH_RULES in allen Queries (neueste Fact gewinnt; superseded = Historie; ±7-Tage-Fenster; Datums-Pflicht via `_has_dates()`-Gate mit Downgrade), TODO-Check fragt nach Erledigungs-Beweis, Stale-Check nur Zustands-Aussagen, Disclaimer-Header gegen Retain-Kontamination. Skill-Kopie re-synchronisiert (md5 42ea3a76…).
- Verifikation: Volllauf v2 — VM302-Phantom eliminiert, TODO-Sektion still, Stale-Sektion liefert echte hypothetisierbare Zustands-Claims mit Datum (Authelia id.schoen.eu 19.07., PBS-Remote 10.0.30.106:8007 17.07. — .106 heute dead). Genau das Ziel-Signal-Rausch-Verhältnis.
- Solution Doc: `docs/solutions/bug-fixes/2026-10-11-hindsight-dream-epoch-mixing.md`; Skill `hindsight` §4.2 gepatcht (v2-Design + Dekontaminations-Rezept).
## [2026-10-10] dream-cycle-factcheck | Nightly-Dream-Report gegen Live-Systeme geprüft
- Dream-Claim „VM302 auf n5pro widerspricht Wiki" → **FALSCH**: Live pvesh zeigt VM302 auf ms-a2-2 (Wiki-konform). Ursache des Artefakts: Hindsight hält die P0-Mitigation „VM302 von n5pro weg migrieren" als offenen Zustand — die Migration ist längst erledigt (Episoden 29.09./04.10.). Stale-Todo wurde als Ist-Zustand gelesen.
- Dream-Claim „10.0.30.206 Prometheus unerreichbar" → **stale-Wiki-Fund bestätigt**: VIP .206 existiert nicht mehr; Prometheus-LB ist heute `monitoring-kube-prometheus-prometheus` auf **10.0.30.202:9090** (live verifiziert, Queries OK). ports.md korrigiert.
- Dream-Claim „NAS 10.0.30.100 doppelt geführt" → **stale-Wiki-Fund bestätigt**: ARP dead seit Crash 03.10. (VLAN-30-IP nie persistiert); kanonisch ist 10.0.20.100 (VLAN 20). ip-map.md korrigiert (STALE-Markierung).
- Dream-Claim „WG: .106 erreichbar, .124 nicht" → **zeitlich invertiert/stale**: heute .106 DEAD, .124 ONLINE. Kein Konflikt, nur alte Momentaufnahmen.
- Dream-Claim „Tradfri/NUT/Moonraker/LIFX setup_retry auf alten IPs" → **teilweise**: Tradfri 17 Entities unavailable ✓, ESP32 58/58 unavailable, gesamt 460/2516 (18 %). Aber Moonraker gesund (`update=off`, Snapmaker ready), LIFX 0 Entities, UPS-Sensoren fehlen in HA komplett (nur `sensor.apc_alarme`=unavailable, bekannter Normalzustand). Pauschal-Ursache „alte IPs" unbelegt.
- Dream-Claim „DNS-Apex 84.39.83.24 → 84.39.81.87 ausstehend" → **WAHR und offen**: Apex zeigt noch auf .83.204 und ist DOWN (HTTP 000); alle Subdomains laufen über CNAME schoen.sytes.net → .81.87 sauber (id. = HTTP 200). Einziger echter Handlungspunkt.
- Sonstige Claims (Immich v3.3.1, ArgoCD behoben, CT111=.99) korrekt; PBS-13.08.-Episode nirgends dokumentiert (historisch, nicht verifiziert).
- Meta-Lektion: Dream-Cycles vergleichen Hindsight-Snapshots unterschiedlicher Epochen — erzeugen Schein-Widersprüche. Immer Live-Verifikation vor Reaction. Zwei echte Wiki-Stales ließen sich dennoch daraus ziehen.
## [2026-10-10] home-migration-wave1 | Unterlagen Uni + eBooks + grafiniert → Seafile, 86 Repos → Gitea
- Seafile (CT111): Neue Lib **Unterlagen Uni** (c4677b64, 19 GB 1:1 aus Home — Lehre/Klausuren/Praxis/Verwaltung, KEIN ZIP gem. Nutzervorgabe); **Bücher** +eBook-Sammlung (60 Titel) + Calibre-Bibliothek (1277 Autoren, 5,9 GB); **Archiv grafiniert** +Delta 4,2 GB (MontaMusic, huawameieri, grafiniert_2011, Buchhaltung …). Alles serverseitig via API verifiziert.
- Weg: seaf-cli-Staging auf 10.0.20.100 (`/pool01_n2_redundant/.seafile-migrate/staging/`, 30 GB bleiben als Kopie), rsync additiv; Syncs desynct, Daemon gestoppt, Plaintext-Creds auf NAS shredded (PWs in 1P: „Seafile Web Login (dominik)").
- Gitea (git.schoen.codes): **86/86 eigene Repos** migriert (--all+--tags; dev-* 51, idea-* 26, mbpdoc-* 6, sempa-* 3). Skip: go/src-Vendor, clinfo, libcoap (shallow Fork), Privat/Promotion-.git (Dokumentenhistorie → Seafile später).
- Pitfalls geloggt: Create-500 legt Gitea-Repo trotzdem an (immer listen+branchen statt Status glauben); shallow push --all rejected; safe.directory-* für root-Scans; SSH-Timeout killt Wrapper-Ketten → setsid nohup; seaf-cli-Sync bidirektional (Downstream beachten).
- Solution Doc: `workflows/2026-10-10-home-migration-seafcli-staging-gitea-bulk-push.md`; Skill `seafile-api`→bulk-migration-Referenz um seaf-cli-Weg ergänzt. Multi-Agent-Kollision mit Parallel-Session (PW-Rotation 16:30) im Doc `workflows/2026-10-10-multi-agent-credential-collision-moving-target-guards.md`.
## [2026-10-10] homeassistant | Warn-Push beim Verlassen + Garagentor-Flanken-RCA
- Neue Automations (REST-config, live): `warn_offen_beim_verlassen` (Dominik >2min weg + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button; tag aktualisiert Notification) + `garagentor_push_close` v8 Single-Edge (EIN switch.turn_on, KEIN turn_off-Präludium; Guards offen/>90s stabil/45s Anti-Doppeltipp; 45s-Verifikation per Neigungssensor; Retry nach 480s; ehrliche Fehler-Push).
- RCA (Logbook-belegt): Motor toggelt auf JEDE Kanalflanke. Einzelimpuls schließt sauber (17:51: ~90s). ZWEI schnelle Flanken = Start-Stopp → Tor bleibt offen (17:07 mein OFF→ON-Doppelpuls; 17:48 Nutzer-Doppelklick am Wandtaster). Doppelklick-Gewohnheit wirkt der Schließfahrt entgegen. Wirkungslose Impuls-Serie 16:46–17:07 → vermutlich Motortermik-Sperre.
- BUG offen: `switch.garagentor` Status seit 05.10. `unknown` (SysAP→HA Feedback tot); SysAP-REST 401 (Credentials unbekannt, admin/admin falsch), SSH-Addon gestoppt. Tor-Endzustand nach Tests: GESCHLOSSEN (verifiziert).
- Nur 2 physische Öffnungssensoren im Haus: Garagentor + Esszimmertür; free@home-Panels sind Taster.
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`; Wiki systems/homeassistant gepatcht.
## [2026-10-10] frigate-notifications | v3: Review-Alert-Trigger + KI-Gate (Spam behoben)
- RCA: Alt-Automation triggerte auf `frigate/events` (Raw-Detections) statt `frigate/reviews` (kuratiert); 2 Pushes/Event; Cooldown-Key camera+label = Ping-Pong bei Labelwechsel; keine Known-Face-Suppression. Messung 10.10.: 21 Raw-Events → 9 Runs → 18 Pushes/3,5h bei Null relevanter Szenen.
- v3 (ID 1714065780832, in-place via REST): Trigger=frigate/reviews severity=alert; 12s Delay → Snapshot → llmvision.image_analyzer (gemma via noris, Prompt KRITISCH/NORMAL) → Gate → 1 Push. Suppress: Sarah/Dominik, 300s Kamera-Cooldown, Review-ID-Dedup. Fail-safe: KI-Fehler oder nachts Person → Push.
- E2E verifiziert: Synthetischer Alert → Verdict „NORMAL: leere Einfahrt mit geparktem Auto“ → korrekt kein Push; Readback 10/10 Checks. **v3.1 (gleicher Tag, Nutzervorgabe „nicht nur 23–5 Uhr"): Person-Push auf 24/7 ausgeweitet** (Gate `crit or ki_fail or person_here`), neues Titel-Tier „👤 Person“ tagsüber; E2E erneut verifiziert (Gate-Rendering True bei Tag+person, Logbook-Run bestätigt).
- Frigate-0.18-Payload-Falle: review `data.objects` = String-Liste, sub_labels separat; HA-Jinja kennt kein `is not null` (→ `is not none`).
- Zombies (garten, ai_event_summary ×2) = Registry-Ghosts, kein Konflikt. Ohne Zonen geblieben (User-Wahl).
- Solution Doc: `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`; Wikis systems/frigate+homeassistant gepatcht.
## [2026-10-10] notfallbuch | eol-dr-Playbook für Sarah live gestellt
- Repo `dominik/notfallbuch` @ git.schoen.codes (privat, Secrets allowed — Uservoting, intern hosted). 9 Sarah-Kapitel + `generated/`-Inventar aus Live-Cluster + `mapping/triage-map.md` (Join ArgoCD-Label↔Klartext).
- Generator `scripts/generate_inventory.py` (ArgoCD/Traefik-IngressRoute/Velero/Proxmox, graziöse Degradierung) + Watchdog `update_and_commit.sh` (Diff ohne Timestamp-Zeile → kein Schein-Drift; Commit+Push nur bei Echt-Drift; Digest nur bei Drift/Ungeklärt).
- Crons: `c4eb1bbe63df` monatl. Watchdog + `d8c6cdd5a1eb` halbjahrl. Review-Reminder → telegram:-5265906503. Build: pandoc+xelatex → A4-PDF/DOCX mit Datum+SHA-Stempel (nun auf hermes-agent installiert).
- Live-Funde: Immich-URL = photos.familie-schoen.com (nicht immich.*); Domain schoen.eu existiert (Kap. 07 erweitert); kein cert-manager (Traefik-LE). 26 Apps ungelabelt → UNGEKLAERT-Liste mahnt; holmes/holmes-config = KLÄREN.
- Offen: Stefans dormant Gitea-Account (1P-Zugriff blockiert, Passwort darf nicht unbefristet nur im Terminal liegen), Triage-Label-Freigabe in iac-homelab, Fill-in-Abende ([FELD]-Marker), Proxmox-Token für Generator.
- Wiki neu: `systems/notfallbuch.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md` (Gitea-API 401 bei Basic-Auth → Token-Header).
## [2026-10-10] hermex-backend | hermes-webui auf Runner deployed — Hermex-iOS kann verbinden
- Hermex (iOS) spricht NICHT das offizielle Dashboard (:9119) an, sondern braucht hermes-webui (nesquena). Native Installation: `/opt/hermes-webui`, server.py unter Agent-Venv-Python (in-process Imports von Agent-Modulen), systemd `hermes-webui-dominik.service`, `0.0.0.0:8790`, LAN-only.
- Hermex-Werte: `http://10.0.30.230:8790` + PW aus 1P (Vault Hermes → `dominik-hermes-webui`).
- E2E verifiziert: Login 200/401 korrekt, Sessions-API zeigt echte CLI/TG-Sessions (state.db-Bridge), Chat-Run durch API → Agent-Antwort `hermex-e2e-ok` (glm-5.3/noris), Test-Session danach sauber gelöscht.
- Sicherheiten: KEIN Cron-Scheduler-Thread im WebUI (Doppel-Feuer ausgeschlossen, Scheduler bleibt im Gateway); Signing-Key auto-gen persistiert Login über Restarts.
- Pitfalls geloggt: `/api/chat` auf CLI-Session-ID → KeyError (erst `/api/session/new`, eigene hex-ID); Cold-Start /api/sessions 34–70 s, warm 0,2 s; `op item view --vault` existiert nicht → `op read op://…`; sed-%-Templating zerstörte Unit (static+Garbage-PW) → Python-Substitution; logrotate war auf dem Runner nicht installiert (nachgezogen, daily×7).
- Wiki neu: `systems/hermes-webui.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md`.
## [2026-10-10] immich-nas-ingest | NAS-Foto-Archive komplett in K8s-Immich übernommen
- 29.423 neue Files / 78,2 GB (Dominik 27.966, Sarah 1.436) via API-Upload von NAS direkt nach K8s-Immich v3.3.1; Laufzeit ~75 min, 4 Worker, JSONL-Checkpoint/Resume.
- Methode: Census-Manifest (sha1/size/path) + `POST /api/assets` mit `x-immich-checksum` (Server-Dedupe pre-write: 200=dup, 201=new) + mtimes aus NAS-stat. Keys `nas-ingest-d/s` via Direct-DB-INSERT (varchar[]-Cast, decode(hex)).
- Reconciliation: alle 29.423 erwarteten SHA1s in DB, 0 fehlend; 86.316 Assets / 85.960 Unique; Owner-Split korrekt (d 55.271 / s 31.045). PVC 365/500 G.
- Strauchelsteine gelöst: Bearer-vs-x-api-key (401), varchar[]-Permissions (Typ existiert nicht), `'\x'`-Literal-Falle bei bytea, fehlender Host-Header an Traefik (404), 1 Schein-Fail (SSL-EOF, Upload war durch).
- 5 RAWs mit dcraw-Thumbnail-Fehlern — Originale bitidentisch (libraw-Kosmetik). Grayzone 559 Files bewusst exkludiert.
- Artefakte: `~/home-drilldown/census/` (Manifests, Archive mit Checkpoints+Logs+Uploader). Solution-Doc: `docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md`. Wiki `systems/immich.md` aktualisiert.
- Follow-up 10.10.: immich-config-Freeze-Exit (Commit `3ec6327`, selfHeal+prune scharf; vorher Label-Sweep: kein Objekt trägt Tracking-Label → prune sicher); NAS-Plaintext-Keys vernichtet (keys.env + lokale Kopie, Key-Records in DB bleiben re-mintbar); NAS /tmp/immich_ingest geleert nach Archivierung (MD5-verifiziert). Beobachtung: immich-server 5 Overnight-Restarts (≥1 OOMKilled 137) unter Thumbnail-Job-Last nach Ingest, seitdem 7 h stabil bei 760Mi/4Gi.
- OOM-Fix 10.10. (Commit `6ce2a0a`): Server-Mem 4→6Gi, Request 1→2Gi, nodeSelector pin auf rke2-worker-01. Grund: worker-04 nur 7,9 Gi allocatable (kleinster Node) + Limits 169 % überzeichnet → Limit-Raise allein hätte Node-Pressure-Eviction riskiert (postgres-main-2 Kollateral). Rollout verifiziert: neuer Pod auf worker-01, Restarts 0, API grün, ML/valkey unberührt. Patch-Falle dabei entdeckt und VOR Commit gefangen: Probe-Indentation im rendered-Manifest (immer YAML-Parse-Validierung nach patch).
## [2026-10-08] emhass-phase2-shadow | Shadow-Dual-Solve live + Deferrables entfernt
- Shadow Phase-2 live: Cron `d046e808f543` (*/15m, silent-on-healthy) + Staleness-Watchdog `19aef2351273` (:35, >45 min -> Alert). Ledger `~/shadow_phase2/ledger.jsonl`, Report `~/scripts/report_phase2.py`.
- Bewiesene CSV-Gesetze: +P_batt=Entladung, P_grid signed (Export NEGATIV), Deferrable-Spalten=Phantom-Last (+12 kWh Summeninvarianz, keine Consumer).
- PRODUKTIV: `number_of_deferrable_loads` 2->0 (Direct-File-Edit + Addon-Restart im :50-Fenster, Backup `config.json.hermesbak-20261008`); Beweis: Incumbent-CSV jetzt 17 Spalten.
- Solution Doc: `docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md`
## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38.
- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar.
- **Key-Falle:** Cache-Key ist `custom:<base_url>` (neu: `…#<fp>`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37).
- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen).
- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29).
- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht.
- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts".
- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar.
- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓).
- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig).
- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext.
- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6.
## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓.
- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen).
- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch).
- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren.
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt.
- Hindsight: Config + Pitfall semantisch indexiert.
## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
- RBAC-Lektion: Descheduler braucht `list/watch` auf `namespaces` in ClusterRole.
- ArgoCD repoURL: `ssh://git@10.0.30.200:22/...` (mit `git@` User-Prefix, wie alle anderen Apps).
- Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
## [2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
- Zwischenfail: `aliases:`-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate.
- SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit cc2f237.
## [2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. *(Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)*
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt: `crush reweight osd.3 0.05` + in. Cluster 17/17 up/in, Degraded 0,78 % fallend.
- ubuntu-Hosts-Fix: `10.0.20.100 ubuntu` in /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben.
- Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
## [2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
- Eigener Fehler: `grep -vn`-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. **Rescue-Pfad etabliert:** CT-Rootfs direkt am Host mounten (`mount /dev/rbd2 /mnt/...` — rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok.
- **Lessons**: (a) NIEMALS `grep -n`-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate.
- Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit <SHA>.
## [2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
- Zwei neue Rules in CT141 (`placement_guardrails`): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok.
- Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
## [2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender `body`-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON).
- Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit `{{escape title}}`/`{{escape message}}` (Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200.
- Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
## [2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
## [2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. **x-vga=1 bricht AMD-Passthrough** (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
- Monitoring (CT141): Regelgruppe `pressure_alerts` (5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. **LXC-Bindmount-Inode-Trap:** sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc.
- proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
## [2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
- Diagnose-Signatur: `qm status --verbose` RSS-Kollaps + tote Guest-Agent + statischer Tap-TX
- Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
- Drift-Fund: frühere node-affinity `na-vm102` (NICHT ms-a2-2) existiert live nicht mehr
- Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
## [2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert `pip install -e .` NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bis `import run_agent`
- Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
- Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params
- CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
- Cordoning cp-03 amplified: CNPG switchover → operator reconcile storm (~60/min)
- Fix: (1) Delete+recreate SCs with all secret refs, (2) Patch 6 PVs with controllerExpandSecretRef, (3) Restart CSI resizer, (4) Commit SCs to Git `clusters/main/storage/`, (5) Move Gitea off unstable worker-05
- Worker-05 cordoned (repeated reboots, likely hypervisor issue on ms-a2-2)
- Architectural risk documented: etcd on Ceph RBD (~20ms WAL fsync all CP nodes)
- Solution doc: docs/solutions/bug-fixes/2026-09-29-kubeapi-error-budget-burn-ceph-csi-resize-loop.md
## [2026-09-27] bug-fix | Gitea CSI RBAC Fix + ArgoCD Verknüpfungs-Audit
- Root Cause: Ceph CSI RBD `csi-attacher` fehlte `storage.k8s.io/csinodes` Berechtigung → VolumeAttachments pending → Gitea Pod 4+ Tage Init-crash
- Fix: ClusterRole `ceph-rbd-external-attacher-runner` patched, provisioner Pods neu gestartet → alle 24 VolumeAttachments `true`
- Gitea Pod + schoenkitchen runner durch Pod-Delete wiederhergestellt
- ArgoCD Audit: 17/25 Apps via Gitea SSH, 20/25 Synced+Healthy
- Known Issues: `gitea`/`authelia` Health=Progressing (Ingress-LB-IP Gap), `immich` doppelt verwaltet, `gitea-config` Deployment Drift
- `DEFAULT_ACTIONS_URL=https://gitea.com` deprecated → Helm override auf `self` empfohlen
- Wiki `systems/gitea.md` aktualisiert: Runner Status, Incident, ArgoCD Issues
- Solution Doc: `docs/solutions/bug-fixes/2026-09-27-gitea-csi-rbac-volumeattachment-fix.md`
## [2026-09-27] architecture | Memory Layer Restructuring + Laya Session-Nutzung
- USER.md bereinigt: Infra-Fakten entfernt, nur noch User-Preferences/Safety-Rules (1.087/1.375 chars)
- MEMORY.md ausgedünnt: 2.145→1.664 chars, alle Infra-Details zeigen auf Wiki-Seiten mit `→Wiki` Pointern
- 4 neue Wiki-Seiten: systems/noris-ai, systems/frigate, systems/homeassistant, systems/paperless
- Neues Concept: concepts/memory-layer-architecture — Entscheidungsbaum "was wohin gehört"
- Hindsight Audit: massiv überladen mit veralteter Infra-Topologie. Going-Forward-Policy: nur noch semantische Pointer + Entscheidungen
- LCM gesund: 7.590 messages, 34 DAG nodes, 21.2:1 compression ratio
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
## [2026-09-27] architecture | Laya Email-Organizer Migration + Session-Nutzung
- Rechnungen-Organizer Cron `f773f8c23230` von LLM-Agent → `no_agent` Script mit Laya migriert
- 12 Kategorien, 3-Schichten-Safety (Confidence-Gate + Subject-Validierung + Move-Erfolg)
- Globale Ordner (Rechnungen/Bestellungen/Gutschriften/Gutscheine) statt Monatssortierung
- Wiki-Seite `systems/laya.md` erstellt mit Usage Guide für Session-Nutzung
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
- Solution Doc: `docs/solutions/architecture/2026-09-27-laya-email-organizer-migration.md`
## [2026-09-17] workflow | CT108-Endausbau: Census, Ghost-Router CT99999, Alias-Repair, Stop
- **Census (auth):** K8s=25 / CT108=31 / gemeinsam=23 — 22 Tips identisch, dominik/memory=K8s-Superset (enthält CT-Tip de97cd6d), nur-CT=8× PoC-Müll. Archiv: 29 Bare-Bundles 143 MB unter `/home/debian/git-archive/ct108-final/` (2 Failures = legitim leere Repos).
- **Ghost-Router enttarnt:** CT99999 (Traefik-LXC auf proxmox7, 10.0.60.10) terminiert TLS für *.familie-schoen.com und forwardet plain HTTP an .203. `git.familie-schoen.com` → .105:3000 WAR der letzte Live-Konsument von CT108; `git.schoen.codes` lief längst per Double-Hop aufs K8s. Fix: gitea-service-Upstream → .203 (Backup `explicit-http.yml.bak-hermes-20260917`) + Alias-Host im K8s-Ingress (Commit `9e9b6ee`). Beide Hostnamen jetzt v1.27.0.
- **Stop vollzogen (genehmigt):** `pct stop 108` auf ms-a2-2 (10.0.20.93) — connection-refused-Beweis, Fleet 22/25 Synced, Runner unversehrt. Wiki-Lügen korrigiert (ip-map behauptete „stopped" seit Wochen).
- **Lessons:** 1P-SA braucht je Call `--vault`; `op read --reveal` existiert nicht (stdout=Secret); `op item get --reveal` maskiert nur Display (JSON-Captures intakt); `/repos/search` = `{ok,data}`-Envelope; blankes Token erzeugt glaubwürdig LEERE Census (Fast-Fehlentscheidung „K8s hat nur 2 Repos").
- Docs: `docs/solutions/workflows/2026-09-17-ct108-full-decommission-census-router-topology.md` · Wiki: systems/gitea.md, reference/ip-map.md
- Offen (je Freigabe): Zombie-Secret `argocd-repo-credentials` löschen; immich-Zwillings-App (toter rendered-Dump vom 01.08., Live gehört immich-config) entfernen.
## [2026-09-17] fix | Merge-Day-Kampagne abgeschlossen: Konvergenz + Autosync-Rennen + Live-State-Arbitrage
- **Konvergenz DONE:** Merge `d76d3e8` (fork 46fa168, 24.07.) + Fixups `4987341`/`8c741c5` auf BEIDEN Remotes (CT108 + K8s-Gitea SSH 10.0.30.200). Ahead37/behind63-Narrativ endgültig begraben (Cache-Phantom). Single-Remote-Ziel erreicht: beide Tipps identisch.
- **Autosync-Renne verarbeitet (4 Minentypen):** authelia Duplikat-Volume (union-merge) entfernt; homepage `authelia-auth`-Middleware restauriert (Jul-Entscheidung ging nie live); paperless plaintext-OIDC-Secret GELÖSCHT statt Wert-Rollback (ESO-Ownership seit 24.08., Quelle 1P); newborn-App ceph-csi-cephfs eingefroren (autosync-Block aus Git entfernt — Helm-Release 3.17.0 wartet auf Adoption; rbd-chart 3.10.1 weiterhin ungoverned, Backlog).
- **3 Sync-Failures via Live-State-Arbitrage geheilt (alle Synced/Healthy @ 8c741c5):** (1) backups: VSC-CRD-Flavor-Falle — RKE2-Addon-CRD ist FLAT (driver/deletionPolicy top-level, `spec:` verboten!), Jul-Files waren für Upstream-Flavor korrekt; beide Files geflattet, cephfs-snapclass erstmals LIVE ERZEUGT. (2) databases: CNPG grow-only — Git auf 100Gi/20Gi hochaligned (Shrink verboten). (3) hindsight: VCT storageClassName immutable (hdd→flash aligniert), Live-Hotfixes gespiegelt (Node-Pin cp-01, ReadinessProbe draußen, secretKeyRef statt Klartext-PW). hindsight-postgres-0 rotierte sauber, PVC 47d Bound, API pollt.
- **Push-Learned:** canonical-Push braucht EXPLIZITEN Key (`GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o IdentitiesOnly=yes"`) — kein ~/.ssh/config vorhanden, Default-Key lehnt ab.
- **Chronisch (prä-merge, offen):** kube-prometheus-stack Synced/FAILED (CRD-Annotation >256kB); residual OutOfSync gitea-config (Deployment/gitea-runner) + immich-config (SA/CM-Reste) = Alt-Backlog, keine Regression.
- **Finale Ordnung (nächste Schritte):** ① ArgoCD-Sources auf ssh://git@10.0.30.200:22 flippen (incl. Secret argocd-repo-credentials) ② CT108 final stoppen (explizite Freigabe Dominik) ③ CSI-Adoption ④ kpstack-CRD-Fix.
- Docs: `docs/solutions/workflows/2026-09-17-argocd-autosync-race-four-mine-types.md` + `docs/solutions/bug-fixes/2026-09-17-live-state-arbitration-crd-flavors-hotfix-mirroring.md` · Morgen-Doc (.202-Empfehlung) korrigiert auf .200.
## [2026-09-17] bug-fix | Ghost-Instance-Regression: CT108-Gitea als ArgoCD-Source + gitea-backup RCA-Quality
- gitea-backup-29826930 (03:30Z) failed: BackoffLimitExceeded, 3 Instant-Crashes in 73s. Zwei Auto-RCAs attribuierten auf 1P/ESO-Rate-Limit — STRUKTURELL widerlegt (crashing init-container gitea-files konsumiert keine Secrets; mounted Secrets intakt).
- Echter Fund: ArgoCD-Apps (root/proxy/paperless/schoenkitchen/gitea-config) zogen von http://10.0.30.105:3000 = CT108-Ghost (nach Dekommissionierung 24.07. wieder eingeschaltet, stale Mirror ohne Hardening-Commit 2014673) → "Synced" maskierte fehlende failedJobsHistoryLimit-Felder live.
- Sofortmassnahme: manueller Rerun gitea-backup-manual-161538 SUCCESS (201,7 MB, S3-Upload verifiziert), Failed-Job gelöscht, Alert clear.
- Offen (awaiting owner): ArgoCD-Sources auf ssh://git@10.0.30.202:22 flippen, Repo-Divergenz ahead37/behind63 + tote HTTPS-Auth forensisch, CT108 final stoppen, ESO-Nachtsättigung (00:00Z-Fenster, cf. PAT-003) analysieren.
- Doc: `docs/solutions/bug-fixes/2026-09-17-gitops-ghost-instance-regression-masked-hardening.md` · Wiki: systems/gitea (CT108-Status), concepts/gitops-workflow (Single-Remote-Regel)
- **Abend-Phase:** SSH-Deny-Rootcause = keine Keys/Tokens im K8s-Gitea-DB registriert (Opfer der 01.08.-Migration) → via 1P-Token (hermes-gitops) re-registriert: User-Key + ArgoCD-Deploy-Key (beide end-to-end verifiziert, push dry-run OK). Echter Branch-Split am 24.07. entdeckt: K8s-Gitea-main=29.07.-Stand (b9d7441, 70 Commits incl. mariadb:11.4-Fix für gitea-backup), CT108/local=38 Commits ab 04.09. Hardening TTL=86400 + Exit-42-Guard via ArgoCD gelanded (a0c9b6b). Heutiger DB-Dump validiert (116 Tables, kompletter Trailer). Nächste Schritte: Historien-Konvergenz → Source-Flip → CT108-Stop (Freigabe).
## [2026-08-30] retro | Compound Learning Retrospective (Last 30 Days)
- Reviewed sessions from Jul 31 – Aug 30, 2026
- **4 new solution docs** written by subagents:
- `bug-fixes/2026-08-05-ceph-squid-ec-pool-mark-complete-bug.md` — EC pool mark-complete fails in Squid
- `bug-fixes/2026-08-06-traefik-cross-namespace-routing-pitfall.md` — Two Traefik 404 incidents
- `architecture/2026-08-01-k8s-full-cluster-rebuild-procedure.md` — Full RKE2 rebuild sequence
- `architecture/2026-08-01-immich-data-loss-no-backup.md` — Ceph redundancy ≠ backup
- **2 new patterns** extracted:
- PAT-008: Ansible default_ipv6 fact missing on fresh VMs
- PAT-009: Stale NBD devices after RBD volume swap
- **4 Hindsight entries** indexed with solution summaries
- Key themes: K8s cluster disaster recovery, Ceph EC pool unrecoverability, Traefik routing complexity, backup gap identification
## [2026-08-30] feat | WikiSkill Patterns Directory + Skill-Impact Tracker
- Analysed arXiv:2608.27454 (WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution)
- **New `patterns/` directory** in LLM Wiki — structured failure-mode patterns inspired by WikiSkill's Wiki Layer
- Created 7 initial pattern pages from existing MEMORY.md entries + solution docs:
- PAT-001: Galera DDL TOI Deadlock
- PAT-002: Traefik reload unreliable
- PAT-003: 1Password account-level rate-limit
- PAT-004: VFIO GPU passthrough race condition
- PAT-005: Finanzblick sync WAF-blocked
- PAT-006: LinkedIn React nativeInputSetter
- PAT-007: Ceph EC pool + SSD wear-level
- **Skill-Impact Tracker** (`patterns/skill-impact.md`) — audit trail for skill modifications (accept/reject history)
- **Template** (`patterns/_template.md`) for future pattern creation
- **compound-learning skill patched** — added Phase 4.8 (Pattern Extraction) + Phase 4.9 (Skill-Impact Tracking)
- Updated index.md with Patterns section
- Hindsight: indexed with tags architecture, wikiskill, patterns, skill-evolution
## [2026-08-13] feat | Memory Architecture Enhancement (arxiv 2602.06052v4)
- Implemented 3 new automated memory capabilities from survey paper analysis:
- **Decay & Importance Scoring** (`hindsight_decay_scoring.py`): Monthly cron (1st 03:30). Score = log(1+access)/log(51) × 0.5^(age/90d). Archives score<0.15 with 0 accesses. First run: 200 evaluated, 50 archived.
- **User Drift Detection** (`user_drift_detection.py`): Weekly cron (Mon 04:00). Compares 14d vs 90d baseline for message length, frustration, corrections, topic shifts, style changes. First run: detected 3 drifts (41% longer msgs, new focus gitops, declining ai_ml).
- **Skill Health Check** (`skill_health_check.py`): Weekly cron (Mon 04:30). Scans 187 active SKILL.md files for stubs, broken refs, missing pitfalls, staleness, duplicates. First run: 70 healthy, 117 warnings, 0 critical.
- Cron jobs: 112c106c0954, 280458a2b035, 761b6694d99b (all no_agent, deliver=origin)
- Wiki updated: systems/hindsight.md (meta-memory automation table expanded)
- Hindsight: indexed with tags architecture, memory-system, cron, arxiv-2602.06052
## [2026-08-13] fix | Seafile Recovery + Paperless Upgrade + Authelia Ingress
- **Gitea SSH access**: No SSH key on Hermes VM was authorized for Gitea. HTTP port 3000 has no external IngressRoute. Generated dedicated ED25519 key (`id_ed25519_gitea-hermes-push`), stored in 1Password (ID: lqaebdtewj5xatvpzfrkag73v4), registered in Gitea as key ID 4 for user dominik. SSH via `10.0.30.202:22` (LoadBalancer) is the reliable push path.
- **Paperless v3 IngressRoute**: Host was `dokumente.familie-schoen.com` instead of `dokumente-neu.familie-schoen.com`. Two-track fix: kubectl patch (immediate) + Git commit `fa4184b` (permanent via ArgoCD self-heal). Backtick escaping in Traefik Host() match requires `--patch-file` not inline `--patch`.
- Wiki updated: systems/gitea.md (SSH push key section), reference/ssh-keys.md (new key entry)
- Solution docs: workflows/2026-07-26-gitea-ssh-access-for-hermes.md, bug-fixes/2026-07-26-paperless-ingressroute-hostname-fix.md
- Hindsight: both solutions indexed with tags
## [2026-07-25] fix | Loki 500 Error + CNPG Leader Election + Stale Pods Cleanup
- **Loki HTTP 500**: `replication_factor: 3` in hash ring with only 1 SingleBinary instance → "too many unhealthy instances in the ring". Chart v6.42.0 ignores `loki.common.replication_factor` — correct path is `loki.commonConfig.replication_factor`. Fix: commit `cb70d36`
- **Memcached caches disabled**: `chunksCache.enabled: false`, `resultsCache.enabled: false` (SingleBinary doesn't need them). Commit `f8852e8`
- **Fluent Bit**: cascading failure from Loki 500s — fixed automatically once Loki accepted pushes
- **CNPG 28+129 restarts**: Leader election lease renewal failed during API server latency spikes (Ceph recovery I/O). Default 15s/10s too short. Fix: `--leader-lease-duration=60 --leader-renew-deadline=40` via `additionalArgs`. Commit `6ed4a53`
- **17 stale node-debugger pods** deleted from default namespace
- **OSDs 0+2 destroyed+purged** (proxmox2, SSDs with 92% wear + slow ops). CRUSH host proxmox2 removed. 13 OSDs remaining on 8 hosts.
- Wiki updated: ceph-cluster.md, loki-fluentbit.md
## [2026-07-25] fix | Memory Sync Broken — HTTP→HTTPS + Ceph Duplicate
- Git push failed: remote URL used `http://` but Gitea redirects to `https://` — git doesn't follow auth redirects
- Token itself was valid (same as ArgoCD `argocd-repo-credentials`), just wrong protocol
- Fixed: `git remote set-url` to `https://`
- Eliminated duplicate: `systems/ceph.md` (82 lines, no frontmatter) merged into `systems/ceph-cluster.md` (canonical, referenced in index.md)
- Fixed sync script: removed `--allow-empty` flag, improved change detection
## [2026-07-24] fix | Velero CSI Volume Snapshots Three-Layer Fix
- Velero backups PartiallyFailed for 121 days — all PVCs skipped
- Fix 1: Created VolumeSnapshotClass `ceph-rbd-snapclass` (rbd.csi.ceph.com)
- Fix 2: Migrated ArgoCD repoURLs from dead Gitea (10.0.30.105) to new (ssh://git@10.0.30.202:22)
- Gitea SSH user is `git` not `gitea`; git.schoen.codes → Traefik (10.0.30.208), SSH on 10.0.30.202
- New SSH deploy key generated, added to Gitea repo
- Fix 3: `features: EnableCSI` must be under `configuration:` in Velero Helm values (not top-level)
- Must be string, not array — array form breaks Helm template
- Verified: test backup created VolumeSnapshot + VolumeSnapshotContent, uploaded to S3 ✅
- Solution doc: docs/solutions/bug-fixes/2026-07-24-velero-csi-snapshots-three-layer-fix.md
- Commits: 5ebfa30, 19f35bc, cd18c58, baf85f5, f652bfb
## [2026-07-24] fix | VFIO Module Loading Race Condition RCA + Fix
- RCA: GPU passthrough failed on ms-a2-1 due to missing modprobe config (NOT kernel version)
- Root cause: Missing `softdep amdgpu pre: vfio-pci` + incomplete DRM blacklist → race condition (302s vs 2.4s bind time)
- Fix applied to ms-a2-1: Added `blacklist drm`, `blacklist drm_kms_helper`, `softdep amdgpu pre: vfio-pci`, rebuilt initramfs
- Verification pending (reboot required, 4 VMs + OSD 13 on ms-a2-1)
- Solution doc: docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md
- Also documented: K8s persistent storage architecture (all PVCs on Ceph RBD, 3x replication)
- Solution doc: docs/solutions/architecture/2026-07-24-k8s-persistent-storage-ceph-rbd.md
## [2026-07-24] fix | worker-05 GPU Passthrough — Move to ms-a2-2
- Problem: worker-05 (VM 102) on ms-a2-1 had kernel BUG with 1002:13c0 GPU — /dev/dri/renderD128 missing
- ms-a2-1 and ms-a2-2 have identical hardware (AMD Ryzen 9 9955HX, GPU 1002:13c0)
- Solution: Moved VM 102 from ms-a2-1 to ms-a2-2 (offline migration, Ceph RBD shared storage)
- Result: renderD128 ✅ visible in guest, amdgpu driver loaded, all pods running
- IaC: main.tf cleaned up — single unified rke2_worker block, worker-05 node=ms-a2-2, worker-06 removed
- PCI mapping: amd-gpu now includes n5pro + ms-a2-1 + ms-a2-2
- Commit: 21bd335
- Also: ms-a2-2 upgraded PVE 9.1.1→9.2.5, kernel 7.0.14-6-pve, VFIO persistent after reboot, HA integrated
## [2026-07-24] init | ms-a2-2 Node Initialization
- New Proxmox node ms-a2-2 (10.0.20.93, nodeid 1) joined cluster
- Hardware: AMD Ryzen 9 9955HX (32 threads), 91GB RAM, 1.8TB NVMe
- GPU: AMD Radeon 1002:13c0 (identical to ms-a2-1) — VFIO passthrough configured
- PCI mapping: amd-gpu-ms-a2-2 created, added to generic amd-gpu mapping
- Ceph OSD 14: created on nvme0n1 (1.8TB SSD), class ssd, weight 1.82
- Fluent-bit: installed + configured (hostname adapted to ms-a2-2)
- APT sources: fixed from enterprise to no-subscription (ceph + pve)
- LLM Wiki: ip-map.md, ceph.md updated; AGENTS.md updated (9 nodes)
- Note: PVE 9.1.1 on ms-a2-2 (rest of cluster is 9.2.3) — upgrade pending
## [2026-07-24] cleanup | proxmox1 Permanent Removal + Ceph PG Fixes
- Removed proxmox1 from Ceph CRUSH (empty host bucket, weight 0)
- Also removed stale empty buckets: proxmox, px-tmp20
- Updated corosync.conf: removed proxmox1 node entry, config_version 14→15, expected_votes 9→8
- Removed stale /etc/pve/nodes/{proxmox1,proxmox,pve,px-tmp20}
- Updated IaC: proxmox_api_url 10.0.20.10→10.0.20.91, template_node proxmox1→n5pro, target_nodes list updated
- Updated AGENTS.md topology (9→8 nodes), LLM Wiki ip-map.md + ceph.md
- Commit: 469d29d
- Additional: Manual pg-upmap for stuck PGs 5.13→[1,6,7], 6.6c→[11,8,7] — all clean+remapped eliminated
## [2026-07-24] fix | Ceph Remapped PGs — Weight Imbalance + pg_num Mismatch
- RCA: 11 active+clean+remapped PGs caused by CRUSH placement failure
- Root cause 1: Pool 6 (hdd_disk) pg_num=120 ≠ pgp_num=112 (autoscaler mid-merge)
- Root cause 2: Extreme HDD host weight imbalance (n5pro=10TB vs proxmox6=0.3TB)
- Fix: Equalized pg_num→112, set nopgchange=true, reweighted osd.7 0.80→1.0
- Result: 9/11 PGs recovering (backfilling at 36MiB/s), 2 cosmetic clean+remapped remain
- Created systems/ceph.md with full OSD/pool/CRUSH documentation
## [2026-07-24] update | Gitea Actions K8s Runner Bug + DinD Pitfalls
- Documented Gitea 1.27.0 bug: actions_ready_job queue doesn't assign tasks to K8s-based runners
- Updated systems/gitea.md with known issue, DinD pitfalls, runner management via DB
- Solution doc: docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md
- IaC committed: runner-deployment.yaml + runner-config.yaml (DinD TCP sidecar pattern)
## [2026-04-28] init | Memory System Created
- Created memory directory structure at ~/.hermes/memory
- Installed qmd 2.1.0 (Query Markup Documents)
- Created initial index.md with entities, concepts, and sources
- Created Entity pages: Infrastructure, Email-System, Health-Fitness, Team-Structure, Memory-System
- Created Concept pages: Network-Architecture, Email-Organization, Monitoring-System, Proxmox-Cluster, qmd-Knowledge-Base
- Initialized git repo, pushed to origin/main
## [2026-04-29] fix | Memory Process Established
- Corrected stale memory-entry-001.md
- Established protocol: memory update + git sync on every session
## [2026-04-30] ingest | cloud.familie-schoen.com
- Full port scan, DNS, SSL, HTTP headers, API analysis
- Identified: Seafile 13.0.19 on nginx, Let's Encrypt SSL
## [2026-07-24] restructure | Full Wiki Restructuring
- Deleted 5 root-duplicate files (dominik-schoen, email-organization, team-structure, llm-wiki-pattern, embedding-model)
- Deleted obsolete Entities/Memory-System.md, Concepts/qmd-Knowledge-Base.md
- Deleted raw/articles/ and memory-entry-001/002.md (stale)
- Renamed Entities/ → entities/, Concepts/ → concepts/ (lowercase)
- Created new directories: systems/, reference/
- Moved Proxmox-Cluster, Monitoring-System, seafile to systems/
- Updated all existing pages with current data (April → July 2026):
- Infrastructure: 2 Nodes → 9 Nodes, added Ceph/RKE2/Galera/Loki
- Proxmox-Cluster: PVE 9.2.3, 9 Nodes, Fluent Bit details, PVE Tasks, Ceph Audit
- Network-Architecture: cleaned up, links to reference pages
- Monitoring: Prometheus/Grafana/Loki/HolmesGPT (was just "weekly network scans")
- Created 6 new system pages: ceph-cluster, rke2-kubernetes, galera-maxscale, loki-fluentbit, gitea, hindsight
- Created 3 reference pages: ip-map, ssh-keys, ports
- Created 2 concept pages: gitops-workflow, credential-policy
- Rewrote index.md with new structure + Memory Layer Architecture table
- Total: 18 pages (was 21 with dupes, now 18 clean unique pages)
## [2026-09-29] update | VM302 Zombie-Recovery nach Migration
- VM302 (Galera db3) reagierte nach Migration auf ms-a2-2 nicht: QEMU "running", aber SSH/MariaDB/QGA tot
- Root Cause: Post-Migration-Zombie; -incoming/-S in QEMU-Cmdline ist Artefakt, kein Beweis für Pause
- Fix: qm stop/start trotz HA-Guard, SST-Rejoin ~2-3min
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
## 2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
## 2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
- Cutover 09.10.: v2 prodiziert solo (Cron a32005d62226, --publish --allow-grid-charge), v1+Shadow pausiert als Rollback; Publish-Kette bewiesen (Stamp+Inhaltsmatch+Kaskaden-Konsum); Guard 95/75->30/20 s
- 09.10.: Deutsche Plan-Visualisierung: Section 'Solar-Plan (EMHASS)' auf dashboard-akkus (ApexCharts Ladeplan+SoC) via WS lovelace/config/save; Getter heisst 'lovelace/config'
## 2026-10-09 — Immich: K8s-Upgrade v3.3.1 + Legacy-Stilllegung nach Reconciliation
- K8s-Immich v3.2.2→v3.3.1 via GitOps (Commits 3ff08c4, canonical): values.yaml+rendered Tags, ArgoCD selfHeal; Public-API beweist 3.3.1; Restic-Backup 04:09 als Netz
- Reconciliation formal: Legacy 53.613 Assets/53.257 uniq CKSUMs ⊆ K8s 56.887/56.531 — Multiplicity-Match 53257/53257, 0 fehlend; 356 Leg-Dubletten alle doppelt vorhanden; K8s-Extra 3.274 = Nachwuchs
- Methode: Counter-Multiplicities statt Set-Diff; PITFALL: psql-Fehlerzeilen in SSH-Pipelines simulierten Datensätze ("4 Null-CKSUMs"), Schema-Spalten v2.6.3=asset_exif.fileSizeInByte vs v3=exif.fileSizeByte
- Legacy-Stilllegung CT111 (GO "1 kann starten"): Pre-Flight 0 Conns auf :2283, graceful Stops server→ML→redis→postgres, restart=no, Seafile-Stack unberührt; ~625MB RAM frei; compose-file bewusst nicht angefasst (rollback = docker start + restart=always)
- CT111-Cleanup-Subagent: Root 99%(768MB)→83%(8GB frei): journal vacuum 3,9G + apt 320M + dangling imgs 2,83G; ROOT CAUSE fluent-bit→Loki 10.0.30.207:3100 'No route to host' flutet Journal (77%) — FIX OFFEN
- Wiki systems/immich.md NEU + index.md ergänzt; Solution-Doc 2026-10-09-immich-legacy-decommission-prep.md
## 2026-10-09 — ArgoCD-Ownership-Krieg Immich beendet (Nachtrag zur Legacy-Stilllegung)
- Symptom: App immich permanent OutOfSync/Healthy, autoHealAttemptsCount 13.353+ wachsend — Root Cause NICHT das Upgrade
- Zwei Apps verwalteten dieselben Workloads: immich (path .../rendered, wave3) vs immich-config (path clusters/main/immich, recurse:true, wave2) → Tracking-Label-Ping-Pong (instance: immich vs immich-config)
- Diagnose: argocd app diff im Pod (--plaintext) = Fingerabdruck; erster Fix-Versuch exclude: rendered wirkungslos (matcht keine Verzeichnisinhalte)
- Wirksam: recurse streichen + exclude 'rendered/**' + Übergangs-Freeze prune:false/selfHeal:false (Löschschutz); Ownership-Labels wanderten nach Freeze automatisch zu immich
- Endzustand: beide Apps Synced/Healthy, Heals eingefroren 13.357, Prod v3.3.1 unbeeindruckt; Commits 57cfa65+497aa34
- OFFEN: immich-config-Freeze nach 24 h reaktivieren (prune+selfHeal true)
## 2026-10-09 — Loki-VIP-Restaurierung: Fleet-weites Journal-Flut behoben
- Symptom: fluent-bit Fleet (9 Hosts + LXCs) fluutete Journals seit ~7.10. mit "No route to host 10.0.30.207:3100"; CT111-Journal 4,1 GB, Disk 99 %
- Root Cause: manueller SVC loki-external (LB .207) nie in Git, verschwand bei Helm-Iterations-Recreates unbemerkt
- Fix: clusters/main/logging/loki-lb.yaml (LB 10.0.30.207:3100, Selector single-binary) via App logging-config; Commit fb4d8b9; + journald-Cap 200M auf CT111 (airbag)
- Verifiziert: /ready=200, flushes succeeded, Loki empfängt live Streams, Errors 726/10min → 0/60s (CT111 + ms-a2-1)
- Lesson: manuelle kubectl-Ressourcen = Zombie-Quelle Nr.1; eine tote VIP spammed 30+ Maschinen synchron
## [2026-10-11] emhass-publish-path-fix | EMHASS-Publish-Deadlock nach HA-Restart behoben (User-GO)
- Symptom: Seit HA-Core-Restart 17:45 UTC (Recorder-Incident) crashte jeder v2-Optimizer-Tick FATAL (p_batt_forecast rc=22); „Trigger EMHASS"-Automation client_error; smart_battery_target=0 → Nachtladung gefährdet
- Root Causes (2 kombiniert): (1) p_/plan_-Sensoren = set_state-Entities, überleben Restart nicht; v2 liest hart → Deadlock. (2) rest_command localhost:5000 — HA im Host-Netz vs. Addon in HassIO-Bridge → connection-reset nach Restart (10.0.30.10:5000 parallel OK)
- Fix: configuration.yaml beide rest_command-URLs → http://10.0.30.10:5000 (Backup .bak-20261011-restcmd) + rest_command/reload; Immediate-Heal via direktes POST /action/publish-data ans Addon
- Verifiziert: manueller Publish 200, p_batt_forecast/soc_batt_forecast auferstanden, v2-Tick 20:32 UTC komplett durchlaufend („OK: v2 cycle complete"), plan_* 48 Slots live, Kaskade folgt (smart_battery_target 876→874 W)
- Nebenfund (Rename-Trap): Trockner-Powercalc zeigt auf tote switch.trockner_2 (Plug heute waschmaschine_2) → Trockner seit ~03.10. ungezählt; Wrapper maskiert 0 W
- Offen: Legacy-„Trigger EMHASS"-dayahead-Call 400 (Payload ohne pv/load-Arrays) — vom v2-Cron abgedeckt; disable vs. Fix ausständig
- Lesson: „Automation last_triggered aktuell" ≠ erfolgreich — Transportfehler nur via HA-Log+Addon-Log korrelierbar. Solution Doc: integrations/2026-10-11-emhass-publish-path-break-after-restart.md