677 lines
93 KiB
Markdown
677 lines
93 KiB
Markdown
# Memory Log
|
||
|
||
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
|
||
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
|
||
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
|
||
glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch
|
||
Bifrost, 159–268 ms, VK-Policy erlaubt alle).
|
||
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash ·
|
||
COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206),
|
||
Config-Backups je CT.
|
||
- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab
|
||
(HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle
|
||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in
|
||
/root/.hermes/config.yaml (CT 202/206). Flash unempfindlich.
|
||
- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey.
|
||
- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung
|
||
(tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h:
|
||
1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
|
||
|
||
## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
|
||
- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK)
|
||
— jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h
|
||
hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem
|
||
(315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
|
||
- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen
|
||
7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde).
|
||
Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
|
||
- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei-
|
||
namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call.
|
||
Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär.
|
||
Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär.
|
||
- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26,
|
||
CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
|
||
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
|
||
nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver-
|
||
arbeitung von already-processed) — kosmetisch, beobachten.
|
||
- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION-
|
||
STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
|
||
|
||
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
|
||
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
|
||
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
|
||
Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout.
|
||
Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB).
|
||
- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage
|
||
à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten
|
||
(Output-15×-Reduktion, lokales Mapping) → **v3.6.2 (TTIMEOUT 900 s +
|
||
TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren)**.
|
||
- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2
|
||
(p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed;
|
||
Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert.
|
||
- Wiki `systems/agent-fleet.md` Poller-Abschnitt → v3.6.2; Solution-Doc
|
||
Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt.
|
||
|
||
## [2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout
|
||
- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf
|
||
CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7
|
||
fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe
|
||
`ceo` statt `ceo-v2` (real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung,
|
||
Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3
|
||
(head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen).
|
||
- Journal-Diagnose: `journalctl -t fleet-mail` (TAG), `-u` verschluckt
|
||
Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert.
|
||
|
||
## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
|
||
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true,
|
||
401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A,
|
||
JSONB lit(), import secrets, LXC/QEMU-ID-Raum).
|
||
- Clone aus CT 161 blockiert (Bind-Mounts: Snapshot UND Full-Clone API 500);
|
||
W1-Klone liefen vor Mount-Anhängen — Annahme korrigiert. Workaround-Beauftragung:
|
||
Seed-CT 199 via vzdump/restore (Owner-GO), CISO-Seed-Review vor First-Sandbox-Go.
|
||
- Aufträge in inbox-ceo/new: 1792782897 (GitOps-Hiring-Pipeline via OpenTofu),
|
||
1792784178 (Seed 199 → COO/CMO-Sandboxes + W3-Teamaufbau-Plan bis 26.10.).
|
||
CISO quittierte 21:33 Lane + Threat-Modell-Ansatz.
|
||
- Solution-Doc: bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md
|
||
(erste Version tlw. entstellt, komplett neu geschrieben); Hindsight retained. Wiki agent-fleet.md erweitert.
|
||
|
||
## [2026-10-23] agent-fleet-b-inputs — PB1–PB7 geliefert (Owner-Proxy, AL3)
|
||
- Lieferte PB1–PB7 (B-Inputs) als Owner-Proxy: PB1 Fleet-DB (`fleet_rw`),
|
||
PB2 openshell_controller-Vertrag v0, PB3 cto-deployer-RBAC, PB4 Bifrost-Admin
|
||
+ Monitoring, PB5 Test-NS agent-fleet-test, PB7 Capacity (Zaun 12 bestätigt).
|
||
- Debug-Story: CNPG-PW-Rotation per Unix-Socket-`ALTER ROLE` (Owner-Reconcile
|
||
erkennt Secret-Änderung nicht), ArgoCD-Retry-Loop bei unbekanntem CRD.
|
||
- Solution Docs: cnpg-managed-role-password-rotation.md,
|
||
argocd-unknown-crd-blocks-autosync.md; Hindsight retained.
|
||
- PB1: CNPG-Managed-Role `fleet_rw` (managed.roles, ExternalSecret→1P), rw-LB **VIP 10.0.30.214:5432**, psql+pgpass in CT 163, Schema-Dump am Board. Sofort-PW-Rotation nur via `psql -U postgres` über Socket (Owner `fleet` darf kein ALTER ROLE; CNPG-Reconcile zu langsam) → Solutions-Doc `integrations/2026-10-23-cnpg-managed-role-password-rotation.md`, Hindsight retained.
|
||
- PB2: openshell_controller-Vertrag v0 (API-Doku + Blueprint `hermes-sandbox` v1 hash-gepinnt sha256 a5611966…b3f1 + Machine-Token in 1P `openshell_controller Machine-Token` + CT163 /root/.secrets/).
|
||
- PB3: SA `cto-deployer` NS-scoped RBAC + kubeconfig/kubectl in CT 163, Negativ-Tests live (kein ClusterScope/secrets-read). M5 (Web-UI-Deploy) entblockt.
|
||
- Wiki `systems/agent-fleet.md` um B-Inputs-Sektion erweitert.
|
||
|
||
## [2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas
|
||
- B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target `beacon` UP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest.
|
||
- SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats).
|
||
- ARGOCD-GOTCHA: Sync-Operation wartet bei sync-wave-Health-Gating ENDLOS auf ein mid-sync gelöschtes Objekt; /operation-Removal per JSON-Patch wird abgelehnt (invalid), Retry weckt die alte Operation. Zuverlässiger Unlock = Supersede via neue Revision (kosmetischer Annotation-Bump + Push, hier Commit ecbef3c). Regel: Wave-Objekte nie löschen, solange eine Operation wartet.
|
||
- ESO-GOTCHA: Brandneues ExternalSecret wurde vom 18d alten Controller ignoriert (0 Reconciles, keine Conditions); nach `rollout restart deployment/external-secrets` + Re-Apply instant sync <10s. Probe-ES in 2 Namespaces bewies Controller/Store intakt. Causality nicht sauber isoliert (ArgoCD-Wedge überlagerte) — Verdacht stale Watches.
|
||
- REGISTRY-FLAKE-RCA: CI-Run 94 starb am größten Blob (Gitea PutBlobsUpload 500 unexpected EOF), manuelles docker push DESSELBEN Images aus DEMSELBEN dind-Daemon ging sofort durch → transienter Hairpin-Flaker, Workflow (klassisches build+push, GW aus /proc/net/route) unverändert korrekt.
|
||
- iac-homelab: beacon.yaml + beacon-registry-pull.yaml (ESO←1P `SchoenKitchen Registry Pull`, dockerconfigjson) + ecbef3c via canonical; ArgoCD-App Synced/Healthy.
|
||
- Solution Doc: bug-fixes/2026-10-22-argocd-stuck-sync-wave-health-gate.md; Wiki systems/agent-fleet.md (Beacon produktiv, Offene Punkte aktualisiert).
|
||
|
||
## [2026-10-22] agent-fleet-phase0 | Bifrost-LLM-Ingress live (LiteLLM-Pivot) + Beacon v0 approved
|
||
- PIVOT: Nutzer-Entscheidung „Bifrost statt LiteLLM" — ai.noris.de ist selbst Bifrost-Gateway (gleicher Upstream-Dialekt). Plan-Doc im agent-fleet-Repo mit Pivot-Vermerk gepatcht (LiteLLM-Abschnitte A3/A4 superseded), Commit 2663870.
|
||
- A3' FERTIG: maximhq/bifrost (Chart 2.1.45, app v2.3.1) als StatefulSet bifrost-0 im NS agent-fleet, VIP 10.0.30.210:8080 (cilium lb-ipam), SQLite auf ceph-flash PVC 5Gi. Provider noris (openai-Dialekt → ai.noris.de), Key via ESO aus bestehendem 1P noris-api-key (kein Dupe). E2E-Inference verifiziert.
|
||
- MODELL-POLICY (Nutzer-Regeln 22.10.): VK vk-fleet erlaubt NUR vllm/release/* (regex ^(noris/)?vllm/release/.*), deny-by-default, kein qsu, keine Anthropic-Modelle, kein Budget-Cap (A10). Live getestet: qsu→403, anthropic→403, release→200 (glm-5-3 + flash). VK-Wert in 1P 'Agent-Fleet Fleet-vkey' (Feld credential); Bifrost regeneriert VK-Secret bei Config-Changes NICHT.
|
||
- METRICS-FALLE: /metrics liegt HINTER der Auth-Middleware (Pivot-Annahme widerlegt) → ServiceMonitor im NS agent-fleet mit basicAuth gegen bifrost-admin; Prometheus-Target UP. Weitere Fallen: SPA-Fallback fälscht HTTP 200 (nur application/json = echte Route), Modellnamen brauchen noris/-Präfix, ArgoCD-CLI vom Host tot (ClusterIP) → Refresh via kubectl annotate.
|
||
- B1 FERTIG: Beacon-Scaffold (Heartbeat-API, /metrics, 10 Tests) — Review APPROVED, beide Important-Funde gefixt (Int-Coercion 400 statt 500, Prom-Label-Escaping), Commits 5660738+b3b4b9f im agent-fleet-Repo (lokal).
|
||
- iac-homelab: Commits 24da51d→c761e8a→ad04ff5→fcb5a05 via Remote canonical (SSH); alle ArgoCD-Apps Synced/Healthy.
|
||
- Solution Doc: integration/2026-10-22-bifrost-helm-deployment-gotchas.md; Wiki NEU: systems/agent-fleet.md.
|
||
- OFFEN: B2 (Beacon-Deploy: Image-Build, Manifeste, schema.sql→CNPG), D1 (CT fleet-control), Governor-Skeleton, Tier-Aliase heavy/default/light.
|
||
|
||
## [2026-10-21] evcc-alwayscharge | Nächtliches Netzladen der SMA-Wallbox: stiller UI-Override als Root Cause
|
||
- SYMPTOM: Kona lud über Nacht dauerhaft ~3,5 kW Netzstrom (2 Nächte, 74 kWh, ~24 €). evcc-Log zeigte 0 W — weil das vorgelegte Log erst NACH einem evcc-Restart begann (Sessions enden/starten bei Restarts!). Beweis führte erst `/api/sessions`: Zähler 4041,459→4084,424 kWh exakt über das Nachtfenster.
|
||
- ROOT CAUSE: `alwaysCharge=on` (evcc-UI „Mit min. laden ∞"), versehentlich 14.10. 19:53 gesetzt — übersteuert smart/PV-Modus still; das Log begründet NIE, warum geladen wird. Technische Ansteuerung (HA-Template-Charger) war korrekt. Fix: `select.evcc_wallbox_always_charge`→off, doppelt verifiziert (HA-State + evcc-API).
|
||
- CLEANUP: Deprecated `minCurrent`/`maxCurrent` aus evcc.yaml entfernt (Backup `evcc.yaml.bak.20261021_depkeys`), Addon-Restart via Guest-Agent `ha addons restart 49686a9f_evcc` — Startup clean, effektive Limits 6/16 A weiterhin aus UI-DB. Verdachtsdiagnose „Recorder-Lücke" widerlegt (History-API-Row-Caps als Phantom-Lücken; ~700 Samples/h persistiert, 0 Galera-Fehler).
|
||
- ZUGANGSPFAD ETABLIERT: HAOS-VM106 ohne SSH via PVE QEMU-Guest-Agent-Exec (root, incl. `ha`-CLI). Gotcha: `out-data` mal Base64, mal Plaintext — Try-b64-then-plaintext. Host-Pfad `/mnt/data/supervisor/homeassistant/` = Container `/homeassistant/`.
|
||
- OFFEN: Dual-Master SHM 2.0 (10.0.50.204) aktiv neben evcc — native EEBus-Migration später; Option 4 (Netzladen-Alarm-Automation) angeboten, nicht genehmigt.
|
||
- Solution Docs: bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md + workflows/2026-10-21-haos-qemu-guest-agent-file-access.md; Wiki NEU: systems/evcc-wallbox.md.
|
||
|
||
## [2026-10-19] jellyfin-bootstrap | Jellyfin 12.2 per API bootstrapped — 4 Breaking Changes entschärft
|
||
- LOCKOUT AUFGELÖST: Nach Wizard-Complete-ohne-User funktionierte das programmatische Setup endlich; Kernfund: 12.2 parst Auth NUR via `Authorization: MediaBrowser ...` — der alte `X-Emby-Authorization`-Header wirft ArgumentNullException (HTTP 400, leerer Body), was wochenweise wie „falsches Passwort" wirkte. Zweite Falle: `/Startup/User` will Feld `Name` (nicht `Username`) — falscher Feldname antwortet 404 wie ein fehlender Endpoint. Drittes: Empty-DB-Boots seeden automatisch User `root` (Login trotzdem 401, irrelevant). Reihenfolge: Configuration → Startup/User → Complete; Recovery bei frühem Complete: system.xml `IsStartupWizardCompleted=false` + Pod-Restart.
|
||
- ScheduledTasks-Routen geändert: Trigger-Update = `POST /ScheduledTasks/{id}/Triggers` (PUT→405), Run = `POST /ScheduledTasks/Running/{id}`. Swagger disabled, aber `OPTIONS` zeigt Allow-Header — beste Sonde. Chapter-Images- + Trickplay-Tasks entschärft (leere Trigger) wg. RO-Media-Mount.
|
||
- LIVE: Admin `dominik` (1P „Jellyfin Login dominik", Vault Kubernetes ESO), Library „Medien" (movies, /media), 115 Szenen indiziert, NFO-Metadaten verifiziert (Studio/Genre/Plot/Actors). Movies-Kollaps-Falle erkannt: Movies-Library zeigt 1 Film pro Ordner + Rest als unsichtbare Extras — für Szenen-Bibliotheken `homevideos`/untypisiert empfehlen (NFO-Parsing identisch).
|
||
- DATA-HYGIENE-FUND: DeviceBondage enthält 8 Szene-Paare (Alt-Salvage-MKV 720p ~600 MB + frische 1080p/4K-MP4 3.5–7 GB, darunter 4K/Iris Leon) + Melissa Stratton dreifach (2 Releases identische Dauer) — Entsorgungspaket ~5 GB wartet auf GO. Queue läuft weiter (Deeper 193 GB, nzbindex-5 98 GB, Devicebondage 22 GB left); Sorter arbeitet live korrekt (87 neue Files heute, Namenskollisionen als „(2)" aufgegangen).
|
||
- Solution Doc: `integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`; Wiki NEU: `systems/jellyfin.md`; ip-map +.206/.207/.209 vervollständigt.
|
||
|
||
## [2026-10-19] sabnzbd-vaapi-converter | AppleTV-Pipeline v6: 3 Guard-Bugs in einem Tag gefixt
|
||
- TASK: „Konvertiere alle MKVs zu AppleTV-MP4" → VAAPI-GPU-Pipeline als Converter-Sidecar im SABnzbd-Pod (worker-05 einziger iGPU-Node, renderD128 GID 991, privileged nötig wg. Devices-Cgroup; 5,7× schneller als libx264, Benchmark 4,3 s vs. 24,7 s).
|
||
- BUG 1 (v5, kritisch): ffprobe `-of csv=p=0` QUOTET Komma-Werte → `format_name` = `"mov,mp4,..."` mit Quotes → Skip-Guard matchte NIE, v4 re-encodede vorhandene gute MP4s. v2 hatte zwischendurch Lenas Morgen-Remux überschrieben (304→261 MB) — bit-exakt aus unangetasteter MKV restauriert (304.544.460 B). Fix: `${fmt//\"/}` vor Vergleich.
|
||
- BUG 2 (v4): Partials-Discard-Case stand NACH dem generischen `*/incomplete/*`-Park-Case → unerreichbarer Code, `.converting.mkv`-Rest wurde nie verworfen. Fix: case-Order spezifisch→generell.
|
||
- BUG 3 (v6): Park-Case matchte nur Pfad-Präfix OHNE Existenz-Check → 33 Jobs parkten auf Phantom-Pfaden weiter, obwohl SAB die Quellen längst nach complete/ verschoben hatte. Fix: `[ -f "$src" ]` als Frische-Beweis, sonst fällt Job zum Resolver durch.
|
||
- META: Alle 3 Bugs saßen in GUARDS (Skip/Discard/Park), nicht in Encode-Logik — Guard-Fehler = Datenqualitäts-Incidente. Temp-File-Disziplin (`.converting.mp4` + Rename-on-success) rettete Daten beim v4-Kill. Rollout-Rezept: CM-Skripte in configmap.yaml, Annotation-Bump `converter-script-version` (bash liest nur beim Start) + CM-Delete + ArgoCD-Refresh.
|
||
- CNP-ARC (gleiche Saga, Commits 6b02f9e/fac9524/ab95f45): 4 stumme Cilium-NP-Fallen — Selektion⇒Default-Deny, `egress: [{}]`=Null-Allow (kein Wildcard!), `io.kubernetes.service.name`=kein Identity-Label (→`k8s-app`+kube-system-NS), VIP-Ingress SNAT't als world (→fromEntities). Eigene Doc: `bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`.
|
||
- STATE: v6 deployed, Pod 3/3, alle 6 ErikaLust-MP4s verifiziert intakt (Skip-Guard greift), 33 Jobs parken legitim (Multi-Release-NZB, Move erst wenn ALLE Sets fertig, 12-h-Cap by design). Originale unberührt bis Lösch-GO. Solution Doc: `bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md`; Wiki neu: `systems/sabnzbd.md`.
|
||
|
||
## [2026-10-12] ha-repairs-cleanup | Stale-Ghost-Errors identifiziert, fehlgeleiteter Rename revertiert
|
||
- ANLASS: Repairs-Seite zeigte 34 aktive Issues (5 Errors). Deep-Dive: 4 der 5 Errors waren Stale-Ghosts (Automation längst gelöscht, Services wieder da) — HA Issue-Registry räumt nicht selbst ab.
|
||
- FEHLGELEITETER FIX + REVERT: These war, `notify.mobile_app_iphone_dominik` sei tot (14× in automations.yaml). FALSCH — Verwechslung von Entity (`notify.iphone_dominik`, nur in get_states) und Service (`notify.mobile_app_iphone_dominik`, in get_services). Der 14-fache Rename brach die Pushes, ein neuer Frigate-Error erschien sofort. Sofort-Revert aus `.hermesbak-20261012` (MD5-identisch), `automation.reload`, verifiziert: 14 echte Refs zurück, 0 Phantom-Refs.
|
||
- BOOT-RACE-ERKENNTNIS: HA validiert Automations VOR Registrierung spät ladender Integrations-Services (Tibber, OpenEPaper, mobile_app) → die 4 Error-Repairs entstehen bei JEDEM Start neu und sind nicht durch Config-Fixes wegzubekommen. Persistieren tun sie trotzdem (Registry räumt nicht ab).
|
||
- DIMMER: Alt-Automation `1697532906675` (toter Trigger `ba828033…`) via entity_registry `disabled_by:user` deaktiviert (nicht gelöscht) — dieser Fix bleibt bestehen und ist korrekt.
|
||
- RESTART 12.10.: Clean in ~2 min (NOT_RUNNING→RUNNING). Repairs-Diff: 35→20 Issues (16× HACS weg, Dimmer-Error weg, Xenia-Units-Warnung weg). Residual: 5 Errors (4 Boot-Race + 1 Sticky aus dem revertierten Rename) + 15 Warnings (InfluxDB-YAML, HTTP-YAML, Solcast, Cupra, Battery-Notes, Templates).
|
||
- LEARNING: (a) Service-Targets IMMER via `get_services` verifizieren, nie via `get_states` — mobile_app registriert gleichnamige Entities als Köder; (b) Repairs-Error = Hypothese; (c) Backup-first erlaubte Zero-Damage-Revert in <2 min. Solution Doc: `bug-fixes/2026-10-12-ha-repairs-stale-ghost-issues.md` (mit Korrektur-Sektion).
|
||
|
||
## [2026-10-12] recipe-pipeline-repair | Post-Scrape-Pipeline war seit 26.08. komplett tot
|
||
- Der erste v8.1-Produktionslauf (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen; Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief NIE seit Deployment).
|
||
- ROOT CAUSES: (1) Classifier+Normalizer: DB_CONFIG bekam am 26.08. Timeouts hinzu, Calls übergaben sie zugleich explizit → deterministischer TypeError (got multiple values for kwarg connect_timeout) bei jedem Lauf; (2) Embeddings: read_timeout=60 < 67,6 s für die Count-Query (Full-Scan) → Lost connection bei Query Nr. 1; (3) Verschüttet dahinter: harrier-Embedding-Modell-ID `vllm/harrier-oss-v1-0.6b` → 403 model_blocked (noris-Realm-Migration) — dieselbe Namespace-Falle wie beim Flash-Pinning 11.10.
|
||
- FIXES: Kwargs-Duplizität entfernt (3 Stellen), read_timeout 60→300 in allen Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits), Pipeline-Gate in v8.1: läuft jetzt IMMER (inkrementell, chipt am Backlog auch bei 0 Neuscrapes). Realm-Opfer mitgefixt: semantic_search.py + recipe_mcp_server.py (tote harrier-ID).
|
||
- VERIFIKATION: Drain live — Classifier ~230/s (0 Errors), Embeddings nach Realm-Fix ~58/s (0 Errors, ETA ~40 Min für 138k). Dimensionen kompatibel (1024).
|
||
- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet).
|
||
- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix `[1-9]\d*` im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-Pagination `NOT IN + ORDER BY id LIMIT 500` — permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursor `id > last_seen`; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor.
|
||
- ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft).
|
||
- NACHTAG 13.10. (Bug #7 + Galera): (f) VIERTES Familien-Mitglied: `embedding` LONGTEXT inline im Clustered Index (~5 GB) — JEDE `WHERE embedding IS NULL`-Query ist Blob-Scan, degenerierte 91/s→2/s über 11 h bis read-timeout-Tod bei 89.216; Redo-Sweep danach mit Keyset-Watermark (`embedding_watermark`-Tabelle, Zwei-Pass) fertig: 49.315 in 3.029 s, 0 Errors → **198.133/198.133 = 100 % embedded** (arithmetisch + `emb_pending=1`=0 auf allen Nodes bewiesen). (g) Wurzel-Kur: Generated Column `emb_pending` + Composite-Index → NULL-Seeking = Index-Seek; Batch-Query umgestellt; Fingerprint-Shortcut 2,2 s Exit 0. (h) GALERA-EPISODE: DDL-ToI-Build auf kaltem mariadb-03 (.73, 4-GB-Pool) dauerte ~35 Min → Applier-Queue 29 → Certification-Stalls clusterweit; self-healed (Queue 0, Index auf allen Nodes), KEIN Restart nötig. Lessons: Galera-KILL ist NODE-LOKAL (VIP-KILL traf falschen Node, Zombie überlebte 485 s — erst `@@hostname`, dann killen); Terminal-Timeouts töten Shells nicht Python-Kinder (Waisen-Queries mahlen weiter); DDL auf großem Table = Bufferpool-abhängige Bremsklotz-Kette. E2E-Steady-State-Test bestanden (Fake-Insert → instant Detect → Embed → Cleanup).
|
||
|
||
## [2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben
|
||
- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft".
|
||
- ROOT CAUSE (drei ineinandergreifende Bugs): (1) `state["tried"]` wurde jeden Lauf geleert → 403-Gescheiterte täglich neu gehämmert; (2) `todo[:max_new]` schnitt immer die ERSTEN N URLs ab → Frontier eingefroren (allrecipes: 48.626 entdeckt, ~42k nie berührt; remaining=2000 drosselte zusätzlich); (3) Budget zählte Loop-Iterationen statt Fetches → Gratis-Dedup-Skips verbrannten das Budget.
|
||
- FIX (Skript `recipe_scraper_v8_intl.py`, Backup `.bak-20261012-frontierfix`): Persistente Failure-Memory in neuer DB-Tabelle `scraper_fetch_log` (PK=url_sha1 statt VARCHAR-PK — InnoDB 3072-Byte-Key-Limit!, Quarantäne-Eskalation 1/3/7/14/30 Tage, dead nach 8 Fails oder 404/410, Forgiveness bei Erfolg); rotierender Frontier-Cursor `frontier_pos`; Budget=zählt echte Fetches; Soft-Deadline 6 Min/Quelle; Sitemap-Refresh 7 Tage (Timestamp nur bei Erfolg); 403/429-Fingerprint-Second-Opinion (1 Retry, rotierend chrome136/firefox135/safari184 — Probe zeigte ratelimit-artige, nicht fingerprint-harte Blocks).
|
||
- VERIFIKATION: Smoke-Test allrecipes Budget 15 → **+15 Rezepte in 104 s**, Cursor 0→5015 (5000 Gratis-Skips + 15 echte Fetches), fetch_log-Tabelle angelegt, 0 Errors. Danach Produktionslauf des Cron-Jobs gefeuert (Ergebnis folgt asynchron).
|
||
- LEARNING: Cron-Reports sind Sekundärquellen — die tried_counts im State (vielfach exakt 2000 = Cap-Höhe) widersprachen der „ausgeschöpft"-Behauptung sofort. Immer State/DB gegen Behauptungen prüfen.
|
||
|
||
## [2026-10-12] monero-recovery-complete | 44EYUD-Wallet vollständig recovered
|
||
- Passwort geknackt (2021er Keys aus Seafile _Recovery), Adress-Verifikation exakt 44EYUD…, finaler Vollsync: **0.446785648368 XMR**, keine Bewegung seit 06/2021.
|
||
- Root Cause Seed-Mismatch: Wallet nutzt **deutsches Mnemonic**; der dokumentierte Seed in Monero_Recover.txt war eine englische Transkription → leitet leere Zweit-Wallet (49PKAh, 0 XMR) ab. Goldstandard-Check bestanden (Offline-Restore aus DE-Seed → 44EYUD).
|
||
- Passwort + DE-Seed + Adresse → 1P Vault „Hermes" Item „Monero Wallet 44EYUD (Haupt-Wallet)". Alter EN-Seed als verworfenes Artefakt markiert.
|
||
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md (Auflösungs-Sektion ergänzt: Harness-Kalibrierung, Salt-Fehlschluss, 1P-Notes-Falle).
|
||
|
||
## [2026-10-11] xenia-power-sensor-fix | Xenia _2-Sensor: Rename-Ketten-Tod seit Aug behoben
|
||
- Diagnose: `sensor.xenia_current_power_2` (GUI-Template) seit ~Aug `unavailable` — NICHT WiFi/offline. Template referenzierte `sensor.xenia_current_power`, der per Entity-Registry-Rename inzwischen `sensor.current_power_consumption` heißt → String-Referenz tot → float(None)-Render-Fehler. Maschine war die ganze Zeit online (REST 12–50 ms, 5 parallele Requests 200).
|
||
- Fix: Options-Flow auf `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × sn_3007105790_metering_voltage_l1|float(0)` (attr-basiert = rename-immun). Pitfall: Teil-Submission wischt Metadaten — ALLE Felder (state/unit/device_class/state_class) gemeinsam; `name` nie im Options-Flow mitschicken. Live: 0.0 W ✓, Metadaten W/power/measurement ✓.
|
||
- `xenia_total_energy_2` bleibt vorerst `unknown` (Integration-Helper braucht state-change-trigger; idle 0 W triggert nicht) — selbstheilend beim nächsten Kaffee. Wrapper `xenia_active_power` + „bekannte Geräte" profitieren ab sofort.
|
||
- Lessons: (1) GUI-Template-Strings überleben Entity-Renames nicht — beim Rename grep über core.config_entries+configuration.yaml. (2) REST-Sensoren feuern nur bei Wertänderung: 2 Recorder-Punkte/3 Tage ≠ offline-Wochenende. (3) ESP32-Ping-Jitter (avg 173/max 550 ms) = WiFi-Power-Save, HTTP-Latenz ist das Wahrheitskriterium. (4) MA_CUR_PWR ist Ampere → ×L1-Spannung.
|
||
- Offen (manuell, Setter defekt): Xenia-Web-UI MA_MAX_AMPERE 0→10, MA_SET_TIMER_ECO_MA 0→5 (Fehlschrieb 05.10.). Solution Doc: integrations/2026-10-11-xenia-current-power-rename-chain.md; Wiki homeassistant.md (Xenia-Abschnitt neu).
|
||
|
||
## [2026-10-11] l0-purpose-fit-audit | Wave 2: Zweck-Fit aller L0/SOUL-Dateien (aller Profile) hergestellt
|
||
- **Auftrag:** „USER.md franst aus — prüfe alle Dateien auf ihren eigentlichen Zweck", später verschärft: gleicher Maßstab überall (auch für default).
|
||
- **Mechanik-Befund (Source-verifiziert):** Profil-Sessions sehen die default-L0 **NICHT** (`get_hermes_home()/memories/` je Profil; 5 Gateways mit eigenen state.db). „Basis in default-MEMORY"-Pointer in Profil-L0 waren daher irreführend → alle 4 Profil-MEMORYs auf Wiki-Pointer umgestellt.
|
||
- **Rot behoben:** pers-SOUL-Kalorien-Split-Brain (statische 97 kg/3.255 kcal/BMR 1874 vs. HA-Truth 92,4 kg/live) → Struktur-Block: Zahlen nur aus HA-Tracker/Wiki, EFT-Anker 82 kg, Beispiele neutralisiert. Safety-Core (Nie-löschen/Nie-auto-Mail/crash-alert) in infra/nutri/pers-USER nachgerüstet. infra-USER Chef-Widerspruch rekonziliert.
|
||
- **Gelb/grün behoben:** default-USER decluttered (IaC/Laya-Dubletten raus — MEMORY trägt sie; Resilience→infra-SOUL-SLA; Sauna-Binding→pers-USER; Restore-Doktrin→Wiki seafile; vm_disks→Wiki proxmox). nutri-MEMORY: SchoenKitchen+CT99999+Jinja2→Wiki systems/schoenkitchen (NEU), Rezept-Feedback→Hindsight (Ofen-Lachs migriert). dyn: E1/E2/E3-Status USER→MEMORY, SOUL Schul→KiGa-Reste. nutri-SOUL: Rezept-DB 36.251 (statt „25.000+"), Filename-Konvention Unterstrich, Feedback→hindsight-Doktrin.
|
||
- **Meta-Lesson:** Eigene erste Bewertung hatte Grade-Inflation für default („✅ gut" bei 6 fehlplatzierten Zeilen) — symmetrischer Maßstab erst auf Nachfrage des Users. Solution Doc: architecture/2026-10-11-l0-purpose-fit-audit.md.
|
||
- AGENTS.md(iac)-Write vom Protection-Guard geblockt (Approval-Timeout) — vm_disks-Konvention stattdessen ins Wiki; AGENTS.md unangetastet.
|
||
|
||
## [2026-10-11] pv-forecast-fixes | Alle 3 PV-Forecast-Fixes deployed (User-GO)
|
||
- (1) TZ-Fix v2-Optimizer deployed 18:29 (tzinfo=BERLIN, Backup .bak-20261011-tzfix): Live-Tick 18:28 zeigte korrekte Sunset-Kurve (36 W/18:30 statt ~1750 W Phantom). Offline-Unittest bewies buggy(t)==fixed(t−2h) exakt.
|
||
- (2) Reload-Race-Crash 18:43 (Solcast-Options-Reload → Sensoren 16s unavailable → Tick crashte doctrine-konform): Gefixt via collect_solcast_pools() 3×10s-Retry, loud, beide Pool-Blöcke (main+shadow) ersetzt.
|
||
- (3) forecast.solar: KEIN kompletter Rebuild nötig — Subentries validiert (Dach SW/SO-Split 62/38 ↔ 5760/4000 W passt zu Messdaten). Ergänzt: "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W) für HM-1500 (2× 750 W SW/NE), Device-Rename via WS config/device_registry/update, Area Photovoltaik. HA-Parser KORREKT — früherer +2h-Verdacht war Eigen-Curl-Artefakt (time=utc fehlte); Zelt-Sensoren fielen exakt zum Sunset auf 0.
|
||
- (4) Solcast auto_dampen=True + get_actuals=True (Validator-Kopplung!), Kalibrierquelle sensor.pv_production; Actuals-Fetch verifiziert (solcast-actuals.json 91 KB, generation ab 03.10.), Dämpfung startet 1.0.
|
||
- (5) sensor.pv_daily_energy_total repariert (Options-Flow): SBS-Batteriedurchsatz RAUS, Hoymiles REIN: 19,44→22,03 kWh.
|
||
- HA 2026.9.4 API: Config-Flow POST /api/config/config_entries/flow; Options /options/flow; Device-Rename nur via WS config/device_registry/update; Entry-Titel-Endpoint fehlt (Subentry-Titel via Config-Flow "title"-Step).
|
||
- Abgeschlossen: 18:58-Tick-Verifikation des Retry-Rings BESTANDEN (sauber durchgelaufen, plan_pv_forecast now=12 W, positive 24h-Kosten 9,08 € statt Phantom-Einnahmen). Offen: Solcast-Dämpfungs-Learning über kommende Tage beobachten.
|
||
|
||
## [2026-10-11] pv-forecast-audit | PV-Anlagen-/Forecast-Inventur + Solcast-Decontamination
|
||
- Inventur 6 Arrays / 4 WR: 2×SMA SB (je 2 Strings, Ausrichtung je String unklar), SMA SBS (BYD, keine PV-Strings), HM-1500 Zelt (2 Module SW/NE), Schuppen 1+2 (SW, 5° flach). Antwort auf "vernünftige Forecasts für alle?": NEIN — HM-1500 völlig ohne Forecast, forecast.solar 4 Sites parametrisch fragwürdig (Dach-Sites ohne belastbare WR-Zuordnung), Solcast nur 1 gemittelte Site.
|
||
- ROTER Befund 1: Solcast-Aggregat (PV-Input des EMHASS-v2-Optimizers!) enthielt die Solcast-DEMO-Site "Ogdak Netherlands" (Apeldoorn/NL) — ~9,6 von 23,4 kWh Tagesphantom. User-Freigabe erteilt, sofort gefixt via HA-Options-Flow HTTP-Endpoint (HA 2026.9.4: WS-Flow-Befehle entfernt!, Endpoint `/api/config/config_entries/options/flow`): exclude_sites=["59c8-caae-52f5-1686"]. Verifikation: Prognose heute 23,44→13,83 kWh; Optimizer-Tick 18:13: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW.
|
||
- ROTER Befund 2: TZ-Bug in emhass_optimizer_v2.py::build_pv_series numerisch bewiesen (Offline-Replikation traf publizierte Werte exakt): Berlin-Wallclock-Keys werden als UTC re-tagged → +2h-Versatz im PV-Plan. Published 17:30 = 2384 W, korrekt wären ~163 W. 1-Zeilen-Fix (tzinfo=BERLIN) vorgelegt, wartet auf GO.
|
||
- Side-Findings: sensor.pv_daily_energy_total zählt Hoymiles nicht mit (−11%) und SBS-Batteriedurchsatz als PV; forecast.solar-API liefert lokale Timestamps (gleiche TZ-Fehlerklasse möglich); Solcast-API-Quota 30/Tag nahe erschöpft durch 2-Site-Polling; EMHASS-Addon-interner Forecast (open-meteo/pvlib, Fronius/CSUN generisch) irrelevant da v2 published.
|
||
- Nutzerbeschluss: forecast.solar komplett neu bauen (Todo). Doku: Solution Doc integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md, Wiki homeassistant.md + emhass-cascade-architecture.md gepatcht.
|
||
|
||
## [2026-10-11] memory-system-audit-execution | P0/P1/P2 des Memory-Audits umgesetzt
|
||
- **P0:** Portainer-CT111-Token zusätzlich in 1P (Vault Hermes, Item `Portainer API Token LXC 111 (proxmox5)`, id it2bbkhn5ddbk7rdaxe5bsqttm) — Token bleibt bewusst auch in infra-sre MEMORY.md (User-Entscheid). Solutions-Repo: Gitea `dominik/solutions` (privat) neu erstellt + 15+ untracked Docs committet/pushed (c7144bb); S3-Tar-Scope um `~/docs` erweitert (backup-to-s3.sh). `~/.hermes/memories`-Remote http→https gefixt, 3 Monate Stillstand beendet (Push e3a4bf3). `sessions.auto_prune: true` in config.yaml (state.db 2,1 GB stoppt Wachstum; Prune-Läufe durch Hermes selbst, min_interval 24h).
|
||
- **P1:** DELTA-Prinzip für Profil-MEMORYs etabliert (gemeinsame Fakten nur default+Wiki): infra-sre, dynamic-coach, personal-coach umgeschrieben; Widersprüche behoben: Apple Watch (nutri-USER), Schulkind→Kinder garten (dyn-SOUL+MEMORY), Immich-PROD, Mintos 33,5k kanonisch. default-MEMORY.md neu strukturiert als Einstiegspunkt (2.250 Bytes UTF-8 ≈ 2.178 chars, im Budget). Neue Wiki-Seiten: entities/finanzen-immobilien.md (aus L0), entities/health-fitness.md refreshed (Oura-Telemetrie aus personal-coach L0 konsolidiert).
|
||
- **P2:** Wiki-index.md: Immich-Asset-Count 56.887→86.316, Totlink entities/dominik-schoen entfernt, finanzen+drift-report verlinkt, PAT-Dublette aufgelöst (llm-backend-hang behält PAT-015, systemd-path-blindness → PAT-016, alle 5 Referenzstellen umgezogen). Solutions-INDEX.md Header regeneriert (34→83 real, Kategorie-Counts, Offsite-Vermerk). Drift-Report konsumiert (Review-Abschnitt). memory-sync-Skill: 5 Pitfall-Duplikate entfernt, AUDIT-LESSON ergänzt. Quarantine: auth.json.corrupt, log.md.hermesbak-cl, sync.log → .archive-Dirs; leere Projects/Templates entfernt.
|
||
- **LCM-Audit nachgeholt:** lcm_doctor healthy (Integrity/FTS/schema/lineage pass, 480 MB, 185k Messages, 83/83 externe Payloads). LCM war in SOUL.md, index.md und memory-sync-Skill nicht als Layer verzeichnet (nur concepts/memory-layer-architecture.md hatte es richtig) → jetzt als L4-Co-Träger in allen Dreien verankert. Warnbefund: 447 stale lifecycle-rows (kosmetisch, Cleanup optional).
|
||
- Siehe: docs/solutions/workflows/2026-10-11-memory-system-audit-remediation.md
|
||
|
||
## [2026-10-11] home-migration-wave21 | Welle 2.1 abgeschlossen: 3 Seafile-Transfers verifiziert
|
||
- MBP_bis2017 (6,9 GB) + MBAir (1,1 GB) → „Archiv Alte Rechner" (gemerged in bestehende Unterordner, Heal-Pass RC=0); Backupfestplatte-Uni-Working-Tree (ohne .git, ohne 6.839 Immich-Foto-Pfade) → NEUE Lib „Backupfestplatte Uni" (208b4444), byte-exakt verifiziert: 81.338 Files / 7.790.262.028 Bytes MATCH=True; DropboxSync-Rest (192 Files / 2,0 GB, 765 Foto-Pfade excluded) → „Urkunden und Dokumente"/DropboxSync-Archiv.
|
||
- 4 persönliche Foto-Items (Hochzeits-Zip 512 MB, Fotos.zip 603 MB, Urkundenübergabe 221 MB, Lesezimmer-Zip 22 MB) aus der Seafile-Route herausgenommen → Immich-Queue auf NAS (/pool01_n2_redundant/.seafile-migrate/immich-queue/), wartet auf GO (Dedup-Check gegen Bestand nötig).
|
||
- Teardown sauber: 3× desync, Daemon gestoppt, /tmp geleert, Creds geschreddert. Seafile-Disk: 285G/345G (46G frei).
|
||
- Neue Fallstrick-Klasse dokumentiert: Prefill-Race-Sequencing (synchronized als GATE), Space-gepaddingte Statusfelder brechen exakte Vergleiche, Status-Tabellen-Truncation unter Last täuscht fehlende Syncs vor, pkill-in-eigener-Deploy-Shell suizidiert Orchestrator, mv über ZFS-Datasets hinterlässt Partials (rsync --remove-source-files heilt). Solution Doc: `docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md`; Skill `devops/seafile-api`-Referenz entsprechend erweitert.
|
||
- Offen (warten auf GO): Welle-2-Punkt-2 (Immich-Gaps: DSC_0923.NEF-Retry + Kroatien-2021 ~44 GB) und Punkt-3 (Löschliste ~21 GB).
|
||
|
||
## [2026-10-11] cron-pin-release-flash | Alle 30 Cron-Jobs auf vllm/release/glm-5-3-flash gepinnt
|
||
- Audit 11.10. (30 Jobs: 23 aktiv, 7 pausiert) förderte 2 drift_skip-Tote ans Licht: Finanzblick Cashflow Monitor (c594cdde5fef) + User Drift Detection (280458a2b035) — globale Inference-Config driftete glm-5-2→glm-5-3-flash, ungepinnte Jobs verweigerten aus Spend-Schutz. Finanzmonitoring 7+ Tage blind.
|
||
- PINNING: `vllm/release/glm-5-3-flash` zunächst live verifiziert (200 OK auf ai.noris.de Main-Key; NORIS-NAMESPACE-FALLE: `glm-5.3/release/glm-5-3-flash` → 403 model_blocked — neues `glm-5.3/*`-Schema ist ein ANDERER Virtual-Key-Realm; `vllm/*`-IDs funktionieren weiter). Dann 30/30 Jobs via `hermes cron edit --model --provider noris` gepinnt, Readback jobs.json: 0 Abweichungen. Auch no_agent-Jobs konsistent gepinnt (kosmetisch, aber uniformer Drift-Schutz).
|
||
- Ex-drift_skip-Jobs wieder scharf: Finanzblick nächster Fire heute 20:00 UTC, User Drift Di 04:00. Smoke-Test Price-Watch (a8ba6bf2891e) BESTANDEN (53,7 s Lauf mit gepinntem flash-Modell, Amazon-Fetch ok, still da ≥120 €, State-File last_check 06:50:22Z geschrieben) — flash läuft E2E durch die Cron-Pipeline.
|
||
- Offen aus Audit (nicht genehmigt): Comfy-e2e-Zombie (31k Runs ins Leere), Beleg-Sammler 41-Tage-Alert-Streak (3 failed Belege + 470-Dateien-Staging-Leck), Rechnungen-Organizer Repeat-Limit 171/500, 6 tote pausierte Jobs, EMHASS-v2 ohne Watchdog, Notfallbuch-Herbst-Review verpasst, HA-SSH-PW im Klartext im EMHASS-Watchdog-Prompt.
|
||
|
||
## [2026-10-11] dream-epoch-fix | Dream-Cycle epoch-aware v2 + Memory-Dekontamination
|
||
- Fact-Check des Dream-Reports 11.10. ergab: 1/3 falsch (VM302-Phantom — stale P0-TODO als Ist-Zustand gelesen), 1/3 stale-aber-echt (Prometheus-VIP .206→.202, NAS-IP 10.0.30.100→10.0.20.100 — beide Wiki-Stales gefixt), 1/3 handlungsrelevant (DNS-Apex 84.39.83.204 DOWN — Nutzerentscheidung: bewusst ignorieren).
|
||
- ROOT CAUSE Epoch-Mixing: reflect-Queries ohne Zeitdimension ließen Juli- und Oktober-Observationen als gleichzeitige Konflikte rangen. Kontaminationsschleife als Verstärker: 3 Dream-Output-Rows (28./29.09., alte agent-Ära) waren als „Fakten" re-speichert worden — der Dream zitierte seine eigenen Falschmeldungen.
|
||
- FIX 1 (Daten): 3 Gift-Rows neutralisiert via `metadata.archived='true'::text` + Tag `debunked` (reversibel, kein DELETE; Boolean-Cast-Falle vermieden). Reflect narriert danach korrekt Historie statt Konflikt.
|
||
- FIX 2 (Script v2): EPOCH_RULES in allen Queries (neueste Fact gewinnt; superseded = Historie; ±7-Tage-Fenster; Datums-Pflicht via `_has_dates()`-Gate mit Downgrade), TODO-Check fragt nach Erledigungs-Beweis, Stale-Check nur Zustands-Aussagen, Disclaimer-Header gegen Retain-Kontamination. Skill-Kopie re-synchronisiert (md5 42ea3a76…).
|
||
- Verifikation: Volllauf v2 — VM302-Phantom eliminiert, TODO-Sektion still, Stale-Sektion liefert echte hypothetisierbare Zustands-Claims mit Datum (Authelia id.schoen.eu 19.07., PBS-Remote 10.0.30.106:8007 17.07. — .106 heute dead). Genau das Ziel-Signal-Rausch-Verhältnis.
|
||
- Solution Doc: `docs/solutions/bug-fixes/2026-10-11-hindsight-dream-epoch-mixing.md`; Skill `hindsight` §4.2 gepatcht (v2-Design + Dekontaminations-Rezept).
|
||
|
||
## [2026-10-10] dream-cycle-factcheck | Nightly-Dream-Report gegen Live-Systeme geprüft
|
||
- Dream-Claim „VM302 auf n5pro widerspricht Wiki" → **FALSCH**: Live pvesh zeigt VM302 auf ms-a2-2 (Wiki-konform). Ursache des Artefakts: Hindsight hält die P0-Mitigation „VM302 von n5pro weg migrieren" als offenen Zustand — die Migration ist längst erledigt (Episoden 29.09./04.10.). Stale-Todo wurde als Ist-Zustand gelesen.
|
||
- Dream-Claim „10.0.30.206 Prometheus unerreichbar" → **stale-Wiki-Fund bestätigt**: VIP .206 existiert nicht mehr; Prometheus-LB ist heute `monitoring-kube-prometheus-prometheus` auf **10.0.30.202:9090** (live verifiziert, Queries OK). ports.md korrigiert.
|
||
- Dream-Claim „NAS 10.0.30.100 doppelt geführt" → **stale-Wiki-Fund bestätigt**: ARP dead seit Crash 03.10. (VLAN-30-IP nie persistiert); kanonisch ist 10.0.20.100 (VLAN 20). ip-map.md korrigiert (STALE-Markierung).
|
||
- Dream-Claim „WG: .106 erreichbar, .124 nicht" → **zeitlich invertiert/stale**: heute .106 DEAD, .124 ONLINE. Kein Konflikt, nur alte Momentaufnahmen.
|
||
- Dream-Claim „Tradfri/NUT/Moonraker/LIFX setup_retry auf alten IPs" → **teilweise**: Tradfri 17 Entities unavailable ✓, ESP32 58/58 unavailable, gesamt 460/2516 (18 %). Aber Moonraker gesund (`update=off`, Snapmaker ready), LIFX 0 Entities, UPS-Sensoren fehlen in HA komplett (nur `sensor.apc_alarme`=unavailable, bekannter Normalzustand). Pauschal-Ursache „alte IPs" unbelegt.
|
||
- Dream-Claim „DNS-Apex 84.39.83.24 → 84.39.81.87 ausstehend" → **WAHR und offen**: Apex zeigt noch auf .83.204 und ist DOWN (HTTP 000); alle Subdomains laufen über CNAME schoen.sytes.net → .81.87 sauber (id. = HTTP 200). Einziger echter Handlungspunkt.
|
||
- Sonstige Claims (Immich v3.3.1, ArgoCD behoben, CT111=.99) korrekt; PBS-13.08.-Episode nirgends dokumentiert (historisch, nicht verifiziert).
|
||
- Meta-Lektion: Dream-Cycles vergleichen Hindsight-Snapshots unterschiedlicher Epochen — erzeugen Schein-Widersprüche. Immer Live-Verifikation vor Reaction. Zwei echte Wiki-Stales ließen sich dennoch daraus ziehen.
|
||
|
||
## [2026-10-10] home-migration-wave1 | Unterlagen Uni + eBooks + grafiniert → Seafile, 86 Repos → Gitea
|
||
- Seafile (CT111): Neue Lib **Unterlagen Uni** (c4677b64, 19 GB 1:1 aus Home — Lehre/Klausuren/Praxis/Verwaltung, KEIN ZIP gem. Nutzervorgabe); **Bücher** +eBook-Sammlung (60 Titel) + Calibre-Bibliothek (1277 Autoren, 5,9 GB); **Archiv grafiniert** +Delta 4,2 GB (MontaMusic, huawameieri, grafiniert_2011, Buchhaltung …). Alles serverseitig via API verifiziert.
|
||
- Weg: seaf-cli-Staging auf 10.0.20.100 (`/pool01_n2_redundant/.seafile-migrate/staging/`, 30 GB bleiben als Kopie), rsync additiv; Syncs desynct, Daemon gestoppt, Plaintext-Creds auf NAS shredded (PWs in 1P: „Seafile Web Login (dominik)").
|
||
- Gitea (git.schoen.codes): **86/86 eigene Repos** migriert (--all+--tags; dev-* 51, idea-* 26, mbpdoc-* 6, sempa-* 3). Skip: go/src-Vendor, clinfo, libcoap (shallow Fork), Privat/Promotion-.git (Dokumentenhistorie → Seafile später).
|
||
- Pitfalls geloggt: Create-500 legt Gitea-Repo trotzdem an (immer listen+branchen statt Status glauben); shallow push --all rejected; safe.directory-* für root-Scans; SSH-Timeout killt Wrapper-Ketten → setsid nohup; seaf-cli-Sync bidirektional (Downstream beachten).
|
||
- Solution Doc: `workflows/2026-10-10-home-migration-seafcli-staging-gitea-bulk-push.md`; Skill `seafile-api`→bulk-migration-Referenz um seaf-cli-Weg ergänzt. Multi-Agent-Kollision mit Parallel-Session (PW-Rotation 16:30) im Doc `workflows/2026-10-10-multi-agent-credential-collision-moving-target-guards.md`.
|
||
|
||
## [2026-10-10] homeassistant | Warn-Push beim Verlassen + Garagentor-Flanken-RCA
|
||
- Neue Automations (REST-config, live): `warn_offen_beim_verlassen` (Dominik >2min weg + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button; tag aktualisiert Notification) + `garagentor_push_close` v8 Single-Edge (EIN switch.turn_on, KEIN turn_off-Präludium; Guards offen/>90s stabil/45s Anti-Doppeltipp; 45s-Verifikation per Neigungssensor; Retry nach 480s; ehrliche Fehler-Push).
|
||
- RCA (Logbook-belegt): Motor toggelt auf JEDE Kanalflanke. Einzelimpuls schließt sauber (17:51: ~90s). ZWEI schnelle Flanken = Start-Stopp → Tor bleibt offen (17:07 mein OFF→ON-Doppelpuls; 17:48 Nutzer-Doppelklick am Wandtaster). Doppelklick-Gewohnheit wirkt der Schließfahrt entgegen. Wirkungslose Impuls-Serie 16:46–17:07 → vermutlich Motortermik-Sperre.
|
||
- BUG offen: `switch.garagentor` Status seit 05.10. `unknown` (SysAP→HA Feedback tot); SysAP-REST 401 (Credentials unbekannt, admin/admin falsch), SSH-Addon gestoppt. Tor-Endzustand nach Tests: GESCHLOSSEN (verifiziert).
|
||
- Nur 2 physische Öffnungssensoren im Haus: Garagentor + Esszimmertür; free@home-Panels sind Taster.
|
||
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`; Wiki systems/homeassistant gepatcht.
|
||
|
||
## [2026-10-10] frigate-notifications | v3: Review-Alert-Trigger + KI-Gate (Spam behoben)
|
||
- RCA: Alt-Automation triggerte auf `frigate/events` (Raw-Detections) statt `frigate/reviews` (kuratiert); 2 Pushes/Event; Cooldown-Key camera+label = Ping-Pong bei Labelwechsel; keine Known-Face-Suppression. Messung 10.10.: 21 Raw-Events → 9 Runs → 18 Pushes/3,5h bei Null relevanter Szenen.
|
||
- v3 (ID 1714065780832, in-place via REST): Trigger=frigate/reviews severity=alert; 12s Delay → Snapshot → llmvision.image_analyzer (gemma via noris, Prompt KRITISCH/NORMAL) → Gate → 1 Push. Suppress: Sarah/Dominik, 300s Kamera-Cooldown, Review-ID-Dedup. Fail-safe: KI-Fehler oder nachts Person → Push.
|
||
- E2E verifiziert: Synthetischer Alert → Verdict „NORMAL: leere Einfahrt mit geparktem Auto“ → korrekt kein Push; Readback 10/10 Checks. **v3.1 (gleicher Tag, Nutzervorgabe „nicht nur 23–5 Uhr"): Person-Push auf 24/7 ausgeweitet** (Gate `crit or ki_fail or person_here`), neues Titel-Tier „👤 Person“ tagsüber; E2E erneut verifiziert (Gate-Rendering True bei Tag+person, Logbook-Run bestätigt).
|
||
- Frigate-0.18-Payload-Falle: review `data.objects` = String-Liste, sub_labels separat; HA-Jinja kennt kein `is not null` (→ `is not none`).
|
||
- Zombies (garten, ai_event_summary ×2) = Registry-Ghosts, kein Konflikt. Ohne Zonen geblieben (User-Wahl).
|
||
- Solution Doc: `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`; Wikis systems/frigate+homeassistant gepatcht.
|
||
|
||
## [2026-10-10] notfallbuch | eol-dr-Playbook für Sarah live gestellt
|
||
- Repo `dominik/notfallbuch` @ git.schoen.codes (privat, Secrets allowed — Uservoting, intern hosted). 9 Sarah-Kapitel + `generated/`-Inventar aus Live-Cluster + `mapping/triage-map.md` (Join ArgoCD-Label↔Klartext).
|
||
- Generator `scripts/generate_inventory.py` (ArgoCD/Traefik-IngressRoute/Velero/Proxmox, graziöse Degradierung) + Watchdog `update_and_commit.sh` (Diff ohne Timestamp-Zeile → kein Schein-Drift; Commit+Push nur bei Echt-Drift; Digest nur bei Drift/Ungeklärt).
|
||
- Crons: `c4eb1bbe63df` monatl. Watchdog + `d8c6cdd5a1eb` halbjahrl. Review-Reminder → telegram:-5265906503. Build: pandoc+xelatex → A4-PDF/DOCX mit Datum+SHA-Stempel (nun auf hermes-agent installiert).
|
||
- Live-Funde: Immich-URL = photos.familie-schoen.com (nicht immich.*); Domain schoen.eu existiert (Kap. 07 erweitert); kein cert-manager (Traefik-LE). 26 Apps ungelabelt → UNGEKLAERT-Liste mahnt; holmes/holmes-config = KLÄREN.
|
||
- Offen: Stefans dormant Gitea-Account (1P-Zugriff blockiert, Passwort darf nicht unbefristet nur im Terminal liegen), Triage-Label-Freigabe in iac-homelab, Fill-in-Abende ([FELD]-Marker), Proxmox-Token für Generator.
|
||
- Wiki neu: `systems/notfallbuch.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md` (Gitea-API 401 bei Basic-Auth → Token-Header).
|
||
|
||
## [2026-10-10] hermex-backend | hermes-webui auf Runner deployed — Hermex-iOS kann verbinden
|
||
- Hermex (iOS) spricht NICHT das offizielle Dashboard (:9119) an, sondern braucht hermes-webui (nesquena). Native Installation: `/opt/hermes-webui`, server.py unter Agent-Venv-Python (in-process Imports von Agent-Modulen), systemd `hermes-webui-dominik.service`, `0.0.0.0:8790`, LAN-only.
|
||
- Hermex-Werte: `http://10.0.30.230:8790` + PW aus 1P (Vault Hermes → `dominik-hermes-webui`).
|
||
- E2E verifiziert: Login 200/401 korrekt, Sessions-API zeigt echte CLI/TG-Sessions (state.db-Bridge), Chat-Run durch API → Agent-Antwort `hermex-e2e-ok` (glm-5.3/noris), Test-Session danach sauber gelöscht.
|
||
- Sicherheiten: KEIN Cron-Scheduler-Thread im WebUI (Doppel-Feuer ausgeschlossen, Scheduler bleibt im Gateway); Signing-Key auto-gen persistiert Login über Restarts.
|
||
- Pitfalls geloggt: `/api/chat` auf CLI-Session-ID → KeyError (erst `/api/session/new`, eigene hex-ID); Cold-Start /api/sessions 34–70 s, warm 0,2 s; `op item view --vault` existiert nicht → `op read op://…`; sed-%-Templating zerstörte Unit (static+Garbage-PW) → Python-Substitution; logrotate war auf dem Runner nicht installiert (nachgezogen, daily×7).
|
||
- Wiki neu: `systems/hermes-webui.md`; Solution Doc: `docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md`.
|
||
|
||
## [2026-10-10] immich-nas-ingest | NAS-Foto-Archive komplett in K8s-Immich übernommen
|
||
- 29.423 neue Files / 78,2 GB (Dominik 27.966, Sarah 1.436) via API-Upload von NAS direkt nach K8s-Immich v3.3.1; Laufzeit ~75 min, 4 Worker, JSONL-Checkpoint/Resume.
|
||
- Methode: Census-Manifest (sha1/size/path) + `POST /api/assets` mit `x-immich-checksum` (Server-Dedupe pre-write: 200=dup, 201=new) + mtimes aus NAS-stat. Keys `nas-ingest-d/s` via Direct-DB-INSERT (varchar[]-Cast, decode(hex)).
|
||
- Reconciliation: alle 29.423 erwarteten SHA1s in DB, 0 fehlend; 86.316 Assets / 85.960 Unique; Owner-Split korrekt (d 55.271 / s 31.045). PVC 365/500 G.
|
||
- Strauchelsteine gelöst: Bearer-vs-x-api-key (401), varchar[]-Permissions (Typ existiert nicht), `'\x'`-Literal-Falle bei bytea, fehlender Host-Header an Traefik (404), 1 Schein-Fail (SSL-EOF, Upload war durch).
|
||
- 5 RAWs mit dcraw-Thumbnail-Fehlern — Originale bitidentisch (libraw-Kosmetik). Grayzone 559 Files bewusst exkludiert.
|
||
- Artefakte: `~/home-drilldown/census/` (Manifests, Archive mit Checkpoints+Logs+Uploader). Solution-Doc: `docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md`. Wiki `systems/immich.md` aktualisiert.
|
||
- Follow-up 10.10.: immich-config-Freeze-Exit (Commit `3ec6327`, selfHeal+prune scharf; vorher Label-Sweep: kein Objekt trägt Tracking-Label → prune sicher); NAS-Plaintext-Keys vernichtet (keys.env + lokale Kopie, Key-Records in DB bleiben re-mintbar); NAS /tmp/immich_ingest geleert nach Archivierung (MD5-verifiziert). Beobachtung: immich-server 5 Overnight-Restarts (≥1 OOMKilled 137) unter Thumbnail-Job-Last nach Ingest, seitdem 7 h stabil bei 760Mi/4Gi.
|
||
- OOM-Fix 10.10. (Commit `6ce2a0a`): Server-Mem 4→6Gi, Request 1→2Gi, nodeSelector pin auf rke2-worker-01. Grund: worker-04 nur 7,9 Gi allocatable (kleinster Node) + Limits 169 % überzeichnet → Limit-Raise allein hätte Node-Pressure-Eviction riskiert (postgres-main-2 Kollateral). Rollout verifiziert: neuer Pod auf worker-01, Restarts 0, API grün, ML/valkey unberührt. Patch-Falle dabei entdeckt und VOR Commit gefangen: Probe-Indentation im rendered-Manifest (immer YAML-Parse-Validierung nach patch).
|
||
|
||
## [2026-10-08] emhass-phase2-shadow | Shadow-Dual-Solve live + Deferrables entfernt
|
||
- Shadow Phase-2 live: Cron `d046e808f543` (*/15m, silent-on-healthy) + Staleness-Watchdog `19aef2351273` (:35, >45 min -> Alert). Ledger `~/shadow_phase2/ledger.jsonl`, Report `~/scripts/report_phase2.py`.
|
||
- Bewiesene CSV-Gesetze: +P_batt=Entladung, P_grid signed (Export NEGATIV), Deferrable-Spalten=Phantom-Last (+12 kWh Summeninvarianz, keine Consumer).
|
||
- PRODUKTIV: `number_of_deferrable_loads` 2->0 (Direct-File-Edit + Addon-Restart im :50-Fenster, Backup `config.json.hermesbak-20261008`); Beweis: Incumbent-CSV jetzt 17 Spalten.
|
||
- Solution Doc: `docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md`
|
||
|
||
## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
|
||
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38.
|
||
- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar.
|
||
- **Key-Falle:** Cache-Key ist `custom:<base_url>` (neu: `…#<fp>`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37).
|
||
- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen).
|
||
- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29).
|
||
- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht.
|
||
- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
|
||
|
||
## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
|
||
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts".
|
||
- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar.
|
||
- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
|
||
- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓).
|
||
- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig).
|
||
- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext.
|
||
- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6.
|
||
|
||
## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
|
||
- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓.
|
||
- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen).
|
||
- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch).
|
||
- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren.
|
||
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||
- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt.
|
||
- Hindsight: Config + Pitfall semantisch indexiert.
|
||
|
||
## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
|
||
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
|
||
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
|
||
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
|
||
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
|
||
- RBAC-Lektion: Descheduler braucht `list/watch` auf `namespaces` in ClusterRole.
|
||
- ArgoCD repoURL: `ssh://git@10.0.30.200:22/...` (mit `git@` User-Prefix, wie alle anderen Apps).
|
||
- Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
|
||
|
||
## [2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
|
||
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
|
||
- Zwischenfail: `aliases:`-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate.
|
||
- SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
|
||
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit cc2f237.
|
||
|
||
## [2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
|
||
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. *(Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)*
|
||
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt: `crush reweight osd.3 0.05` + in. Cluster 17/17 up/in, Degraded 0,78 % fallend.
|
||
- ubuntu-Hosts-Fix: `10.0.20.100 ubuntu` in /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben.
|
||
- Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
|
||
|
||
## [2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
|
||
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
|
||
- Eigener Fehler: `grep -vn`-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. **Rescue-Pfad etabliert:** CT-Rootfs direkt am Host mounten (`mount /dev/rbd2 /mnt/...` — rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok.
|
||
- **Lessons**: (a) NIEMALS `grep -n`-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate.
|
||
- Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit <SHA>.
|
||
|
||
## [2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
|
||
- Zwei neue Rules in CT141 (`placement_guardrails`): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok.
|
||
- Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
|
||
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
|
||
|
||
## [2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
|
||
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender `body`-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON).
|
||
- Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit `{{escape title}}`/`{{escape message}}` (Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200.
|
||
- Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
|
||
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
|
||
|
||
## [2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
|
||
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
|
||
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
|
||
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
|
||
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
|
||
|
||
## [2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
|
||
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. **x-vga=1 bricht AMD-Passthrough** (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
|
||
- Monitoring (CT141): Regelgruppe `pressure_alerts` (5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. **LXC-Bindmount-Inode-Trap:** sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc.
|
||
- proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
|
||
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
|
||
|
||
## [2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
|
||
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
|
||
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
|
||
- Diagnose-Signatur: `qm status --verbose` RSS-Kollaps + tote Guest-Agent + statischer Tap-TX
|
||
- Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
|
||
- Drift-Fund: frühere node-affinity `na-vm102` (NICHT ms-a2-2) existiert live nicht mehr
|
||
- Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
|
||
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
|
||
|
||
## [2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
|
||
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
|
||
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
|
||
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
|
||
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert `pip install -e .` NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bis `import run_agent`
|
||
- Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
|
||
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
|
||
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
|
||
|
||
## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
|
||
- Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params
|
||
- CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
|
||
- Cordoning cp-03 amplified: CNPG switchover → operator reconcile storm (~60/min)
|
||
- Fix: (1) Delete+recreate SCs with all secret refs, (2) Patch 6 PVs with controllerExpandSecretRef, (3) Restart CSI resizer, (4) Commit SCs to Git `clusters/main/storage/`, (5) Move Gitea off unstable worker-05
|
||
- Worker-05 cordoned (repeated reboots, likely hypervisor issue on ms-a2-2)
|
||
- Architectural risk documented: etcd on Ceph RBD (~20ms WAL fsync all CP nodes)
|
||
- Solution doc: docs/solutions/bug-fixes/2026-09-29-kubeapi-error-budget-burn-ceph-csi-resize-loop.md
|
||
|
||
## [2026-09-27] bug-fix | Gitea CSI RBAC Fix + ArgoCD Verknüpfungs-Audit
|
||
- Root Cause: Ceph CSI RBD `csi-attacher` fehlte `storage.k8s.io/csinodes` Berechtigung → VolumeAttachments pending → Gitea Pod 4+ Tage Init-crash
|
||
- Fix: ClusterRole `ceph-rbd-external-attacher-runner` patched, provisioner Pods neu gestartet → alle 24 VolumeAttachments `true`
|
||
- Gitea Pod + schoenkitchen runner durch Pod-Delete wiederhergestellt
|
||
- ArgoCD Audit: 17/25 Apps via Gitea SSH, 20/25 Synced+Healthy
|
||
- Known Issues: `gitea`/`authelia` Health=Progressing (Ingress-LB-IP Gap), `immich` doppelt verwaltet, `gitea-config` Deployment Drift
|
||
- `DEFAULT_ACTIONS_URL=https://gitea.com` deprecated → Helm override auf `self` empfohlen
|
||
- Wiki `systems/gitea.md` aktualisiert: Runner Status, Incident, ArgoCD Issues
|
||
- Solution Doc: `docs/solutions/bug-fixes/2026-09-27-gitea-csi-rbac-volumeattachment-fix.md`
|
||
|
||
## [2026-09-27] architecture | Memory Layer Restructuring + Laya Session-Nutzung
|
||
- USER.md bereinigt: Infra-Fakten entfernt, nur noch User-Preferences/Safety-Rules (1.087/1.375 chars)
|
||
- MEMORY.md ausgedünnt: 2.145→1.664 chars, alle Infra-Details zeigen auf Wiki-Seiten mit `→Wiki` Pointern
|
||
- 4 neue Wiki-Seiten: systems/noris-ai, systems/frigate, systems/homeassistant, systems/paperless
|
||
- Neues Concept: concepts/memory-layer-architecture — Entscheidungsbaum "was wohin gehört"
|
||
- Hindsight Audit: massiv überladen mit veralteter Infra-Topologie. Going-Forward-Policy: nur noch semantische Pointer + Entscheidungen
|
||
- LCM gesund: 7.590 messages, 34 DAG nodes, 21.2:1 compression ratio
|
||
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
|
||
|
||
## [2026-09-27] architecture | Laya Email-Organizer Migration + Session-Nutzung
|
||
- Rechnungen-Organizer Cron `f773f8c23230` von LLM-Agent → `no_agent` Script mit Laya migriert
|
||
- 12 Kategorien, 3-Schichten-Safety (Confidence-Gate + Subject-Validierung + Move-Erfolg)
|
||
- Globale Ordner (Rechnungen/Bestellungen/Gutschriften/Gutscheine) statt Monatssortierung
|
||
- Wiki-Seite `systems/laya.md` erstellt mit Usage Guide für Session-Nutzung
|
||
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
|
||
- Solution Doc: `docs/solutions/architecture/2026-09-27-laya-email-organizer-migration.md`
|
||
|
||
## [2026-09-17] workflow | CT108-Endausbau: Census, Ghost-Router CT99999, Alias-Repair, Stop
|
||
- **Census (auth):** K8s=25 / CT108=31 / gemeinsam=23 — 22 Tips identisch, dominik/memory=K8s-Superset (enthält CT-Tip de97cd6d), nur-CT=8× PoC-Müll. Archiv: 29 Bare-Bundles 143 MB unter `/home/debian/git-archive/ct108-final/` (2 Failures = legitim leere Repos).
|
||
- **Ghost-Router enttarnt:** CT99999 (Traefik-LXC auf proxmox7, 10.0.60.10) terminiert TLS für *.familie-schoen.com und forwardet plain HTTP an .203. `git.familie-schoen.com` → .105:3000 WAR der letzte Live-Konsument von CT108; `git.schoen.codes` lief längst per Double-Hop aufs K8s. Fix: gitea-service-Upstream → .203 (Backup `explicit-http.yml.bak-hermes-20260917`) + Alias-Host im K8s-Ingress (Commit `9e9b6ee`). Beide Hostnamen jetzt v1.27.0.
|
||
- **Stop vollzogen (genehmigt):** `pct stop 108` auf ms-a2-2 (10.0.20.93) — connection-refused-Beweis, Fleet 22/25 Synced, Runner unversehrt. Wiki-Lügen korrigiert (ip-map behauptete „stopped" seit Wochen).
|
||
- **Lessons:** 1P-SA braucht je Call `--vault`; `op read --reveal` existiert nicht (stdout=Secret); `op item get --reveal` maskiert nur Display (JSON-Captures intakt); `/repos/search` = `{ok,data}`-Envelope; blankes Token erzeugt glaubwürdig LEERE Census (Fast-Fehlentscheidung „K8s hat nur 2 Repos").
|
||
- Docs: `docs/solutions/workflows/2026-09-17-ct108-full-decommission-census-router-topology.md` · Wiki: systems/gitea.md, reference/ip-map.md
|
||
- Offen (je Freigabe): Zombie-Secret `argocd-repo-credentials` löschen; immich-Zwillings-App (toter rendered-Dump vom 01.08., Live gehört immich-config) entfernen.
|
||
|
||
## [2026-09-17] fix | Merge-Day-Kampagne abgeschlossen: Konvergenz + Autosync-Rennen + Live-State-Arbitrage
|
||
- **Konvergenz DONE:** Merge `d76d3e8` (fork 46fa168, 24.07.) + Fixups `4987341`/`8c741c5` auf BEIDEN Remotes (CT108 + K8s-Gitea SSH 10.0.30.200). Ahead37/behind63-Narrativ endgültig begraben (Cache-Phantom). Single-Remote-Ziel erreicht: beide Tipps identisch.
|
||
- **Autosync-Renne verarbeitet (4 Minentypen):** authelia Duplikat-Volume (union-merge) entfernt; homepage `authelia-auth`-Middleware restauriert (Jul-Entscheidung ging nie live); paperless plaintext-OIDC-Secret GELÖSCHT statt Wert-Rollback (ESO-Ownership seit 24.08., Quelle 1P); newborn-App ceph-csi-cephfs eingefroren (autosync-Block aus Git entfernt — Helm-Release 3.17.0 wartet auf Adoption; rbd-chart 3.10.1 weiterhin ungoverned, Backlog).
|
||
- **3 Sync-Failures via Live-State-Arbitrage geheilt (alle Synced/Healthy @ 8c741c5):** (1) backups: VSC-CRD-Flavor-Falle — RKE2-Addon-CRD ist FLAT (driver/deletionPolicy top-level, `spec:` verboten!), Jul-Files waren für Upstream-Flavor korrekt; beide Files geflattet, cephfs-snapclass erstmals LIVE ERZEUGT. (2) databases: CNPG grow-only — Git auf 100Gi/20Gi hochaligned (Shrink verboten). (3) hindsight: VCT storageClassName immutable (hdd→flash aligniert), Live-Hotfixes gespiegelt (Node-Pin cp-01, ReadinessProbe draußen, secretKeyRef statt Klartext-PW). hindsight-postgres-0 rotierte sauber, PVC 47d Bound, API pollt.
|
||
- **Push-Learned:** canonical-Push braucht EXPLIZITEN Key (`GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o IdentitiesOnly=yes"`) — kein ~/.ssh/config vorhanden, Default-Key lehnt ab.
|
||
- **Chronisch (prä-merge, offen):** kube-prometheus-stack Synced/FAILED (CRD-Annotation >256kB); residual OutOfSync gitea-config (Deployment/gitea-runner) + immich-config (SA/CM-Reste) = Alt-Backlog, keine Regression.
|
||
- **Finale Ordnung (nächste Schritte):** ① ArgoCD-Sources auf ssh://git@10.0.30.200:22 flippen (incl. Secret argocd-repo-credentials) ② CT108 final stoppen (explizite Freigabe Dominik) ③ CSI-Adoption ④ kpstack-CRD-Fix.
|
||
- Docs: `docs/solutions/workflows/2026-09-17-argocd-autosync-race-four-mine-types.md` + `docs/solutions/bug-fixes/2026-09-17-live-state-arbitration-crd-flavors-hotfix-mirroring.md` · Morgen-Doc (.202-Empfehlung) korrigiert auf .200.
|
||
|
||
## [2026-09-17] bug-fix | Ghost-Instance-Regression: CT108-Gitea als ArgoCD-Source + gitea-backup RCA-Quality
|
||
- gitea-backup-29826930 (03:30Z) failed: BackoffLimitExceeded, 3 Instant-Crashes in 73s. Zwei Auto-RCAs attribuierten auf 1P/ESO-Rate-Limit — STRUKTURELL widerlegt (crashing init-container gitea-files konsumiert keine Secrets; mounted Secrets intakt).
|
||
- Echter Fund: ArgoCD-Apps (root/proxy/paperless/schoenkitchen/gitea-config) zogen von http://10.0.30.105:3000 = CT108-Ghost (nach Dekommissionierung 24.07. wieder eingeschaltet, stale Mirror ohne Hardening-Commit 2014673) → "Synced" maskierte fehlende failedJobsHistoryLimit-Felder live.
|
||
- Sofortmassnahme: manueller Rerun gitea-backup-manual-161538 SUCCESS (201,7 MB, S3-Upload verifiziert), Failed-Job gelöscht, Alert clear.
|
||
- Offen (awaiting owner): ArgoCD-Sources auf ssh://git@10.0.30.202:22 flippen, Repo-Divergenz ahead37/behind63 + tote HTTPS-Auth forensisch, CT108 final stoppen, ESO-Nachtsättigung (00:00Z-Fenster, cf. PAT-003) analysieren.
|
||
- Doc: `docs/solutions/bug-fixes/2026-09-17-gitops-ghost-instance-regression-masked-hardening.md` · Wiki: systems/gitea (CT108-Status), concepts/gitops-workflow (Single-Remote-Regel)
|
||
- **Abend-Phase:** SSH-Deny-Rootcause = keine Keys/Tokens im K8s-Gitea-DB registriert (Opfer der 01.08.-Migration) → via 1P-Token (hermes-gitops) re-registriert: User-Key + ArgoCD-Deploy-Key (beide end-to-end verifiziert, push dry-run OK). Echter Branch-Split am 24.07. entdeckt: K8s-Gitea-main=29.07.-Stand (b9d7441, 70 Commits incl. mariadb:11.4-Fix für gitea-backup), CT108/local=38 Commits ab 04.09. Hardening TTL=86400 + Exit-42-Guard via ArgoCD gelanded (a0c9b6b). Heutiger DB-Dump validiert (116 Tables, kompletter Trailer). Nächste Schritte: Historien-Konvergenz → Source-Flip → CT108-Stop (Freigabe).
|
||
|
||
## [2026-08-30] retro | Compound Learning Retrospective (Last 30 Days)
|
||
- Reviewed sessions from Jul 31 – Aug 30, 2026
|
||
- **4 new solution docs** written by subagents:
|
||
- `bug-fixes/2026-08-05-ceph-squid-ec-pool-mark-complete-bug.md` — EC pool mark-complete fails in Squid
|
||
- `bug-fixes/2026-08-06-traefik-cross-namespace-routing-pitfall.md` — Two Traefik 404 incidents
|
||
- `architecture/2026-08-01-k8s-full-cluster-rebuild-procedure.md` — Full RKE2 rebuild sequence
|
||
- `architecture/2026-08-01-immich-data-loss-no-backup.md` — Ceph redundancy ≠ backup
|
||
- **2 new patterns** extracted:
|
||
- PAT-008: Ansible default_ipv6 fact missing on fresh VMs
|
||
- PAT-009: Stale NBD devices after RBD volume swap
|
||
- **4 Hindsight entries** indexed with solution summaries
|
||
- Key themes: K8s cluster disaster recovery, Ceph EC pool unrecoverability, Traefik routing complexity, backup gap identification
|
||
|
||
## [2026-08-30] feat | WikiSkill Patterns Directory + Skill-Impact Tracker
|
||
- Analysed arXiv:2608.27454 (WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution)
|
||
- **New `patterns/` directory** in LLM Wiki — structured failure-mode patterns inspired by WikiSkill's Wiki Layer
|
||
- Created 7 initial pattern pages from existing MEMORY.md entries + solution docs:
|
||
- PAT-001: Galera DDL TOI Deadlock
|
||
- PAT-002: Traefik reload unreliable
|
||
- PAT-003: 1Password account-level rate-limit
|
||
- PAT-004: VFIO GPU passthrough race condition
|
||
- PAT-005: Finanzblick sync WAF-blocked
|
||
- PAT-006: LinkedIn React nativeInputSetter
|
||
- PAT-007: Ceph EC pool + SSD wear-level
|
||
- **Skill-Impact Tracker** (`patterns/skill-impact.md`) — audit trail for skill modifications (accept/reject history)
|
||
- **Template** (`patterns/_template.md`) for future pattern creation
|
||
- **compound-learning skill patched** — added Phase 4.8 (Pattern Extraction) + Phase 4.9 (Skill-Impact Tracking)
|
||
- Updated index.md with Patterns section
|
||
- Hindsight: indexed with tags architecture, wikiskill, patterns, skill-evolution
|
||
|
||
## [2026-08-13] feat | Memory Architecture Enhancement (arxiv 2602.06052v4)
|
||
- Implemented 3 new automated memory capabilities from survey paper analysis:
|
||
- **Decay & Importance Scoring** (`hindsight_decay_scoring.py`): Monthly cron (1st 03:30). Score = log(1+access)/log(51) × 0.5^(age/90d). Archives score<0.15 with 0 accesses. First run: 200 evaluated, 50 archived.
|
||
- **User Drift Detection** (`user_drift_detection.py`): Weekly cron (Mon 04:00). Compares 14d vs 90d baseline for message length, frustration, corrections, topic shifts, style changes. First run: detected 3 drifts (41% longer msgs, new focus gitops, declining ai_ml).
|
||
- **Skill Health Check** (`skill_health_check.py`): Weekly cron (Mon 04:30). Scans 187 active SKILL.md files for stubs, broken refs, missing pitfalls, staleness, duplicates. First run: 70 healthy, 117 warnings, 0 critical.
|
||
- Cron jobs: 112c106c0954, 280458a2b035, 761b6694d99b (all no_agent, deliver=origin)
|
||
- Wiki updated: systems/hindsight.md (meta-memory automation table expanded)
|
||
- Hindsight: indexed with tags architecture, memory-system, cron, arxiv-2602.06052
|
||
|
||
## [2026-08-13] fix | Seafile Recovery + Paperless Upgrade + Authelia Ingress
|
||
- **Gitea SSH access**: No SSH key on Hermes VM was authorized for Gitea. HTTP port 3000 has no external IngressRoute. Generated dedicated ED25519 key (`id_ed25519_gitea-hermes-push`), stored in 1Password (ID: lqaebdtewj5xatvpzfrkag73v4), registered in Gitea as key ID 4 for user dominik. SSH via `10.0.30.202:22` (LoadBalancer) is the reliable push path.
|
||
- **Paperless v3 IngressRoute**: Host was `dokumente.familie-schoen.com` instead of `dokumente-neu.familie-schoen.com`. Two-track fix: kubectl patch (immediate) + Git commit `fa4184b` (permanent via ArgoCD self-heal). Backtick escaping in Traefik Host() match requires `--patch-file` not inline `--patch`.
|
||
- Wiki updated: systems/gitea.md (SSH push key section), reference/ssh-keys.md (new key entry)
|
||
- Solution docs: workflows/2026-07-26-gitea-ssh-access-for-hermes.md, bug-fixes/2026-07-26-paperless-ingressroute-hostname-fix.md
|
||
- Hindsight: both solutions indexed with tags
|
||
|
||
## [2026-07-25] fix | Loki 500 Error + CNPG Leader Election + Stale Pods Cleanup
|
||
- **Loki HTTP 500**: `replication_factor: 3` in hash ring with only 1 SingleBinary instance → "too many unhealthy instances in the ring". Chart v6.42.0 ignores `loki.common.replication_factor` — correct path is `loki.commonConfig.replication_factor`. Fix: commit `cb70d36`
|
||
- **Memcached caches disabled**: `chunksCache.enabled: false`, `resultsCache.enabled: false` (SingleBinary doesn't need them). Commit `f8852e8`
|
||
- **Fluent Bit**: cascading failure from Loki 500s — fixed automatically once Loki accepted pushes
|
||
- **CNPG 28+129 restarts**: Leader election lease renewal failed during API server latency spikes (Ceph recovery I/O). Default 15s/10s too short. Fix: `--leader-lease-duration=60 --leader-renew-deadline=40` via `additionalArgs`. Commit `6ed4a53`
|
||
- **17 stale node-debugger pods** deleted from default namespace
|
||
- **OSDs 0+2 destroyed+purged** (proxmox2, SSDs with 92% wear + slow ops). CRUSH host proxmox2 removed. 13 OSDs remaining on 8 hosts.
|
||
- Wiki updated: ceph-cluster.md, loki-fluentbit.md
|
||
|
||
## [2026-07-25] fix | Memory Sync Broken — HTTP→HTTPS + Ceph Duplicate
|
||
- Git push failed: remote URL used `http://` but Gitea redirects to `https://` — git doesn't follow auth redirects
|
||
- Token itself was valid (same as ArgoCD `argocd-repo-credentials`), just wrong protocol
|
||
- Fixed: `git remote set-url` to `https://`
|
||
- Eliminated duplicate: `systems/ceph.md` (82 lines, no frontmatter) merged into `systems/ceph-cluster.md` (canonical, referenced in index.md)
|
||
- Fixed sync script: removed `--allow-empty` flag, improved change detection
|
||
|
||
## [2026-07-24] fix | Velero CSI Volume Snapshots Three-Layer Fix
|
||
- Velero backups PartiallyFailed for 121 days — all PVCs skipped
|
||
- Fix 1: Created VolumeSnapshotClass `ceph-rbd-snapclass` (rbd.csi.ceph.com)
|
||
- Fix 2: Migrated ArgoCD repoURLs from dead Gitea (10.0.30.105) to new (ssh://git@10.0.30.202:22)
|
||
- Gitea SSH user is `git` not `gitea`; git.schoen.codes → Traefik (10.0.30.208), SSH on 10.0.30.202
|
||
- New SSH deploy key generated, added to Gitea repo
|
||
- Fix 3: `features: EnableCSI` must be under `configuration:` in Velero Helm values (not top-level)
|
||
- Must be string, not array — array form breaks Helm template
|
||
- Verified: test backup created VolumeSnapshot + VolumeSnapshotContent, uploaded to S3 ✅
|
||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-velero-csi-snapshots-three-layer-fix.md
|
||
- Commits: 5ebfa30, 19f35bc, cd18c58, baf85f5, f652bfb
|
||
|
||
## [2026-07-24] fix | VFIO Module Loading Race Condition RCA + Fix
|
||
- RCA: GPU passthrough failed on ms-a2-1 due to missing modprobe config (NOT kernel version)
|
||
- Root cause: Missing `softdep amdgpu pre: vfio-pci` + incomplete DRM blacklist → race condition (302s vs 2.4s bind time)
|
||
- Fix applied to ms-a2-1: Added `blacklist drm`, `blacklist drm_kms_helper`, `softdep amdgpu pre: vfio-pci`, rebuilt initramfs
|
||
- Verification pending (reboot required, 4 VMs + OSD 13 on ms-a2-1)
|
||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md
|
||
- Also documented: K8s persistent storage architecture (all PVCs on Ceph RBD, 3x replication)
|
||
- Solution doc: docs/solutions/architecture/2026-07-24-k8s-persistent-storage-ceph-rbd.md
|
||
|
||
## [2026-07-24] fix | worker-05 GPU Passthrough — Move to ms-a2-2
|
||
- Problem: worker-05 (VM 102) on ms-a2-1 had kernel BUG with 1002:13c0 GPU — /dev/dri/renderD128 missing
|
||
- ms-a2-1 and ms-a2-2 have identical hardware (AMD Ryzen 9 9955HX, GPU 1002:13c0)
|
||
- Solution: Moved VM 102 from ms-a2-1 to ms-a2-2 (offline migration, Ceph RBD shared storage)
|
||
- Result: renderD128 ✅ visible in guest, amdgpu driver loaded, all pods running
|
||
- IaC: main.tf cleaned up — single unified rke2_worker block, worker-05 node=ms-a2-2, worker-06 removed
|
||
- PCI mapping: amd-gpu now includes n5pro + ms-a2-1 + ms-a2-2
|
||
- Commit: 21bd335
|
||
- Also: ms-a2-2 upgraded PVE 9.1.1→9.2.5, kernel 7.0.14-6-pve, VFIO persistent after reboot, HA integrated
|
||
|
||
## [2026-07-24] init | ms-a2-2 Node Initialization
|
||
- New Proxmox node ms-a2-2 (10.0.20.93, nodeid 1) joined cluster
|
||
- Hardware: AMD Ryzen 9 9955HX (32 threads), 91GB RAM, 1.8TB NVMe
|
||
- GPU: AMD Radeon 1002:13c0 (identical to ms-a2-1) — VFIO passthrough configured
|
||
- PCI mapping: amd-gpu-ms-a2-2 created, added to generic amd-gpu mapping
|
||
- Ceph OSD 14: created on nvme0n1 (1.8TB SSD), class ssd, weight 1.82
|
||
- Fluent-bit: installed + configured (hostname adapted to ms-a2-2)
|
||
- APT sources: fixed from enterprise to no-subscription (ceph + pve)
|
||
- LLM Wiki: ip-map.md, ceph.md updated; AGENTS.md updated (9 nodes)
|
||
- Note: PVE 9.1.1 on ms-a2-2 (rest of cluster is 9.2.3) — upgrade pending
|
||
|
||
## [2026-07-24] cleanup | proxmox1 Permanent Removal + Ceph PG Fixes
|
||
- Removed proxmox1 from Ceph CRUSH (empty host bucket, weight 0)
|
||
- Also removed stale empty buckets: proxmox, px-tmp20
|
||
- Updated corosync.conf: removed proxmox1 node entry, config_version 14→15, expected_votes 9→8
|
||
- Removed stale /etc/pve/nodes/{proxmox1,proxmox,pve,px-tmp20}
|
||
- Updated IaC: proxmox_api_url 10.0.20.10→10.0.20.91, template_node proxmox1→n5pro, target_nodes list updated
|
||
- Updated AGENTS.md topology (9→8 nodes), LLM Wiki ip-map.md + ceph.md
|
||
- Commit: 469d29d
|
||
- Additional: Manual pg-upmap for stuck PGs 5.13→[1,6,7], 6.6c→[11,8,7] — all clean+remapped eliminated
|
||
|
||
## [2026-07-24] fix | Ceph Remapped PGs — Weight Imbalance + pg_num Mismatch
|
||
- RCA: 11 active+clean+remapped PGs caused by CRUSH placement failure
|
||
- Root cause 1: Pool 6 (hdd_disk) pg_num=120 ≠ pgp_num=112 (autoscaler mid-merge)
|
||
- Root cause 2: Extreme HDD host weight imbalance (n5pro=10TB vs proxmox6=0.3TB)
|
||
- Fix: Equalized pg_num→112, set nopgchange=true, reweighted osd.7 0.80→1.0
|
||
- Result: 9/11 PGs recovering (backfilling at 36MiB/s), 2 cosmetic clean+remapped remain
|
||
- Created systems/ceph.md with full OSD/pool/CRUSH documentation
|
||
|
||
## [2026-07-24] update | Gitea Actions K8s Runner Bug + DinD Pitfalls
|
||
- Documented Gitea 1.27.0 bug: actions_ready_job queue doesn't assign tasks to K8s-based runners
|
||
- Updated systems/gitea.md with known issue, DinD pitfalls, runner management via DB
|
||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md
|
||
- IaC committed: runner-deployment.yaml + runner-config.yaml (DinD TCP sidecar pattern)
|
||
|
||
## [2026-04-28] init | Memory System Created
|
||
- Created memory directory structure at ~/.hermes/memory
|
||
- Installed qmd 2.1.0 (Query Markup Documents)
|
||
- Created initial index.md with entities, concepts, and sources
|
||
- Created Entity pages: Infrastructure, Email-System, Health-Fitness, Team-Structure, Memory-System
|
||
- Created Concept pages: Network-Architecture, Email-Organization, Monitoring-System, Proxmox-Cluster, qmd-Knowledge-Base
|
||
- Initialized git repo, pushed to origin/main
|
||
|
||
## [2026-04-29] fix | Memory Process Established
|
||
- Corrected stale memory-entry-001.md
|
||
- Established protocol: memory update + git sync on every session
|
||
|
||
## [2026-04-30] ingest | cloud.familie-schoen.com
|
||
- Full port scan, DNS, SSL, HTTP headers, API analysis
|
||
- Identified: Seafile 13.0.19 on nginx, Let's Encrypt SSL
|
||
|
||
## [2026-07-24] restructure | Full Wiki Restructuring
|
||
- Deleted 5 root-duplicate files (dominik-schoen, email-organization, team-structure, llm-wiki-pattern, embedding-model)
|
||
- Deleted obsolete Entities/Memory-System.md, Concepts/qmd-Knowledge-Base.md
|
||
- Deleted raw/articles/ and memory-entry-001/002.md (stale)
|
||
- Renamed Entities/ → entities/, Concepts/ → concepts/ (lowercase)
|
||
- Created new directories: systems/, reference/
|
||
- Moved Proxmox-Cluster, Monitoring-System, seafile to systems/
|
||
- Updated all existing pages with current data (April → July 2026):
|
||
- Infrastructure: 2 Nodes → 9 Nodes, added Ceph/RKE2/Galera/Loki
|
||
- Proxmox-Cluster: PVE 9.2.3, 9 Nodes, Fluent Bit details, PVE Tasks, Ceph Audit
|
||
- Network-Architecture: cleaned up, links to reference pages
|
||
- Monitoring: Prometheus/Grafana/Loki/HolmesGPT (was just "weekly network scans")
|
||
- Created 6 new system pages: ceph-cluster, rke2-kubernetes, galera-maxscale, loki-fluentbit, gitea, hindsight
|
||
- Created 3 reference pages: ip-map, ssh-keys, ports
|
||
- Created 2 concept pages: gitops-workflow, credential-policy
|
||
- Rewrote index.md with new structure + Memory Layer Architecture table
|
||
- Total: 18 pages (was 21 with dupes, now 18 clean unique pages)
|
||
|
||
## [2026-09-29] update | VM302 Zombie-Recovery nach Migration
|
||
- VM302 (Galera db3) reagierte nach Migration auf ms-a2-2 nicht: QEMU "running", aber SSH/MariaDB/QGA tot
|
||
- Root Cause: Post-Migration-Zombie; -incoming/-S in QEMU-Cmdline ist Artefakt, kein Beweis für Pause
|
||
- Fix: qm stop/start trotz HA-Guard, SST-Rejoin ~2-3min
|
||
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
|
||
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
|
||
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
|
||
|
||
## 2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
|
||
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
|
||
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
|
||
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
|
||
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
|
||
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
|
||
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
|
||
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
|
||
|
||
## 2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
|
||
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
|
||
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
|
||
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
|
||
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
|
||
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
|
||
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
|
||
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
|
||
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
|
||
- Cutover 09.10.: v2 prodiziert solo (Cron a32005d62226, --publish --allow-grid-charge), v1+Shadow pausiert als Rollback; Publish-Kette bewiesen (Stamp+Inhaltsmatch+Kaskaden-Konsum); Guard 95/75->30/20 s
|
||
- 09.10.: Deutsche Plan-Visualisierung: Section 'Solar-Plan (EMHASS)' auf dashboard-akkus (ApexCharts Ladeplan+SoC) via WS lovelace/config/save; Getter heisst 'lovelace/config'
|
||
|
||
## 2026-10-09 — Immich: K8s-Upgrade v3.3.1 + Legacy-Stilllegung nach Reconciliation
|
||
- K8s-Immich v3.2.2→v3.3.1 via GitOps (Commits 3ff08c4, canonical): values.yaml+rendered Tags, ArgoCD selfHeal; Public-API beweist 3.3.1; Restic-Backup 04:09 als Netz
|
||
- Reconciliation formal: Legacy 53.613 Assets/53.257 uniq CKSUMs ⊆ K8s 56.887/56.531 — Multiplicity-Match 53257/53257, 0 fehlend; 356 Leg-Dubletten alle doppelt vorhanden; K8s-Extra 3.274 = Nachwuchs
|
||
- Methode: Counter-Multiplicities statt Set-Diff; PITFALL: psql-Fehlerzeilen in SSH-Pipelines simulierten Datensätze ("4 Null-CKSUMs"), Schema-Spalten v2.6.3=asset_exif.fileSizeInByte vs v3=exif.fileSizeByte
|
||
- Legacy-Stilllegung CT111 (GO "1 kann starten"): Pre-Flight 0 Conns auf :2283, graceful Stops server→ML→redis→postgres, restart=no, Seafile-Stack unberührt; ~625MB RAM frei; compose-file bewusst nicht angefasst (rollback = docker start + restart=always)
|
||
- CT111-Cleanup-Subagent: Root 99%(768MB)→83%(8GB frei): journal vacuum 3,9G + apt 320M + dangling imgs 2,83G; ROOT CAUSE fluent-bit→Loki 10.0.30.207:3100 'No route to host' flutet Journal (77%) — FIX OFFEN
|
||
- Wiki systems/immich.md NEU + index.md ergänzt; Solution-Doc 2026-10-09-immich-legacy-decommission-prep.md
|
||
|
||
## 2026-10-09 — ArgoCD-Ownership-Krieg Immich beendet (Nachtrag zur Legacy-Stilllegung)
|
||
- Symptom: App immich permanent OutOfSync/Healthy, autoHealAttemptsCount 13.353+ wachsend — Root Cause NICHT das Upgrade
|
||
- Zwei Apps verwalteten dieselben Workloads: immich (path .../rendered, wave3) vs immich-config (path clusters/main/immich, recurse:true, wave2) → Tracking-Label-Ping-Pong (instance: immich vs immich-config)
|
||
- Diagnose: argocd app diff im Pod (--plaintext) = Fingerabdruck; erster Fix-Versuch exclude: rendered wirkungslos (matcht keine Verzeichnisinhalte)
|
||
- Wirksam: recurse streichen + exclude 'rendered/**' + Übergangs-Freeze prune:false/selfHeal:false (Löschschutz); Ownership-Labels wanderten nach Freeze automatisch zu immich
|
||
- Endzustand: beide Apps Synced/Healthy, Heals eingefroren 13.357, Prod v3.3.1 unbeeindruckt; Commits 57cfa65+497aa34
|
||
- OFFEN: immich-config-Freeze nach 24 h reaktivieren (prune+selfHeal true)
|
||
|
||
## 2026-10-09 — Loki-VIP-Restaurierung: Fleet-weites Journal-Flut behoben
|
||
- Symptom: fluent-bit Fleet (9 Hosts + LXCs) fluutete Journals seit ~7.10. mit "No route to host 10.0.30.207:3100"; CT111-Journal 4,1 GB, Disk 99 %
|
||
- Root Cause: manueller SVC loki-external (LB .207) nie in Git, verschwand bei Helm-Iterations-Recreates unbemerkt
|
||
- Fix: clusters/main/logging/loki-lb.yaml (LB 10.0.30.207:3100, Selector single-binary) via App logging-config; Commit fb4d8b9; + journald-Cap 200M auf CT111 (airbag)
|
||
- Verifiziert: /ready=200, flushes succeeded, Loki empfängt live Streams, Errors 726/10min → 0/60s (CT111 + ms-a2-1)
|
||
- Lesson: manuelle kubectl-Ressourcen = Zombie-Quelle Nr.1; eine tote VIP spammed 30+ Maschinen synchron
|
||
|
||
## [2026-10-11] emhass-publish-path-fix | EMHASS-Publish-Deadlock nach HA-Restart behoben (User-GO)
|
||
- Symptom: Seit HA-Core-Restart 17:45 UTC (Recorder-Incident) crashte jeder v2-Optimizer-Tick FATAL (p_batt_forecast rc=22); „Trigger EMHASS"-Automation client_error; smart_battery_target=0 → Nachtladung gefährdet
|
||
- Root Causes (2 kombiniert): (1) p_/plan_-Sensoren = set_state-Entities, überleben Restart nicht; v2 liest hart → Deadlock. (2) rest_command localhost:5000 — HA im Host-Netz vs. Addon in HassIO-Bridge → connection-reset nach Restart (10.0.30.10:5000 parallel OK)
|
||
- Fix: configuration.yaml beide rest_command-URLs → http://10.0.30.10:5000 (Backup .bak-20261011-restcmd) + rest_command/reload; Immediate-Heal via direktes POST /action/publish-data ans Addon
|
||
- Verifiziert: manueller Publish 200, p_batt_forecast/soc_batt_forecast auferstanden, v2-Tick 20:32 UTC komplett durchlaufend („OK: v2 cycle complete"), plan_* 48 Slots live, Kaskade folgt (smart_battery_target 876→874 W)
|
||
- Nebenfund (Rename-Trap): Trockner-Powercalc zeigt auf tote switch.trockner_2 (Plug heute waschmaschine_2) → Trockner seit ~03.10. ungezählt; Wrapper maskiert 0 W
|
||
- Offen: Legacy-„Trigger EMHASS"-dayahead-Call 400 (Payload ohne pv/load-Arrays) — vom v2-Cron abgedeckt; disable vs. Fix ausständig
|
||
- Lesson: „Automation last_triggered aktuell" ≠ erfolgreich — Transportfehler nur via HA-Log+Addon-Log korrelierbar. Solution Doc: integrations/2026-10-11-emhass-publish-path-break-after-restart.md
|
||
|
||
## [2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
|
||
- Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
|
||
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5
|
||
## [2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
|
||
- Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
|
||
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5 %, Muskulatur 61,2 kg, Wasser 50,8 %, Knochen 3,24 kg. Kette: 92,4 (10.10.) → 92,7 (15.10.) → 93,1 (19.10.). Memory-Fragment "dd14, 92,1 NEW LOW" ließ sich weder in HA noch in Sessions reproduzieren → als unbestätigt markiert, aus Telemetrie-Fragment entfernt.
|
||
- Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0).
|
||
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
|
||
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
|
||
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
|