168 KiB
Memory Log
[2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix
- Symptom: HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill.
- RCA: SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert).
- Fix: Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (
ha_mem_log.jsonl, Leak-Alarma ≥250 MiB/h). - Pitfalls: HAOS-Shell
/dev/tcp= false negative;.log.1war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript. - Wiki
systems/homeassistant.md(neuer Abschnitt), SolDocbug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md.
[2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node
- Symptom: Cron
43612c6d52b6meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund:http://10.0.30.10:8123→ 200, Entryfreeathome=loaded, SysAP HTTP UP (getAll-Probe 40,8 s). - Ursache 1:
fah_watchdog.pyholte das HA-Token bei jedem 15-min-Tick frisch perop read; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecretsSecretSyncedErrorbeirefreshInterval: 1h(authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokalerop-Prozess als Verursacher. - Ursache 2:
guest_exec()hardcodeteroot@10.0.20.93(ms-a2-2) — VM 106 läuft auf proxmox3.qm guest exec→Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist(rc=2). Der Rettungs-Reboot wäre nie gefeuert. - Fix: Token cache-first aus
~/.hermes/secrets/ha_token.txt(1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall, 401-Retry) +resolve_pve_host()viapvesh get /cluster/resources --type vm. Verifiziert:--selftest→ „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Tick still (exit 0). - Offen (Owner-GO): ESO-Retry-Sturm stoppen (5 ES 1h → 12h, ggf. ESO kurz auf 0) — hält sonst die 1P-Quote account-weit zu.
- Doku: SolDoc
bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md, Wikisystems/homeassistant.md, Pattern1password-rate-limit.md(PAT-003), Skillsmart-home-automation.
[2026-11-05] Security-Sweep: sshhole.com (0 Treffer) + CVE-2026-98432 (25/26, NAS mitigiert)
- sshhole.com: OpenSSH-auf-musl-Auth-Bypass (musl
crypt()liefert*; jedes Passwort mit 257–1024 Zeichen loggt Konten mit*-Shadow-Feld ein; Fix OpenSSH 10.6p2). 52 SSH-Endpunkte über 10.0.20/30/40.0/24: alle sshd-Binaries glibc+PAM, HAOS 22222 Dropbear, Gitea.200Go-SSH, Alpine-Images ohne sshd, NAS-shadow ohne*-Login-Konto → 0 betroffen. Pitfall: musl-Loader ≠ musl-sshd (CT113 paperless-gpt), immerldd /usr/sbin/sshd. - CVE-2026-98432: Live-Re-Verifikation 25/26 geschlossen (PVE 8/8
7.0.14-26, 30 LXC, 17 VMs inkl. RKE26.12.113/HAOS 18.4, 221 Pods). Einzig Ubuntu.100offen (6.8.0-146; Fix6.8.0-149weiterpending). Mitigation gesetzt:/etc/sysctl.d/99-cve-2026-98432.conf(net.mptcp.enabled=0,tcp_migrate_req=0), verifiziert, Dienste + Ceph unverändert. nft-Regel gegen IPv4-Options offen (Owner-GO). - Watchdog: Cron
6252986090b9war 9 Ticks blind (bash-Präfix inmonitor_script,deliver=local,debian@stattroot@im Prompt) → repariert (+x, bare filename,deliver/failure=origin, Ceph-Gate im Prompt), Sensor + Trigger validiert. - Doku: SolDoc-Nachtrag
2026-10-30-cve-2026-98432-fleet-exposure.md+systems/ubuntu-host.md.
[2026-11-03] Haus-Akku: SOC-Sensoren + EMHASS-Kapazität korrigiert
- Befund: Fünf HA-Template-Sensoren hingen an der toten Local-API-Integration
marstek_venuse_3_0_*(es gibt nur die Modbus-Entities).total_soc_safezeigte 3,9 % statt ~12 %,Marstek SOC SafeundMarstek Grid Power Safedauerhaft 0. Zusätzlich rechnetenremaining_kwh(110 Wh/%) undTotal SoC(Nenner 15120) mit 11 kWh, real nutzbar sind 7,2 kWh. - Fix: Templates auf
marstek_venus_modbus_*, 72 Wh/%, Nenner 7200+5120 mit SMA-Fallback (Backupcore.config_entries.bak-20261103); EMHASSbattery_nominal_energy_capacity16000→12320 Wh (Backup/config/config.json.bak-20261103, Add-on-Restart). Verifiziert: SMA 11 % / Marstek 13,2 % →total_soc11,95 %,total_soc_safe11,9 %,remaining_kwh792 Wh; nächster EMHASS-LaufOptimalmit kleinerem Plan (chg 2,95→2,70 / dis 2,39→2,19 kWh). - Pitfall: EMHASS-Add-on-Config liegt unter
/config/config.jsonim Container, nicht in den Add-on-Options (dort nur Solcast). Dateiänderung im Race mit dem HA-Start wird ignoriert → bei Template-Entries einzelnhomeassistant.reload_config_entryaufrufen, danach Werte prüfen. - Offen:
sensor_power_battery=batteries_power_out_total(nur Entladung, beim Laden 0) — unkritisch, solangeset_use_battery_identification: false. Ledger warnt jeden Lauf „price coverage only 56 %" (EPEX-Lücken 00:00–10:00, carry-forward 0,4217 €/kWh).
[2026-11-03] free@home: Wanddisplay-Widgets via Lokal-API ausgelesen
- Zugang: Local-API-User
Installer, Passwort im HA-Config-Entryfreeathome(nur über Dateisystem lesbar). VM 106 läuft auf proxmox3 (10.0.20.30), nicht auf .93. - Widgets = Panel-Kanäle +
/pairings: DisplayABB6BC5495EA„free@homeTouch 7"" (Essbereich EG), 4×4-Raster, 9 Widgets belegt / 7 frei. API v1 hat keinen Panel-Endpoint. - Pitfall: Panel-Kanäle spiegeln keine Aktor-Zustände → Live-Status am Ziel-Aktor lesen.
- Wiki
systems/homeassistant.md, Skill-Refsmart-home-automation/references/freeathome-local-api.md, SolDocintegrations/2026-11-03-freeathome-panel-widgets.md.
[2026-11-02] HEVC-Encoder-Ausschuss: Bitstream-Korruption als dritte Fehlerklasse
- Fall:
SexAndSubmission - 2026-08-28 - Alexa Chains.mp4spielte weder in Jellyfin noch in QuickTime.ffprobeund Box-Parser meldeten alles korrekt (hevc/hvc1/1080p,moov<mdat,hvcC=3 Arrays, bytewise deckungsgleich mit einer funktionierenden Datei derselben Pipeline). Ursache: eigener VAAPI-Encode vom 30.10. mit 35CABAC_MAX_BIN-Fehlern (~1/min),rc=0weil libavcodec concealte. - Fix: Original-Release neu geladen (FETiSH, 4,63 GB) → sofort spielbar (h264); parallel Re-Encode
libx265 crf24 medium(44 fps ≈ 1,45× Realtime auf 4 vCPU) mit Gates Codec/Dauer/Größe/Atoms/Volldekodierung 0 Zeilen, Swap + Auto-Refresh-Watcher. - Gescheitert: erster Versuch mit
hevc_vaapi→No VA display found for device /dev/dri/renderD128(rc 234). Grund: worker-05 seit 01.11. 10:19 UTC NotReady (kein Ping, ARP FAILED), Pod auf worker-04 rescheduled, dort nurcard0— undcard0als-vaapi_devicescheitert mitFailed to initialise VAAPI connection: -1. Kein VAAPI im Cluster bis zum Node-Revival. - Nebenprodukt: HEVC-Stichproben-Audit der Bibliothek läuft (3×20 s je Datei); erste Treffer null. Wiki
systems/sabnzbd.md+ Skillvideo-codec-compatibilitygepatcht, SolDocintegrations/2026-11-02-hevc-bitstream-korruption-cabac.md.
[2026-11-02] HA-Automation Büro EG: Licht nach Präsenz + 15-min-Nachlauf
- Neu:
buero_eg_licht_praesenz_nachlauf(automations.yaml Z.1626):binary_sensor.esp32_c3_buero_eg_presenceon→switch.licht_buroan;off15 min → aus.time_pattern /10-Sweep nur als Restart-Recovery (kein Re-Assert, manuelles Ausschalten bleibt respektiert). - Gebaut via REST:
POST /api/config/automation/config/<id>(modernetriggers/conditions/actions), Readback per GET, kein HA-Restart nötig. Entity-ID danach per WSconfig/entity_registry/updatevonautomation.buro_eg_licht_nach_prasenz_15_min_nachlaufauf…buero_eg_licht_praesenz_nachlauf— Alias-Slugify transliteriert Umlaute. - E2E: On-Pfad live 2× (Trigger 07:18:47 / 07:19:45 → Licht an), Off-Pfad über Temp-Automation mit
for: 10s(Prod: 15 min), Temp gelöscht,offpath-grep 0, keine HA-Log-Fehler. - Befund: Sensor meldet Präsenz in 30–120-s-Bursts (LD2410-typisch) → Nachlauf trägt die Logik; bei Fehl-Aus Sensor-Config prüfen. Wiki
systems/homeassistant.mdgepatcht.
[2026-11-01] Zweite Beschaffungswelle: +24 Szenen (Submissed/AngeloGodshack/PascalsSubSluts) + Quarantäne-Inventar
- Sweep repariert: discovery-Cap
max=250(vorher 25 Zeilen), Szenen-Key = Brand+Datum+Performer mit Release-Token-Strip, Varianten-Merge (1080p AVC > 1080p HEVC > 720p). Alte Version lud dieselbe Szene 2–3× als 720p/1080p. - Dedupe-Regel: gegen
media/über Datum und Performer; ohne Datum (LegalPorno-Jahresposts) nur Performer. Nur Performer allein hätte 3×Mini Mitzixals „neu“ gemeldet. - Ergebnis: 24 Szenen / 23 GB,
addurlin einem Rutsch, 0 Fehlschläge. Bibliothek 557 Dateien / 555 NFOs (550 mp4 + 5 mkv + 2 wmv), 0 ohne NFO, 0 falscher Owner, 0(2)-Kopien. Jellyfin 555 Items (Refresh 204, Scan Completed). - Verteilung: Submissed 14 (+5), PascalsSubSluts 16 (+15), AngeloGodshack 9 (+4).
- Quarantäne 163 GB klassifiziert: A-safe 62 Dateien/91,9 GB löschbar (Dubletten, Gegenstück ≥ gleiche Auflösung), A-master 6× 2160p/42,3 GB behalten, B 3/2,6 GB Review, C 17/43,5 GB unique (davon 8× 2160p ~34 GB Downscale-Kandidaten).
- binsearch ist entgegen der alten Skill-Notiz curl-scrapbar (
/search?...&max=250, NZB per GET). Skillusenet-binarieskorrigiert.
[2026-11-01] NZB-Kanal binsearch + Sorter v13 (4 neue Studios) + 14 Szenen in der Bibliothek
- Quellenlage: nzbindex (Download 404) und nzbking (nur .par2) untauglich → binsearch.info liefert echte Videoposts. NZB per GET
/nzb?<msgid>=on(POST = 405), Einreihen per SABmode=addurlstattnzb-drop(Drop+Cron = Doppel-Einreihung, 2×1,7 GB beobachtet). - Sorter v13 (
a27c85e):Submissed,PascalsSubSluts,AngeloGodshack,FutileStrugglesgemappt;*angelogodshack*-Wildcard nötig (LegalPorno-Branding),^legalporno[._-][0-9]{4}[._-]-Strip, Junk-Tokenp0rnl0v3r. - Ergebnis: +14 Szenen (8 Submissed, 1 PascalsSubSluts, 5 AngeloGodshack), 18,3 GB, 0 Fehlschläge; Bibliothek 525 Videos / 530 NFOs / 0 ohne NFO / 0 falscher Owner / 0 (2)-Kopien; Jellyfin 530 Items (Refresh 204).
- Nebenarbeit: 28 Tutorials-NFOs erzeugt (Studio
Tutorials, Genre BDSM/Education), 5 root:root-NFOs in PublicDisgrace gefixt, 2 Früh-NFOs mitstudio=Kink.comaufSubmissedkorrigiert. - Offen:
complete/105 GB Löschfreigabe, Quarantäne 163 GB, 7 stale Jellyfin-Rows (mkv/wmv), Disk 88 %. - SolDoc integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md; Wiki systems/sabnzbd.md (v13 + NZB-Quellen).
[2026-11-01] Samsung QN90A persistent gerootet + Privacy-Stack via Vetro v0.3.5
- Root: samsung-tv-root v0.0.12 (SVE-2025-50109) via Developer Mode, danach Vetro-Service installiert → self-rooting bei jedem Boot (Developer-Host-IP jetzt 127.0.0.1, SDB extern zu).
- Privacy verified: DNS-Filter 21 Domains (Vetro restauriert je Boot), Voice-Stack aus (voice-all: 31 Apps geflaggt, 0 Prozesse live), ACR/tracking-all (18 Apps), HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0).
- Pitfalls: Tizen-App-Graph — Einzelflags verlieren gegen referencedBy-Kanten, Quick-Win-Gruppen nehmen; pkgcmd -D exit 25 (wirkungslos auf diesem Build); sdbd-Client-Slot exklusiv (A2S-Installer blockt Root-Sessions); /wins-firmware-Semantik invertiert; Vetro-/dns-Payload braucht
action:"apply". - Backups: tv-privacy-backup-20261101.csv (431 Boot-Flags, Host+TV); Samsung-Partner-Zertifikat unter ~/.config/Apps2Samsung.
- SolDoc integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md + Hindsight; Wiki entities/samsung-qn90a.md NEU + index.md.
[2026-10-30] CVE-2026-98432 Fleet-Sweep — 26/26 Kernel betroffen, drei Fix-Pfade
- Befund: 8 PVE-Hosts (7.0.14-17/-19, Fix ab -25), 8 K8s-Nodes (7.1.8, Branch EOL), 8 Debian-12-VMs (6.1.187, Fix 6.1.190 schon installiert), Ubuntu-Node .100 (6.8.0-146, Fix 6.8.0-149 noch nicht released), HAOS 6.18.52. 29 LXC erben PVE-Kernel. 0 gepatcht.
- Exposition: Einzige WAN-exponierte Kernel-Instanz ist CT99999 (Traefik-LXC auf proxmox7); K8s-Nodes sehen Internet nur über L7-Proxy (re-originated, keine IP-Options). Kein öffentlicher PoC, EPSS 0,39 %.
- Konflikt: 7.1.8 ist gleichzeitig aes256k- und Cilium-kompatibel, aber EOL ohne Fix → nur 7.2.11 (Cilium-Canary) oder Cilium-Upgrade zuerst.
- Pitfalls:
qm guest execJSON"out-data" :(Regex-Fehlalarm 17/17 NOAGENT);${Version}insh -cwird im Gast expandiert →ls /boot/vmlinuz-*nutzen. „Installiert ≠ läuft" (reboot-required) ist Pflichtspalte. - SolDoc bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md + Hindsight; Wiki proxmox-cluster.md + rke2-kubernetes.md gepatcht; Skill
security-exposure-auditum Kernel-Reboot-Regel erweitert.
[2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
- Befund (Owner): seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
- Fix (Commit f70fe30): watcher 0.17.1
IdleScheduler(fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs. - Beweis: 08:39:51 idle_trigger (45108 s Stille) → CEO claim → Delegation mit karte_id → card_auto_fertig + review_task → „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 Zyklus 2 autonom. 9/9 Sandboxes v5.3, Heartbeats grün, deadman pending 0.
- Pitfalls:
--templateschließt--envaus (Startkonfiguration ins Image!); systemd-OIDC-Login brauchtEnvironment=HOME=/root(sonst „Unknown gateway 'fleet'", Token lief 4 h ab und blockierte den Rollout). - Nachtrag 10:40 — Lücke 4 geschlossen: 5. Deadman-Kaskade
progress(Commitf098091,fleet-deadman@sha256:73cc5988…): offener Task (submitted|working) mit mtime-Alter > 5400 s → ALARM + escalation an ceo. E2E ALARM 10:38:29 → RESOLVED 10:39:29, Unit-Test 13/13. Pitfall: Test-Tasks brauchenuuid4()-task_id(Watcher quarantänisiert sonst in Sekunden) undstatus: working(nicht claimbar). - Autonomie-Bilanz 08:39–10:30 UTC ohne Owner-Kick: 3 Idle-Trigger, 4 Karten Fertig, 4 Reviews, NAR-Zyklus (ciso-Freigabe → Karte
rueckbau-nar-tower-healthz-readonly). - SolDoc architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16) + Hindsight; Wiki systems/agent-fleet.md neuer Abschnitt.
[2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
- RCA: devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
- NAR-Verfahren (Owner-Mandat): Anträge
[NAR] <ziel>an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner ([NAR-ESKALATION], P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch). - Rollout 9/9 fleet-v5.1 (Digest sha256:7f141019…, Commits d60b7c0/55dcc9a/c0666eb): Gateway-STS-Restart VOR Rollout (default_image wird nur beim Start gelesen), Portforward-Service neu gestartet, Digest je Pod verifiziert; board-service 0.16 (4ea9f7bf) + watcher 0.16 (77657260) synchron; CM fleet-submit-task mit NAR-submit_task.py synchronisiert (Pod-Restart nach CM-Update erzwingen).
- SolDoc bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md (INDEX 52) + Hindsight-Sync; Wiki agent-fleet.md v5.1-Abschnitt ersetzt v5.
[2026-10-28] p1-image v4 — EACCES-Fix + Autonomie-Mandat für Tower-Weiterentwicklung scharf
- Image
fleet-v4(sha256:f7fc9e8b…, Commit 5e1b656): HERMES_HOME=/sandbox/.hermes (PVC statt /opt/data 1000:1000 → Erstart-EACCES-Klasse eliminiert), worker stderr 2000z + 1 Retry. Rollout 9/9 grün (Digest je Pod verifiziert), Canary-Erstart LLM RC=0. - Autonomie-Mandat: Backlog-Karte
dauer-tower-dev(Owner) am Board; CEO-Self-Dispatch bewiesen (Task 8945e949 geclaimt, status working). Zyklus: Ideation→Priorisierung→Umsetzung→Test→Deploy→Retro, endlos. - Ops-Fixes: Gitea-SSH-Push-Adresse korrigiert (.200 statt .202 — Wiki trug falsch seit 17.09.); Gateway-Restart nach Digest-Pin nötig (Gateway liest gateway.toml nur beim Start); Port-Forward-Service auf .124 nach Pod-Restart neu starten.
- SolDoc bug-fixes/2026-10-28-hermes-sandbox-hermes-home-eacces.md + Hindsight-Sync; Wiki gitea.md + agent-fleet.md aktualisiert.
[2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops):
add_release_notelimitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40). - Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
- Live-Verify im Pod: >500-Call → isError:true + "eintrag fehlt oder laenger als 500 Zeichen" lesbar; valider Call OK (Note eingetragen). CEO-Retry-Task c49978fe eingereicht via submit_owner_task.
- Learnings: MCP-Server-Regel "Validierungen IMMER ToolError"; Signature rc=1+api_call_count==max_turns = verdeckter Tool-Fehler. SolDoc bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md + Hindsight; Wiki agent-fleet.md board-service-Abschnitt aktualisiert (Digest, 9 Tools, Fix).
[2026-10-27 spät] p0-e2e GRÜN — Phase 0.14 E2E-Abnahme 8/8, Phase 0 KOMPLETT
- Alle Kriterien bewiesen: Owner-Kanäle (Idee→Backlog physisch, Neuer VS→CEO-Task a295dc32, Chat-Thread mit CEO-Antwort gerendert), Beacon 422/200, DB-Selftest (DROP verweigert), Deadman pending 9→0, Watcher-Kill→ALARM→Escalation-Task→Restore→RESOLVED (18:25–18:30 UTC komplett), Landlock 8/8 Nodes.
- Produktionsbug via E2E gefunden+gefixt: tower-owner fehlte in VALID_SYSTEM_SENDERS (Commit 0a784fb hatte nur die Typ-Map erweitert — Gate 1 weist zuerst ab). Fix 992cdfb an Disk + CM-Embed. Zusätzlich board-service+watcher Images stale (0.8/0.7) → Neubau + Digest-Pins 69e806a5/92b1470b (89ed639).
- Vorfall (aufgeklärt+repariert): DELETE-Test auf heartbeats ging DURCH (app_fleet = DML-Rolle, Annahme „verweigert" war falsch) → alle 8 Heartbeat-Zeilen gelöscht → durch 9 Repair-Heartbeats via Beacon wiederhergestellt, alle 5 Alt-Alarme RESOLVED, pending 9→0. Lektion: destruktive DB-Tests nur mit Prädikat; DDL (DROP) ist der richtige Scope-Check.
- Landlock-Verifikation: kubectl-debug blockiert (TTY) — SSH-Pfad (id_ed25519_cloudinit debian@node) ist der zuverlässige Check.
- SolDoc bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md + INDEX 48; Wiki agent-fleet.md 0.14-Abschnitt + Phasen-Header.
[2026-10-27 abend] p0-tower GRÜN — Fleet Control Tower live (DOM-Smoke 23/23)
- Phase 0.13 abgeschlossen: Tower-Pod
fleet-tower-…-bsc2p1/1 (ns fleet), Image digest-gepinntsha256:0ddad265…(Git==Live), Exposure über VIP 10.0.30.213 (neuer entryPointtower-internal:8445, ipAllowList 10.0.20/40+WG, VLAN 30 ausgesperrt, eTP Local, TLS Interim-CA bis 24.01.2027). Kein DNS-Record → Zugang per VIP-IP wie fleet-webui. - Abnahme werkzeugbestimmt: DOM-Smoke 23/23 PASS im Live-Pod (TOWER_URL=Pod-IP, Custom-Server lauscht auf os.hostname() statt 127.0.0.1 — Pitfall) + 5/5
/api/fleet/*200 mit echten Daten (9 Agenten, 200 Journal-Einträge, Kanban). Offen: Owner-G1-Browsertest aus erlaubtem Segment. - Neue Learnings indexiert: Solution-Doc tooling/2026-10-27-nextjs-custom-server-docker-build.md (node-pty-Builder-Toolchain, kein Runtime-npm-ci, UID 1001 statt 1000, Child-Prozesse COPYen); PAT-017 traefik-ingressclass-silent-ignore (2. Inkarnation!); Evidence-Updates Gitea-OCI-Push (1P-Token als Docker-PW, Push-Log vs. manifest inspect) + ingressClass (eTP-Local-für-ACL); INDEX.md gepflegt.
- Wiki agent-fleet.md: Phasen-Header 0.9 ✓ + 0.13 ✓, neuer Abschnitt p0-tower Live-Facts.
[2026-10-27] CephFS-aes256k-Kernel-Fenster geschlossen — 8 Nodes auf 7.1.8, Cilium-7.2.9-Bruch entdeckt
- 4 Fleet-Facilities (board-service, deadman, provisioning, spool-watcher) hingen 9 h an CephFS-EINVAL: Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte); Kernel 6.12.x-libceph hat 16-Byte-Limit (
libceph: secret too big 32). Nur frische Mounts betroffen — RBD lief weiter (mounter rbd-nbd, Userspace). - Kernel-Upgrade 7.2.9 (trixie-backports) brachte CephFS-Mounts, brach aber Cilium 1.19.4 fatal (
FnSetRetval … R1 is not a scalar, CrashLoop → CSI-Pods API-unreachable → Node netz-tot für Pods). Rollback auf 7.1.8 (Debs aus apt-Cache worker-04; linux-base-7.1.8 fehlt im Backports-Index) + rolling drain→reboot→verify→uncordon. Danach: Cilium/CSI grün, alle 4 Facilities 1/1, Immich-Backup-CronJob durchgelaufen (snapshot ccadb60e), Immich-Server pong. - IaC: Kernel-Pin
linux-image-amd64=7.1.8-1~bpo13+1inepic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.ymlPhase 4 (Commit 590cf2a; vorher state:latest = Zeitbombe). AGENTS.md-Worker-Tabelle war stale (.63 falsch) — Korrektur blockiert (write-protected, kein Owner-GO); kanonisch jetzt Wiki rke2-kubernetes.md (8 Nodes, VM-IDs korrekt). - Test-Artefakte geräumt (SC ktest/fusetest, PVCs, Pods); VK-Klartext-Reste /tmp/fleet-vk auf mgmt+runner gelöscht; ESO 9/9 SecretSynced. Solution Doc:
docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md; Wiki ceph-cluster.md (Known Issues) + rke2-kubernetes.md gepatcht.
[2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs
- Phase 0.8 komplett: org-registry + board-service + telemetry (601435d3) + provisioning (fa39b7cd) live, alle E2E-grün aus dem Cluster (ConfigMap-Pod-Muster), psql-Beweise erbracht. Baukasten-Muster dokumentiert (Solution-Doc architecture/2026-10-26-fleet-mcp-facility-baukasten.md).
- Deadman v2 (Cold-Start-Fix): nie gesehene Agenten = pending (kein Alarm), Beacon-Unerreichbarkeit = EIN fail-closed-Alarm, DEADMAN-ALARM.md auf Board-PVC mit RESOLVED-Zeilen. Digest f700e772, Unit-Tests + live bewiesen (agents_pending 8, beacon_ok 1).
- Beacon 0.11 final: psql heartbeats-Beweis (count=2, ceo 09:27 UTC).
- Design-Docs (blockieren 0.9/0.13): sandbox-design.md (21,4 KB, 8 Abnahmekriterien, VK-Platzhalter-Fluss, Strict-Gate-422, Blaupausen) + tower-design.md (17,2 KB, Fork-Inventar, 3 Tasks, Manifest-Deploy).
- Subagent-Bilan: 600s-Timeout systematisch (API-Latenz) — Chair-direct ist der effektive Pfad; Config-Erhöhung child_timeout_seconds greift erst nach Session-Neustart.
[2026-10-26 früh] p0-spool + p0-db GRÜN — Spool/Watcher E2E + Fleet-DB + ArgoCD-ignoreDifferences
- Phase 0.7 (Spool+Watcher) abgeschlossen:
submit_task.py(Schema- Validierung, Journal,_invalid/, fail-loud) + Watcher-Deploymentfleet-spool-watcher(Image fleet-spool-watcher:fleet-v1, digest c51684fd…, 25/25 Smoke) live. E2E beide Richtungen bewiesen: completed (touch-CMD) + failed (exit-127-Writeback). CephFS-Pitfall gelöst via initContainer chown 1000:1000 (Root-Dir root:root). TASK_RUN_CMD-Override NUR via Git — ArgoCD selfHeal reverts kubectl-Patches sofort. - Phase 0.10 (Fleet-DB) abgeschlossen: CNPG
fleet-dbhealthy, 7 Tabellen, App-Userapp_fleetals CNPG Managed Role (Bootstrap-Owner hat kein CREATEROLE — CREATE ROLE im Job failt, Managed Roles sind der Weg). DROP-Negativtest ok, App-Secretfleet-db-appvia K8s-API-Readback. - ArgoCD-Lektion (neu):
jqPathExpressionsbrauchen jq-Punktnotation (.spec.probes, Wildcards[]); JSON-Pointer-Syntax (/spec/probes) →unexpected token "/", Mischform →function not defined. Plus: K8s-1.35status.terminatingReplicasblockte ALLE fleet-Syncs (ComparisonError) — Fix jsonPointers. Nach Application-Spec-Änderungargocd app get root --refresh(app-of-apps). Solution Doc:docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md - Wiki: systems/agent-fleet.md um p0-spool/p0-db-Live-Facts erweitert, Phasenliste aktualisiert (0.7 + 0.10 GRÜN).
[2026-10-26 früh] p0-bifrost GRÜN — 9 VKs je Agent, Smoke + Prometheus bestätigt
- Phase 0.6 abgeschlossen: 9 Virtual Keys (ceo-v3, cto-v2, ciso-v2, chro-v2,
cmo-v2, agile-coach, coo-v2, devops-v2, research), Werte in 1P „Kubernetes ESO",
ExternalSecrets
fleet-vk-<agent>in NS fleet (ArgoCD fleet Synced/Healthy, Commit 5d5b26b + 5aa4d31), Mappingfleet-truth/bifrost-vks.yaml(→FLEET_BIFROST_API_KEYfür Phase 0.9). Smoke 9/9 HTTP 200, Deny-by-default 403, Prometheusbifrost_input_tokens_totalje Key 19–38. - Pitfalls:
POST /api/governance/virtual-keysverwirftallow_all_keys→PUT …/{id}mitkey_ids:["*"](PATCH 405); echte API nur/api/…(/api/v1/…liefert SPA-HTML mit 200); Modellnamen brauchennoris/-Präfix; Reasoning-Modelle: Smoke über Status + usage, nicht Content; ESO-Defaults (conversionStrategy/decodingStrategy/metadataPolicy,deletionPolicy: Retain) in Git pinnen, sonst ArgoCD-Drift bei leerem Diff. - Altlast: 1P-Items
VK ceo (v2)/coo (v2)/cmo (v2)/devops (v2)halten 13-Zeichen-Platzhalter (401) — Löschung vorgeschlagen. 9 Alt-VKs noch aktiv (Deaktivierung = Owner-GO). - Solution Doc:
docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md
[2026-10-25 spät] Fleet-Rebuild p0-image GRÜN — Gitea-OCI-Push-Kette + ESO-b64dec
- Phase 0.5 abgeschlossen: Agent-Image
git.schoen.codes/dominik/hermes-agent:fleet-v1= digestsha256:32eda413…in Gitea-Registry (1,07 GB), digest-gepinnt in OpenShell-Values (Commit 640e051), ArgoCD Synced/Healthy, gateway.tomldefault_imagelive. E2E: Kubelet-Pull 34,6 s, jq intakt. Pull-Secretagent-fleet-registry-pullout-of-band NS fleet. - Solution Docs: integrations/2026-10-25-gitea-oci-registry-push-chain.md (http-Realm-Bug Gitea 1.27, Traefik-499-Manifest-PITFALL: Blobs idempotent → einfach erneut pushen; port-forward überlebt keine SSH-Session) und bug-fixes/2026-10-25-eso-decodingstrategy-pruned-b64dec.md (ESO v2.2.0 prunt decodingStrategy → b64dec IM Template; Mischung = Doppel-Dekodierung schreibt Fehlerstring als Secret).
- Wiki: systems/agent-fleet.md (Rebuild-v2.5-Abschnitt + Freeze-Status) und systems/gitea.md (Container-Registry-Sektion + Push-Runbook) aktualisiert.
[2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen (glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft: glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch Bifrost, 159–268 ms, VK-Policy erlaubt alle).
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash · COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206), Config-Backups je CT.
- Pitfall DeepSeek V4.1: lehnt Hermes-Default-
reasoning_effortab (HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle Subagenten failen sofort rc=1. Fix:agent.reasoning_effort: lowin /root/.hermes/config.yaml (CT 202/206). Flash unempfindlich. - Pitfall Hermes-Config-Schema:
api_key(snake_case), nicht apiKey. - Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung (tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h: 1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
[2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
- Root Cause des Inbox-Staus (25.10.): Quittungs-Kaskade (ACK-of-ACK-of-ACK) — jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem (315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
- Hebel 1 (Hebel 2 = mailprompt.txt v2): COMMUNICATION-STOP-Regeln in allen 7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde). Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
- Hebel 2: Poller v3.7
is_ack_chain()— reine ACK/Quittungs-Mails (Datei- namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call. Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär. Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär. - Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26, CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
nach jedem Patch re-validieren. COO
archived=-19Zählartefakt (Wiederver- arbeitung von already-processed) — kosmetisch, beobachten. - Wiki
systems/agent-fleet.mdPoller-/Mailprompt-Sektion → v3.7/COMMUNICATION- STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
[2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: vLLM- Slotsättigung — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang; Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout. Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB).
- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten (Output-15×-Reduktion, lokales Mapping) → v3.6.2 (TTIMEOUT 900 s + TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren).
- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2 (p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed; Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert.
- Wiki
systems/agent-fleet.mdPoller-Abschnitt → v3.6.2; Solution-Doc Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt.
[2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout
- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf
CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7
fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe
ceostattceo-v2(real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung, Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3 (head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen). - Journal-Diagnose:
journalctl -t fleet-mail(TAG),-uverschluckt Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert.
[2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true, 401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A, JSONB lit(), import secrets, LXC/QEMU-ID-Raum).
- Clone aus CT 161 blockiert (Bind-Mounts: Snapshot UND Full-Clone API 500); W1-Klone liefen vor Mount-Anhängen — Annahme korrigiert. Workaround-Beauftragung: Seed-CT 199 via vzdump/restore (Owner-GO), CISO-Seed-Review vor First-Sandbox-Go.
- Aufträge in inbox-ceo/new: 1792782897 (GitOps-Hiring-Pipeline via OpenTofu), 1792784178 (Seed 199 → COO/CMO-Sandboxes + W3-Teamaufbau-Plan bis 26.10.). CISO quittierte 21:33 Lane + Threat-Modell-Ansatz.
- Solution-Doc: bug-fixes/2026-10-23-openshell-controller-v0-bug-chain-and-pve-clone-blocker.md (erste Version tlw. entstellt, komplett neu geschrieben); Hindsight retained. Wiki agent-fleet.md erweitert.
[2026-10-23] agent-fleet-b-inputs — PB1–PB7 geliefert (Owner-Proxy, AL3)
- Lieferte PB1–PB7 (B-Inputs) als Owner-Proxy: PB1 Fleet-DB (
fleet_rw), PB2 openshell_controller-Vertrag v0, PB3 cto-deployer-RBAC, PB4 Bifrost-Admin- Monitoring, PB5 Test-NS agent-fleet-test, PB7 Capacity (Zaun 12 bestätigt).
- Debug-Story: CNPG-PW-Rotation per Unix-Socket-
ALTER ROLE(Owner-Reconcile erkennt Secret-Änderung nicht), ArgoCD-Retry-Loop bei unbekanntem CRD. - Solution Docs: cnpg-managed-role-password-rotation.md, argocd-unknown-crd-blocks-autosync.md; Hindsight retained.
- PB1: CNPG-Managed-Role
fleet_rw(managed.roles, ExternalSecret→1P), rw-LB VIP 10.0.30.214:5432, psql+pgpass in CT 163, Schema-Dump am Board. Sofort-PW-Rotation nur viapsql -U postgresüber Socket (Ownerfleetdarf kein ALTER ROLE; CNPG-Reconcile zu langsam) → Solutions-Docintegrations/2026-10-23-cnpg-managed-role-password-rotation.md, Hindsight retained. - PB2: openshell_controller-Vertrag v0 (API-Doku + Blueprint
hermes-sandboxv1 hash-gepinnt sha256 a5611966…b3f1 + Machine-Token in 1Popenshell_controller Machine-Token+ CT163 /root/.secrets/). - PB3: SA
cto-deployerNS-scoped RBAC + kubeconfig/kubectl in CT 163, Negativ-Tests live (kein ClusterScope/secrets-read). M5 (Web-UI-Deploy) entblockt. - Wiki
systems/agent-fleet.mdum B-Inputs-Sektion erweitert.
[2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas
- B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target
beaconUP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest. - SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats).
- ARGOCD-GOTCHA: Sync-Operation wartet bei sync-wave-Health-Gating ENDLOS auf ein mid-sync gelöschtes Objekt; /operation-Removal per JSON-Patch wird abgelehnt (invalid), Retry weckt die alte Operation. Zuverlässiger Unlock = Supersede via neue Revision (kosmetischer Annotation-Bump + Push, hier Commit ecbef3c). Regel: Wave-Objekte nie löschen, solange eine Operation wartet.
- ESO-GOTCHA: Brandneues ExternalSecret wurde vom 18d alten Controller ignoriert (0 Reconciles, keine Conditions); nach
rollout restart deployment/external-secrets+ Re-Apply instant sync <10s. Probe-ES in 2 Namespaces bewies Controller/Store intakt. Causality nicht sauber isoliert (ArgoCD-Wedge überlagerte) — Verdacht stale Watches. - REGISTRY-FLAKE-RCA: CI-Run 94 starb am größten Blob (Gitea PutBlobsUpload 500 unexpected EOF), manuelles docker push DESSELBEN Images aus DEMSELBEN dind-Daemon ging sofort durch → transienter Hairpin-Flaker, Workflow (klassisches build+push, GW aus /proc/net/route) unverändert korrekt.
- iac-homelab: beacon.yaml + beacon-registry-pull.yaml (ESO←1P
SchoenKitchen Registry Pull, dockerconfigjson) + ecbef3c via canonical; ArgoCD-App Synced/Healthy. - Solution Doc: bug-fixes/2026-10-22-argocd-stuck-sync-wave-health-gate.md; Wiki systems/agent-fleet.md (Beacon produktiv, Offene Punkte aktualisiert).
[2026-10-22] agent-fleet-phase0 | Bifrost-LLM-Ingress live (LiteLLM-Pivot) + Beacon v0 approved
- PIVOT: Nutzer-Entscheidung „Bifrost statt LiteLLM" — ai.noris.de ist selbst Bifrost-Gateway (gleicher Upstream-Dialekt). Plan-Doc im agent-fleet-Repo mit Pivot-Vermerk gepatcht (LiteLLM-Abschnitte A3/A4 superseded), Commit 2663870.
- A3' FERTIG: maximhq/bifrost (Chart 2.1.45, app v2.3.1) als StatefulSet bifrost-0 im NS agent-fleet, VIP 10.0.30.210:8080 (cilium lb-ipam), SQLite auf ceph-flash PVC 5Gi. Provider noris (openai-Dialekt → ai.noris.de), Key via ESO aus bestehendem 1P noris-api-key (kein Dupe). E2E-Inference verifiziert.
- MODELL-POLICY (Nutzer-Regeln 22.10.): VK vk-fleet erlaubt NUR vllm/release/* (regex ^(noris/)?vllm/release/.*), deny-by-default, kein qsu, keine Anthropic-Modelle, kein Budget-Cap (A10). Live getestet: qsu→403, anthropic→403, release→200 (glm-5-3 + flash). VK-Wert in 1P 'Agent-Fleet Fleet-vkey' (Feld credential); Bifrost regeneriert VK-Secret bei Config-Changes NICHT.
- METRICS-FALLE: /metrics liegt HINTER der Auth-Middleware (Pivot-Annahme widerlegt) → ServiceMonitor im NS agent-fleet mit basicAuth gegen bifrost-admin; Prometheus-Target UP. Weitere Fallen: SPA-Fallback fälscht HTTP 200 (nur application/json = echte Route), Modellnamen brauchen noris/-Präfix, ArgoCD-CLI vom Host tot (ClusterIP) → Refresh via kubectl annotate.
- B1 FERTIG: Beacon-Scaffold (Heartbeat-API, /metrics, 10 Tests) — Review APPROVED, beide Important-Funde gefixt (Int-Coercion 400 statt 500, Prom-Label-Escaping), Commits 5660738+b3b4b9f im agent-fleet-Repo (lokal).
- iac-homelab: Commits 24da51d→c761e8a→ad04ff5→fcb5a05 via Remote canonical (SSH); alle ArgoCD-Apps Synced/Healthy.
- Solution Doc: integration/2026-10-22-bifrost-helm-deployment-gotchas.md; Wiki NEU: systems/agent-fleet.md.
- OFFEN: B2 (Beacon-Deploy: Image-Build, Manifeste, schema.sql→CNPG), D1 (CT fleet-control), Governor-Skeleton, Tier-Aliase heavy/default/light.
[2026-10-21] evcc-alwayscharge | Nächtliches Netzladen der SMA-Wallbox: stiller UI-Override als Root Cause
- SYMPTOM: Kona lud über Nacht dauerhaft ~3,5 kW Netzstrom (2 Nächte, 74 kWh, ~24 €). evcc-Log zeigte 0 W — weil das vorgelegte Log erst NACH einem evcc-Restart begann (Sessions enden/starten bei Restarts!). Beweis führte erst
/api/sessions: Zähler 4041,459→4084,424 kWh exakt über das Nachtfenster. - ROOT CAUSE:
alwaysCharge=on(evcc-UI „Mit min. laden ∞"), versehentlich 14.10. 19:53 gesetzt — übersteuert smart/PV-Modus still; das Log begründet NIE, warum geladen wird. Technische Ansteuerung (HA-Template-Charger) war korrekt. Fix:select.evcc_wallbox_always_charge→off, doppelt verifiziert (HA-State + evcc-API). - CLEANUP: Deprecated
minCurrent/maxCurrentaus evcc.yaml entfernt (Backupevcc.yaml.bak.20261021_depkeys), Addon-Restart via Guest-Agentha addons restart 49686a9f_evcc— Startup clean, effektive Limits 6/16 A weiterhin aus UI-DB. Verdachtsdiagnose „Recorder-Lücke" widerlegt (History-API-Row-Caps als Phantom-Lücken; ~700 Samples/h persistiert, 0 Galera-Fehler). - ZUGANGSPFAD ETABLIERT: HAOS-VM106 ohne SSH via PVE QEMU-Guest-Agent-Exec (root, incl.
ha-CLI). Gotcha:out-datamal Base64, mal Plaintext — Try-b64-then-plaintext. Host-Pfad/mnt/data/supervisor/homeassistant/= Container/homeassistant/. - OFFEN: Dual-Master SHM 2.0 (10.0.50.204) aktiv neben evcc — native EEBus-Migration später; Option 4 (Netzladen-Alarm-Automation) angeboten, nicht genehmigt.
- Solution Docs: bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md + workflows/2026-10-21-haos-qemu-guest-agent-file-access.md; Wiki NEU: systems/evcc-wallbox.md.
[2026-10-19] jellyfin-bootstrap | Jellyfin 12.2 per API bootstrapped — 4 Breaking Changes entschärft
- LOCKOUT AUFGELÖST: Nach Wizard-Complete-ohne-User funktionierte das programmatische Setup endlich; Kernfund: 12.2 parst Auth NUR via
Authorization: MediaBrowser ...— der alteX-Emby-Authorization-Header wirft ArgumentNullException (HTTP 400, leerer Body), was wochenweise wie „falsches Passwort" wirkte. Zweite Falle:/Startup/Userwill FeldName(nichtUsername) — falscher Feldname antwortet 404 wie ein fehlender Endpoint. Drittes: Empty-DB-Boots seeden automatisch Userroot(Login trotzdem 401, irrelevant). Reihenfolge: Configuration → Startup/User → Complete; Recovery bei frühem Complete: system.xmlIsStartupWizardCompleted=false+ Pod-Restart. - ScheduledTasks-Routen geändert: Trigger-Update =
POST /ScheduledTasks/{id}/Triggers(PUT→405), Run =POST /ScheduledTasks/Running/{id}. Swagger disabled, aberOPTIONSzeigt Allow-Header — beste Sonde. Chapter-Images- + Trickplay-Tasks entschärft (leere Trigger) wg. RO-Media-Mount. - LIVE: Admin
dominik(1P „Jellyfin Login dominik", Vault Kubernetes ESO), Library „Medien" (movies, /media), 115 Szenen indiziert, NFO-Metadaten verifiziert (Studio/Genre/Plot/Actors). Movies-Kollaps-Falle erkannt: Movies-Library zeigt 1 Film pro Ordner + Rest als unsichtbare Extras — für Szenen-Bibliothekenhomevideos/untypisiert empfehlen (NFO-Parsing identisch). - DATA-HYGIENE-FUND: DeviceBondage enthält 8 Szene-Paare (Alt-Salvage-MKV 720p ~600 MB + frische 1080p/4K-MP4 3.5–7 GB, darunter 4K/Iris Leon) + Melissa Stratton dreifach (2 Releases identische Dauer) — Entsorgungspaket ~5 GB wartet auf GO. Queue läuft weiter (Deeper 193 GB, nzbindex-5 98 GB, Devicebondage 22 GB left); Sorter arbeitet live korrekt (87 neue Files heute, Namenskollisionen als „(2)" aufgegangen).
- Solution Doc:
integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md; Wiki NEU:systems/jellyfin.md; ip-map +.206/.207/.209 vervollständigt.
[2026-10-19] sabnzbd-vaapi-converter | AppleTV-Pipeline v6: 3 Guard-Bugs in einem Tag gefixt
- TASK: „Konvertiere alle MKVs zu AppleTV-MP4" → VAAPI-GPU-Pipeline als Converter-Sidecar im SABnzbd-Pod (worker-05 einziger iGPU-Node, renderD128 GID 991, privileged nötig wg. Devices-Cgroup; 5,7× schneller als libx264, Benchmark 4,3 s vs. 24,7 s).
- BUG 1 (v5, kritisch): ffprobe
-of csv=p=0QUOTET Komma-Werte →format_name="mov,mp4,..."mit Quotes → Skip-Guard matchte NIE, v4 re-encodede vorhandene gute MP4s. v2 hatte zwischendurch Lenas Morgen-Remux überschrieben (304→261 MB) — bit-exakt aus unangetasteter MKV restauriert (304.544.460 B). Fix:${fmt//\"/}vor Vergleich. - BUG 2 (v4): Partials-Discard-Case stand NACH dem generischen
*/incomplete/*-Park-Case → unerreichbarer Code,.converting.mkv-Rest wurde nie verworfen. Fix: case-Order spezifisch→generell. - BUG 3 (v6): Park-Case matchte nur Pfad-Präfix OHNE Existenz-Check → 33 Jobs parkten auf Phantom-Pfaden weiter, obwohl SAB die Quellen längst nach complete/ verschoben hatte. Fix:
[ -f "$src" ]als Frische-Beweis, sonst fällt Job zum Resolver durch. - META: Alle 3 Bugs saßen in GUARDS (Skip/Discard/Park), nicht in Encode-Logik — Guard-Fehler = Datenqualitäts-Incidente. Temp-File-Disziplin (
.converting.mp4+ Rename-on-success) rettete Daten beim v4-Kill. Rollout-Rezept: CM-Skripte in configmap.yaml, Annotation-Bumpconverter-script-version(bash liest nur beim Start) + CM-Delete + ArgoCD-Refresh. - CNP-ARC (gleiche Saga, Commits 6b02f9e/fac9524/ab95f45): 4 stumme Cilium-NP-Fallen — Selektion⇒Default-Deny,
egress: [{}]=Null-Allow (kein Wildcard!),io.kubernetes.service.name=kein Identity-Label (→k8s-app+kube-system-NS), VIP-Ingress SNAT't als world (→fromEntities). Eigene Doc:bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md. - STATE: v6 deployed, Pod 3/3, alle 6 ErikaLust-MP4s verifiziert intakt (Skip-Guard greift), 33 Jobs parken legitim (Multi-Release-NZB, Move erst wenn ALLE Sets fertig, 12-h-Cap by design). Originale unberührt bis Lösch-GO. Solution Doc:
bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md; Wiki neu:systems/sabnzbd.md.
[2026-10-12] ha-repairs-cleanup | Stale-Ghost-Errors identifiziert, fehlgeleiteter Rename revertiert
- ANLASS: Repairs-Seite zeigte 34 aktive Issues (5 Errors). Deep-Dive: 4 der 5 Errors waren Stale-Ghosts (Automation längst gelöscht, Services wieder da) — HA Issue-Registry räumt nicht selbst ab.
- FEHLGELEITETER FIX + REVERT: These war,
notify.mobile_app_iphone_dominiksei tot (14× in automations.yaml). FALSCH — Verwechslung von Entity (notify.iphone_dominik, nur in get_states) und Service (notify.mobile_app_iphone_dominik, in get_services). Der 14-fache Rename brach die Pushes, ein neuer Frigate-Error erschien sofort. Sofort-Revert aus.hermesbak-20261012(MD5-identisch),automation.reload, verifiziert: 14 echte Refs zurück, 0 Phantom-Refs. - BOOT-RACE-ERKENNTNIS: HA validiert Automations VOR Registrierung spät ladender Integrations-Services (Tibber, OpenEPaper, mobile_app) → die 4 Error-Repairs entstehen bei JEDEM Start neu und sind nicht durch Config-Fixes wegzubekommen. Persistieren tun sie trotzdem (Registry räumt nicht ab).
- DIMMER: Alt-Automation
1697532906675(toter Triggerba828033…) via entity_registrydisabled_by:userdeaktiviert (nicht gelöscht) — dieser Fix bleibt bestehen und ist korrekt. - RESTART 12.10.: Clean in ~2 min (NOT_RUNNING→RUNNING). Repairs-Diff: 35→20 Issues (16× HACS weg, Dimmer-Error weg, Xenia-Units-Warnung weg). Residual: 5 Errors (4 Boot-Race + 1 Sticky aus dem revertierten Rename) + 15 Warnings (InfluxDB-YAML, HTTP-YAML, Solcast, Cupra, Battery-Notes, Templates).
- LEARNING: (a) Service-Targets IMMER via
get_servicesverifizieren, nie viaget_states— mobile_app registriert gleichnamige Entities als Köder; (b) Repairs-Error = Hypothese; (c) Backup-first erlaubte Zero-Damage-Revert in <2 min. Solution Doc:bug-fixes/2026-10-12-ha-repairs-stale-ghost-issues.md(mit Korrektur-Sektion).
[2026-10-12] recipe-pipeline-repair | Post-Scrape-Pipeline war seit 26.08. komplett tot
- Der erste v8.1-Produktionslauf (+118 Rezepte, 198.133 gesamt) legte drei Pipeline-Fehler offen; Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert, 198.133 ohne Ingredient-Links (Normalizer lief NIE seit Deployment).
- ROOT CAUSES: (1) Classifier+Normalizer: DB_CONFIG bekam am 26.08. Timeouts hinzu, Calls übergaben sie zugleich explizit → deterministischer TypeError (got multiple values for kwarg connect_timeout) bei jedem Lauf; (2) Embeddings: read_timeout=60 < 67,6 s für die Count-Query (Full-Scan) → Lost connection bei Query Nr. 1; (3) Verschüttet dahinter: harrier-Embedding-Modell-ID
vllm/harrier-oss-v1-0.6b→ 403 model_blocked (noris-Realm-Migration) — dieselbe Namespace-Falle wie beim Flash-Pinning 11.10. - FIXES: Kwargs-Duplizität entfernt (3 Stellen), read_timeout 60→300 in allen Pipeline-Scripts, Embedding-Updates batched (executemany statt 138k Einzel-Commits), Pipeline-Gate in v8.1: läuft jetzt IMMER (inkrementell, chipt am Backlog auch bei 0 Neuscrapes). Realm-Opfer mitgefixt: semantic_search.py + recipe_mcp_server.py (tote harrier-ID).
- VERIFIKATION: Drain live — Classifier ~230/s (0 Errors), Embeddings nach Realm-Fix ~58/s (0 Errors, ETA ~40 Min für 138k). Dimensionen kompatibel (1024).
- LEARNINGS: (a) „Exit 0"+freundliche Done-Meldungen können Totalausfälle kaschieren — der Embedding-Step meldete ‚Done: 0 embeddings' mit Exit 0; (b) bei 403 model_blocking ALLE Consumer nach alter Modell-ID greppen, nicht nur das akute Skript; (c) Timeout-Härtung ohne Prüfung bestehender Call-Signaturen = Zeitbombe (26.08. gezündet).
- NACHTRAG (Bug #5/#6 beim Drain): (d) Bruch-Parse-Regex ohne ÷0-Guard stirbt an Wild-Data („x/0"-Zutat) — Fix
[1-9]\d*im Nenner; (e) DRITTE Instanz der Frozen-Frontier-Krankheit: Normalizer-PaginationNOT IN + ORDER BY id LIMIT 500— permanent nicht-linkbare Rezepte (leere Zutaten) bilden eine Wand am Listenkopf; Lauf meldete „Done: 83.000, 0 Errors", drehte aber ~38.400 Visits im Kreis und erreichte 38.216 linkbare Rezepte (fast alle lecker + GANZ sanjeevkapoor) nie. Fix: Keyset-Cursorid > last_seen; Sweep danach 38.216 in 637 s, 0 Errors. Muster-Familie jetzt: Scraper-Frontier, Embedding-Backlog-Stau, Normalizer-Queue — immer gleiche Ursache: Fortschritt hängt am Erfolg einzelner Items statt am Positions-Cursor. - ENDE: 100 % klassifiziert, 95 % ingredient-linked (Residual = exakt 9.860 Rezepte mit leerer Zutatenliste, Upstream-Extraktionsmangel), Embeddings 67 %+ steigend (Drain läuft).
- NACHTAG 13.10. (Bug #7 + Galera): (f) VIERTES Familien-Mitglied:
embeddingLONGTEXT inline im Clustered Index (~5 GB) — JEDEWHERE embedding IS NULL-Query ist Blob-Scan, degenerierte 91/s→2/s über 11 h bis read-timeout-Tod bei 89.216; Redo-Sweep danach mit Keyset-Watermark (embedding_watermark-Tabelle, Zwei-Pass) fertig: 49.315 in 3.029 s, 0 Errors → 198.133/198.133 = 100 % embedded (arithmetisch +emb_pending=1=0 auf allen Nodes bewiesen). (g) Wurzel-Kur: Generated Columnemb_pending+ Composite-Index → NULL-Seeking = Index-Seek; Batch-Query umgestellt; Fingerprint-Shortcut 2,2 s Exit 0. (h) GALERA-EPISODE: DDL-ToI-Build auf kaltem mariadb-03 (.73, 4-GB-Pool) dauerte ~35 Min → Applier-Queue 29 → Certification-Stalls clusterweit; self-healed (Queue 0, Index auf allen Nodes), KEIN Restart nötig. Lessons: Galera-KILL ist NODE-LOKAL (VIP-KILL traf falschen Node, Zombie überlebte 485 s — erst@@hostname, dann killen); Terminal-Timeouts töten Shells nicht Python-Kinder (Waisen-Queries mahlen weiter); DDL auf großem Table = Bufferpool-abhängige Bremsklotz-Kette. E2E-Steady-State-Test bestanden (Fake-Insert → instant Detect → Embed → Cleanup).
[2026-10-12] recipe-scraper-v8.1 | Frontier-Fix: Stillstand bei 198k/200k behoben
- SYMPTOM: Tägliche 52-Min-Cron-Läufe mit 0 neuen Rezepten, ~1.400 Errors/Tag; Cron-Report behauptete fälschlich „Quellen ausgeschöpft".
- ROOT CAUSE (drei ineinandergreifende Bugs): (1)
state["tried"]wurde jeden Lauf geleert → 403-Gescheiterte täglich neu gehämmert; (2)todo[:max_new]schnitt immer die ERSTEN N URLs ab → Frontier eingefroren (allrecipes: 48.626 entdeckt, ~42k nie berührt; remaining=2000 drosselte zusätzlich); (3) Budget zählte Loop-Iterationen statt Fetches → Gratis-Dedup-Skips verbrannten das Budget. - FIX (Skript
recipe_scraper_v8_intl.py, Backup.bak-20261012-frontierfix): Persistente Failure-Memory in neuer DB-Tabellescraper_fetch_log(PK=url_sha1 statt VARCHAR-PK — InnoDB 3072-Byte-Key-Limit!, Quarantäne-Eskalation 1/3/7/14/30 Tage, dead nach 8 Fails oder 404/410, Forgiveness bei Erfolg); rotierender Frontier-Cursorfrontier_pos; Budget=zählt echte Fetches; Soft-Deadline 6 Min/Quelle; Sitemap-Refresh 7 Tage (Timestamp nur bei Erfolg); 403/429-Fingerprint-Second-Opinion (1 Retry, rotierend chrome136/firefox135/safari184 — Probe zeigte ratelimit-artige, nicht fingerprint-harte Blocks). - VERIFIKATION: Smoke-Test allrecipes Budget 15 → +15 Rezepte in 104 s, Cursor 0→5015 (5000 Gratis-Skips + 15 echte Fetches), fetch_log-Tabelle angelegt, 0 Errors. Danach Produktionslauf des Cron-Jobs gefeuert (Ergebnis folgt asynchron).
- LEARNING: Cron-Reports sind Sekundärquellen — die tried_counts im State (vielfach exakt 2000 = Cap-Höhe) widersprachen der „ausgeschöpft"-Behauptung sofort. Immer State/DB gegen Behauptungen prüfen.
[2026-10-12] monero-recovery-complete | 44EYUD-Wallet vollständig recovered
- Passwort geknackt (2021er Keys aus Seafile _Recovery), Adress-Verifikation exakt 44EYUD…, finaler Vollsync: 0.446785648368 XMR, keine Bewegung seit 06/2021.
- Root Cause Seed-Mismatch: Wallet nutzt deutsches Mnemonic; der dokumentierte Seed in Monero_Recover.txt war eine englische Transkription → leitet leere Zweit-Wallet (49PKAh, 0 XMR) ab. Goldstandard-Check bestanden (Offline-Restore aus DE-Seed → 44EYUD).
- Passwort + DE-Seed + Adresse → 1P Vault „Hermes" Item „Monero Wallet 44EYUD (Haupt-Wallet)". Alter EN-Seed als verworfenes Artefakt markiert.
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md (Auflösungs-Sektion ergänzt: Harness-Kalibrierung, Salt-Fehlschluss, 1P-Notes-Falle).
[2026-10-11] xenia-power-sensor-fix | Xenia _2-Sensor: Rename-Ketten-Tod seit Aug behoben
- Diagnose:
sensor.xenia_current_power_2(GUI-Template) seit ~Augunavailable— NICHT WiFi/offline. Template referenziertesensor.xenia_current_power, der per Entity-Registry-Rename inzwischensensor.current_power_consumptionheißt → String-Referenz tot → float(None)-Render-Fehler. Maschine war die ganze Zeit online (REST 12–50 ms, 5 parallele Requests 200). - Fix: Options-Flow auf
state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × sn_3007105790_metering_voltage_l1|float(0)(attr-basiert = rename-immun). Pitfall: Teil-Submission wischt Metadaten — ALLE Felder (state/unit/device_class/state_class) gemeinsam;namenie im Options-Flow mitschicken. Live: 0.0 W ✓, Metadaten W/power/measurement ✓. xenia_total_energy_2bleibt vorerstunknown(Integration-Helper braucht state-change-trigger; idle 0 W triggert nicht) — selbstheilend beim nächsten Kaffee. Wrapperxenia_active_power+ „bekannte Geräte" profitieren ab sofort.- Lessons: (1) GUI-Template-Strings überleben Entity-Renames nicht — beim Rename grep über core.config_entries+configuration.yaml. (2) REST-Sensoren feuern nur bei Wertänderung: 2 Recorder-Punkte/3 Tage ≠ offline-Wochenende. (3) ESP32-Ping-Jitter (avg 173/max 550 ms) = WiFi-Power-Save, HTTP-Latenz ist das Wahrheitskriterium. (4) MA_CUR_PWR ist Ampere → ×L1-Spannung.
- Offen (manuell, Setter defekt): Xenia-Web-UI MA_MAX_AMPERE 0→10, MA_SET_TIMER_ECO_MA 0→5 (Fehlschrieb 05.10.). Solution Doc: integrations/2026-10-11-xenia-current-power-rename-chain.md; Wiki homeassistant.md (Xenia-Abschnitt neu).
[2026-10-11] l0-purpose-fit-audit | Wave 2: Zweck-Fit aller L0/SOUL-Dateien (aller Profile) hergestellt
- Auftrag: „USER.md franst aus — prüfe alle Dateien auf ihren eigentlichen Zweck", später verschärft: gleicher Maßstab überall (auch für default).
- Mechanik-Befund (Source-verifiziert): Profil-Sessions sehen die default-L0 NICHT (
get_hermes_home()/memories/je Profil; 5 Gateways mit eigenen state.db). „Basis in default-MEMORY"-Pointer in Profil-L0 waren daher irreführend → alle 4 Profil-MEMORYs auf Wiki-Pointer umgestellt. - Rot behoben: pers-SOUL-Kalorien-Split-Brain (statische 97 kg/3.255 kcal/BMR 1874 vs. HA-Truth 92,4 kg/live) → Struktur-Block: Zahlen nur aus HA-Tracker/Wiki, EFT-Anker 82 kg, Beispiele neutralisiert. Safety-Core (Nie-löschen/Nie-auto-Mail/crash-alert) in infra/nutri/pers-USER nachgerüstet. infra-USER Chef-Widerspruch rekonziliert.
- Gelb/grün behoben: default-USER decluttered (IaC/Laya-Dubletten raus — MEMORY trägt sie; Resilience→infra-SOUL-SLA; Sauna-Binding→pers-USER; Restore-Doktrin→Wiki seafile; vm_disks→Wiki proxmox). nutri-MEMORY: SchoenKitchen+CT99999+Jinja2→Wiki systems/schoenkitchen (NEU), Rezept-Feedback→Hindsight (Ofen-Lachs migriert). dyn: E1/E2/E3-Status USER→MEMORY, SOUL Schul→KiGa-Reste. nutri-SOUL: Rezept-DB 36.251 (statt „25.000+"), Filename-Konvention Unterstrich, Feedback→hindsight-Doktrin.
- Meta-Lesson: Eigene erste Bewertung hatte Grade-Inflation für default („✅ gut" bei 6 fehlplatzierten Zeilen) — symmetrischer Maßstab erst auf Nachfrage des Users. Solution Doc: architecture/2026-10-11-l0-purpose-fit-audit.md.
- AGENTS.md(iac)-Write vom Protection-Guard geblockt (Approval-Timeout) — vm_disks-Konvention stattdessen ins Wiki; AGENTS.md unangetastet.
[2026-10-11] pv-forecast-fixes | Alle 3 PV-Forecast-Fixes deployed (User-GO)
- (1) TZ-Fix v2-Optimizer deployed 18:29 (tzinfo=BERLIN, Backup .bak-20261011-tzfix): Live-Tick 18:28 zeigte korrekte Sunset-Kurve (36 W/18:30 statt ~1750 W Phantom). Offline-Unittest bewies buggy(t)==fixed(t−2h) exakt.
- (2) Reload-Race-Crash 18:43 (Solcast-Options-Reload → Sensoren 16s unavailable → Tick crashte doctrine-konform): Gefixt via collect_solcast_pools() 3×10s-Retry, loud, beide Pool-Blöcke (main+shadow) ersetzt.
- (3) forecast.solar: KEIN kompletter Rebuild nötig — Subentries validiert (Dach SW/SO-Split 62/38 ↔ 5760/4000 W passt zu Messdaten). Ergänzt: "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W) für HM-1500 (2× 750 W SW/NE), Device-Rename via WS config/device_registry/update, Area Photovoltaik. HA-Parser KORREKT — früherer +2h-Verdacht war Eigen-Curl-Artefakt (time=utc fehlte); Zelt-Sensoren fielen exakt zum Sunset auf 0.
- (4) Solcast auto_dampen=True + get_actuals=True (Validator-Kopplung!), Kalibrierquelle sensor.pv_production; Actuals-Fetch verifiziert (solcast-actuals.json 91 KB, generation ab 03.10.), Dämpfung startet 1.0.
- (5) sensor.pv_daily_energy_total repariert (Options-Flow): SBS-Batteriedurchsatz RAUS, Hoymiles REIN: 19,44→22,03 kWh.
- HA 2026.9.4 API: Config-Flow POST /api/config/config_entries/flow; Options /options/flow; Device-Rename nur via WS config/device_registry/update; Entry-Titel-Endpoint fehlt (Subentry-Titel via Config-Flow "title"-Step).
- Abgeschlossen: 18:58-Tick-Verifikation des Retry-Rings BESTANDEN (sauber durchgelaufen, plan_pv_forecast now=12 W, positive 24h-Kosten 9,08 € statt Phantom-Einnahmen). Offen: Solcast-Dämpfungs-Learning über kommende Tage beobachten.
[2026-10-11] pv-forecast-audit | PV-Anlagen-/Forecast-Inventur + Solcast-Decontamination
- Inventur 6 Arrays / 4 WR: 2×SMA SB (je 2 Strings, Ausrichtung je String unklar), SMA SBS (BYD, keine PV-Strings), HM-1500 Zelt (2 Module SW/NE), Schuppen 1+2 (SW, 5° flach). Antwort auf "vernünftige Forecasts für alle?": NEIN — HM-1500 völlig ohne Forecast, forecast.solar 4 Sites parametrisch fragwürdig (Dach-Sites ohne belastbare WR-Zuordnung), Solcast nur 1 gemittelte Site.
- ROTER Befund 1: Solcast-Aggregat (PV-Input des EMHASS-v2-Optimizers!) enthielt die Solcast-DEMO-Site "Ogdak Netherlands" (Apeldoorn/NL) — ~9,6 von 23,4 kWh Tagesphantom. User-Freigabe erteilt, sofort gefixt via HA-Options-Flow HTTP-Endpoint (HA 2026.9.4: WS-Flow-Befehle entfernt!, Endpoint
/api/config/config_entries/options/flow): exclude_sites=["59c8-caae-52f5-1686"]. Verifikation: Prognose heute 23,44→13,83 kWh; Optimizer-Tick 18:13: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW. - ROTER Befund 2: TZ-Bug in emhass_optimizer_v2.py::build_pv_series numerisch bewiesen (Offline-Replikation traf publizierte Werte exakt): Berlin-Wallclock-Keys werden als UTC re-tagged → +2h-Versatz im PV-Plan. Published 17:30 = 2384 W, korrekt wären ~163 W. 1-Zeilen-Fix (tzinfo=BERLIN) vorgelegt, wartet auf GO.
- Side-Findings: sensor.pv_daily_energy_total zählt Hoymiles nicht mit (−11%) und SBS-Batteriedurchsatz als PV; forecast.solar-API liefert lokale Timestamps (gleiche TZ-Fehlerklasse möglich); Solcast-API-Quota 30/Tag nahe erschöpft durch 2-Site-Polling; EMHASS-Addon-interner Forecast (open-meteo/pvlib, Fronius/CSUN generisch) irrelevant da v2 published.
- Nutzerbeschluss: forecast.solar komplett neu bauen (Todo). Doku: Solution Doc integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md, Wiki homeassistant.md + emhass-cascade-architecture.md gepatcht.
[2026-10-11] memory-system-audit-execution | P0/P1/P2 des Memory-Audits umgesetzt
- P0: Portainer-CT111-Token zusätzlich in 1P (Vault Hermes, Item
Portainer API Token LXC 111 (proxmox5), id it2bbkhn5ddbk7rdaxe5bsqttm) — Token bleibt bewusst auch in infra-sre MEMORY.md (User-Entscheid). Solutions-Repo: Giteadominik/solutions(privat) neu erstellt + 15+ untracked Docs committet/pushed (c7144bb); S3-Tar-Scope um~/docserweitert (backup-to-s3.sh).~/.hermes/memories-Remote http→https gefixt, 3 Monate Stillstand beendet (Push e3a4bf3).sessions.auto_prune: truein config.yaml (state.db 2,1 GB stoppt Wachstum; Prune-Läufe durch Hermes selbst, min_interval 24h). - P1: DELTA-Prinzip für Profil-MEMORYs etabliert (gemeinsame Fakten nur default+Wiki): infra-sre, dynamic-coach, personal-coach umgeschrieben; Widersprüche behoben: Apple Watch (nutri-USER), Schulkind→Kinder garten (dyn-SOUL+MEMORY), Immich-PROD, Mintos 33,5k kanonisch. default-MEMORY.md neu strukturiert als Einstiegspunkt (2.250 Bytes UTF-8 ≈ 2.178 chars, im Budget). Neue Wiki-Seiten: entities/finanzen-immobilien.md (aus L0), entities/health-fitness.md refreshed (Oura-Telemetrie aus personal-coach L0 konsolidiert).
- P2: Wiki-index.md: Immich-Asset-Count 56.887→86.316, Totlink entities/dominik-schoen entfernt, finanzen+drift-report verlinkt, PAT-Dublette aufgelöst (llm-backend-hang behält PAT-015, systemd-path-blindness → PAT-016, alle 5 Referenzstellen umgezogen). Solutions-INDEX.md Header regeneriert (34→83 real, Kategorie-Counts, Offsite-Vermerk). Drift-Report konsumiert (Review-Abschnitt). memory-sync-Skill: 5 Pitfall-Duplikate entfernt, AUDIT-LESSON ergänzt. Quarantine: auth.json.corrupt, log.md.hermesbak-cl, sync.log → .archive-Dirs; leere Projects/Templates entfernt.
- LCM-Audit nachgeholt: lcm_doctor healthy (Integrity/FTS/schema/lineage pass, 480 MB, 185k Messages, 83/83 externe Payloads). LCM war in SOUL.md, index.md und memory-sync-Skill nicht als Layer verzeichnet (nur concepts/memory-layer-architecture.md hatte es richtig) → jetzt als L4-Co-Träger in allen Dreien verankert. Warnbefund: 447 stale lifecycle-rows (kosmetisch, Cleanup optional).
- Siehe: docs/solutions/workflows/2026-10-11-memory-system-audit-remediation.md
[2026-10-11] home-migration-wave21 | Welle 2.1 abgeschlossen: 3 Seafile-Transfers verifiziert
- MBP_bis2017 (6,9 GB) + MBAir (1,1 GB) → „Archiv Alte Rechner" (gemerged in bestehende Unterordner, Heal-Pass RC=0); Backupfestplatte-Uni-Working-Tree (ohne .git, ohne 6.839 Immich-Foto-Pfade) → NEUE Lib „Backupfestplatte Uni" (208b4444), byte-exakt verifiziert: 81.338 Files / 7.790.262.028 Bytes MATCH=True; DropboxSync-Rest (192 Files / 2,0 GB, 765 Foto-Pfade excluded) → „Urkunden und Dokumente"/DropboxSync-Archiv.
- 4 persönliche Foto-Items (Hochzeits-Zip 512 MB, Fotos.zip 603 MB, Urkundenübergabe 221 MB, Lesezimmer-Zip 22 MB) aus der Seafile-Route herausgenommen → Immich-Queue auf NAS (/pool01_n2_redundant/.seafile-migrate/immich-queue/), wartet auf GO (Dedup-Check gegen Bestand nötig).
- Teardown sauber: 3× desync, Daemon gestoppt, /tmp geleert, Creds geschreddert. Seafile-Disk: 285G/345G (46G frei).
- Neue Fallstrick-Klasse dokumentiert: Prefill-Race-Sequencing (synchronized als GATE), Space-gepaddingte Statusfelder brechen exakte Vergleiche, Status-Tabellen-Truncation unter Last täuscht fehlende Syncs vor, pkill-in-eigener-Deploy-Shell suizidiert Orchestrator, mv über ZFS-Datasets hinterlässt Partials (rsync --remove-source-files heilt). Solution Doc:
docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md; Skilldevops/seafile-api-Referenz entsprechend erweitert. - Offen (warten auf GO): Welle-2-Punkt-2 (Immich-Gaps: DSC_0923.NEF-Retry + Kroatien-2021 ~44 GB) und Punkt-3 (Löschliste ~21 GB).
[2026-10-11] cron-pin-release-flash | Alle 30 Cron-Jobs auf vllm/release/glm-5-3-flash gepinnt
- Audit 11.10. (30 Jobs: 23 aktiv, 7 pausiert) förderte 2 drift_skip-Tote ans Licht: Finanzblick Cashflow Monitor (c594cdde5fef) + User Drift Detection (280458a2b035) — globale Inference-Config driftete glm-5-2→glm-5-3-flash, ungepinnte Jobs verweigerten aus Spend-Schutz. Finanzmonitoring 7+ Tage blind.
- PINNING:
vllm/release/glm-5-3-flashzunächst live verifiziert (200 OK auf ai.noris.de Main-Key; NORIS-NAMESPACE-FALLE:glm-5.3/release/glm-5-3-flash→ 403 model_blocked — neuesglm-5.3/*-Schema ist ein ANDERER Virtual-Key-Realm;vllm/*-IDs funktionieren weiter). Dann 30/30 Jobs viahermes cron edit --model --provider norisgepinnt, Readback jobs.json: 0 Abweichungen. Auch no_agent-Jobs konsistent gepinnt (kosmetisch, aber uniformer Drift-Schutz). - Ex-drift_skip-Jobs wieder scharf: Finanzblick nächster Fire heute 20:00 UTC, User Drift Di 04:00. Smoke-Test Price-Watch (a8ba6bf2891e) BESTANDEN (53,7 s Lauf mit gepinntem flash-Modell, Amazon-Fetch ok, still da ≥120 €, State-File last_check 06:50:22Z geschrieben) — flash läuft E2E durch die Cron-Pipeline.
- Offen aus Audit (nicht genehmigt): Comfy-e2e-Zombie (31k Runs ins Leere), Beleg-Sammler 41-Tage-Alert-Streak (3 failed Belege + 470-Dateien-Staging-Leck), Rechnungen-Organizer Repeat-Limit 171/500, 6 tote pausierte Jobs, EMHASS-v2 ohne Watchdog, Notfallbuch-Herbst-Review verpasst, HA-SSH-PW im Klartext im EMHASS-Watchdog-Prompt.
[2026-10-11] dream-epoch-fix | Dream-Cycle epoch-aware v2 + Memory-Dekontamination
- Fact-Check des Dream-Reports 11.10. ergab: 1/3 falsch (VM302-Phantom — stale P0-TODO als Ist-Zustand gelesen), 1/3 stale-aber-echt (Prometheus-VIP .206→.202, NAS-IP 10.0.30.100→10.0.20.100 — beide Wiki-Stales gefixt), 1/3 handlungsrelevant (DNS-Apex 84.39.83.204 DOWN — Nutzerentscheidung: bewusst ignorieren).
- ROOT CAUSE Epoch-Mixing: reflect-Queries ohne Zeitdimension ließen Juli- und Oktober-Observationen als gleichzeitige Konflikte rangen. Kontaminationsschleife als Verstärker: 3 Dream-Output-Rows (28./29.09., alte agent-Ära) waren als „Fakten" re-speichert worden — der Dream zitierte seine eigenen Falschmeldungen.
- FIX 1 (Daten): 3 Gift-Rows neutralisiert via
metadata.archived='true'::text+ Tagdebunked(reversibel, kein DELETE; Boolean-Cast-Falle vermieden). Reflect narriert danach korrekt Historie statt Konflikt. - FIX 2 (Script v2): EPOCH_RULES in allen Queries (neueste Fact gewinnt; superseded = Historie; ±7-Tage-Fenster; Datums-Pflicht via
_has_dates()-Gate mit Downgrade), TODO-Check fragt nach Erledigungs-Beweis, Stale-Check nur Zustands-Aussagen, Disclaimer-Header gegen Retain-Kontamination. Skill-Kopie re-synchronisiert (md5 42ea3a76…). - Verifikation: Volllauf v2 — VM302-Phantom eliminiert, TODO-Sektion still, Stale-Sektion liefert echte hypothetisierbare Zustands-Claims mit Datum (Authelia id.schoen.eu 19.07., PBS-Remote 10.0.30.106:8007 17.07. — .106 heute dead). Genau das Ziel-Signal-Rausch-Verhältnis.
- Solution Doc:
docs/solutions/bug-fixes/2026-10-11-hindsight-dream-epoch-mixing.md; Skillhindsight§4.2 gepatcht (v2-Design + Dekontaminations-Rezept).
[2026-10-10] dream-cycle-factcheck | Nightly-Dream-Report gegen Live-Systeme geprüft
- Dream-Claim „VM302 auf n5pro widerspricht Wiki" → FALSCH: Live pvesh zeigt VM302 auf ms-a2-2 (Wiki-konform). Ursache des Artefakts: Hindsight hält die P0-Mitigation „VM302 von n5pro weg migrieren" als offenen Zustand — die Migration ist längst erledigt (Episoden 29.09./04.10.). Stale-Todo wurde als Ist-Zustand gelesen.
- Dream-Claim „10.0.30.206 Prometheus unerreichbar" → stale-Wiki-Fund bestätigt: VIP .206 existiert nicht mehr; Prometheus-LB ist heute
monitoring-kube-prometheus-prometheusauf 10.0.30.202:9090 (live verifiziert, Queries OK). ports.md korrigiert. - Dream-Claim „NAS 10.0.30.100 doppelt geführt" → stale-Wiki-Fund bestätigt: ARP dead seit Crash 03.10. (VLAN-30-IP nie persistiert); kanonisch ist 10.0.20.100 (VLAN 20). ip-map.md korrigiert (STALE-Markierung).
- Dream-Claim „WG: .106 erreichbar, .124 nicht" → zeitlich invertiert/stale: heute .106 DEAD, .124 ONLINE. Kein Konflikt, nur alte Momentaufnahmen.
- Dream-Claim „Tradfri/NUT/Moonraker/LIFX setup_retry auf alten IPs" → teilweise: Tradfri 17 Entities unavailable ✓, ESP32 58/58 unavailable, gesamt 460/2516 (18 %). Aber Moonraker gesund (
update=off, Snapmaker ready), LIFX 0 Entities, UPS-Sensoren fehlen in HA komplett (nursensor.apc_alarme=unavailable, bekannter Normalzustand). Pauschal-Ursache „alte IPs" unbelegt. - Dream-Claim „DNS-Apex 84.39.83.24 → 84.39.81.87 ausstehend" → WAHR und offen: Apex zeigt noch auf .83.204 und ist DOWN (HTTP 000); alle Subdomains laufen über CNAME schoen.sytes.net → .81.87 sauber (id. = HTTP 200). Einziger echter Handlungspunkt.
- Sonstige Claims (Immich v3.3.1, ArgoCD behoben, CT111=.99) korrekt; PBS-13.08.-Episode nirgends dokumentiert (historisch, nicht verifiziert).
- Meta-Lektion: Dream-Cycles vergleichen Hindsight-Snapshots unterschiedlicher Epochen — erzeugen Schein-Widersprüche. Immer Live-Verifikation vor Reaction. Zwei echte Wiki-Stales ließen sich dennoch daraus ziehen.
[2026-10-10] home-migration-wave1 | Unterlagen Uni + eBooks + grafiniert → Seafile, 86 Repos → Gitea
- Seafile (CT111): Neue Lib Unterlagen Uni (c4677b64, 19 GB 1:1 aus Home — Lehre/Klausuren/Praxis/Verwaltung, KEIN ZIP gem. Nutzervorgabe); Bücher +eBook-Sammlung (60 Titel) + Calibre-Bibliothek (1277 Autoren, 5,9 GB); Archiv grafiniert +Delta 4,2 GB (MontaMusic, huawameieri, grafiniert_2011, Buchhaltung …). Alles serverseitig via API verifiziert.
- Weg: seaf-cli-Staging auf 10.0.20.100 (
/pool01_n2_redundant/.seafile-migrate/staging/, 30 GB bleiben als Kopie), rsync additiv; Syncs desynct, Daemon gestoppt, Plaintext-Creds auf NAS shredded (PWs in 1P: „Seafile Web Login (dominik)"). - Gitea (git.schoen.codes): 86/86 eigene Repos migriert (--all+--tags; dev-* 51, idea-* 26, mbpdoc-* 6, sempa-* 3). Skip: go/src-Vendor, clinfo, libcoap (shallow Fork), Privat/Promotion-.git (Dokumentenhistorie → Seafile später).
- Pitfalls geloggt: Create-500 legt Gitea-Repo trotzdem an (immer listen+branchen statt Status glauben); shallow push --all rejected; safe.directory-* für root-Scans; SSH-Timeout killt Wrapper-Ketten → setsid nohup; seaf-cli-Sync bidirektional (Downstream beachten).
- Solution Doc:
workflows/2026-10-10-home-migration-seafcli-staging-gitea-bulk-push.md; Skillseafile-api→bulk-migration-Referenz um seaf-cli-Weg ergänzt. Multi-Agent-Kollision mit Parallel-Session (PW-Rotation 16:30) im Docworkflows/2026-10-10-multi-agent-credential-collision-moving-target-guards.md.
[2026-10-10] homeassistant | Warn-Push beim Verlassen + Garagentor-Flanken-RCA
- Neue Automations (REST-config, live):
warn_offen_beim_verlassen(Dominik >2min weg + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button; tag aktualisiert Notification) +garagentor_push_closev8 Single-Edge (EIN switch.turn_on, KEIN turn_off-Präludium; Guards offen/>90s stabil/45s Anti-Doppeltipp; 45s-Verifikation per Neigungssensor; Retry nach 480s; ehrliche Fehler-Push). - RCA (Logbook-belegt): Motor toggelt auf JEDE Kanalflanke. Einzelimpuls schließt sauber (17:51: ~90s). ZWEI schnelle Flanken = Start-Stopp → Tor bleibt offen (17:07 mein OFF→ON-Doppelpuls; 17:48 Nutzer-Doppelklick am Wandtaster). Doppelklick-Gewohnheit wirkt der Schließfahrt entgegen. Wirkungslose Impuls-Serie 16:46–17:07 → vermutlich Motortermik-Sperre.
- BUG offen:
switch.garagentorStatus seit 05.10.unknown(SysAP→HA Feedback tot); SysAP-REST 401 (Credentials unbekannt, admin/admin falsch), SSH-Addon gestoppt. Tor-Endzustand nach Tests: GESCHLOSSEN (verifiziert). - Nur 2 physische Öffnungssensoren im Haus: Garagentor + Esszimmertür; free@home-Panels sind Taster.
- Solution Doc:
docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md; Wiki systems/homeassistant gepatcht.
[2026-10-10] frigate-notifications | v3: Review-Alert-Trigger + KI-Gate (Spam behoben)
- RCA: Alt-Automation triggerte auf
frigate/events(Raw-Detections) stattfrigate/reviews(kuratiert); 2 Pushes/Event; Cooldown-Key camera+label = Ping-Pong bei Labelwechsel; keine Known-Face-Suppression. Messung 10.10.: 21 Raw-Events → 9 Runs → 18 Pushes/3,5h bei Null relevanter Szenen. - v3 (ID 1714065780832, in-place via REST): Trigger=frigate/reviews severity=alert; 12s Delay → Snapshot → llmvision.image_analyzer (gemma via noris, Prompt KRITISCH/NORMAL) → Gate → 1 Push. Suppress: Sarah/Dominik, 300s Kamera-Cooldown, Review-ID-Dedup. Fail-safe: KI-Fehler oder nachts Person → Push.
- E2E verifiziert: Synthetischer Alert → Verdict „NORMAL: leere Einfahrt mit geparktem Auto“ → korrekt kein Push; Readback 10/10 Checks. v3.1 (gleicher Tag, Nutzervorgabe „nicht nur 23–5 Uhr"): Person-Push auf 24/7 ausgeweitet (Gate
crit or ki_fail or person_here), neues Titel-Tier „👤 Person“ tagsüber; E2E erneut verifiziert (Gate-Rendering True bei Tag+person, Logbook-Run bestätigt). - Frigate-0.18-Payload-Falle: review
data.objects= String-Liste, sub_labels separat; HA-Jinja kennt keinis not null(→is not none). - Zombies (garten, ai_event_summary ×2) = Registry-Ghosts, kein Konflikt. Ohne Zonen geblieben (User-Wahl).
- Solution Doc:
bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md; Wikis systems/frigate+homeassistant gepatcht.
[2026-10-10] notfallbuch | eol-dr-Playbook für Sarah live gestellt
- Repo
dominik/notfallbuch@ git.schoen.codes (privat, Secrets allowed — Uservoting, intern hosted). 9 Sarah-Kapitel +generated/-Inventar aus Live-Cluster +mapping/triage-map.md(Join ArgoCD-Label↔Klartext). - Generator
scripts/generate_inventory.py(ArgoCD/Traefik-IngressRoute/Velero/Proxmox, graziöse Degradierung) + Watchdogupdate_and_commit.sh(Diff ohne Timestamp-Zeile → kein Schein-Drift; Commit+Push nur bei Echt-Drift; Digest nur bei Drift/Ungeklärt). - Crons:
c4eb1bbe63dfmonatl. Watchdog +d8c6cdd5a1ebhalbjahrl. Review-Reminder → telegram:-5265906503. Build: pandoc+xelatex → A4-PDF/DOCX mit Datum+SHA-Stempel (nun auf hermes-agent installiert). - Live-Funde: Immich-URL = photos.familie-schoen.com (nicht immich.*); Domain schoen.eu existiert (Kap. 07 erweitert); kein cert-manager (Traefik-LE). 26 Apps ungelabelt → UNGEKLAERT-Liste mahnt; holmes/holmes-config = KLÄREN.
- Offen: Stefans dormant Gitea-Account (1P-Zugriff blockiert, Passwort darf nicht unbefristet nur im Terminal liegen), Triage-Label-Freigabe in iac-homelab, Fill-in-Abende ([FELD]-Marker), Proxmox-Token für Generator.
- Wiki neu:
systems/notfallbuch.md; Solution Doc:docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md(Gitea-API 401 bei Basic-Auth → Token-Header).
[2026-10-10] hermex-backend | hermes-webui auf Runner deployed — Hermex-iOS kann verbinden
- Hermex (iOS) spricht NICHT das offizielle Dashboard (:9119) an, sondern braucht hermes-webui (nesquena). Native Installation:
/opt/hermes-webui, server.py unter Agent-Venv-Python (in-process Imports von Agent-Modulen), systemdhermes-webui-dominik.service,0.0.0.0:8790, LAN-only. - Hermex-Werte:
http://10.0.30.230:8790+ PW aus 1P (Vault Hermes →dominik-hermes-webui). - E2E verifiziert: Login 200/401 korrekt, Sessions-API zeigt echte CLI/TG-Sessions (state.db-Bridge), Chat-Run durch API → Agent-Antwort
hermex-e2e-ok(glm-5.3/noris), Test-Session danach sauber gelöscht. - Sicherheiten: KEIN Cron-Scheduler-Thread im WebUI (Doppel-Feuer ausgeschlossen, Scheduler bleibt im Gateway); Signing-Key auto-gen persistiert Login über Restarts.
- Pitfalls geloggt:
/api/chatauf CLI-Session-ID → KeyError (erst/api/session/new, eigene hex-ID); Cold-Start /api/sessions 34–70 s, warm 0,2 s;op item view --vaultexistiert nicht →op read op://…; sed-%-Templating zerstörte Unit (static+Garbage-PW) → Python-Substitution; logrotate war auf dem Runner nicht installiert (nachgezogen, daily×7). - Wiki neu:
systems/hermes-webui.md; Solution Doc:docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md.
[2026-10-10] immich-nas-ingest | NAS-Foto-Archive komplett in K8s-Immich übernommen
- 29.423 neue Files / 78,2 GB (Dominik 27.966, Sarah 1.436) via API-Upload von NAS direkt nach K8s-Immich v3.3.1; Laufzeit ~75 min, 4 Worker, JSONL-Checkpoint/Resume.
- Methode: Census-Manifest (sha1/size/path) +
POST /api/assetsmitx-immich-checksum(Server-Dedupe pre-write: 200=dup, 201=new) + mtimes aus NAS-stat. Keysnas-ingest-d/svia Direct-DB-INSERT (varchar[]-Cast, decode(hex)). - Reconciliation: alle 29.423 erwarteten SHA1s in DB, 0 fehlend; 86.316 Assets / 85.960 Unique; Owner-Split korrekt (d 55.271 / s 31.045). PVC 365/500 G.
- Strauchelsteine gelöst: Bearer-vs-x-api-key (401), varchar[]-Permissions (Typ existiert nicht),
'\x'-Literal-Falle bei bytea, fehlender Host-Header an Traefik (404), 1 Schein-Fail (SSL-EOF, Upload war durch). - 5 RAWs mit dcraw-Thumbnail-Fehlern — Originale bitidentisch (libraw-Kosmetik). Grayzone 559 Files bewusst exkludiert.
- Artefakte:
~/home-drilldown/census/(Manifests, Archive mit Checkpoints+Logs+Uploader). Solution-Doc:docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md. Wikisystems/immich.mdaktualisiert. - Follow-up 10.10.: immich-config-Freeze-Exit (Commit
3ec6327, selfHeal+prune scharf; vorher Label-Sweep: kein Objekt trägt Tracking-Label → prune sicher); NAS-Plaintext-Keys vernichtet (keys.env + lokale Kopie, Key-Records in DB bleiben re-mintbar); NAS /tmp/immich_ingest geleert nach Archivierung (MD5-verifiziert). Beobachtung: immich-server 5 Overnight-Restarts (≥1 OOMKilled 137) unter Thumbnail-Job-Last nach Ingest, seitdem 7 h stabil bei 760Mi/4Gi. - OOM-Fix 10.10. (Commit
6ce2a0a): Server-Mem 4→6Gi, Request 1→2Gi, nodeSelector pin auf rke2-worker-01. Grund: worker-04 nur 7,9 Gi allocatable (kleinster Node) + Limits 169 % überzeichnet → Limit-Raise allein hätte Node-Pressure-Eviction riskiert (postgres-main-2 Kollateral). Rollout verifiziert: neuer Pod auf worker-01, Restarts 0, API grün, ML/valkey unberührt. Patch-Falle dabei entdeckt und VOR Commit gefangen: Probe-Indentation im rendered-Manifest (immer YAML-Parse-Validierung nach patch).
[2026-10-08] emhass-phase2-shadow | Shadow-Dual-Solve live + Deferrables entfernt
- Shadow Phase-2 live: Cron
d046e808f543(*/15m, silent-on-healthy) + Staleness-Watchdog19aef2351273(:35, >45 min -> Alert). Ledger~/shadow_phase2/ledger.jsonl, Report~/scripts/report_phase2.py. - Bewiesene CSV-Gesetze: +P_batt=Entladung, P_grid signed (Export NEGATIV), Deferrable-Spalten=Phantom-Last (+12 kWh Summeninvarianz, keine Consumer).
- PRODUKTIV:
number_of_deferrable_loads2->0 (Direct-File-Edit + Addon-Restart im :50-Fenster, Backupconfig.json.hermesbak-20261008); Beweis: Incumbent-CSV jetzt 17 Spalten. - Solution Doc:
docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md
[2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur 25, infra-sre 40 (3 Phantome), Rest 37-38.
- Root Cause:
$HERMES_HOME/provider_models_cache.json(disk-Cache des/v1/models-Katalogs).cached_fetch_api_models()liefert bis 7 Tage Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im Daemon-Thread — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar. - Key-Falle: Cache-Key ist
custom:<base_url>(neu:…#<fp>), nicht der Provider-Slug.cached_provider_model_ids("noris")ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37). - Fix:
~/.hermes/scripts/refresh-picker-catalog.py(Dry-Run default,--apply, mit Backup) → alle 5 Profile 37 Modelle, 0 fehlend. Kein Restart nötig (Cache wird pro Call neu gelesen). - E2E-verifiziert über
build_model_options_payload()— die eine Quelle für Desktop-Picker,/api/model/options, TUImodel.optionsund Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29). - Doku:
docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md; Skillhermes-agentgepatcht. - Offen (nicht angefasst):
vllm/qsu/glm-5-3-flash= Default im default-Profil, nicht in /v1/models, konsistent HTTP 503 → tot. 3 Profile aufvllm/release/glm-5-2, infra-sre aufvllm/moonshotai/kimi-k2.6(403 model_blocked). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
[2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts.
errors.log:httpx.ReadError: Broken pipe→openai.APIConnectionError→ 3 Retries → "unresponsive … 5 stale attempts". - Root Cause:
vllm/release/glm-5-2hängt upstream bei ai.noris.de — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar. - Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
- Fix: Default
model.default+providers.noris.model→vllm/qsu/deepseek-v41-flash. Backupconfig.yaml.bak.20261002_075455. Restart 07:55:41 (mtime config 07:55:23 < Start ✓). - E2E verifiziert: Session meldet neues Modell, Turn completed in 15s, Transcript
user::…PONG→assistant::PONG. Test-Session danach gelöscht (7 übrig). - Nebenbefunde:
auxiliary.vision.model = release/gemma-4-31b-it→ 403 model_blocked.fallback_providers: []= kein Fallback (Amplifier). Unit-File0644mit Passwort+API-Key im Klartext. - Neu: Pattern patterns/llm-backend-hang-diagnosis (PAT-015), Wiki systems/sarah-hermes Pitfalls 4-6.
[2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
- Double-Counting Bug behoben:
sensor.sma_target_powerentfernt,sensor.marstek_target_powernutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓. - BYD 802 Hold-Bedingung erweitert:
target < 0→target <= 0(Hold bei target=0 eingeschlossen). - EMHASS
battery_target_state_of_charge0.30 → 0.15 (65% Overnight-Hold war zu hoch). - Pitfall:
POST /set-configüberschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren. - Solution Doc:
docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md - Wiki:
reference/emhass-cascade-automation-architecture.mdneu,systems/homeassistant.mdEMHASS-Sektion ergänzt. - Hindsight: Config + Pitfall semantisch indexiert.
[2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
- RBAC-Lektion: Descheduler braucht
list/watchaufnamespacesin ClusterRole. - ArgoCD repoURL:
ssh://git@10.0.30.200:22/...(mitgit@User-Prefix, wie alle anderen Apps). - Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
[2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
- Zwischenfail:
aliases:-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate. - SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit
cc2f237.
[2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. (Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt:
crush reweight osd.3 0.05+ in. Cluster 17/17 up/in, Degraded 0,78 % fallend. - ubuntu-Hosts-Fix:
10.0.20.100 ubuntuin /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben. - Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
[2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
- Eigener Fehler:
grep -vn-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. Rescue-Pfad etabliert: CT-Rootfs direkt am Host mounten (mount /dev/rbd2 /mnt/...— rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok. - Lessons: (a) NIEMALS
grep -n-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate. - Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit .
[2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
- Zwei neue Rules in CT141 (
placement_guardrails): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok. - Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
[2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender
body-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON). - Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit
{{escape title}}/{{escape message}}(Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200. - Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
[2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
[2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. x-vga=1 bricht AMD-Passthrough (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
- Monitoring (CT141): Regelgruppe
pressure_alerts(5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. LXC-Bindmount-Inode-Trap: sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc. - proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
[2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
- Diagnose-Signatur:
qm status --verboseRSS-Kollaps + tote Guest-Agent + statischer Tap-TX - Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
- Drift-Fund: frühere node-affinity
na-vm102(NICHT ms-a2-2) existiert live nicht mehr - Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
[2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert
pip install -e .NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bisimport run_agent - Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
[2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
- Root Cause:
ceph-flash+ceph-hdd-replicaStorageClasses created manually WITHOUTcontroller-expand-secret-name/namespaceparams - CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
- Cordoning cp-03 amplified: CNPG switchover → operator reconcile storm (~60/min)
- Fix: (1) Delete+recreate SCs with all secret refs, (2) Patch 6 PVs with controllerExpandSecretRef, (3) Restart CSI resizer, (4) Commit SCs to Git
clusters/main/storage/, (5) Move Gitea off unstable worker-05 - Worker-05 cordoned (repeated reboots, likely hypervisor issue on ms-a2-2)
- Architectural risk documented: etcd on Ceph RBD (~20ms WAL fsync all CP nodes)
- Solution doc: docs/solutions/bug-fixes/2026-09-29-kubeapi-error-budget-burn-ceph-csi-resize-loop.md
[2026-09-27] bug-fix | Gitea CSI RBAC Fix + ArgoCD Verknüpfungs-Audit
- Root Cause: Ceph CSI RBD
csi-attacherfehltestorage.k8s.io/csinodesBerechtigung → VolumeAttachments pending → Gitea Pod 4+ Tage Init-crash - Fix: ClusterRole
ceph-rbd-external-attacher-runnerpatched, provisioner Pods neu gestartet → alle 24 VolumeAttachmentstrue - Gitea Pod + schoenkitchen runner durch Pod-Delete wiederhergestellt
- ArgoCD Audit: 17/25 Apps via Gitea SSH, 20/25 Synced+Healthy
- Known Issues:
gitea/autheliaHealth=Progressing (Ingress-LB-IP Gap),immichdoppelt verwaltet,gitea-configDeployment Drift DEFAULT_ACTIONS_URL=https://gitea.comdeprecated → Helm override aufselfempfohlen- Wiki
systems/gitea.mdaktualisiert: Runner Status, Incident, ArgoCD Issues - Solution Doc:
docs/solutions/bug-fixes/2026-09-27-gitea-csi-rbac-volumeattachment-fix.md
[2026-09-27] architecture | Memory Layer Restructuring + Laya Session-Nutzung
- USER.md bereinigt: Infra-Fakten entfernt, nur noch User-Preferences/Safety-Rules (1.087/1.375 chars)
- MEMORY.md ausgedünnt: 2.145→1.664 chars, alle Infra-Details zeigen auf Wiki-Seiten mit
→WikiPointern - 4 neue Wiki-Seiten: systems/noris-ai, systems/frigate, systems/homeassistant, systems/paperless
- Neues Concept: concepts/memory-layer-architecture — Entscheidungsbaum "was wohin gehört"
- Hindsight Audit: massiv überladen mit veralteter Infra-Topologie. Going-Forward-Policy: nur noch semantische Pointer + Entscheidungen
- LCM gesund: 7.590 messages, 34 DAG nodes, 21.2:1 compression ratio
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
[2026-09-27] architecture | Laya Email-Organizer Migration + Session-Nutzung
- Rechnungen-Organizer Cron
f773f8c23230von LLM-Agent →no_agentScript mit Laya migriert - 12 Kategorien, 3-Schichten-Safety (Confidence-Gate + Subject-Validierung + Move-Erfolg)
- Globale Ordner (Rechnungen/Bestellungen/Gutschriften/Gutscheine) statt Monatssortierung
- Wiki-Seite
systems/laya.mderstellt mit Usage Guide für Session-Nutzung - User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
- Solution Doc:
docs/solutions/architecture/2026-09-27-laya-email-organizer-migration.md
[2026-09-17] workflow | CT108-Endausbau: Census, Ghost-Router CT99999, Alias-Repair, Stop
- Census (auth): K8s=25 / CT108=31 / gemeinsam=23 — 22 Tips identisch, dominik/memory=K8s-Superset (enthält CT-Tip
de97cd6d), nur-CT=8× PoC-Müll. Archiv: 29 Bare-Bundles 143 MB unter/home/debian/git-archive/ct108-final/(2 Failures = legitim leere Repos). - Ghost-Router enttarnt: CT99999 (Traefik-LXC auf proxmox7, 10.0.60.10) terminiert TLS für *.familie-schoen.com und forwardet plain HTTP an .203.
git.familie-schoen.com→ .105:3000 WAR der letzte Live-Konsument von CT108;git.schoen.codeslief längst per Double-Hop aufs K8s. Fix: gitea-service-Upstream → .203 (Backupexplicit-http.yml.bak-hermes-20260917) + Alias-Host im K8s-Ingress (Commit9e9b6ee). Beide Hostnamen jetzt v1.27.0. - Stop vollzogen (genehmigt):
pct stop 108auf ms-a2-2 (10.0.20.93) — connection-refused-Beweis, Fleet 22/25 Synced, Runner unversehrt. Wiki-Lügen korrigiert (ip-map behauptete „stopped" seit Wochen). - Lessons: 1P-SA braucht je Call
--vault;op read --revealexistiert nicht (stdout=Secret);op item get --revealmaskiert nur Display (JSON-Captures intakt);/repos/search={ok,data}-Envelope; blankes Token erzeugt glaubwürdig LEERE Census (Fast-Fehlentscheidung „K8s hat nur 2 Repos"). - Docs:
docs/solutions/workflows/2026-09-17-ct108-full-decommission-census-router-topology.md· Wiki: systems/gitea.md, reference/ip-map.md - Offen (je Freigabe): Zombie-Secret
argocd-repo-credentialslöschen; immich-Zwillings-App (toter rendered-Dump vom 01.08., Live gehört immich-config) entfernen.
[2026-09-17] fix | Merge-Day-Kampagne abgeschlossen: Konvergenz + Autosync-Rennen + Live-State-Arbitrage
- Konvergenz DONE: Merge
d76d3e8(fork 46fa168, 24.07.) + Fixups4987341/8c741c5auf BEIDEN Remotes (CT108 + K8s-Gitea SSH 10.0.30.200). Ahead37/behind63-Narrativ endgültig begraben (Cache-Phantom). Single-Remote-Ziel erreicht: beide Tipps identisch. - Autosync-Renne verarbeitet (4 Minentypen): authelia Duplikat-Volume (union-merge) entfernt; homepage
authelia-auth-Middleware restauriert (Jul-Entscheidung ging nie live); paperless plaintext-OIDC-Secret GELÖSCHT statt Wert-Rollback (ESO-Ownership seit 24.08., Quelle 1P); newborn-App ceph-csi-cephfs eingefroren (autosync-Block aus Git entfernt — Helm-Release 3.17.0 wartet auf Adoption; rbd-chart 3.10.1 weiterhin ungoverned, Backlog). - 3 Sync-Failures via Live-State-Arbitrage geheilt (alle Synced/Healthy @ 8c741c5): (1) backups: VSC-CRD-Flavor-Falle — RKE2-Addon-CRD ist FLAT (driver/deletionPolicy top-level,
spec:verboten!), Jul-Files waren für Upstream-Flavor korrekt; beide Files geflattet, cephfs-snapclass erstmals LIVE ERZEUGT. (2) databases: CNPG grow-only — Git auf 100Gi/20Gi hochaligned (Shrink verboten). (3) hindsight: VCT storageClassName immutable (hdd→flash aligniert), Live-Hotfixes gespiegelt (Node-Pin cp-01, ReadinessProbe draußen, secretKeyRef statt Klartext-PW). hindsight-postgres-0 rotierte sauber, PVC 47d Bound, API pollt. - Push-Learned: canonical-Push braucht EXPLIZITEN Key (
GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o IdentitiesOnly=yes") — kein ~/.ssh/config vorhanden, Default-Key lehnt ab. - Chronisch (prä-merge, offen): kube-prometheus-stack Synced/FAILED (CRD-Annotation >256kB); residual OutOfSync gitea-config (Deployment/gitea-runner) + immich-config (SA/CM-Reste) = Alt-Backlog, keine Regression.
- Finale Ordnung (nächste Schritte): ① ArgoCD-Sources auf ssh://git@10.0.30.200:22 flippen (incl. Secret argocd-repo-credentials) ② CT108 final stoppen (explizite Freigabe Dominik) ③ CSI-Adoption ④ kpstack-CRD-Fix.
- Docs:
docs/solutions/workflows/2026-09-17-argocd-autosync-race-four-mine-types.md+docs/solutions/bug-fixes/2026-09-17-live-state-arbitration-crd-flavors-hotfix-mirroring.md· Morgen-Doc (.202-Empfehlung) korrigiert auf .200.
[2026-09-17] bug-fix | Ghost-Instance-Regression: CT108-Gitea als ArgoCD-Source + gitea-backup RCA-Quality
- gitea-backup-29826930 (03:30Z) failed: BackoffLimitExceeded, 3 Instant-Crashes in 73s. Zwei Auto-RCAs attribuierten auf 1P/ESO-Rate-Limit — STRUKTURELL widerlegt (crashing init-container gitea-files konsumiert keine Secrets; mounted Secrets intakt).
- Echter Fund: ArgoCD-Apps (root/proxy/paperless/schoenkitchen/gitea-config) zogen von http://10.0.30.105:3000 = CT108-Ghost (nach Dekommissionierung 24.07. wieder eingeschaltet, stale Mirror ohne Hardening-Commit 2014673) → "Synced" maskierte fehlende failedJobsHistoryLimit-Felder live.
- Sofortmassnahme: manueller Rerun gitea-backup-manual-161538 SUCCESS (201,7 MB, S3-Upload verifiziert), Failed-Job gelöscht, Alert clear.
- Offen (awaiting owner): ArgoCD-Sources auf ssh://git@10.0.30.202:22 flippen, Repo-Divergenz ahead37/behind63 + tote HTTPS-Auth forensisch, CT108 final stoppen, ESO-Nachtsättigung (00:00Z-Fenster, cf. PAT-003) analysieren.
- Doc:
docs/solutions/bug-fixes/2026-09-17-gitops-ghost-instance-regression-masked-hardening.md· Wiki: systems/gitea (CT108-Status), concepts/gitops-workflow (Single-Remote-Regel) - Abend-Phase: SSH-Deny-Rootcause = keine Keys/Tokens im K8s-Gitea-DB registriert (Opfer der 01.08.-Migration) → via 1P-Token (hermes-gitops) re-registriert: User-Key + ArgoCD-Deploy-Key (beide end-to-end verifiziert, push dry-run OK). Echter Branch-Split am 24.07. entdeckt: K8s-Gitea-main=29.07.-Stand (b9d7441, 70 Commits incl. mariadb:11.4-Fix für gitea-backup), CT108/local=38 Commits ab 04.09. Hardening TTL=86400 + Exit-42-Guard via ArgoCD gelanded (a0c9b6b). Heutiger DB-Dump validiert (116 Tables, kompletter Trailer). Nächste Schritte: Historien-Konvergenz → Source-Flip → CT108-Stop (Freigabe).
[2026-08-30] retro | Compound Learning Retrospective (Last 30 Days)
- Reviewed sessions from Jul 31 – Aug 30, 2026
- 4 new solution docs written by subagents:
bug-fixes/2026-08-05-ceph-squid-ec-pool-mark-complete-bug.md— EC pool mark-complete fails in Squidbug-fixes/2026-08-06-traefik-cross-namespace-routing-pitfall.md— Two Traefik 404 incidentsarchitecture/2026-08-01-k8s-full-cluster-rebuild-procedure.md— Full RKE2 rebuild sequencearchitecture/2026-08-01-immich-data-loss-no-backup.md— Ceph redundancy ≠ backup
- 2 new patterns extracted:
- PAT-008: Ansible default_ipv6 fact missing on fresh VMs
- PAT-009: Stale NBD devices after RBD volume swap
- 4 Hindsight entries indexed with solution summaries
- Key themes: K8s cluster disaster recovery, Ceph EC pool unrecoverability, Traefik routing complexity, backup gap identification
[2026-08-30] feat | WikiSkill Patterns Directory + Skill-Impact Tracker
- Analysed arXiv:2608.27454 (WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution)
- New
patterns/directory in LLM Wiki — structured failure-mode patterns inspired by WikiSkill's Wiki Layer - Created 7 initial pattern pages from existing MEMORY.md entries + solution docs:
- PAT-001: Galera DDL TOI Deadlock
- PAT-002: Traefik reload unreliable
- PAT-003: 1Password account-level rate-limit
- PAT-004: VFIO GPU passthrough race condition
- PAT-005: Finanzblick sync WAF-blocked
- PAT-006: LinkedIn React nativeInputSetter
- PAT-007: Ceph EC pool + SSD wear-level
- Skill-Impact Tracker (
patterns/skill-impact.md) — audit trail for skill modifications (accept/reject history) - Template (
patterns/_template.md) for future pattern creation - compound-learning skill patched — added Phase 4.8 (Pattern Extraction) + Phase 4.9 (Skill-Impact Tracking)
- Updated index.md with Patterns section
- Hindsight: indexed with tags architecture, wikiskill, patterns, skill-evolution
[2026-08-13] feat | Memory Architecture Enhancement (arxiv 2602.06052v4)
- Implemented 3 new automated memory capabilities from survey paper analysis:
- Decay & Importance Scoring (
hindsight_decay_scoring.py): Monthly cron (1st 03:30). Score = log(1+access)/log(51) × 0.5^(age/90d). Archives score<0.15 with 0 accesses. First run: 200 evaluated, 50 archived. - User Drift Detection (
user_drift_detection.py): Weekly cron (Mon 04:00). Compares 14d vs 90d baseline for message length, frustration, corrections, topic shifts, style changes. First run: detected 3 drifts (41% longer msgs, new focus gitops, declining ai_ml). - Skill Health Check (
skill_health_check.py): Weekly cron (Mon 04:30). Scans 187 active SKILL.md files for stubs, broken refs, missing pitfalls, staleness, duplicates. First run: 70 healthy, 117 warnings, 0 critical. - Cron jobs: 112c106c0954, 280458a2b035, 761b6694d99b (all no_agent, deliver=origin)
- Wiki updated: systems/hindsight.md (meta-memory automation table expanded)
- Hindsight: indexed with tags architecture, memory-system, cron, arxiv-2602.06052
[2026-08-13] fix | Seafile Recovery + Paperless Upgrade + Authelia Ingress
- Gitea SSH access: No SSH key on Hermes VM was authorized for Gitea. HTTP port 3000 has no external IngressRoute. Generated dedicated ED25519 key (
id_ed25519_gitea-hermes-push), stored in 1Password (ID: lqaebdtewj5xatvpzfrkag73v4), registered in Gitea as key ID 4 for user dominik. SSH via10.0.30.202:22(LoadBalancer) is the reliable push path. - Paperless v3 IngressRoute: Host was
dokumente.familie-schoen.cominstead ofdokumente-neu.familie-schoen.com. Two-track fix: kubectl patch (immediate) + Git commitfa4184b(permanent via ArgoCD self-heal). Backtick escaping in Traefik Host() match requires--patch-filenot inline--patch. - Wiki updated: systems/gitea.md (SSH push key section), reference/ssh-keys.md (new key entry)
- Solution docs: workflows/2026-07-26-gitea-ssh-access-for-hermes.md, bug-fixes/2026-07-26-paperless-ingressroute-hostname-fix.md
- Hindsight: both solutions indexed with tags
[2026-07-25] fix | Loki 500 Error + CNPG Leader Election + Stale Pods Cleanup
- Loki HTTP 500:
replication_factor: 3in hash ring with only 1 SingleBinary instance → "too many unhealthy instances in the ring". Chart v6.42.0 ignoresloki.common.replication_factor— correct path isloki.commonConfig.replication_factor. Fix: commitcb70d36 - Memcached caches disabled:
chunksCache.enabled: false,resultsCache.enabled: false(SingleBinary doesn't need them). Commitf8852e8 - Fluent Bit: cascading failure from Loki 500s — fixed automatically once Loki accepted pushes
- CNPG 28+129 restarts: Leader election lease renewal failed during API server latency spikes (Ceph recovery I/O). Default 15s/10s too short. Fix:
--leader-lease-duration=60 --leader-renew-deadline=40viaadditionalArgs. Commit6ed4a53 - 17 stale node-debugger pods deleted from default namespace
- OSDs 0+2 destroyed+purged (proxmox2, SSDs with 92% wear + slow ops). CRUSH host proxmox2 removed. 13 OSDs remaining on 8 hosts.
- Wiki updated: ceph-cluster.md, loki-fluentbit.md
[2026-07-25] fix | Memory Sync Broken — HTTP→HTTPS + Ceph Duplicate
- Git push failed: remote URL used
http://but Gitea redirects tohttps://— git doesn't follow auth redirects - Token itself was valid (same as ArgoCD
argocd-repo-credentials), just wrong protocol - Fixed:
git remote set-urltohttps:// - Eliminated duplicate:
systems/ceph.md(82 lines, no frontmatter) merged intosystems/ceph-cluster.md(canonical, referenced in index.md) - Fixed sync script: removed
--allow-emptyflag, improved change detection
[2026-07-24] fix | Velero CSI Volume Snapshots Three-Layer Fix
- Velero backups PartiallyFailed for 121 days — all PVCs skipped
- Fix 1: Created VolumeSnapshotClass
ceph-rbd-snapclass(rbd.csi.ceph.com) - Fix 2: Migrated ArgoCD repoURLs from dead Gitea (10.0.30.105) to new (ssh://git@10.0.30.202:22)
- Gitea SSH user is
gitnotgitea; git.schoen.codes → Traefik (10.0.30.208), SSH on 10.0.30.202 - New SSH deploy key generated, added to Gitea repo
- Gitea SSH user is
- Fix 3:
features: EnableCSImust be underconfiguration:in Velero Helm values (not top-level)- Must be string, not array — array form breaks Helm template
- Verified: test backup created VolumeSnapshot + VolumeSnapshotContent, uploaded to S3 ✅
- Solution doc: docs/solutions/bug-fixes/2026-07-24-velero-csi-snapshots-three-layer-fix.md
- Commits: 5ebfa30, 19f35bc, cd18c58, baf85f5, f652bfb
[2026-07-24] fix | VFIO Module Loading Race Condition RCA + Fix
- RCA: GPU passthrough failed on ms-a2-1 due to missing modprobe config (NOT kernel version)
- Root cause: Missing
softdep amdgpu pre: vfio-pci+ incomplete DRM blacklist → race condition (302s vs 2.4s bind time) - Fix applied to ms-a2-1: Added
blacklist drm,blacklist drm_kms_helper,softdep amdgpu pre: vfio-pci, rebuilt initramfs - Verification pending (reboot required, 4 VMs + OSD 13 on ms-a2-1)
- Solution doc: docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md
- Also documented: K8s persistent storage architecture (all PVCs on Ceph RBD, 3x replication)
- Solution doc: docs/solutions/architecture/2026-07-24-k8s-persistent-storage-ceph-rbd.md
[2026-07-24] fix | worker-05 GPU Passthrough — Move to ms-a2-2
- Problem: worker-05 (VM 102) on ms-a2-1 had kernel BUG with 1002:13c0 GPU — /dev/dri/renderD128 missing
- ms-a2-1 and ms-a2-2 have identical hardware (AMD Ryzen 9 9955HX, GPU 1002:13c0)
- Solution: Moved VM 102 from ms-a2-1 to ms-a2-2 (offline migration, Ceph RBD shared storage)
- Result: renderD128 ✅ visible in guest, amdgpu driver loaded, all pods running
- IaC: main.tf cleaned up — single unified rke2_worker block, worker-05 node=ms-a2-2, worker-06 removed
- PCI mapping: amd-gpu now includes n5pro + ms-a2-1 + ms-a2-2
- Commit: 21bd335
- Also: ms-a2-2 upgraded PVE 9.1.1→9.2.5, kernel 7.0.14-6-pve, VFIO persistent after reboot, HA integrated
[2026-07-24] init | ms-a2-2 Node Initialization
- New Proxmox node ms-a2-2 (10.0.20.93, nodeid 1) joined cluster
- Hardware: AMD Ryzen 9 9955HX (32 threads), 91GB RAM, 1.8TB NVMe
- GPU: AMD Radeon 1002:13c0 (identical to ms-a2-1) — VFIO passthrough configured
- PCI mapping: amd-gpu-ms-a2-2 created, added to generic amd-gpu mapping
- Ceph OSD 14: created on nvme0n1 (1.8TB SSD), class ssd, weight 1.82
- Fluent-bit: installed + configured (hostname adapted to ms-a2-2)
- APT sources: fixed from enterprise to no-subscription (ceph + pve)
- LLM Wiki: ip-map.md, ceph.md updated; AGENTS.md updated (9 nodes)
- Note: PVE 9.1.1 on ms-a2-2 (rest of cluster is 9.2.3) — upgrade pending
[2026-07-24] cleanup | proxmox1 Permanent Removal + Ceph PG Fixes
- Removed proxmox1 from Ceph CRUSH (empty host bucket, weight 0)
- Also removed stale empty buckets: proxmox, px-tmp20
- Updated corosync.conf: removed proxmox1 node entry, config_version 14→15, expected_votes 9→8
- Removed stale /etc/pve/nodes/{proxmox1,proxmox,pve,px-tmp20}
- Updated IaC: proxmox_api_url 10.0.20.10→10.0.20.91, template_node proxmox1→n5pro, target_nodes list updated
- Updated AGENTS.md topology (9→8 nodes), LLM Wiki ip-map.md + ceph.md
- Commit: 469d29d
- Additional: Manual pg-upmap for stuck PGs 5.13→[1,6,7], 6.6c→[11,8,7] — all clean+remapped eliminated
[2026-07-24] fix | Ceph Remapped PGs — Weight Imbalance + pg_num Mismatch
- RCA: 11 active+clean+remapped PGs caused by CRUSH placement failure
- Root cause 1: Pool 6 (hdd_disk) pg_num=120 ≠ pgp_num=112 (autoscaler mid-merge)
- Root cause 2: Extreme HDD host weight imbalance (n5pro=10TB vs proxmox6=0.3TB)
- Fix: Equalized pg_num→112, set nopgchange=true, reweighted osd.7 0.80→1.0
- Result: 9/11 PGs recovering (backfilling at 36MiB/s), 2 cosmetic clean+remapped remain
- Created systems/ceph.md with full OSD/pool/CRUSH documentation
[2026-07-24] update | Gitea Actions K8s Runner Bug + DinD Pitfalls
- Documented Gitea 1.27.0 bug: actions_ready_job queue doesn't assign tasks to K8s-based runners
- Updated systems/gitea.md with known issue, DinD pitfalls, runner management via DB
- Solution doc: docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md
- IaC committed: runner-deployment.yaml + runner-config.yaml (DinD TCP sidecar pattern)
[2026-04-28] init | Memory System Created
- Created memory directory structure at ~/.hermes/memory
- Installed qmd 2.1.0 (Query Markup Documents)
- Created initial index.md with entities, concepts, and sources
- Created Entity pages: Infrastructure, Email-System, Health-Fitness, Team-Structure, Memory-System
- Created Concept pages: Network-Architecture, Email-Organization, Monitoring-System, Proxmox-Cluster, qmd-Knowledge-Base
- Initialized git repo, pushed to origin/main
[2026-04-29] fix | Memory Process Established
- Corrected stale memory-entry-001.md
- Established protocol: memory update + git sync on every session
[2026-04-30] ingest | cloud.familie-schoen.com
- Full port scan, DNS, SSL, HTTP headers, API analysis
- Identified: Seafile 13.0.19 on nginx, Let's Encrypt SSL
[2026-07-24] restructure | Full Wiki Restructuring
- Deleted 5 root-duplicate files (dominik-schoen, email-organization, team-structure, llm-wiki-pattern, embedding-model)
- Deleted obsolete Entities/Memory-System.md, Concepts/qmd-Knowledge-Base.md
- Deleted raw/articles/ and memory-entry-001/002.md (stale)
- Renamed Entities/ → entities/, Concepts/ → concepts/ (lowercase)
- Created new directories: systems/, reference/
- Moved Proxmox-Cluster, Monitoring-System, seafile to systems/
- Updated all existing pages with current data (April → July 2026):
- Infrastructure: 2 Nodes → 9 Nodes, added Ceph/RKE2/Galera/Loki
- Proxmox-Cluster: PVE 9.2.3, 9 Nodes, Fluent Bit details, PVE Tasks, Ceph Audit
- Network-Architecture: cleaned up, links to reference pages
- Monitoring: Prometheus/Grafana/Loki/HolmesGPT (was just "weekly network scans")
- Created 6 new system pages: ceph-cluster, rke2-kubernetes, galera-maxscale, loki-fluentbit, gitea, hindsight
- Created 3 reference pages: ip-map, ssh-keys, ports
- Created 2 concept pages: gitops-workflow, credential-policy
- Rewrote index.md with new structure + Memory Layer Architecture table
- Total: 18 pages (was 21 with dupes, now 18 clean unique pages)
[2026-09-29] update | VM302 Zombie-Recovery nach Migration
- VM302 (Galera db3) reagierte nach Migration auf ms-a2-2 nicht: QEMU "running", aber SSH/MariaDB/QGA tot
- Root Cause: Post-Migration-Zombie; -incoming/-S in QEMU-Cmdline ist Artefakt, kein Beweis für Pause
- Fix: qm stop/start trotz HA-Guard, SST-Rejoin ~2-3min
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
- Cutover 09.10.: v2 prodiziert solo (Cron a32005d62226, --publish --allow-grid-charge), v1+Shadow pausiert als Rollback; Publish-Kette bewiesen (Stamp+Inhaltsmatch+Kaskaden-Konsum); Guard 95/75->30/20 s
- 09.10.: Deutsche Plan-Visualisierung: Section 'Solar-Plan (EMHASS)' auf dashboard-akkus (ApexCharts Ladeplan+SoC) via WS lovelace/config/save; Getter heisst 'lovelace/config'
2026-10-09 — Immich: K8s-Upgrade v3.3.1 + Legacy-Stilllegung nach Reconciliation
- K8s-Immich v3.2.2→v3.3.1 via GitOps (Commits 3ff08c4, canonical): values.yaml+rendered Tags, ArgoCD selfHeal; Public-API beweist 3.3.1; Restic-Backup 04:09 als Netz
- Reconciliation formal: Legacy 53.613 Assets/53.257 uniq CKSUMs ⊆ K8s 56.887/56.531 — Multiplicity-Match 53257/53257, 0 fehlend; 356 Leg-Dubletten alle doppelt vorhanden; K8s-Extra 3.274 = Nachwuchs
- Methode: Counter-Multiplicities statt Set-Diff; PITFALL: psql-Fehlerzeilen in SSH-Pipelines simulierten Datensätze ("4 Null-CKSUMs"), Schema-Spalten v2.6.3=asset_exif.fileSizeInByte vs v3=exif.fileSizeByte
- Legacy-Stilllegung CT111 (GO "1 kann starten"): Pre-Flight 0 Conns auf :2283, graceful Stops server→ML→redis→postgres, restart=no, Seafile-Stack unberührt; ~625MB RAM frei; compose-file bewusst nicht angefasst (rollback = docker start + restart=always)
- CT111-Cleanup-Subagent: Root 99%(768MB)→83%(8GB frei): journal vacuum 3,9G + apt 320M + dangling imgs 2,83G; ROOT CAUSE fluent-bit→Loki 10.0.30.207:3100 'No route to host' flutet Journal (77%) — FIX OFFEN
- Wiki systems/immich.md NEU + index.md ergänzt; Solution-Doc 2026-10-09-immich-legacy-decommission-prep.md
2026-10-09 — ArgoCD-Ownership-Krieg Immich beendet (Nachtrag zur Legacy-Stilllegung)
- Symptom: App immich permanent OutOfSync/Healthy, autoHealAttemptsCount 13.353+ wachsend — Root Cause NICHT das Upgrade
- Zwei Apps verwalteten dieselben Workloads: immich (path .../rendered, wave3) vs immich-config (path clusters/main/immich, recurse:true, wave2) → Tracking-Label-Ping-Pong (instance: immich vs immich-config)
- Diagnose: argocd app diff im Pod (--plaintext) = Fingerabdruck; erster Fix-Versuch exclude: rendered wirkungslos (matcht keine Verzeichnisinhalte)
- Wirksam: recurse streichen + exclude 'rendered/**' + Übergangs-Freeze prune:false/selfHeal:false (Löschschutz); Ownership-Labels wanderten nach Freeze automatisch zu immich
- Endzustand: beide Apps Synced/Healthy, Heals eingefroren 13.357, Prod v3.3.1 unbeeindruckt; Commits 57cfa65+497aa34
- OFFEN: immich-config-Freeze nach 24 h reaktivieren (prune+selfHeal true)
2026-10-09 — Loki-VIP-Restaurierung: Fleet-weites Journal-Flut behoben
- Symptom: fluent-bit Fleet (9 Hosts + LXCs) fluutete Journals seit ~7.10. mit "No route to host 10.0.30.207:3100"; CT111-Journal 4,1 GB, Disk 99 %
- Root Cause: manueller SVC loki-external (LB .207) nie in Git, verschwand bei Helm-Iterations-Recreates unbemerkt
- Fix: clusters/main/logging/loki-lb.yaml (LB 10.0.30.207:3100, Selector single-binary) via App logging-config; Commit fb4d8b9; + journald-Cap 200M auf CT111 (airbag)
- Verifiziert: /ready=200, flushes succeeded, Loki empfängt live Streams, Errors 726/10min → 0/60s (CT111 + ms-a2-1)
- Lesson: manuelle kubectl-Ressourcen = Zombie-Quelle Nr.1; eine tote VIP spammed 30+ Maschinen synchron
[2026-10-11] emhass-publish-path-fix | EMHASS-Publish-Deadlock nach HA-Restart behoben (User-GO)
- Symptom: Seit HA-Core-Restart 17:45 UTC (Recorder-Incident) crashte jeder v2-Optimizer-Tick FATAL (p_batt_forecast rc=22); „Trigger EMHASS"-Automation client_error; smart_battery_target=0 → Nachtladung gefährdet
- Root Causes (2 kombiniert): (1) p_/plan_-Sensoren = set_state-Entities, überleben Restart nicht; v2 liest hart → Deadlock. (2) rest_command localhost:5000 — HA im Host-Netz vs. Addon in HassIO-Bridge → connection-reset nach Restart (10.0.30.10:5000 parallel OK)
- Fix: configuration.yaml beide rest_command-URLs → http://10.0.30.10:5000 (Backup .bak-20261011-restcmd) + rest_command/reload; Immediate-Heal via direktes POST /action/publish-data ans Addon
- Verifiziert: manueller Publish 200, p_batt_forecast/soc_batt_forecast auferstanden, v2-Tick 20:32 UTC komplett durchlaufend („OK: v2 cycle complete"), plan_* 48 Slots live, Kaskade folgt (smart_battery_target 876→874 W)
- Nebenfund (Rename-Trap): Trockner-Powercalc zeigt auf tote switch.trockner_2 (Plug heute waschmaschine_2) → Trockner seit ~03.10. ungezählt; Wrapper maskiert 0 W
- Offen: Legacy-„Trigger EMHASS"-dayahead-Call 400 (Payload ohne pv/load-Arrays) — vom v2-Cron abgedeckt; disable vs. Fix ausständig
- Lesson: „Automation last_triggered aktuell" ≠ erfolgreich — Transportfehler nur via HA-Log+Addon-Log korrelierbar. Solution Doc: integrations/2026-10-11-emhass-publish-path-break-after-restart.md
[2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
- Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
- Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5
[2026-10-20] personal-coach morgen-briefing | Oura-Nachtdrift + Waage-Kette geklärt
-
Oura-Sensoren blieben über Nacht auf data_date 19.10 stehen, mehrere Entitäten unavailable. Config-Entry-Reload homeassistant.reload_config_entry (Entry 01M1CKKZWHGGP1X7F2HJN72B7D) reparierte die unavailable-Sensoren (HRV/Schlafphasen/Herzfrequenz wieder lesbar), ABER es kamen keine neuen Nachtwerte an — Briefing komponiert aus Sonntag-Nacht (18.10.→19.10.) mit explizitem Caveat.
-
Frische Waage-Daten 19.10. 22:11 (Xiaomi S400, automatisiert): 93,1 kg, BMI 30,8, Körperfett 30,5 %, Muskulatur 61,2 kg, Wasser 50,8 %, Knochen 3,24 kg. Kette: 92,4 (10.10.) → 92,7 (15.10.) → 93,1 (19.10.). Memory-Fragment "dd14, 92,1 NEW LOW" ließ sich weder in HA noch in Sessions reproduzieren → als unbestätigt markiert, aus Telemetrie-Fragment entfernt.
-
Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0).
-
DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
-
22.10. 20:15 Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
-
23.10. 06:45 Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
-
26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende
DATABASE_URL(envFrom liefert nur Einzelkeys → secretKeyRef aufuri), Patch-Indent-Bug (name:neben statt untersecretRef→ ArgoCD ComparisonError blockierte App-Sync), fehlende Sequence-Grants für app_fleet (BIGSERIAL →permission denied for sequence heartbeats_heartbeat_id_seq; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit_journal/watcher.tickals Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Senderdeadman-watchdog(nur type=escalation) ergänzt; Envelope-Feld istbody,inputwird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität;Replace=truescheitert (fehlender selector) → Job als PostSync-Hook (hook-delete-policy BeforeHookCreation).kill -STOP 1im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md. -
28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
-
29.10. 05:0x (Chair) Traefik-interne EntryPoints nach ArgoCD-Sync verloren + Tower 0.15 Sandboxes-View — Tower (.213) und fleet-webui (.212) waren ab 28.10. 22:21 down: ArgoCD-
proxy-Sync (Rev 4ecb30e) fiel exakt mit Helm-Release #96 zusammen, das ohne HelmChartConfig-Werte renderte (keineweb-internal/websecure-internal/tower-internal, kein allowCrossNamespace) — Pods blieben 1/1 Ready, Service-Endpoints 8/8 ready, nur die EntryPoints fehlten; nach Wiederherstellung der Config lief KEIN neuer Job (Controller reagiert nur auf Hash-Änderung). Fix: Kommentar invaluesContent→ Push → ArgoCD-Sync → Release #97 mit allen Ports; verify 200 von 10.0.20.92, 403 von VLAN 30,/api/fleet/sandboxes9 Agenten all_running. Tower 0.15 (Commit 4ecb30e, Digest 00a82fef…): fleet-native Sandboxes-View via read-only PromQL/kube-state-metrics (Upstream-Views brauchten Host-CLI). NAR-Eskalation edd15ff1 war bereits per[APPROVE]entschieden (devops hat GitOps-Grant umgesetzt). SolDoc bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md (Bug Fixes 53), Skill traefik-proxy-administration gepatcht, Wiki systems/agent-fleet.md aktualisiert. -
29.10. (Chair) Media-Library: Sorter v11, HEVC-Rest, Jellyfin 215/215 grün — 70 neue Downloads sortiert (0 übersprungen): PureTaboo 49, nzbindex-5 12, HogTied 8, nzbindex-4 1. Sorter v10 führte die generische Serien-Ableitung ein (Marken-Token vor Datum/E-Code →
media/<Marke>/stattOTHER); v11 erweitert den Fallback aufYYYY-MM-DD-Namen und mapptDigitalSin → He's in Charge. Neue Serien: PureTaboo, SilkSub, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, KinkUniversity. Dedupe 8 Gruppen → 10 Verlierer (5,7 GB) nachquarantine/dedup2/. 66/70 waren bereits h264+AAC; die 5 HEVC-Dateien per VAAPI auf h264 umkodiert (BratTamer 479→991 MB, Lustery 688→1192, DungeonSex 753→1607, Deeper 605→1194, HogTied 460→835) — alleftyp→moov→free→mdat= faststart, Originale intranscode-originals/, HEVC-Rest 0. Owner-Drift von 61 Dateien auf 1000:1000 korrigiert. Jellyfin-Scan-Hänger (84 %) war der OrdnerOther, nicht die Datei und nicht die DB-Zeile (Canary-Beweis: gleiche Datei inSoloindexiert sofort) — Ordner aufgelöst, Strays nachDeeper/; Scan jetzt Idle, 215 Items = 215 Videos, 215 NFOs. Disk 608G/1008G (61 %). Pitfalls (Wiki sabnzbd.md): Pod-Rollout SIGKILLt laufende In-Pod-Transcodes (erst Deploy, dann Encode); Sorter-Script nur im sabnzbd-Container, VAAPI-ffmpeg nur im converter-Sidecar; faststart nie mit 200-KB-Sniffing prüfen (moov kann größer sein) — Atom-Kette lesen. SolDoc integrations/2026-10-29-jellyfin-scan-hang-other-folder.md. Offen: Quarantäne 82 GB (27 4K-Varianten mit 1080p-Gegenstück) wartet auf Lösch-GO;_hold/src.mp4618 MB. -
29.10. (Chair) Fleet-Autonomie Iteration 3: Identität (SOUL.md) + Ideations-Pflicht + Tower-Token-Anzeige — Owner: „Loop läuft nicht sauber, keine neuen Ideen, Karten bewegen sich nicht, keine Token-Consumption." Drei unabhängige Root Causes: (1) SOUL.md (Identitäts-Slot des Hermes-Prompts, im Workspace
/sandbox/.hermes/) enthielt nur generischen Boilerplate bzw. fehlte bei cto/research/devops → 9 rollenlose Agenten,max_turns: 40wurde mit Selbstbeschäftigung gefüllt (devops: 8,5 Mio Input-Tokens in 30 min, dann rc=1). (2) Tower zeigte0 tok/sbei realem Verbrauch:rate()liefert je VK mehrere Serien,out[vk].in = vüberschrieb mit der letzten (meist 0) →sum by (virtual_key_name). (3) Der Idle-Auftrag des Watchers sagte wörtlich „Keine neuen Karten erfinden" — Ideen waren im System verboten, die Organisation konnte nur den Seed-Backlog abarbeiten. Fix:gen_soul.py+deploy_soul.sh(9× SOUL.md 2,9–4,0 KB,max_turns 20,reasoning_effortje Rolle),start-agent.shensure_soul(), Towersha256:84a79b99…, watcher 0.19sha256:93777fc0…mit Pflicht-Schritt 4 IDEATION (<3 KartenNeu→ genau EINE Idee: eigene Karte oder Ideations-Auftrag an Rotation cto/cmo/coo/research). Commitsa362144,1407c0e,ce38c34,3f9f0cd. Beweise: Turns 32–138 s statt 30 min; Tower-Raten (ceo 4489 / ciso 3516 / devops 9424 tok/s) identisch mit Prometheus; Karterueckbau-nar-tower-healthz-readonlyNeu→In Bau→Fertig mit Review; CEO nimmt eine Abnahme nicht ab (ZURÜCKGEWIESEN + Nachbesserung); ciso triagiert NAR als KRITISCH und eskaliert an tower-owner; devops stellt[CHANGE-ORDER]an ciso. Pitfalls: SOUL.md liegt im PVC (Image-Rebuild ändert bestehende Sandboxes nicht), Idle-Task-Text schlägt SOUL-Mandat,wert/machbarkeit1..10, Tower bindet auf Pod-Hostname,pkill -f "<script>"killt die eigene SSH-Session. SolDoc Architecture 17. -
29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5 — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu
fleet-policy-service0.1 (sha256:8e7cb123…, Commit0e7f698): MCP mitpolicy_list/read/diff/commit/status, schreibt ausschliesslichclusters/main/fleet-truth/openshell-policies/<name>.yamlvia Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit538359aalsFleet devops, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (sha256:21ea543c…,5279cdc) setzt<5. Verdrahtung braucht drei Dinge: Service + Host insandbox-base.yaml+mcp_servers.policy+ Recreate. Pitfalls: abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht);-- sleep infinitystartet die Sandbox ohne Runtime (richtig:start-agent.sh <agent> <model>); Recreate = frisches PVC, und weil/opt/hermes/fleet/soul/nicht im Image liegt, erzeugt jeder Recreate heute einen Agenten ohne Identitaet (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad202****1021) bauen policies mit unmatchendembinaries-Pfad;kubectl execim Sandbox hat kein DNS (bypasst Supervisor). Zwei Befunde: die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), unddecide_owner_task/submit_owner_tasksind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18. -
29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12) — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) 13,20 GB Duplikate gelöscht (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) 5 Low-Res-Uniques as-is nach
media/— 3× PureTaboo (544/576p, ausmilfan-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue SerieKinkySpa(480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, kein Upscaling. NFO mit Plot-Zusatz „(Alternativfassung p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) Serien-Ordner-KollisionMaxinex/vsMaxineX/gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nachquarantine/dedup-sorter/MaxineX/, h264-Keeper (1,55 GB) nachMaxineX/, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) Root Cause der HEVC-Rückkehrer: der Sorter prüft nurstream=height, niecodec_name; und der Converter-Daemon pollt/config/convert-queue/*.job, das seit Commit643c318(„sorter->media statt 720p-enqueue") niemand mehr füllt → Sidecar läuft leer (sleep 20, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB,ftyp→moov→free→mdat), Original gesichert → HEVC-Rest 0. Strukturfix (Codec-Gate + Enqueue,TARGET_H720→1080, Original-Sicherung inencode_one) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: 250 Videos / 250 NFOs, 0 ohne NFO, 0 falscher Owner, 0(N)-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs:integrations/2026-10-29-lowres-alternativen-import.md,integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md. -
29.10. (Chair) Sammler-NZBs: 5 Szenen eingereiht + Automatik gebaut — Owner: „starte alle nzb files in incomplete. gewährleiste, dass korrekt heruntergeladene nzbs aus sammlern künftig automatisch geladen werden". Befund: die Jobs
nzbindex.nzb-*sind Collection-NZBs; ihr Payload enthält weitere.nzb-Dateien (12 inincomplete/aus-9/-10/-7, 1 incomplete/nzbindex.nzb-8/), die SABnzbd als Dateien lädt, aber nie einreiht — bezahlter Traffic ohne Bibliotheksinhalt. Neu/config/tools/nzb_harvest.sh(PVC): XML-Parse als Reife-Test (unfertige NZBs sind NUL-vorbelegt), sha256-Ledger/config/nzb-inbox/.ledger, Bibliotheks-Guard (Serien-Ordner + ISO-Datum gegenmedia/), Einreihung permode=addlocalfile+script=convert720.sh; Drop-Inbox/config/downloads/nzb-drop(SMBdownloads/nzb-drop). Zwei Trigger: Postproc-Hook am Anfang des Sorters (Commitd7a9fd9, live via ConfigMap ohne Restart, Zeilen 17–23) für erfolgreiche Jobs + Hermes-Croncbe8b52009a2alle 15 min (no_agent, silent) für gescheiterte. E2E-Beweis mit synthetischer Mini-NZB durch den echten Postproc-Weg (Queue-Slot „TestBrand - 2019-01-01 - Hook Probe", danach restlos entfernt). Ergebnis: 5 eingereiht, 9,9 GB (TheUpperFloor 2011-10-20/21, TheTrainingOfO 2013-01-11/03-22, MaxineX Velvet Skye Part 3), 4 übersprungen weil schon in der Bibliothek (10,7 GB nicht erneut geladen), 4 waren unvollständig → 3 inzwischen komplett+übersprungen, offen nur2015-05-22 Savannah Fox(kommt automatisch mit Job-9). Pitfalls: API von127.0.0.1brauchtHost: sabnzbd(host_whitelist), Harvest muss vor der Junk-Quarantäne laufen. SolDocintegrations/2026-10-29-sammler-nzbs-automatisch-einreihen.md. -
29.10. (Chair) Owner-Entscheide 4a+5a: Deadman-Kaskade
autonomy+ Phantom-Rückbau korrigiert — 4a: neue Kaskade im Deadman (0.13.1,508f0e60…,ff7e1b3), die erkennt, wenn der Loop stillsteht, obwohl Arbeit möglich wäre: kein offener Agenten-Task, ≥1 KarteNeu,idle_age > silence+backoff+600UNDtask_age > silence+600; Schwelle selbstjustierend aus dem Journal (Backoff bis 4 h). Beweise: 11/11 Unit-Tests, isolierter E2E-Job im echten Image (Alarm-Task, DEADMAN-ALARM.md, Journal, Heilung), plus ein echter Live-Alarm — der allerdings vom noch laufenden Alt-Pod ohne die task_age-Regel kam (Fehlalarm 4 min nach Task-Ende) und damit genau die Regel bestätigt. Watcher 0.21 (30fedca9…,85e1a40) nimmt Owner-Tasks aus dem Idle-Gate (Ursache des 56-min-Stillstands). 5a: Der Owner hatte die beiden P1-Eskalationen 12:55 selbst mit APPROVE entschieden; devops hat daraufhinopenshell-policies/ceo-sandbox.yamlerfunden (b5643ea,egress: []— schema-invalid, hätte einen CEO-Recreate ohne Netz hinterlassen) → revertiert (0887212), Korrektur-Task6c226195an devops, der den Befund selbst bestätigte und nichts weiter schrieb. Lektion: Agenten-Selbstauskunft ist kein Beweis (Commit beweist das Gegenteil), undpolicy_commitdarf neue Dateien nicht ohne explizites Flag anlegen. SolDoc Architecture 19. -
29.10. (Chair) Worker-Disconnect-Regex + Single-Claim-Gate: Loop wieder autonom (v5.4 / board 0.16) — Owner: „Loop läuft nicht sauber". Zwei Wurzeln: (1)
worker_loop.pyerkannte den CLI→Daemon-Disconnect nur am PräfixGateway disconnected, das echte stderr langer Turns enthält aber nursession_id: local-<64hex>→ im Daemon fertig gelaufene Turns (47–48 Msgs, 20 API-Calls,end_reason=cli_close) galten als Fehler, wurden retryt (Duplikate, 68k Input-Tokens) und Tasks failten; Fix5de1763(generischer session_id-Regex + Erfolgs-Check vor Disconnect-Pfad), Agent-Image v5.4sha256:27a2f3a2…(Commita8c07fd) 9/9 rollout. (2) Der Agent hält die Board-MCP-Tools im Turn: CEO claimte 9 Tasks parallel und ließ sie bei Turn-Ende offen; Watcher resettetworkingim Agents-Mode bewusst nicht → Waisen + Idle-Gate blockiert. Fix1cf0560: board-service 0.16 (sha256:3318632c…) mit Single-Claim-Gate —claim_next_taskliefert bei eigenem working-TaskOK_OWN_ACTIVE+ genau diesen Task (Lease: max 1 pro Identität; Worker resumed statt stapelt). Beweise: In-Pod 2 Claims = dieselbe task_id; Bestand 1 working statt 9; Auto-Abarbeitung 16:29–16:41 (FYIs instant + 1 Eskalation mit echtem Ergebnis); Autonomie-Kaskade feuerte produktiv 17:06:56 → CEO claimt 17:07:09. Eigener Incident:kill -9 56traf den Sandbox-Main-Prozess (ceo+devops phase=Error, exit 137) → nur Gateway-Recreate heilt; Regel: keine Sandbox-PIDs ohne cmdline-Check killen. Pitfalls: Digest-Präfix-Replace erzeugt 128-Zeichen-Frankendigest; Build+Push+Inspect im 420s-Terminalblock (Timeout ≠ Fehler, Zustand separat prüfen);kubectl exec-Heredoc liefert leer. SolDoc bug-fixes 54. -
29.10. (Chair) Owner-Grant Internet-Egress für research (OpenShell-Grenzen dokumentiert) — Owner entschied zur NAR-Eskalation www.nvidia.com:443: research soll generell Internetzugriff bekommen. OpenShell 0.1.5 kann alle Hosts nicht (Upstream #3856): host ''/'**'/'.'/'**.' abgelehnt; hostless+allowed_ips autorisiert nur IP-Literale (Hostnamen scheitern mit policy_dns_ineligible, synthetische 198.18.0.x); '**..' deckt alle Namen mit >=3 Labels. Umgesetzt: research-sandbox.yaml (Commit a2fe891) = Basis + zwei Endpoints (hostless CIDR-Klammer aus 51 oeffentlichen IPv4-Bloecken + Wildcard **.., Ports 80/443, identische allowed_ips wegen Overlap-Constraint), live per policy set v3 ohne Recreate. Beweise: www.nvidia.com 307, docs.nvidia.com 200; 2-Label nvidia.com, K8s-API 6443 und Metadata 169.254.169.254 weiter DENY; ceo-Gegenprobe DENY (Scope research-only). Fuer 2-Label-Domains Advisor aktiviert (agent_policy_proposals_enabled, proposal_approval_mode=auto) bzw. NAR mit exaktem Host. Eigenen CHANGE-ORDER des Agents an devops als gegenstandslos geschlossen (haette engere Datei geschrieben -> Grant-Verlust beim Recreate); Verifikations-Task ea9b135f an research gestellt. SolDoc integrations 14.
-
2026-10-29 18:25 - agent-fleet: Research-Internet via Reader-Proxy (r.jina.ai) live; L4-Bypass + 0.1.6 als Wege ausgeschlossen (Gateway-Error, Release-Notes); SOUL/Policies-Commits b91e559, 3a739f0; E2E-Task 3a19f80a 75 s, arXiv:2606.15549 unabhaengig verifiziert; Pitfall: kubectl exec ohne Supervisor-DNS.
-
2026-10-29 19:05 - agent-fleet: Watcher 0.22 live — Idle-Gate ignoriert tower-owner-Tasks, Pick-Regel ueberspringt rueckbau-*; E2E 18:55-19:00: Trigger→CEO→owner-mvtk8gaf In Bau→devops-Delegation→Ideation tower-kosten-ampel. Digest 3e3c6ff0…, Commit 989c4a6. SolDoc bug-fixes/2026-10-29-fleet-watcher-idle-gate-tower-owner-block.md
-
2026-10-30 06:25 - agent-fleet: Tower 0.20 live (Tasks-View, Task-Detail, /healthz, /api/status, Re-Dispatch-Badge) + board-service 0.20 (
redispatch_task) + watcher 0.23 (Envelope-Whitelist); E2E: Dead-Letter-Task 01956904 → cc6c6f97 → ceo lieferte Rollenbeschreibung; Builds jetzt in-cluster via Kaniko (Runner-VM 200 ext4-Journal-Hang). SolDocs bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md + tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md. -
2026-10-30 06:27 - agent-fleet: deadman 0.13.2 live — progress-Kaskade ignoriert Owner-Lane (drittes Vorkommen der Semantik-Luecke); progress/open_tasks 0, gateway_ok 1.
-
2026-10-30 06:20 - sabnzbd: QuickTime spielt HEVC nicht — Ursache
hev1statthvc1(Apple/AVFoundation akzeptiert nur hvc1) + stale Jellyfin-MediaStreams nach In-Place-Ersetzung. Fix:-tag:v hvc1im Encode, Bestand per lossless Remux (-c copy -tag:v hvc1), ein Library-Refresh. Owner bestaetigte Wiedergabe. HEVC-Lauf: 30/278, 95,4 -> 24,3 GB (-75 %). Pitfalls: orphan ffmpeg 8,6 h GPU-Blockade nach abgebrochenem exec;export -f logfehlte; Selbst-Kill durch PID-Filter in eigener Kommandozeile (2x Exit 137). SolDoc integrations/2026-10-30-hevc-quicktime-hvc1.md -
2026-10-30 06:45 - agent-fleet: watcher 0.24 live — verwaiste Claims werden requeued (7200s, max 3 -> blocked); Live-E2E gruen; Kreis requeue->claim->complete geschlossen.
-
2026-10-30 08:15 - systems/mgmt-runner neu: „ext4-Hang" VM 200 als Pool-Latenz entlarvt (jbd2 Ø 739ms commit, fsync 10 kB/s, Sequenzial 1,4 GB/s); Root-Disk auf hdd_disk (HDD-OSDs mit slow ops); Regel: Builds nur via Kaniko.
-
2026-10-30 08:45 - sabnzbd: 4K-Einzelstueck auf 1080p skaliert (5,26 GB -> 893 MB, -83 %, hvc1, Dauer identisch, GPU-
scale_vaapi). Dabei Batch-Bug gefunden: Faststart-Gate mit 2-MB-Fenster verwarf 23 fertige Encodes (moov endet bei 3,18 MB/61 min) -> v3 mit 16-MB-Fenster + entschaerfter Bedingung, Worklist 338, laeuft. SolDoc integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md; Skill video-codec-compatibility gepatcht. -
2026-10-30 08:50 - agent-fleet: board-service 0.22 (dismiss_owner_task) + Owner-Lane-Disziplin (FLEET-POLICIES 1.3, ciso-SOUL live). 13 Owner-Tasks geschlossen, Inbox 0. Entscheid: Kaniko bleibt Builder, Gitea-Actions-DinD verworfen (cp-01-Disk 7,7 GB frei).
-
2026-10-30 09:50 - agent-fleet: p1-e2e-flow 4/4 GRUEN live (Kette Owner->CEO->cto->Abnahme 13 min inkl. Karte Fertig; FYI ohne Antwort-Task; Envelope-Quarantaene; Egress-Deny rc=7). Strukturbefund: 10 von 13 devops-Tower-Change-Orders nicht integriert, Chair ist Deploy-Deckel.
-
2026-10-31 06:52 - proxmox3: eigener Watchdog-Test kostete 2 h Ausfall. Ursache im Skript, nicht in der Hardware:
cat .../carrier || echo 1— bei administrativ down liefert die DateiInvalid argument,|| echo 1machte daraus "gesund". v1 lief 2 h alle 20 s mit exit 0 und unternahm nichts; auch die Rueckfallebene des Tests hatte denselben Denkfehler ("" != "0"). Watchdog v2 deployed: Tri-State (1/0/-1),IFF_UP-Flags, MGMT-IP-Check auf vmbr1,ifreload -a, keinmodprobemehr, flock. Risikofrei gegen Dummy-Interfacenictst0verifiziert. Recovery war nur per Power-Cycle moeglich (Boot 06:40:49). Danach: PVE 8/8 quorate, Ceph 17/17 up+in / 530 PGs clean, K8s 8/8 Ready. SolDoc bug-fixes/2026-10-31-nic-watchdog-carrier-blindspot.md -
2026-10-31 13:35 - systems/schoenkitchen: Wertstromanalyse (VS-1 Content, VS-2 Software) in
docs/value-stream.md+ HTML-Karte. Gemessen: 200.000 Rezepte aus 22 Quellen (224.036 Sitemap-URLs, 89,3 % Ausbeute), seit 24.10. 0 neue/Tag (Target-Gate), %C&A 67 %, 200k Embeddings+Semantik vom Frontend ungenutzt, Konsum läuft am Frontend vorbei (Generator KW43–45 vs. 18 UI-Plan-Items aus W30). Software: 104 Tage kein Commit, CI|| true(Gate offen), Deploy:latest+git-overlay-Init (Prod läuft Git-HEAD), 1 Replica/Recreate. Kernthese: Engpass von Angebot → Verwertung + Frische verschoben. Wiki-Seite auf Ist-Stand gezogen (74k→200k, Roadmap veraltet). -
2026-11-01 07:55 - systems/homeassistant: BLE-Trilateration ausgebaut — 11 Shelly Gen2/3 + 2 ESPHome = 13 aktive Scanner (vorher 5), Bermuda 13/13, alle Mode auto. Shelly-Scanner nur per HA-Options-Flow
ble_scanner_mode=autofreischaltbar (RPCBLE.SetConfig enablewirkt NICHT,BLE.GetStatusbleibt leer — kein Fehler). Shelly = passiv (connectable=false) → GATT braucht ESPHome.shellypro4pmArea Garten gesetzt → Repairscanner_without_areaweg (Bermuda-Area-Cache: Config-Entry reload nötig, WS-Command existiert nicht). esp32c3-supermini (90:DA:72:88:EB:42) offline. -
2026-11-01 09:20 - systems/homeassistant: Area-Korrektur Sauna-Scanner + neue Bermuda-Falle — Shelly „Strommessung Sauna" sitzt in der Garage (EG), Sauna steht auf dem Garagendach (Dachterrasse OG); Area
garagevon floor=None aufeggesetzt, Shelly-Gerät + 3 Phasen-Kinder + BT-Record aufgarage. Erkenntnis: Bermuda attribuiert Scanner-Areas über den Bluetooth-Geräte-Record (Name (MAC)), nicht über das Shelly-Gerät — bis der BT-Record stimmte, blieb „Dachterrasse/OG" trotz Reload. Zusätzlich Options-Flow-Detail:ble_scanner_modeEnum disabled/auto/active/passive, Default auto, Wert im REST/WS-Listing unsichtbar; A/B 13→12→13. Skill-Referenz + Solution Doc nachgezogen. -
2026-11-01 12:40 - systems/homeassistant: BLE-Kalibrierung korrigiert — ref_power gilt PRO GERÄT (nicht pro Scanner); Geometrie gemessen: 18/27 Geräte von ≥3 Scannern gesehen, iPhone indoor nur 2 → Innenraum-Proxy-Dichte ist der Engpass, nicht Kalibrierung. Fix: Output-0 (Brunnenstein) → Garten, Shelly-Entry-Titel 'Stromverbrauch Heizung' → 'Strommessung Wärmepumpe'. Tool: ~/workspace/bermuda_calib.py.
-
2026-11-01 13:50 - systems/sabnzbd: Codec-Audit komplett (507 Videos): 164 HEVC/hvc1 (32%), 338 h264, 2 WMV3, 3 defekt (2x
.hevc_-Temp ~1,9 GB, 1 Tutorial-MP4 moov fehlt). HEVC-Lauf stoppte 30.10. 17:56 (Manifest 126 Eintraege, kein ffmpeg aktiv). Fortsetzung blockiert: GPU-Node worker-05 (ms-a2-2) dunkel, worker-04 ohne renderD128 -> CPU-x265 unrentabel. Audit-Rohdaten: /config/convert-state/scan.tsv im Pod. -
2026-11-01 13:50 - entities/haus-grundrisse neu: Grundrisse EG/OG abgelegt (
assets/haus/), Raum-Mapping OG vom Owner (Schlafen=Büro Sarah, Kind2=Schlafzimmer, Kind1=Cleo). Vision-Auswertung offen (Backend 502/WASM). -
2026-11-01 19:20 - systems/galera-maxscale: MariaDB 11.8.9 rolling, 3/3 Synced, kein App-Ausfall — Drift 11.4.12/12/13 erkannt, Stufe 1 alle auf 11.4.13, Stufe 2 node-fuer-node 11.4.13->11.8.9 (db3->db2->db1, Master zuletzt),
galera-4 26.4.27unveraendert..72per IST (5 s),.73/.71per SST (mariabackup-Stream, danach ~2 min Schema-Init). Verifiziert: VIP .70:3306 offen, gitea+5x ha_recorder ueber MaxScale verbunden, wsrep_last_committed +4/30 s, 0 ERROR-Zeilen, Gitea HTTPS 200, Schemas 116/25/16/13 Tabellen. Pitfalls: drain auf Master verboten ->maintenance;maxctrl clear server X <state>braucht State-Arg; Repo-Dateiname.sourcesvs.listje Node; apt auf HDD-Ceph ~10 min/Node -> nohup im Node. Logischer Dump verworfen (13 MB/min, ~6 h) -> Rollback = qm-Snapshots VM300/301/302. Naechster Schritt: Repo-Suite deb12->deb13 (trixie), Version bleibt 11.8.9. SolDoc migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md -
2026-11-01 20:10 - systems/jellyfin: StashDB-Metadaten-Pipeline — 439/506 Szenen (87 %) mit Original-Englisch-Plot, Studio, Datum, Cast, Regie; 31 Collections als Studio-/Serien-Kategorien; 437 NFOs ersetzen die Boilerplate. Fallstricke:
searchStudiotoken-basiert (DeviceBondage→0, Device→Device Bondage),performersnurINCLUDES(EQUALS = Serverfehler, Recovery lief 5 min mit 0 Treffern),textmatcht nur Titel → Cast nur viasearchPerformer-ID, Pfad-Prefix/mediavs/config/downloads/medianormalisieren. Jellyfin-Write = voller DTO perPOST /Items/{id}(204), CollectionsPOST /Collections?name=…&ids=…. 67 ohne Match (28 Tutorials nicht in StashDB). SolDoc integrations/2026-11-01-stashdb-metadata-pipeline.md -
2026-11-01 20:15 - systems/jellyfin: Dauerbetrieb — StashDB-Enricher (
~/workspace/media_meta/) + Cron7264208b70b0(6h, no_agent, still bei Leerlauf). 437 Items TagStashDB, 67 Tagnosdb(zweiter Anlauf inkl. Performer-Recovery: 0 weitere Treffer). Sorter bewusst unangetastet (GitOps + Rollout killt Transcodes). Secrets: JF in~/.hermes/secrets/media_meta.env, StashDB-Key viaop read. -
2026-11-01 19:05 - systems/agent-fleet: Watcher 0.26 fyi-Retention live —
phase_archive()verschiebt fyi älter 1 Tag per os.replace nach_archive/(Move, nie Delete; max 250/Lauf, alle 300 s, Journalfyi_archived). Digestsha256:aeb6efc6…ad30beb, Smoke 32/32. Zwei Läufe: 319 fyi archiviert, top-level 1574→1255, Rest 345 fyi alle ≤1,0 d. Korrektur einer Fehlaussage: von 664 fyi waren 651completed— nur 12submittedblockierten das Idle-Gate. Kaniko-Pitfalls: interne Gitea-CA (--skip-tls-verify-registry),BLOB_UPLOAD_UNKNOWN+ lügende--digest-file(Wahrheit = Pushed-Zeile;--compressed-caching=false+ frischer Pod). SolDoc bug-fixes/2026-11-01-fyi-retention-archive.md -
2026-11-01 19:10 - systems/sabnzbd: Sorter-Stillstand beendet —
script = Defaultin ini (kein Postproc!) + 3 Skript-Bugs (case-sensitiv, 15 Marken fehlten, obfuskierte Ordner) + Retry-Automat wiederholte permanente Fehler. 11 Dateien sortiert, Jellyfin 504→516, Disk 90→88%%. -
2026-11-01 19:56 - systems/rke2-kubernetes: ArgoCD-Sync-Blocker entkoppelt — App
fleething 1,5 h anDaemonSet/fleet-agent-image-prepuller(8/7 ready, worker-05 Unknown): ArgoCD bewertet DS erst abnumberReady==desiredNumberScheduledals Healthy.resource.customizations.health.apps_DaemonSetmit enger Toleranz (nur dieses DS, genau 1 Node, ab 2 → Progressing) → Settings-Reload ohne Restart, laufender Op wurdeSucceeded, AppSynced/Healthy. Dauerhaft inepic-2-k8s/helm/argocd/values.yaml→configs.cm(Commit3b79a80), weil argocd-cm Helm-managed ist. Nebeneffekt: der Op rollte das Watcher-Deployment aus Git neu aus → Retention-Env +_archive-Init-Container erst dadurch live (set imagehatte sie übersprungen). SolDoc bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md -
2026-11-01 20:05 - systems/sabnzbd: Sorter-Sweep-Watchdog (Cron
57900310b6e5, 30 min) + Retry-Automat um Postproc-Klasse erweitert (nachbearbeitung wurde abgebrochen,no such file) → Sarah18-Wrack weg. Befund:complete/= 104 GB, darin 0 Videos (67 GB Anime + 37 GB RAR-Sets + 89 NFO/JPG-Huelsen) → Loeschung braucht GO. -
2026-11-01 20:45 - systems/agent-fleet: Karten-Bewertungs-Sweep live (board-service 0.23
2d8d3026, watcher 0.25580773d3, Commits 801409c/e8ef165/a233597). Zwei Zustell-Blocker behoben: (1) Dedupe filterte auftype: review— ein fachlicher Abnahme-Task (working, vs-fleet-rebuild) sperrte 40 fällige Karten →_is_card_review_task()= Sender-Diskriminator; (2)board-servicefehlte in der Hardcode-Kopie der Sender-Allowlist im Watcher (watcher_main.pyimportiert nichts) → 4 Tasksaccepted+ 1 s späterquarantined, Automatik meldete 40 min Erfolg ohne Zustellung.acceptedist Schreib-,task_claimedist Zustellbeweis. Regressionsschutzspool/test_sender_sync.py(AST, 14 Checks). E2E: 5 Karten an ceo zugestellt (c5473d17), Karten unverändertNeu, Folgelauf ohne Doppel-Task. Pattern PAT-018 (patterns/automatik-erfolg-kein-zustellbeweis.md), Skill-Refagent-fleet-operations/references/spool-delivery-contract.md, SolDoc bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md -
2026-11-01 21:55 - systems/galera-maxscale: Welle 4 komplett — alle 5 DB-Nodes auf Debian 13 trixie, Kernel 6.12.113 (schließt CVE-2026-98432 für diese Tier). Galera: MariaDB 11.8.9+maria
deb13, galera-4 26.4.27-deb13, 3/3 Synced/wsrep_ready=ON; MaxScale 24.02.9trixie-1 auf .81/.82, VIP .70:3306 offen. Ablauf: MaxScale zuerst (.82→.81), dann Galera db1→db2→db3 (Master zuletzt viamaintenance, weilgaleramonkeinen switchover kennt). Pitfalls: cloud-init 25.1.4 schrieb auf .81 leeres netplan → DHCP/IP-Verlust (Fix 99-static-eth0.yaml per MAC + cloud-init-Netz aus); Repo-Namen driften (mariadb.sourcesvsmariadb.list,fluent-bit.listauf .72/.73); apt auf HDD-Ceph ~10-20 min/Node → nohup +=== END-Sentinel. E2E: Gitea 200 (1.27.0), Immich pong. Seafile-502 vorbestehend (VM203 ai-inference-01 gestoppt). SolDoc migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md -
2026-11-01 21:25 - systems/agent-fleet: Deadman-Alarm an toten ceo umgeleitet (Commit
7b621ad, deadman 0.13.3d8dbc57a, watcher 0.27ced4430b). Vorfall: ceo-SandboxPHASE Errorab ~18:43, Deadman erkannte korrekt, legte Alarm mitto: ceo→ 1 h 43 m ungesehen, 73 Tasks Rückstau. Fix:alarm_recipient()leitet beisource_key == agent:<ALARM_TARGET>antower-owner. Sender-Matrix in allen drei Ebenen erweitert (submit_task.py, watcher_main.py, CM-Kopie). Tests: test_alarm_routing 19/19, sender_sync 0 Fehler, echter Validator im Pod 6/6. ceo wiederhergestellt (stop→start nach OIDC-Login). Pattern PAT-019. Offen: Reconcile-Loop für PHASE Error, OIDC-Refresh-Token -
2026-11-02 - systems/proxmox-cluster: CVE-2026-98432 Reststatus live geprüft — PVE 8/8
7.0.14-26-pve, alle 29 LXC erben das (Edge CT99999 inkl.), Galera/MaxScale 5 VMs6.12.113, RKE2 7/8 Nodes6.12.113(worker-05/VM102 gestoppt), Debian-VMs 107/200/2306.1.0-54, HAOS6.18.58-haos. Offen nur: Ubuntu .100 (6.8.0-146 läuft, 147 installiert, Fix 6.8.0-149 laut CVE-JSON weiter pending → Mitigation statt Patch) und worker-05 (Kernel beim Start prüfen, evtl. noch 7.1.8). SolDoc Reststatus-Abschnitt ergänzt. -
2026-11-02 - systems/rke2-kubernetes: worker-05 (VM102) wieder online —
qm start 102auf ms-a2-2, Kernel6.12.113+deb13, NodeReady, 13 Pods laufen, GPU-Passthrough (AMD Granite Ridge, amdgpu, /dev/dri/renderD128) ok. Ursache des Ausfalls waronboot: 0+ Host-Boot am 01.11. 11:31, kein Crash/CVE.qemu-guest-agentfehlte im Gast (PVE zeigte "agent: down" trotz gesundem Gast) → nachinstalliert,qm agent 102 pingOK. Offen:qm set 102 --onboot 1(Owner-GO). CVE-2026-98432 damit 25/26 zu, nur Ubuntu .100 offen. -
2026-11-02 11:45 - systems/agent-fleet: CEO-Sandbox wieder voll operativ — drei Egress-Gates entkoppelt (Image
v5.5013bfac8, Commitsd36f334/d431f6d/5d039ea, Policy-Push5d039ea). Nach dem Landlock-Fix (Hermes real/usr/local/hermes,/opt/hermesSymlink) warceo2 h ohne Netz; die acht anderen Agenten unberuehrt. Ursachenkette: (1) Landlock verweigerte Spawn des Entrypoints (Pfad nicht inread_only); (2) Network-Broker matchtbinaries[].pathexakt — reale Interpreterpfad fehlte; (3) Gateway staged neue Endpoint-Namen alsstaged unapproved ... for TCP policy review, Default--approval-mode manualhaelt jede Proposal im Review-Inbox -> Create mit--approval-mode autonoetig. Freigabe kommt eine Runde spaeter (CONFIG:PUBLISHED ... mapped ... ~20 s), erster Heartbeat 11:09:36 noch FAIL, ab 11:19:36 alle 300 shb ok. Endstand: 9/9 Agent-Pods, 10/10 Deployments,deadman_silence_seconds{ceo}=292(<300), alledeadman_alert_active=0; ceo arbeitet Tasks ab (u. a.a9bd0470Deadman-Eskalation,49f6f7cfreview von board-service). Pitfalls: Policy-YAML nie persed(Muster kuerzte/opt/hermes/tools/.../python3.14auf/opt/hermes/— YAML blieb gueltig, Regel matchte kein Binary);policy setscheitert live an Bestandspfaden ->policy update; Diagnose nur via Supervisor-Log,kubectl execumgeht die Policy. SolDoc bug-fixes/2026-11-02-ceo-egress-landlock-pfad-und-policy-approval.md; Skill-Refagent-governance-runtimes/references/openshell-sandbox-provisioning.mdum Abschnitt "Policy liveness" erweitert. -
2026-11-02 12:35 - systems/agent-fleet: Rollout v5.5 auf alle 9 Agenten abgeschlossen (Digest
013bfac8). Ablauf je Agent: tar-Backup aus dem Pod ->openshell sandbox delete->create --approval-mode auto-> Ready ->kubectl cp+tar xzf --no-overwrite-dir-> Egress-Check; Skript~/workspace/fleet-rollout/, Backups~/fleet-workspace-backups/, Logs daneben. 8/8 fehlerfrei (coo Pilot, dann chro/agile-coach/cmo/research/cto/devops/ciso), ~1-7 min je Agent nach Erstpull (3m48s). Recreate kostet den Workspace: PVC haengt per OwnerRef an der Sandbox, neuer PVC; Groessen nach Restore deckungsgleich (cto 84, ciso 117, devops 113, research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB). Egress-Freigabe ist asynchron: Supervisor staged DNS-Namen und reicht selbst Policy-Chunks ein (add-rule allow_fleet_beacon_..., resolved_from:sandbox), Gateway auto-approvet bei leerem Prover-Delta (CONFIG:APPROVED, Revision Loaded) — bis zum naechsten Heartbeat-Zyklus 5-10 min, dannhb ok. Endstand: 9/9 Pods neuer Digest, 9/9 hb ok, deadman_alert_active alle 0 (max Stille 230 s), 10/10 Deployments, Quarantaene unveraendert 64, 0 Tasksworking. Offen: 32 Tasks an tower-owner (Owner-Lane, kein Agenten-Backlog). Aufgeraeumt: 7 abgeschlossene Build-Pods im NS fleet geloescht. -
2026-11-02 13:16 - systems/sarah-hermes: Compression-Stall behoben —
model.context_length131072→262144,compression.context_timeout_seconds: 300,context_total_ceiling_seconds: 900(Backupconfig.yaml.bak-20261102-131314, Restart 13:13:33). Verifiziertresolve_context_compression_timeouts() → (300.0, 900.0), Preflight-Threshold 131.072 statt 45.875. Gleiche Werte in lokaler Runner-Instanz gesetzt (Backupconfig.yaml.bak-20261102-131606), dort threshold 0.5 → 131.072 statt 524.288. Offen: Waise-PID 521 (PPID 1, keine Sockets) nach systemd-Restart;fallback_providers: []weiter leer. -
2026-11-02 13:3x - systems/noris-ai: Context-Fenster an Hermes gepinnt — Bifrost liefert
max_context_lengthnur verschachtelt (input_modalities[].supported_inputs), Hermes parst Top-Level und fiel auf Hardcodes zurück (deepseek 128k statt 1.048.576, glm-5-3 1.310.720 statt 1.048.576, gpt-oss 256k statt 131k). Fix:model.context_length: 1048576(lokal default + 4 Profile + Sarah VM107) + Per-Modell-Overridesproviders.noris.models.<id>.context_lengthaus dem Live-Katalog (29 Fenster). E2E:lcm_status1.048.576 / threshold 524.288 (lokal), 367.001 (Sarah). SolDoc bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md -
2026-11-02 14:25 - systems/homeassistant: EMHASS-v2 3 Tage still ausgefallen — Token in /tmp + Publish-Pfad maskierte es. Cron
a32005d62226starb beim Host-Boot 30.10. anFATAL: token file missing(/tmp volatil,no_agent+deliver=local → niemand sah es);automation.trigger_emhasspostete weiter per/action/publish-datadie LETZTE Zeile des 3 Tage alten Plans (frische Timestamps, eingefrorene Werte p_batt 0/SoC 99,57). Zweiter Blocker nach Token-Fix:every 15m-Anker auf Minute ≡0 gedriftet → Race-GuardREFUSED rc=2dauerhaft. Fix: Token kanonisch~/.hermes/secrets/ha_token.txt+/tmp-Symlink +ha-token-ensure.sh, Cron auf4,19,34,49 * * * *, neuer Watchdog3a99e3837250(>75 min Plan-Alter / <10 h Horizont, Telegram). E2E: manuell 14:09 + Cron-Tick 14:19status ok, CSV 48 Zeilen Optimal. Nebenbefund: SoC 8,8 % (BYD ~6 %, Marstek 14,8 %), Plan C kommandiert 2500 W Marstek-Entladung trotz EMHASS-Hold; alter Watchdoga2a1b429bc2eseit 25.09. pausiert + SSH-Klartextpasswort in jobs.json. SolDoc bug-fixes/2026-11-02-emhass-v2-token-tmp-silent-3d-outage.md -
2026-11-02 16:19 - systems/homeassistant: EMHASS-Produzent nach Home Assistant verlagert (AppDaemon) — Token-Klasse eliminiert, EMHASS-Add-on unangetastet. AppDaemon-Add-on
a0d7b954_appdaemonv0.19.3 (Store,boot: auto, bekommt HA-URL+Token automatisch vom Supervisor) führt jetzt die Appemhass_optimizeraus (:04/:19/:34/:49), Quelle~/scripts/emhass_app/(Kern per AST verbatim aus v2). Parity: 19/19 unittest + Payload-GatePARITY OK(v2--dump-payloadvs Shadow, 48 Slots, 0 Warnungen). E2E: Cutover 16:04, erster Einzelproduzent 16:19 mit CSV-Mtime 16:19:00 und identischem Plan (5 Entlade-/7 Ladeslots, SoC 8,1→10 %). Hermes-Crona32005d62226pausiert = Rollback. Watchdog-Fix: Frische wird jetzt ansensor.p_batt_forecast(>90 min) gemessen, nicht mehr anplan_last_forecast; dieplan_*-Sensoren schreibt ein neuer Display-only-Cron4bc13a052329(:05/:20/:35/:50). Pitfalls:scpgeht auf HAOS nicht (tar over ssh), AppDaemon kann die EMHASS-CSV nicht lesen (Verify über Attribute), AppDaemon-Config liegt unterapp_configs/nicht/config/appdaemon. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md -
2026-11-03 05:49 - systems/homeassistant: 5 h stiller EMHASS-Ausfall durch eigenen Idempotenz-Bug — gefixt, Watchdog auf CSV-Mtime umgestellt. AppDaemon-App skippte ab 01:04 jeden Tick mit
already ran for slot …:_slot_keyenthielt nur Datum +minute//15(4 Keys/Tag), also lief die Optimierung nur 4×/Tag um 00:xx; CSV stand auf 00:49. Warum unbemerkt: der Watchdog maßsensor.p_batt_forecast, undautomation.trigger_emhassruft alle 15 minpublish_data→ frische Zeitstempel bei eingefrorenem Plan (dieselbe Maske wie beim 3-Tage-Ausfall);plan_*frischte der Display-Publisher ebenfalls alle 15 min auf. Fix 1: Key%Y%m%d_%H%M. Fix 2: Watchdog prüft jetzt CSV-Mtime (>40 min) + Horizont, OverridesEMHASS_MAX_AGE_MIN/EMHASS_CSV_PATH; Alarmpfade getestet (stale rc=1, unlesbar rc=1, gesund rc=0). Fix 3: App-Argrun_on_startfür Sofort-Zyklus nach Deploy. E2E: Zwangszyklus 05:49:45 (Plan 5/8 Slots, SoC 4,3→10 %, 12 Warnings = 77 % Preis-Coverage um 05:49, normal) und planmäßiger Tick 06:04:00 (CSV 06:04:00). Offen:automation.trigger_emhassdeaktivieren (redundant + dauerhafte Maskierung) — braucht Owner-GO. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md (Nachtrag) -
2026-11-03 06:40 - systems/homeassistant:
automation.trigger_emhassdeaktiviert (Owner-GO). Sie rief nur alle 15 minrest_command.emhass_publish_data, übermalte damit eingefrorene Pläne mit frischen Zeitstempeln und war die zentrale Maske beider EMHASS-Ausfälle. YAML:initial_state: false(Backupautomations.yaml.bak-20261103-0620),automation.turn_off+automation.reloadje HTTP 200, Entitystate=off. Nachweis: um 06:45 bliebp_batt_forecastauf 06:34 (statt wie sonst auf 06:45 aufgefrischt),last_triggeredunverändert; Produzent (AppDaemon) publiziert weiter im 15-min-Takt. -
2026-11-02 15:5x - systems/sabnzbd: 4 VAAPI-korrupte HEVC-Files per Re-Fetch repariert (Option B), HEVC zurueckgefuehrt. Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx: Release per Binsearch ->
publish_nzb.py-> Sorter-Insert-Dedupe (gleiche Dauer +-2 s, gleiche Hoehe -> groessere Datei gewinnt, korrupte nachquarantine/dedup-sorter/SexAndSubmission/) -> Volldekodierung 0 Fehlerzeilen -> software libx265 crf24 (hvc1, faststart) -> Gates -> Tausch, Original nachtranscode-originals/. Endstand alle vierhevc,hvc1,1080, Dauer-Delta 0, 13 GB h264 -> 3,2 GB HEVC (Alexa 4,41->1,14 GB), Jellyfin 553 Items / Scan Idle. Gate-Falle: Converter-Sidecar hat kein python3 ->GATE FAIL Dauerbei identischen Werten; Gates+Swap gehoeren in den App-Container. BoundGangBangs: nur 10,8-GB-Rar-Set (part0.nzb) -> kein Re-Fetch, Re-Encode bleibt. Offen (eigenes GO): quarantine 171 G, complete 105 G, transcode-originals 17 G gesunde Master, 2 WMV3-Twins 1,98 GB. SolDoc integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md -
2026-11-03 06:25 - systems/agent-fleet: Loops greifen wieder — 52 Karten auf
Bewertethatten sich gestaut, weil der Bewertungs-SweepNeu→Bewertetschiebt, der Idle-Trigger aber nurNeukannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (3d0a5945…) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (7bcb5be2…, Idle kennt Neu|Bewertet), deadman 0.13.4 (a2ef7364…, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mitFAILED_TURN_NOTICEals „completed" maskiert) — Ursachen: Recreate ohne--policy(Gateway „no policy"), ohne--provider, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profilfleet-bifrostaufbifrost.agent-fleet.svc.cluster.localumgestellt, Rollout mit--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md -
2026-11-05 19:2x - systems/agent-fleet: Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen. (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret
fleet-review-tokens, out-of-band), Branch-Protectionmainin dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nurfleet-bot,dismiss_stale+block_on_rejected_reviews; empirisch:readgenuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exaktCI / test (pull_request)heissen (sonst blockiert ein nie-gruener Check jeden Merge), undgitea_pr_commenthat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nurgitea_pr_reviewmit eigenem Account. Serverseitig prueftgitea_gate.py(board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo ->{"ok": false, "error": "nur 0/4 Freigaben"}. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b)fleet-sandbox-healer.sh+ systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. Zwei teure Pitfalls: systemd-Units brauchenEnvironment=HOME=/root(sonstUnknown gateway 'fleet'— sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), undkubectl … | python3 - <<'PY'laesst das Heredoc stdin fressen (JSONDecodeError) ->python3 <(cat <<'PY' … PY). IaCclusters/main/fleet/ops/sandbox-healer/Commit b652bb0. (c) Watcher 0.38.1 (sha256:cc325dcb…):tower-ownerdarftype=revieweinlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md -
2026-11-06 06:43–06:56 - systems/ubuntu-host: CVE-2026-98432 behoben. Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden,
apt-get full-upgrade(25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149,ceph osd set noout, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft6.8.0-149-generic, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. Pitfalls:pgrep -f "apt-get -y"matcht den eigenen Warte-Loop →pgrep -x apt-get;systemctl --failedzeigt staleceph-osd@8/ceph-mon@ubuntu(OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern anExec format errorder Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv. -
2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live. (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
-
2026-11-09 06:0x - systems/homeassistant: f@h-Zombie-Session gefixt (2. Rezidiv). Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.