diff --git a/concepts/user-drift-report.md b/concepts/user-drift-report.md index 7b89bfa..d70444f 100644 --- a/concepts/user-drift-report.md +++ b/concepts/user-drift-report.md @@ -1,25 +1,25 @@ -# User Drift Report — 2026-11-02 +# User Drift Report — 2026-11-09 -**Recent window:** Last 14 days (3307 msgs) -**Baseline:** Previous 90 days (6369 msgs) +**Recent window:** Last 14 days (2611 msgs) +**Baseline:** Previous 90 days (5826 msgs) ## Detected Drifts -- **message_length**: Messages 461% longer (baseline: 2671 chars → recent: 14975) -- **frustration_increase**: Frustration markers rose from 9.7% to 39.3% -- **correction_increase**: Corrections increased from 13.9% to 43.3% — preferences may have shifted -- **new_focus**: New dominant topics: gitops, ai_ml -- **declining_focus**: Topics fading from focus: backup, ceph +- **message_length**: Messages 514% longer (baseline: 2874 chars → recent: 17632) +- **frustration_increase**: Frustration markers rose from 11.0% to 38.0% +- **correction_increase**: Corrections increased from 18.5% to 36.3% — preferences may have shifted +- **new_focus**: New dominant topics: k8s +- **declining_focus**: Topics fading from focus: backup ## Signal Summary | Metric | Baseline | Recent | |---|---|---| -| Avg msg length | 2671 | 14975 | -| Frustration rate | 9.7% | 39.3% | -| Correction rate | 13.9% | 43.3% | -| Action-first | 1.4% | 6.2% | -| Top topics | ceph, proxmox, backup | proxmox, k8s, ai_ml | +| Avg msg length | 2874 | 17632 | +| Frustration rate | 11.0% | 38.0% | +| Correction rate | 18.5% | 36.3% | +| Action-first | 1.3% | 6.5% | +| Top topics | proxmox, security, backup | k8s, ai_ml, proxmox | ## Recommendations diff --git a/log.md b/log.md index ca508a9..0880b2b 100644 --- a/log.md +++ b/log.md @@ -930,3 +930,5 @@ - 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL= --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md - 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md - 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv. +- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag) +- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API. diff --git a/systems/galera-maxscale.md b/systems/galera-maxscale.md index 36ea3e2..b784aa9 100644 --- a/systems/galera-maxscale.md +++ b/systems/galera-maxscale.md @@ -47,7 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live - VM310/311 (MaxScale): Fluent Bit aktiv ## Bekannte Issues -- **2026-11-08 (AKUT, OFFEN): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs: 1,6,7,8,10,11,17,18) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → **keine Primary Component seit >7 h**. Status 08.11. 06:15 UTC: db1/db3 systemd failed mit laufendem mariadbd (Zombie), db2 activating/NON-PRIMARY, MaxScale (beide) zeigt 3/3 Down, VIP sendet Greeting und hängt danach. Alle Nodes bei seqno 1164610 (konsistent). Recovery: erst Ceph-Slow-Ops klären, dann pc.bootstrap. Siehe `docs/solutions/bug-fixes/2026-11-08-galera-outage-ceph-slow-ops-recipe-scraper.md`. Symptom-Muster: TCP+Greeting OK dann Hang = alle Backends tot. +- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md` - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server maintenance` (Monitor promotet automatisch), danach `clear server maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. - **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server ` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen. - **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch. @@ -68,4 +68,5 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live **Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes//qemu//agent/exec`). **Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie. **Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert. -SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` +**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize scsi1 ` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main). +SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md` diff --git a/systems/homeassistant.md b/systems/homeassistant.md index d21c0c0..d872945 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -218,3 +218,9 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe ## Security-Status - **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3). + +## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt) +- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok). +- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**. +- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu). +- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner). diff --git a/systems/sabnzbd.md b/systems/sabnzbd.md index 24f59b2..ce69bc6 100644 --- a/systems/sabnzbd.md +++ b/systems/sabnzbd.md @@ -312,3 +312,22 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — - **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`. - **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch). - Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage. + +## Konverter auf n5pro (GPU-Rettung, 09.11.2026) +**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen +CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische +Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder. +**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar). +**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry): +- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch. +- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle). +**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged). + - **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug) + und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist. + - **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt. + - **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu". + - Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht. +**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount, +Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share. +**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen. +Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).