Auto-sync: 2026-11-09

This commit is contained in:
Dominik Schön
2026-11-09 22:01:14 +00:00
parent ba9bf1525b
commit 4ab319815c
5 changed files with 43 additions and 15 deletions
+13 -13
View File
@@ -1,25 +1,25 @@
# User Drift Report — 2026-11-02 # User Drift Report — 2026-11-09
**Recent window:** Last 14 days (3307 msgs) **Recent window:** Last 14 days (2611 msgs)
**Baseline:** Previous 90 days (6369 msgs) **Baseline:** Previous 90 days (5826 msgs)
## Detected Drifts ## Detected Drifts
- **message_length**: Messages 461% longer (baseline: 2671 chars → recent: 14975) - **message_length**: Messages 514% longer (baseline: 2874 chars → recent: 17632)
- **frustration_increase**: Frustration markers rose from 9.7% to 39.3% - **frustration_increase**: Frustration markers rose from 11.0% to 38.0%
- **correction_increase**: Corrections increased from 13.9% to 43.3% — preferences may have shifted - **correction_increase**: Corrections increased from 18.5% to 36.3% — preferences may have shifted
- **new_focus**: New dominant topics: gitops, ai_ml - **new_focus**: New dominant topics: k8s
- **declining_focus**: Topics fading from focus: backup, ceph - **declining_focus**: Topics fading from focus: backup
## Signal Summary ## Signal Summary
| Metric | Baseline | Recent | | Metric | Baseline | Recent |
|---|---|---| |---|---|---|
| Avg msg length | 2671 | 14975 | | Avg msg length | 2874 | 17632 |
| Frustration rate | 9.7% | 39.3% | | Frustration rate | 11.0% | 38.0% |
| Correction rate | 13.9% | 43.3% | | Correction rate | 18.5% | 36.3% |
| Action-first | 1.4% | 6.2% | | Action-first | 1.3% | 6.5% |
| Top topics | ceph, proxmox, backup | proxmox, k8s, ai_ml | | Top topics | proxmox, security, backup | k8s, ai_ml, proxmox |
## Recommendations ## Recommendations
+2
View File
@@ -930,3 +930,5 @@
- 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md - 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md
- 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md - 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md
- 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv. - 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv.
- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.
+3 -2
View File
@@ -47,7 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
- VM310/311 (MaxScale): Fluent Bit aktiv - VM310/311 (MaxScale): Fluent Bit aktiv
## Bekannte Issues ## Bekannte Issues
- **2026-11-08 (AKUT, OFFEN): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs: 1,6,7,8,10,11,17,18) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → **keine Primary Component seit >7 h**. Status 08.11. 06:15 UTC: db1/db3 systemd failed mit laufendem mariadbd (Zombie), db2 activating/NON-PRIMARY, MaxScale (beide) zeigt 3/3 Down, VIP sendet Greeting und hängt danach. Alle Nodes bei seqno 1164610 (konsistent). Recovery: erst Ceph-Slow-Ops klären, dann pc.bootstrap. Siehe `docs/solutions/bug-fixes/2026-11-08-galera-outage-ceph-slow-ops-recipe-scraper.md`. Symptom-Muster: TCP+Greeting OK dann Hang = alle Backends tot. - **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld. - **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen. - **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch. - **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
@@ -68,4 +68,5 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`). **Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie. **Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert. **Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` **Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
+6
View File
@@ -218,3 +218,9 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
## Security-Status ## Security-Status
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3). - **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
+19
View File
@@ -312,3 +312,22 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`. - **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch). - **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage. - Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).