Auto-sync: 2026-11-09
This commit is contained in:
@@ -47,7 +47,7 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **2026-11-08 (AKUT, OFFEN): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs: 1,6,7,8,10,11,17,18) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → **keine Primary Component seit >7 h**. Status 08.11. 06:15 UTC: db1/db3 systemd failed mit laufendem mariadbd (Zombie), db2 activating/NON-PRIMARY, MaxScale (beide) zeigt 3/3 Down, VIP sendet Greeting und hängt danach. Alle Nodes bei seqno 1164610 (konsistent). Recovery: erst Ceph-Slow-Ops klären, dann pc.bootstrap. Siehe `docs/solutions/bug-fixes/2026-11-08-galera-outage-ceph-slow-ops-recipe-scraper.md`. Symptom-Muster: TCP+Greeting OK dann Hang = alle Backends tot.
|
||||
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
@@ -68,4 +68,5 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
|
||||
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
|
||||
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md`
|
||||
**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
|
||||
@@ -218,3 +218,9 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
|
||||
|
||||
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
|
||||
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
|
||||
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
|
||||
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
|
||||
|
||||
@@ -312,3 +312,22 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
|
||||
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
|
||||
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
|
||||
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
|
||||
|
||||
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
|
||||
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
|
||||
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
|
||||
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
|
||||
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
|
||||
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
|
||||
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
|
||||
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
|
||||
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
|
||||
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
|
||||
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
|
||||
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
|
||||
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
|
||||
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
|
||||
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
|
||||
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
|
||||
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
|
||||
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).
|
||||
|
||||
Reference in New Issue
Block a user