diff --git a/index.md b/index.md index 09bce52..2b558ab 100644 --- a/index.md +++ b/index.md @@ -38,6 +38,7 @@ - [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen - [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation - [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify +- [[systems/heizung-viessmann]] — WP CU401B S, Heizkurve 0,4/−7, 11 free@home-Zonen, Sollwerte 24/23/21, WW-Peak-Automationen (11/2026) - [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64 - [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026 - [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI @@ -90,6 +91,7 @@ - [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015) - [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018) - [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019) +- [[patterns/pbs-datastore-full-root-reserve]] — PBS meldet ENOSPC bei <100 %: ext4-Reserve (5 %) für den `backup`-User unerreichbar + Dedup lässt „erfolgreiche" Backups ohne neue Chunks durch (PAT-020) - [[patterns/skill-impact]] — Skill Modification Audit Trail ## Memory Layer Architektur diff --git a/log.md b/log.md index e6d020d..5da83e3 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,19 @@ # Memory Log +## [2026-11-15] storage-fix | Offsite-PBS 800→980 GiB extendet, 208 GiB frei, Push-Sync wieder grün +- **Ist:** `noris_offsite` (PBS-VM 213.95.54.60) war **100 % voll** (ext4 787 GiB, 747 belegt, 0 frei); Push-Sync `push-offsite` (CT119 → offsite, 03:00) scheiterte seit **20.10.** mit `ENOSPC` (os error 28). Seitdem kamen nur Snapshots mit Dedup-Volltreffern durch — „grüne" Snapshots 12.–14.11. neben echten Lücken. +- **Ursache 1:** Cinder-Volume `pbs-data` 800 GiB (Dimensionierung 07/2026) bei ~180 GiB/Monat Wachstum. **Ursache 2:** ext4-Reserve 5 % (40 GiB) ist für den PBS-`backup`-User unerreichbar → df „0 frei" bei 94,9 %. +- **Fix (Owner-GO, 0 Downtime):** `openstack volume set --size 980` (`OS_VOLUME_API_VERSION=3.42` nötig, OSC 10.1 kennt kein `volume extend`) → `rescan` + `resize2fs` (787→964 GiB) + `tune2fs -m 1` (-32 GiB Reserve). Danach **208 GiB frei (79 %)**, PVE: 77,46 %. Catch-up-Sync 14:17 gestartet (~3,5 MB/s WAN). +- **Offen:** Projekt-Quota 1000 GiB (820 belegt) = harter Deckel → **Quota-Erhöhung bei noris** auf 2–3 TiB nötig, sonst in ~5–6 Wochen erneut voll. Nebenbefund: nächtlicher vzdump endet mit `job errors`, weil VM 991 auf nicht existentes RBD `vm-300-disk-0-test` zeigt. +- **Docs:** `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern **PAT-020** (`patterns/pbs-datastore-full-root-reserve.md`), Wiki `systems/proxmox-cluster.md` (Backup-Storage-Sektion), Skill-Ref `openstack-offsite-pbs-2026-07.md` ergänzt. + + +## [2026-11-15] ceph-status-audit | MON 4→3, Pool-Tabelle korrigiert, MON_DISK_LOW n5pro +- **Strukturell:** `mon.proxmox4` am 15.11. 10:22 entfernt (Service disabled, monmap e137) → 3 MONs (proxmox5/ms-a2-1/n5pro), Quorum 3/3. MGR aktiv seit ~2 Wochen auf **ms-a2-1** (nicht mehr n5pro). Vorher 05:15 kurzer MON_DOWN (n5pro). +- **Health:** HEALTH_WARN nur Disk-Rauschen — 7 HDD-OSDs `BLUESTORE_SLOW_OP_ALERT` (chronisch seit ≥08.11., 7–9 OSDs), osd.1/6/11 `DB_DEVICE_STALLED_READ` (DB auf demselben HDD-Spindle, 5 s read-Timeout). 533/533 PGs clean, keine Recovery. +- **Wiki-Korrekturen (`systems/ceph-cluster.md`):** Pool-Tabelle neu aus `ceph df detail` — **`media_ec` (EC 4+1) und `media_meta` existieren nicht mehr**, dafür cephfs_ssd_data/meta + default.rgw.*; 13 Pools/533 PGs. osd.18 → n5pro (nicht ubuntu), osd.17 = 2.7 TiB, osd.3 via CRUSH-Weight 0.05 (Reweight 1.0). Kapazität 14/33 TiB (43 %), Engpass osd.7 bei 89.8 %, Pool-Headroom ~0.8 TiB. Versions-Skew: 3 OSDs auf 20.2.5. +- **Erledigt 15.11. (Owner-GO):** (a) n5pro aufgeräumt → `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) + `ceph crash archive-all && prune 30` (285 → 0 Reports) → Root-FS 67 % → **51 %**, MON_DISK_LOW aus health detail verschwunden. Lokale Daemon-Crash-Dumps bleiben (n5pro 276 M, ubuntu 520 M, 07.08.). (b) MON 4→3 ist **gewollt** (Owner bestätigt): Zielzustand 3 MONs, proxmox4 bleibt reiner OSD-Host. (c) osd.7 (89.8 %) `crush reweight 0.931 → 0.75` → 15 PGs remapped, Backfill ~30 MiB/s, MAX AVAIL cephfs_data 864 GiB → 1.1 TiB, hdd_disk 852 GiB → 1.0 TiB. **Nebeneffekt:** osd.10 (proxmox6, 2. 1-TB-HDD-Host) stieg 76.6 → 78.4 % — mit 4 HDD-Hosts und size=3 tragen die beiden kleinen Hosts strukturell zu viel. Deshalb auf Owner-Wahl auch osd.10 `crush reweight 0.931 → 0.75` (15:43) → zusammen 18 PGs remapped, beide Hosts jetzt symmetrisch 0.75. Backfill ~38 MiB/s, ETA ~2.5 h; One-Shot-Cron `23fdefeffc95` prüft in 3 h die Konvergenz. + ## [2026-11-15] network-recon-bugfix | Weekly-Scan: IP-Misattribution gefixt — 77/91 "Alive"-IPs waren Ghosts - **Bug im wöchentlichen Netzwerk-Scan** (`~/.hermes/scripts/network-scan.py`, seit mind. 27.09. aktiv): Phase-1-Sweep `zip(ips, as_completed(futures))` ordnete Alive-Verdikte falschen IPs zu (Completion-Order ≠ Submissions-Order) → 77/91 gelistete IPs waren Ghost-Adressen; alle echten Hosts (PVE .30–.93, NAS .100, Galera .70–.82) unsichtbar. Fix: `pool.map` + 443 in den Deep-Scan; Neu-Scan: 91 echte Geräte (89 + 2 Re-Probe), Inventar deckt sich mit ip-map. - **Topologie:** `10.0.30.100` (ubuntu-NAS, VLAN-30-IP) **zurück** — SSH-Host-Keys (RSA/ECDSA/Ed25519) identisch zu 10.0.20.100 → derselbe Host; `reference/ip-map.md` korrigiert. Ob Rückkehr beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten). @@ -1157,3 +1171,11 @@ - Owner-Kalibrierpunkt: **16.144 lx / kt 0,43 / Sonnenhöhe 21,3° / inc 53° = zu dunkel**; echte Wintersonne morgens 18,9 klx / kt 0,83 = angenehm. - Neue Schwellen: Einfahren **kt ≥ 0,52 UND ≥ 15.000 lx**, Ausfahren **kt < 0,45** (5 min) — Hysterese-Band 0,07. Nachts kein Öffnen. - Rollläden sofort auf 100/100 gefahren, beide Sensoren `off`. Dashboard-Karte um `beschattung_lux_min` + `beschattung_klarbeit_aus` erweitert (jetzt 9 Helper). + +### 15.11. 14:05 UTC — Heizung: Raum-Sollwerte gesenkt + WW-Peak-Logik (Owner: „go a") +- **Befund:** Haus 23,5 °C Kernbereich, kein Nachtprofil (Nacht=Tag), Bad/Schminken/Windfang 7 Tage auf **100 % Ventilhub** (Ziele 26,5/24/28 °C unerreichbar). Heizkurve selbst unauffällig (29,2 °C VL bei 0 °C außen, Spreizung 1,2 K, 0–4 Starts/Tag). +- **Ursache:** Raum-Sollwert an der WP (24 °C) ist der Heizkurven-Parameter; zwei Automationen schrieben Normal=24 bzw. Reduziert=23/24. +- **Umgesetzt (mit Rücklesung):** Normal 24→**23**, Reduziert 23→**21** (21,5 von HA verworfen: step=1 → HTTP 500), Komfort bleibt 24; 11 Raumthermostate −1 bis −1,5 K (Bad 23,0, Windfang 20,0); `komfort_heizung` + `normaltemperatur` **off**; neu `ww_peak_blockade_14_30` / `ww_peak_ende_20_30` / `ww_schutz_unter_40_c`. +- **Sofortwirkung:** Ventile Wohnen 100→50 %, Essen 79→19 %, Bad/Schminken/Windfang 100→0 %; VL 27,8→26,8 °C. +- **Gelernt:** HA kann Automations sehr wohl per `POST /api/config/automation/config/{id}` anlegen (verifiziert, HA 2026.10.4) — „nur YAML" ist falsch. ViCare-Cloud-Writes sind asynchron (~30–60 s). Doc: `docs/solutions/architecture/2026-11-15-waermepumpe-raumsollwert-ist-heizkurve.md`, Wiki: `systems/heizung-viessmann.md`. +- **Offen:** Heizgrenze (~14 °C) nur in ViCare-App; Auslöser der Einmaligen WW-Ladung 09:35 unbekannt; Kurven-Verifikation bei < −3 °C (21./22.11.). diff --git a/patterns/pbs-datastore-full-root-reserve.md b/patterns/pbs-datastore-full-root-reserve.md new file mode 100644 index 0000000..075d08d --- /dev/null +++ b/patterns/pbs-datastore-full-root-reserve.md @@ -0,0 +1,57 @@ +--- +pattern_id: PAT-020 +title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand" +category: storage +severity: high +status: active +first_observed: 2026-09 +last_updated: 2026-11-15 +related_systems: [pbs-offsite, pve-cluster, openstack-cinder] +related_solution_docs: + - docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md + - docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md +related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response] +--- + +# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz + +## Symptom + +- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`. +- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`, + zusätzlich `backup ended but finished flag is not set`. +- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store. +- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn. + +## Root Cause + +1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil + Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die + `df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS. + Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar. +2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur + wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen", + während echte Änderungen seit Wochen nicht gesichert sind. +3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld); + sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…). + +## Mitigation + +- Sofort: `tune2fs -m 1 ` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online). +- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit + Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen. +- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren. + +## Prevention + +- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent. +- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen. +- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die + ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit). + +## Evidence + +- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte + 132,7 GiB Pending-Removals → Rescue. (Vorfall 1) +- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.; + Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2) diff --git a/patterns/skill-impact.md b/patterns/skill-impact.md index a9eabc3..a8b2216 100644 --- a/patterns/skill-impact.md +++ b/patterns/skill-impact.md @@ -49,3 +49,4 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated). | 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md | | 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md | | 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md | +| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md | diff --git a/systems/ceph-cluster.md b/systems/ceph-cluster.md index e51b754..ffd0f1d 100644 --- a/systems/ceph-cluster.md +++ b/systems/ceph-cluster.md @@ -3,18 +3,18 @@ title: Ceph Cluster category: systems tags: [ceph, storage, rbd, ec-pool, osd] created: "2026-07-24" -modified: "2026-09-26" +modified: "2026-11-15" --- # Ceph Cluster ## Overview - **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9 -- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed) -- **Version**: 20.2.4 (tentacle) — all 17 OSDs -- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1) +- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill. +- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew) +- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro) - **OSDs**: 17 (10 HDD, 7 SSD), all up/in -- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail +- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte - **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing) ## OSD Layout @@ -23,39 +23,43 @@ modified: "2026-09-26" |-----|-------|------|------|----------|-------| | 1 | hdd | 3.7 TiB | n5pro | 1.0 | | | 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host | -| 3 | ssd | 233 GB | proxmox4 | 0.05 | 2026-09-30: reweighted 0.05 nach Full-Drama (war 1.0) — Plate 238G, sonst backfillfull | +| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull | | 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down | | 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down | | 6 | hdd | 3.6 TiB | n5pro | 1.0 | | -| 7 | hdd | 931 GB | proxmox7 | 0.95 | | +| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) | | 8 | hdd | 3.6 TiB | ubuntu | 1.0 | | | 9 | ssd | 1.9 TiB | n5pro | 1.0 | | -| 10 | hdd | 931 GB | proxmox6 | 0.95 | | +| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) | | 11 | hdd | 2.8 TiB | n5pro | 1.0 | | | 12 | ssd | 1.9 TiB | n5pro | 1.0 | | | 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | | | 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | | | 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New | -| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New | -| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New | +| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) | +| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll | > OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD. -> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded). +> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert). ## Pools -| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes | -|------|------|------|------|-----|------------|-----|-------| -| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off | -| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off | -| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on | -| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | | -| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on | -| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true | -| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB | -| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites | -| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | | -| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | | +| Pool | Name | PGs | Stored | %USED | Notes | +|------|------|-----|--------|-------|-------| +| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB | +| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) | +| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB | +| 4 | .mgr | 1 | 136 MiB | 0.02 | | +| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) | +| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange | +| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB | +| 10 | .rgw.root | 1 | 1.6 KiB | 0 | | +| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS | +| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu | +| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast | + +> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen. +> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓ ## CRUSH Rules - **Rule 0** (replicated_rule): default root, host-level placement @@ -65,6 +69,15 @@ modified: "2026-09-26" ## Known Issues +### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15) +`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3). +Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe. + +### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15) +Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem. +Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden. +Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO). + ### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.) Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md` **UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen). @@ -77,9 +90,8 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity. Consider removing from CRUSH or replacing with larger drives. -### full_ratio TEMPORÄR 0.94 (Stand Anfang Okt) -Nach Cold-Power-Desaster auf 10.0.20.100 wurde `mon_osd_full_ratio` temporär auf 0.94 angehoben. -**OFFENER TASK: nach abgeschlossenem Drain/Backfill auf 0.90 zurücksetzen** (sonst greifen Full-Schutzmechanismen zu spät) +### Full-Ratios angehoben (Stand 2026-11-15) +`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80). ### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen) Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist. diff --git a/systems/heizung-viessmann.md b/systems/heizung-viessmann.md new file mode 100644 index 0000000..e48445a --- /dev/null +++ b/systems/heizung-viessmann.md @@ -0,0 +1,79 @@ +# Heizung — Viessmann CU401B S + free@home-Zonen + +Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus). + +## Anlage + +| Komponente | Detail | +|---|---| +| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) | +| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt | +| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) | +| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) | +| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` | +| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) | +| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h | +| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C | + +## Messwerte (7 Tage, 08.–15.11.2026) + +- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH) +- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW) +- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC +- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL + +## Raum-Sollwerte (seit 15.11.2026) + +Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 · +Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5 + +Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken, +Windfang hingen dadurch dauerhaft auf 100 % Ventilhub. + +## Automationen + +| Entity | Status | Funktion | +|---|---|---| +| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % | +| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW | +| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` | +| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) | +| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert | +| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft | +| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 | +| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 | +| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 | +| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) | + +**Wichtig:** HA kann Automations per `POST /api/config/automation/config/{id}` anlegen und +per `DELETE` löschen (verifiziert 15.11.2026, HA 2026.10.4) — die verbreitete Annahme +„geht nur per YAML" stimmt nicht. + +## Preisbild / Lastverschiebung + +EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots): +09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %). +Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins +billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start). + +## Morgen-Profil (Owner-Wunsch 15.11.) + +Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %, +Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve. +Bad überschoss danach auf **24,3 °C (07–09 Uhr)**. + +Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00): +Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis. +**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %. +Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin; +28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche +dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises +oder Zusatzheizung (Handtuchheizkörper/IR). + +## Offene Punkte + +- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme. +- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt. +- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden. +- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C). +- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s). diff --git a/systems/proxmox-cluster.md b/systems/proxmox-cluster.md index e498eb6..0ed4be4 100644 --- a/systems/proxmox-cluster.md +++ b/systems/proxmox-cluster.md @@ -32,6 +32,13 @@ modified: "2026-10-30" - **hdd_templates:** CT Templates - **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI) +### Backup-Storage (Stand 2026-11-15) +- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00. +- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`). +- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB). +- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020. + + ## Netzwerk - VLAN-basiert, Bridge vmbr0 - IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]