Auto-sync: 2026-11-15

This commit is contained in:
Dominik Schön
2026-11-15 22:00:25 +00:00
parent 34457272d0
commit 668501c330
7 changed files with 206 additions and 26 deletions
+38 -26
View File
@@ -3,18 +3,18 @@ title: Ceph Cluster
category: systems
tags: [ceph, storage, rbd, ec-pool, osd]
created: "2026-07-24"
modified: "2026-09-26"
modified: "2026-11-15"
---
# Ceph Cluster
## Overview
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed)
- **Version**: 20.2.4 (tentacle) — all 17 OSDs
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1)
- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in
- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail
- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
## OSD Layout
@@ -23,39 +23,43 @@ modified: "2026-09-26"
|-----|-------|------|------|----------|-------|
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
| 3 | ssd | 233 GB | proxmox4 | 0.05 | 2026-09-30: reweighted 0.05 nach Full-Drama (war 1.0) — Plate 238G, sonst backfillfull |
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
| 7 | hdd | 931 GB | proxmox7 | 0.95 | |
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 10 | hdd | 931 GB | proxmox6 | 0.95 | |
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded).
> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
## Pools
| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes |
|------|------|------|------|-----|------------|-----|-------|
| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off |
| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off |
| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on |
| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | |
| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on |
| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true |
| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB |
| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites |
| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | |
| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | |
| Pool | Name | PGs | Stored | %USED | Notes |
|------|------|-----|--------|-------|-------|
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
## CRUSH Rules
- **Rule 0** (replicated_rule): default root, host-level placement
@@ -65,6 +69,15 @@ modified: "2026-09-26"
## Known Issues
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
@@ -77,9 +90,8 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
Consider removing from CRUSH or replacing with larger drives.
### full_ratio TEMPORÄR 0.94 (Stand Anfang Okt)
Nach Cold-Power-Desaster auf 10.0.20.100 wurde `mon_osd_full_ratio` temporär auf 0.94 angehoben.
**OFFENER TASK: nach abgeschlossenem Drain/Backfill auf 0.90 zurücksetzen** (sonst greifen Full-Schutzmechanismen zu spät)
### Full-Ratios angehoben (Stand 2026-11-15)
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
+79
View File
@@ -0,0 +1,79 @@
# Heizung — Viessmann CU401B S + free@home-Zonen
Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus).
## Anlage
| Komponente | Detail |
|---|---|
| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) |
| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt |
| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) |
| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) |
| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` |
| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) |
| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h |
| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C |
## Messwerte (7 Tage, 08.–15.11.2026)
- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH)
- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW)
- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC
- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL
## Raum-Sollwerte (seit 15.11.2026)
Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 ·
Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5
Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken,
Windfang hingen dadurch dauerhaft auf 100 % Ventilhub.
## Automationen
| Entity | Status | Funktion |
|---|---|---|
| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % |
| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW |
| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` |
| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) |
| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert |
| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft |
| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 |
| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 |
| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 |
| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) |
**Wichtig:** HA kann Automations per `POST /api/config/automation/config/{id}` anlegen und
per `DELETE` löschen (verifiziert 15.11.2026, HA 2026.10.4) — die verbreitete Annahme
„geht nur per YAML" stimmt nicht.
## Preisbild / Lastverschiebung
EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots):
09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %).
Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins
billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start).
## Morgen-Profil (Owner-Wunsch 15.11.)
Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %,
Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve.
Bad überschoss danach auf **24,3 °C (07–09 Uhr)**.
Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00):
Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis.
**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %.
Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin;
28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche
dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises
oder Zusatzheizung (Handtuchheizkörper/IR).
## Offene Punkte
- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme.
- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt.
- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden.
- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C).
- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s).
+7
View File
@@ -32,6 +32,13 @@ modified: "2026-10-30"
- **hdd_templates:** CT Templates
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
### Backup-Storage (Stand 2026-11-15)
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
## Netzwerk
- VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]