9.9 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | |||||
|---|---|---|---|---|---|---|---|---|---|
| Ceph Cluster | systems |
|
2026-07-24 | 2026-11-15 |
Ceph Cluster
Overview
- Cluster ID: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
- Health: HEALTH_WARN (2026-11-15) —
BLUESTORE_SLOW_OP_ALERT7 HDD-OSDs (chronisch seit ≥08.11.),DB_DEVICE_STALLED_READ_ALERTosd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill. - Version: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
- Nodes: 8 Proxmox hosts (proxmox2 removed from CRUSH); MONs: 3 (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: ms-a2-1 (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
- OSDs: 17 (10 HDD, 7 SSD), all up/in
- Capacity: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
- Pools: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
OSD Layout
| OSD | Class | Size | Host | Reweight | Notes |
|---|---|---|---|---|---|
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→0.75 (war 89.8 % voll) |
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→0.75 (war 78,4 % voll) |
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD. OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026,
ceph osd treeverifiziert).
Pools
| Pool | Name | PGs | Stored | %USED | Notes |
|---|---|---|---|---|---|
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
Pool 8
media_ec(EC 4+1) und Pool 9media_metaexistieren nicht mehr (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen. PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
CRUSH Rules
- Rule 0 (replicated_rule): default root, host-level placement
- Rule 1 (replicated_hdd): default~hdd, host-level placement
- Rule 2 (replicated_ssd): default~ssd, host-level placement
- Rule 3 (media_ec): default~hdd, OSD-level placement (choose_indep)
Known Issues
MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
systemctl disable --now ceph-mon@proxmox4 + ceph mon remove proxmox4 am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). Zielzustand ist 3 MONs (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle mon_data_avail_warn=30 → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
Fix (15.11.): apt-get clean (-3.2 G) + journalctl --vacuum-size=1G (-2.8 G) → 51 % belegt / 19 G frei; zusätzlich ceph crash archive-all && ceph crash prune 30 → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus ceph health detail verschwunden.
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit libceph: secret too big 32 / EINVAL. Kernel 7.1.8+deb13 unterstützt 32-Byte-Secrets; 7.2.9 bricht Cilium 1.19.4 (fatal FnSetRetval … R1 is not a scalar, CrashLoop). → K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen (IaC: epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback mounter: fuse (SC-Param, NICHT fuseMountOptions — wird ignoriert). Diagnose-Falle: Userspace mount.ceph 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur add_key()-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md
UPDATE 2026-10-31 (Welle C komplett): CVE-Rolling-Session hat alle 8 Nodes auf 6.12.113 gezogen und 7.1.8 aktiv gepurged (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt ceph auth import mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) mounter: fuse in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
HEALTH_WARN: Insecure Key Types (2026-09-26)
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
Fix: ceph config set mon mon_allow_insecure_global_id_reclaim false (if not already set).
Small SSDs causing reweightdown
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity. Consider removing from CRUSH or replacing with larger drives.
Full-Ratios angehoben (Stand 2026-11-15)
full_ratio 0.97, backfillfull_ratio 0.94, nearfull_ratio 0.94 (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. OFFENER TASK: nach Drain/Backfill zurück auf Default — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → I/O blockiert (nicht nur degraded) bis der Host zurück ist.
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill
ceph-cluster-administration→ planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out. Revived via PCI remove/rescan + lvchange -ay -K + chown-Falle am mapper-device. Details: patterns/ceph-dead-nvme-resurrection (PAT-014). Update 2026-09-30 (Abend): SMART- Audit spricht FREI — percentage_used 6 %, media_errors 0, spare 100 %, PoH 1469. Vorfall war rein Controller-Ebene, kein Media-Verschleiß, KEIN Austausch nötig. Beobachten: Temps 70/78 °C, thermal throttle T1 3×.
ubuntu-Host in /etc/hosts aller PVE-Nodes (2026-09-30)
Ohne DNS-Record wirft die PVE-GUI hostname lookup 'ubuntu' failed (500).
Fix: hosts-Eintrag 10.0.20.100 ubuntu fleetweit auf allen 8 Nodes.
worker-04 (VM 139) NotReady in K8s
Node offline — not a Ceph issue but affects Ceph CSI attachments.
Access
- SSH to Proxmox hosts:
ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.20.50 - Ceph commands:
ceph status,ceph osd tree,ceph pg dump pgs - Mon nodes: proxmox5 (leader), proxmox4, ms-a2-1, n5pro
- Mgr: n5pro (active)
Related Skills
ceph-cluster-administration(devops)
Related
- systems/proxmox-cluster
- systems/rke2-kubernetes (Ceph CSI)