Files
memory/systems/ceph-cluster.md
T
2026-11-15 22:00:25 +00:00

129 lines
9.9 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: Ceph Cluster
category: systems
tags: [ceph, storage, rbd, ec-pool, osd]
created: "2026-07-24"
modified: "2026-11-15"
---
# Ceph Cluster
## Overview
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in
- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
## OSD Layout
| OSD | Class | Size | Host | Reweight | Notes |
|-----|-------|------|------|----------|-------|
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
## Pools
| Pool | Name | PGs | Stored | %USED | Notes |
|------|------|-----|--------|-------|-------|
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
## CRUSH Rules
- **Rule 0** (replicated_rule): default root, host-level placement
- **Rule 1** (replicated_hdd): default~hdd, host-level placement
- **Rule 2** (replicated_ssd): default~ssd, host-level placement
- **Rule 3** (media_ec): default~hdd, OSD-level placement (choose_indep)
## Known Issues
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
### HEALTH_WARN: Insecure Key Types (2026-09-26)
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set).
### Small SSDs causing reweightdown
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
Consider removing from CRUSH or replacing with larger drives.
### Full-Ratios angehoben (Stand 2026-11-15)
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill `ceph-cluster-administration` → planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
### NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out.
Revived via PCI remove/rescan + lvchange -ay -K + chown-Falle am mapper-device.
Details: patterns/ceph-dead-nvme-resurrection (PAT-014). **Update 2026-09-30 (Abend): SMART-
Audit spricht FREI — percentage_used 6 %, media_errors 0, spare 100 %, PoH 1469. Vorfall war
rein Controller-Ebene, kein Media-Verschleiß, KEIN Austausch nötig. Beobachten: Temps 70/78 °C,
thermal throttle T1 3×.**
### ubuntu-Host in /etc/hosts aller PVE-Nodes (2026-09-30)
Ohne DNS-Record wirft die PVE-GUI `hostname lookup 'ubuntu' failed (500)`.
Fix: hosts-Eintrag `10.0.20.100 ubuntu` fleetweit auf allen 8 Nodes.
### worker-04 (VM 139) NotReady in K8s
Node offline — not a Ceph issue but affects Ceph CSI attachments.
## Access
- SSH to Proxmox hosts: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.20.50`
- Ceph commands: `ceph status`, `ceph osd tree`, `ceph pg dump pgs`
- Mon nodes: proxmox5 (leader), proxmox4, ms-a2-1, n5pro
- Mgr: n5pro (active)
## Related Skills
- `ceph-cluster-administration` (devops)
## Related
- [[systems/proxmox-cluster]]
- [[systems/rke2-kubernetes]] (Ceph CSI)