Files
memory/patterns/ceph-osd-keyring-rotation-reboot.md
2026-10-10 22:00:06 +00:00

3.0 KiB

pattern_id, title, category, severity, status, first_observed, last_updated, related_systems, related_solution_docs, related_skills
pattern_id title category severity status first_observed last_updated related_systems related_solution_docs related_skills
PAT-016 Ceph OSD-Keyring-Rotation: Reboot macht stale lokale Keyrings zur Zeitbombe storage high active 2026-09 2026-10-10
ceph
proxmox
n5pro
ubuntu-host
docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md
proxmox-ve-administration

Ceph OSD-Keyring-Rotation: Stale lokale Keyrings detonieren beim Reboot

Symptom

Nach einem Node-Reboot crashloopen einzelne/alle OSDs eines Hosts:

monclient(hunting): handle_auth_bad_method failed to auth with my available methods: (13) Permission denied
failed to fetch mon config

Innerhalb ~10 Minuten markiert der MON sie down+out → PGs inactive/degraded, Recovery-Churn. Betrifft typischerweise ganze Host-Gruppen, deren OSDs seit der Rotation liefen.

Root Cause

Rotation der MON-Auth-DB auf aes256k (23.09.2026) ändert die Keys in der DB, aber ceph auth get-Ergebnisse werden NICHT automatisch in die lokalen /var/lib/ceph/osd/ceph-<id>/keyring-Files propagiert. Laufende OSDs merken nichts (Session-Tickets bleiben gültig); erst der Neustart erzwingt die Neu-Auth — und scheitert am alten Key. Erkennungsmerkmal: lokaler Key-String beginnt mit AQ… (alt) vs. DB-Key Ag… (rotiert).

Mitigation

# Auf MON: frisches Keyring je betroffenem OSD erzeugen und verteilen
ceph auth get osd.<id> > /tmp/osd.<id>.keyring      # scp → OSD-Host
cp -a /var/lib/ceph/osd/ceph-<id>/keyring{,.bak}    # Backup!
mv /tmp/osd.<id>.keyring /var/lib/ceph/osd/ceph-<id>/keyring
chown ceph:ceph $_; chmod 600 $_
systemctl reset-failed ceph-osd@<id>; systemctl start ceph-osd@<id>

Pitfall 1: Direkter systemctl restart nach Crashloop → Startratelimit („Start request repeated too quickly"). IMMER reset-failed zuerst. Pitfall 2: Währenddessen setzen MONs die OSDs evtl. out → nach Fix prüfen: ceph osd in osd.<id> falls nötig (hier automatisch re-in gegangen). Pitfall 3: ceph-authtool <file> --print-key benötigt -p-Syntax je Version; robuster Key-Extraktionsweg: awk '$1=="key"{print $3}' keyring.

Prevention

  • Vor JEDEM Node-Reboot: Konsistenz-Sweep aller lokalen Keyrings gegen ceph auth get-key (Script: ~/workspace/osd-keyring-fix-2026-10-10/ksweep_local.sh, getestet 10.10.: 17/17 MATCH).
  • Nach jeder Key-Rotation: Sweep als Abschluss-Kriterium, nicht „betroffene Daemons neugestartet".
  • Monitoring-Idee: Cron/Watcher, der Prefix-Differenzen (AQ vs Ag) alarmiert (<60s-Alert-Pflicht).

Evidence

  • 2026-09-28: 5 OSDs auf n5pro + osd.5 (proxmox5) nach Reboot — manueller Keyring-Refresh (erste Detonation)
  • 2026-10-03: osd.17 (ubuntu) — „clusterweit gelöst", aber nur laufende OSDs gepatcht
  • 2026-10-10: osd.7 (proxmox7) + osd.10 (proxmox6) beim ersten Reboot seit Rotation — selbes Fehlerbild, Bestätigung des systemischen Charakters; danach Voll-Sweep 17/17 MATCH
  • Solution Doc: docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md