Auto-sync: 2026-10-10
This commit is contained in:
@@ -0,0 +1,50 @@
|
||||
---
|
||||
pattern_id: PAT-016
|
||||
title: "Ceph OSD-Keyring-Rotation: Reboot macht stale lokale Keyrings zur Zeitbombe"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-10-10
|
||||
related_systems: [ceph, proxmox, n5pro, ubuntu-host]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md
|
||||
related_skills: [proxmox-ve-administration]
|
||||
---
|
||||
|
||||
# Ceph OSD-Keyring-Rotation: Stale lokale Keyrings detonieren beim Reboot
|
||||
|
||||
## Symptom
|
||||
Nach einem Node-Reboot crashloopen einzelne/alle OSDs eines Hosts:
|
||||
```
|
||||
monclient(hunting): handle_auth_bad_method failed to auth with my available methods: (13) Permission denied
|
||||
failed to fetch mon config
|
||||
```
|
||||
Innerhalb ~10 Minuten markiert der MON sie `down`+`out` → PGs inactive/degraded, Recovery-Churn. Betrifft typischerweise ganze Host-Gruppen, deren OSDs seit der Rotation liefen.
|
||||
|
||||
## Root Cause
|
||||
Rotation der MON-Auth-DB auf aes256k (23.09.2026) ändert die Keys **in der DB**, aber `ceph auth get`-Ergebnisse werden NICHT automatisch in die lokalen `/var/lib/ceph/osd/ceph-<id>/keyring`-Files propagiert. Laufende OSDs merken nichts (Session-Tickets bleiben gültig); erst der Neustart erzwingt die Neu-Auth — und scheitert am alten Key. Erkennungsmerkmal: lokaler Key-String beginnt mit `AQ…` (alt) vs. DB-Key `Ag…` (rotiert).
|
||||
|
||||
## Mitigation
|
||||
```bash
|
||||
# Auf MON: frisches Keyring je betroffenem OSD erzeugen und verteilen
|
||||
ceph auth get osd.<id> > /tmp/osd.<id>.keyring # scp → OSD-Host
|
||||
cp -a /var/lib/ceph/osd/ceph-<id>/keyring{,.bak} # Backup!
|
||||
mv /tmp/osd.<id>.keyring /var/lib/ceph/osd/ceph-<id>/keyring
|
||||
chown ceph:ceph $_; chmod 600 $_
|
||||
systemctl reset-failed ceph-osd@<id>; systemctl start ceph-osd@<id>
|
||||
```
|
||||
**Pitfall 1:** Direkter `systemctl restart` nach Crashloop → Startratelimit („Start request repeated too quickly"). IMMER `reset-failed` zuerst.
|
||||
**Pitfall 2:** Währenddessen setzen MONs die OSDs evtl. `out` → nach Fix prüfen: `ceph osd in osd.<id>` falls nötig (hier automatisch re-in gegangen).
|
||||
**Pitfall 3:** `ceph-authtool <file> --print-key` benötigt `-p`-Syntax je Version; robuster Key-Extraktionsweg: `awk '$1=="key"{print $3}' keyring`.
|
||||
|
||||
## Prevention
|
||||
- **Vor JEDEM Node-Reboot**: Konsistenz-Sweep aller lokalen Keyrings gegen `ceph auth get-key` (Script: `~/workspace/osd-keyring-fix-2026-10-10/ksweep_local.sh`, getestet 10.10.: 17/17 MATCH).
|
||||
- Nach jeder Key-Rotation: Sweep als Abschluss-Kriterium, nicht „betroffene Daemons neugestartet".
|
||||
- Monitoring-Idee: Cron/Watcher, der Prefix-Differenzen (AQ vs Ag) alarmiert (<60s-Alert-Pflicht).
|
||||
|
||||
## Evidence
|
||||
- 2026-09-28: 5 OSDs auf n5pro + osd.5 (proxmox5) nach Reboot — manueller Keyring-Refresh (erste Detonation)
|
||||
- 2026-10-03: osd.17 (ubuntu) — „clusterweit gelöst", aber nur laufende OSDs gepatcht
|
||||
- 2026-10-10: osd.7 (proxmox7) + osd.10 (proxmox6) beim ersten Reboot seit Rotation — selbes Fehlerbild, Bestätigung des systemischen Charakters; danach Voll-Sweep 17/17 MATCH
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md`
|
||||
Reference in New Issue
Block a user