2.7 KiB
2.7 KiB
pattern_id, title, category, severity, status, first_observed, last_updated, related_systems, related_solution_docs, related_skills
| pattern_id | title | category | severity | status | first_observed | last_updated | related_systems | related_solution_docs | related_skills | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| PAT-020 | PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand | storage | high | active | 2026-09 | 2026-11-15 |
|
|
|
PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
Symptom
- PVE-Storage (
pvesm status) zeigt 94–95 % und 0 KiB frei;dfim Gast:0 frei, 100 %. - PBS-Journal:
unable to create backup group ... No space left on device (os error 28), zusätzlichbackup ended but finished flag is not set. - Verwirrend: es erscheinen weiterhin neue Snapshots mit aktuellen Daten im Store.
- GC-Tasks laufen mit Status OK, ohne nennenswerten Platzgewinn.
Root Cause
- ext4-Reserved-Blocks (Default 5 %) sind für den PBS-Worker unerreichbar, weil
Datastore-IO als User
backupläuft. Bei 800 GiB Volume sind das ~40 GiB, diedfals „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS. Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar. - Dedup-Volltreffer: Snapshots, deren Chunks alle schon existieren, brauchen nur wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen", während echte Änderungen seit Wochen nicht gesichert sind.
- Kapazität ist nicht über PVE steuerbar (PBS-Storage hat kein
size-Feld); sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
Mitigation
- Sofort:
tune2fs -m 1 <dev>→ ~4 % des Volumes werden nutzbar (nicht-destruktiv, online). - Nachhaltig: Blockdevice vergrößern (Cinder
openstack volume set --size Nmit Microversion ≥ 3.42 für in-use, dannrescan+resize2fsim Gast) oder Retention kürzen. - Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
Prevention
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
tune2fs -m 1bei großen PBS-Datastores sofort nach dem Anlegen.- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
ENOSPC-Historie und den Chunk-Zuwachs (
du -s .chunksüber Zeit).
Evidence
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte 132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
Volume 800→980 GiB +
-m 1→ 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)