--- pattern_id: PAT-020 title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand" category: storage severity: high status: active first_observed: 2026-09 last_updated: 2026-11-15 related_systems: [pbs-offsite, pve-cluster, openstack-cinder] related_solution_docs: - docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md - docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response] --- # PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz ## Symptom - PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`. - PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`, zusätzlich `backup ended but finished flag is not set`. - Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store. - GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn. ## Root Cause 1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die `df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS. Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar. 2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen", während echte Änderungen seit Wochen nicht gesichert sind. 3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld); sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…). ## Mitigation - Sofort: `tune2fs -m 1 ` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online). - Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen. - Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren. ## Prevention - Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent. - `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen. - RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit). ## Evidence - 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte 132,7 GiB Pending-Removals → Rescue. (Vorfall 1) - 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.; Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)