Auto-sync: 2026-11-15

This commit is contained in:
Dominik Schön
2026-11-15 22:00:25 +00:00
parent 34457272d0
commit 668501c330
7 changed files with 206 additions and 26 deletions
@@ -0,0 +1,57 @@
---
pattern_id: PAT-020
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
category: storage
severity: high
status: active
first_observed: 2026-09
last_updated: 2026-11-15
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
related_solution_docs:
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
---
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
## Symptom
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
zusätzlich `backup ended but finished flag is not set`.
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
## Root Cause
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
während echte Änderungen seit Wochen nicht gesichert sind.
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
## Mitigation
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
## Prevention
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
## Evidence
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)