58 lines
2.7 KiB
Markdown
58 lines
2.7 KiB
Markdown
---
|
||
pattern_id: PAT-020
|
||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||
category: storage
|
||
severity: high
|
||
status: active
|
||
first_observed: 2026-09
|
||
last_updated: 2026-11-15
|
||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||
related_solution_docs:
|
||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||
---
|
||
|
||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||
|
||
## Symptom
|
||
|
||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||
zusätzlich `backup ended but finished flag is not set`.
|
||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||
|
||
## Root Cause
|
||
|
||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||
|
||
## Mitigation
|
||
|
||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||
|
||
## Prevention
|
||
|
||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||
|
||
## Evidence
|
||
|
||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|