Files
memory/patterns/pbs-datastore-full-root-reserve.md
2026-11-15 22:00:25 +00:00

58 lines
2.7 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
pattern_id: PAT-020
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
category: storage
severity: high
status: active
first_observed: 2026-09
last_updated: 2026-11-15
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
related_solution_docs:
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
---
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
## Symptom
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
zusätzlich `backup ended but finished flag is not set`.
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
## Root Cause
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
während echte Änderungen seit Wochen nicht gesichert sind.
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
## Mitigation
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
## Prevention
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
## Evidence
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)