Auto-sync: 2026-11-15
This commit is contained in:
@@ -0,0 +1,57 @@
|
||||
---
|
||||
pattern_id: PAT-020
|
||||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-11-15
|
||||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||||
---
|
||||
|
||||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||||
|
||||
## Symptom
|
||||
|
||||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||||
zusätzlich `backup ended but finished flag is not set`.
|
||||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||||
|
||||
## Root Cause
|
||||
|
||||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||||
|
||||
## Mitigation
|
||||
|
||||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||||
|
||||
## Prevention
|
||||
|
||||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||||
|
||||
## Evidence
|
||||
|
||||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|
||||
Reference in New Issue
Block a user