Files
memory/patterns/pbs-datastore-full-root-reserve.md
T
2026-11-15 22:00:25 +00:00

2.7 KiB
Raw Blame History

pattern_id, title, category, severity, status, first_observed, last_updated, related_systems, related_solution_docs, related_skills
pattern_id title category severity status first_observed last_updated related_systems related_solution_docs related_skills
PAT-020 PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand storage high active 2026-09 2026-11-15
pbs-offsite
pve-cluster
openstack-cinder
docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
devops/proxmox-ve-administration
devops/volume-capacity-incident-response

PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz

Symptom

  • PVE-Storage (pvesm status) zeigt 94–95 % und 0 KiB frei; df im Gast: 0 frei, 100 %.
  • PBS-Journal: unable to create backup group ... No space left on device (os error 28), zusätzlich backup ended but finished flag is not set.
  • Verwirrend: es erscheinen weiterhin neue Snapshots mit aktuellen Daten im Store.
  • GC-Tasks laufen mit Status OK, ohne nennenswerten Platzgewinn.

Root Cause

  1. ext4-Reserved-Blocks (Default 5 %) sind für den PBS-Worker unerreichbar, weil Datastore-IO als User backup läuft. Bei 800 GiB Volume sind das ~40 GiB, die df als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS. Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
  2. Dedup-Volltreffer: Snapshots, deren Chunks alle schon existieren, brauchen nur wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen", während echte Änderungen seit Wochen nicht gesichert sind.
  3. Kapazität ist nicht über PVE steuerbar (PBS-Storage hat kein size-Feld); sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).

Mitigation

  • Sofort: tune2fs -m 1 <dev> → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
  • Nachhaltig: Blockdevice vergrößern (Cinder openstack volume set --size N mit Microversion ≥ 3.42 für in-use, dann rescan + resize2fs im Gast) oder Retention kürzen.
  • Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.

Prevention

  • Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
  • tune2fs -m 1 bei großen PBS-Datastores sofort nach dem Anlegen.
  • RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die ENOSPC-Historie und den Chunk-Zuwachs (du -s .chunks über Zeit).

Evidence

  • 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte 132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
  • 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.; Volume 800→980 GiB + -m 1 → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)