Auto-sync: 2026-11-15
This commit is contained in:
@@ -0,0 +1,57 @@
|
||||
---
|
||||
pattern_id: PAT-020
|
||||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-11-15
|
||||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||||
---
|
||||
|
||||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||||
|
||||
## Symptom
|
||||
|
||||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||||
zusätzlich `backup ended but finished flag is not set`.
|
||||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||||
|
||||
## Root Cause
|
||||
|
||||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||||
|
||||
## Mitigation
|
||||
|
||||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||||
|
||||
## Prevention
|
||||
|
||||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||||
|
||||
## Evidence
|
||||
|
||||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|
||||
@@ -49,3 +49,4 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
| 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md |
|
||||
| 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md |
|
||||
| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md |
|
||||
|
||||
Reference in New Issue
Block a user