sabnzbd: Sorter v12, Low-Res-Import-Policy, MaxineX-Kollision, HEVC-Enqueuer-Luecke (29.10.)

This commit is contained in:
Dominik Schön
2026-10-29 12:38:50 +00:00
parent edb65794ac
commit 807dc2b396
4 changed files with 152 additions and 16 deletions
+54 -6
View File
@@ -12,11 +12,49 @@ modified: "2026-10-19"
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
## Container
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne; Mappings zusätzlich Deeper/AnalVids/BFTP18)
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
- **samba** (Sidecar): SMB-Share `downloads`
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`)
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
## Aufräum-Workflow (nach großen Wellen)
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
## VAAPI / GPU-Encoding
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
@@ -24,6 +62,9 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
- CPU-Fallback eingebaut (falls renderD128 fehlt)
## Converter-Pipeline (Design)
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
@@ -41,10 +82,17 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
```
## Rollout-Rezept (Skript-Änderung)
1. Skript in `configmap.yaml` patchen + `sabnzbd/converter-script-version: "N+1"` im Deployment bumpen (bash liest Skript nur beim Start)
2. Commit + Push (Gitea) → `kubectl -n sabnzbd delete cm sabnzbd-postproc-script sabnzbd-converter-script` (ArgoCD-SSA-Hot-Update-Limitierung)
3. `kubectl annotate application sabnzbd -n argocd argocd.argoproj.io/refresh=normal --overwrite` → neuer Pod, Daemon startet mit neuem Skript
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.).
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
## Netzwerk / Sicherheit
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)