--- title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter category: systems tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops] created: "2026-10-19" modified: "2026-10-19" --- # SABnzbd Usenet Downloader + VAAPI AppleTV-Converter ## Überblick SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`). ## Container - **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media//` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne) - **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt - **samba** (Sidecar): SMB-Share `downloads` - Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete) ## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`) - **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media//`. - Naming: ` - YYYY-MM-DD - .ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor). - **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter//`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.) - **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne. - **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`. - Freie Titelformen wie `xxx - - - - - - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke..ext` vornormalisieren (oder manuell einsortieren). - `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren. ## Aufräum-Workflow (nach großen Wellen) 1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd -c sabnzbd -- bash /config/scripts/convert720.sh ""` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr). 2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete). 3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min. 3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung: - `find -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke. - Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei. - Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`! - Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter. 4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein. 5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab. ### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026) - Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media//` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.) - Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh. - 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung. - Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben. ### Serien-Ordner-Kollision durch Groß-/Kleinschreibung - `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB). - Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`. - Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt. - Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren ``** und `Kink.com` → bei manuellem Import/Fix proper nachziehen. ### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt) - **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg). - **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container. - **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen). ## VAAPI / GPU-Encoding - Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend - VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst) - Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s) - CPU-Fallback eingebaut (falls renderD128 fehlt) ## Converter-Pipeline (Design) > **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/ with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen. 1. Postproc (Enqueuer) schreibt Job-File `-.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!) 2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge: - **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!) - **Park-Case** `*/incomplete/*`: nur solange Quelle dort EXISTIERT (`[ -f ]`, v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h - **Resolver**: Quelle nach SAB-Move in `complete/` neu suchen - **Skip-Guard**: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe `-of csv=p=0` QUOTET Komma-Werte — Quotes strippen (v5-Lesson)! - Encode: VAAPI h264 → 720p, Audio → AAC 192k, `-movflags +faststart`, Temp `.converting.mp4`, Rename bei Erfolg 3. Ausgabe neben Quelle in `complete/`; **Originale werden nie gelöscht** (House-Rule) ## Betrieb & Verifikation ```bash kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \ -of default=nokey=1:noprint_wrappers=1 # AppleTV-Check (unquoted!) ``` ## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026** `/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.** 1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea). 2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite` 3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c ` **und** im Pod `grep -c /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.). 4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg). 5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume. Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen. ## Netzwerk / Sicherheit - CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80) - API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen) - Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert) ## Bekannte Issues / Offene Punkte - **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt) - Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design - Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO) - theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED) ## Related Solution Docs - `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)