Files
memory/systems/sabnzbd.md
T

13 KiB
Raw Blame History

title, category, tags, created, modified
title category tags created modified
SABnzbd Usenet Downloader + VAAPI AppleTV-Converter systems
sabnzbd
usenet
k8s
vaapi
ffmpeg
appletv
smb
argocd-gitops
2026-10-19 2026-10-19

SABnzbd Usenet Downloader + VAAPI AppleTV-Converter

Überblick

SABnzbd 5.1.3 (LinuxServer-Image) im Namespace sabnzbd auf RKE2, gepinnt auf rke2-worker-05 (einziger GPU-Node). Web/API http://10.0.30.206:8080, SMB \\10.0.30.206\downloads (Sidecar alpine:3.20, fruit/streams_xattr). PVC sabnzbd-config 1 Ti (Ceph-RBD hdd_disk, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — FileSystemResizePending bis Remount), Mount /config. IaC: iac-homelab/clusters/main/sabnzbd/ (ArgoCD-App sabnzbd).

Container

  • sabnzbd (LSIO, PUID 1000): Download-Engine, Postproc-Script convert720.sh (Name historisch; seit v8 = Sorter: sortiert Masters direkt in media/<Serie>/ + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
  • converter (Sidecar, linuxserver/ffmpeg:latest, privileged): Daemon converter-daemon.sh, pollt /config/convert-queue/*.job alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
  • samba (Sidecar): SMB-Share downloads
  • Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)

Sorter (Stand v12, 29.10.2026, Commit 3dacee6)

  • Serien-Ableitung ist seit v10 generisch: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→He's in Charge); Fallback leitet die Serie aus dem führenden Marken-Token vor einem Datum (Marke.26.09.15.… und Marke.2026-09-15.…) bzw. vor einem E-Code (Lustery.E2240.…) ab → neue Brands landen nicht mehr bei OTHER, sondern automatisch in media/<Marke>/.
  • Naming: <Serie> - YYYY-MM-DD - <Titel>.ext (ohne Datum, wenn keins im Namen) + gleichnamige .nfo (title/premiered/year/studio/plot/genre/actor).
  • Kollisionen werden seit v12 dedupliziert: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz ≤2 s → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → quarantine/dedup-sorter/<Serie>/. Differenz >2 s → andere Szene, altes (N)-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc ~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md.)
  • Resolution-Gate: <700p oder >1100p → Quarantäne (nie löschen). Junk (.url, .sfv, Werbung) → Quarantäne.
  • ⚠️ KEIN Codec-Gate (Stand v12): der Sorter liest nur stream=height, nie codec_name. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach media/. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit 643c318.
  • Freie Titelformen wie xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext parst der Sorter nicht sinnvoll → vor dem Lauf auf Marke.<Titel>.ext vornormalisieren (oder manuell einsortieren).
  • exit 0 immer: ein Sortierfehler darf einen Download nie als „failed" markieren.

Aufräum-Workflow (nach großen Wellen)

  1. Sorter je Job-Ordner laufen lassen: kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>" (auch für incomplete/-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
  2. Dedupe: Gruppen über Basisname ohne (N); Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → quarantine/dedup2/ (kein Delete).
  3. HEVC → h264 (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI -vaapi_device vor -i, -vf format=nv12,hwupload, -c:v h264_vaapi -qp 21, Audio -c:a copy (AAC), -movflags +faststart; Original nach /config/transcode-originals/. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min. 3b. incomplete/-Ordner mit Status Failed (Reparatur fehlgeschlagen) gefahrlos räumen — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
    • find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l → bei 0 enthält der Ordner nur Rar/Par2-Blöcke.
    • Set-Namen aus den Rar-Dateinamen ableiten (abc.part07.rar → abc) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: nzbindex-5 (7 Sets), Devicebondage (6), nzbindex-10 (8) → 21/21 gedeckt, 96,75 GB frei.
    • Vorher prüfen, dass der Job nicht in der Queue steht (mode=queue) — SAB benennt das Verzeichnis nach dem NZB-Namen, nzbindex-10 ≠ nzbindex.nzb-10!
    • Große du-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße preallokiert (du -sb = apparent size), echte df-Differenz liegt deutlich darunter.
  4. NFO-Abdeckung prüfen: for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done → muss leer sein.
  5. Jellyfin POST /Library/Refresh einmal; wiederholte POSTs brechen einen laufenden Scan ab.

Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)

  • Vom Resolution-Gate (<700p) aussortierte, inhaltlich einzigartige Dateien werden as-is nach media/<Serie>/ importiert — kein Upscaling, keine Neukodierung. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
  • Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s und Head/Tail-Hash gegen die Bibliothek), dann mv + gleichnamige .nfo mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + chown 1000:1000, danach genau ein Jellyfin-Refresh.
  • 29.10. importiert: 3× PureTaboo (544/576p aus milfan-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
  • Der Import läuft am Sorter vorbei: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach quarantine/ schieben.

Serien-Ordner-Kollision durch Groß-/Kleinschreibung

  • Maxinex/ vs MaxineX/: der generische Sorter-Fallback erzeugte Maxinex (cap_words), die explizite Mapping-Stufe später MaxineX. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei identischem Zielnamen, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
  • Erkennung: ls media | awk '{print tolower($0)}' | sort | uniq -d.
  • Auflösung 29.10.: HEVC-Duplikat → quarantine/dedup-sorter/MaxineX/, h264-Keeper (1,55 GB, 1080p) nach MaxineX/, leerer Ordner entfernt.
  • Nebenbefund: automatisch generierte NFOs unbekannter Marken haben leeren <plot> und <studio>Kink.com</studio> → bei manuellem Import/Fix proper nachziehen.

Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)

  • Pod-Rollout killt laufende Transcodes: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: erst Deploy abschließen, dann transcodieren — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein _tmp_*.mp4 unter transcode-originals/; Originale bleiben intakt (das Script macht mv erst nach Erfolg).
  • Container-Trennung: convert720.sh liegt nur im sabnzbd-Container (/config/scripts/), ffmpeg/VAAPI nur im converter-Sidecar. Sortieren → -c sabnzbd, Transcoden → -c converter. kubectl cp braucht -c converter, sonst landet die Datei im falschen Container.
  • faststart-Prüfung nicht mit Byte-Sniffing: Ein 200-KB-Fenster reicht nicht — moov wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das Atom-Ketten-Lesen (ftyp→moov→free→mdat, Size-Felder springen).

VAAPI / GPU-Encoding

  • Nur worker-05 (10.0.30.65) besitzt /dev/dri/renderD128 (AMD Granite Ridge, render-GID 991) — worker-04 hat KEINEN render-Node → Pin zwingend
  • VAAPI in Pods erfordert privileged: true (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
  • Encoder: h264_vaapi/hevc_vaapi, 5.7× schneller als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
  • CPU-Fallback eingebaut (falls renderD128 fehlt)

Converter-Pipeline (Design)

⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr. Commit 643c318 („sorter->media/ with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im converter-Sidecar läuft seither leer (/config/convert-queue dauerhaft 0 Jobs, ps zeigt nur sleep 20) — Transcodes passieren nur noch manuell per Skript. Konsequenz: HEVC/x265 landet ungefiltert in media/ (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, TARGET_H im Daemon auf 1080 (heute 720), Original-Sicherung in encode_one (heute überschreibt dst=.mp4 das Original!), und beides braucht einen Rollout → nur bei leerer Queue deployen.

  1. Postproc (Enqueuer) schreibt Job-File <ts>-<safe>.job (Zeile 1: Quelldatei) nach /config/convert-queue/, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
  2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
    • Partials-Discard (.converting.*) — VOR dem Park-Case (v4-Lesson: case-Order!)
    • Park-Case */incomplete/*: nur solange Quelle dort EXISTIERT ([ -f ], v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
    • Resolver: Quelle nach SAB-Move in complete/ neu suchen
    • Skip-Guard: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe -of csv=p=0 QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
    • Encode: VAAPI h264 → 720p, Audio → AAC 192k, -movflags +faststart, Temp .converting.mp4, Rename bei Erfolg
  3. Ausgabe neben Quelle in complete/; Originale werden nie gelöscht (House-Rule)

Betrieb & Verifikation

kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50   # Daemon-Log
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
  -of default=nokey=1:noprint_wrappers=1 <mp4>                   # AppleTV-Check (unquoted!)

Rollout-Rezept (Skript-Änderung) — korrigiert 29.10.2026

/config/scripts ist ein readOnly-ConfigMap-Mount (postproc-scripts → sabnzbd-postproc-script), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.

  1. Skript in configmap.yaml patchen, Commit + Push (Gitea).
  2. kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite
  3. Nach ~50 s prüfen: kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token> und im Pod grep -c <neues-token> /config/scripts/convert720.sh — ArgoCD hat den CM direkt aktualisiert (kein delete cm nötig, Stand ArgoCD 29.10.).
  4. Kein converter-script-version-Bump und kein Restart für Sorter-Änderungen — der Bump betrifft nur den converter-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
  5. /config/scripts/ ist read-only — kubectl cp dorthin schlägt mit Read-only file system fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.

Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.

Netzwerk / Sicherheit

  • CNP sabnzbd-lan-only: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu world), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
  • API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung local_ranges offen)
  • Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)

Bekannte Issues / Offene Punkte

  • Usenet.Farm Block leer (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
  • Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
  • Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
  • theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
  • ~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md (ffprobe-Quoting, case-Order, Stale-Parking)