15 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | ||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SABnzbd Usenet Downloader + VAAPI AppleTV-Converter | systems |
|
2026-10-19 | 2026-10-19 |
SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
Überblick
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace sabnzbd auf RKE2, gepinnt auf rke2-worker-05 (einziger GPU-Node). Web/API http://10.0.30.206:8080, SMB \\10.0.30.206\downloads (Sidecar alpine:3.20, fruit/streams_xattr). PVC sabnzbd-config 1 Ti (Ceph-RBD hdd_disk, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — FileSystemResizePending bis Remount), Mount /config. IaC: iac-homelab/clusters/main/sabnzbd/ (ArgoCD-App sabnzbd).
Container
- sabnzbd (LSIO, PUID 1000): Download-Engine, Postproc-Script
convert720.sh(Name historisch; seit v8 = Sorter: sortiert Masters direkt inmedia/<Serie>/+ NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne) - converter (Sidecar,
linuxserver/ffmpeg:latest, privileged): Daemonconverter-daemon.sh, pollt/config/convert-queue/*.joballe 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt - samba (Sidecar): SMB-Share
downloads - Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
Sorter (Stand v12, 29.10.2026, Commit 3dacee6)
- Serien-Ableitung ist seit v10 generisch: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→
He's in Charge); Fallback leitet die Serie aus dem führenden Marken-Token vor einem Datum (Marke.26.09.15.…undMarke.2026-09-15.…) bzw. vor einem E-Code (Lustery.E2240.…) ab → neue Brands landen nicht mehr beiOTHER, sondern automatisch inmedia/<Marke>/. - Naming:
<Serie> - YYYY-MM-DD - <Titel>.ext(ohne Datum, wenn keins im Namen) + gleichnamige.nfo(title/premiered/year/studio/plot/genre/actor). - Kollisionen werden seit v12 dedupliziert: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz ≤2 s → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer →
quarantine/dedup-sorter/<Serie>/. Differenz >2 s → andere Szene, altes(N)-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md.) - Resolution-Gate: <700p oder >1100p → Quarantäne (nie löschen). Junk (
.url,.sfv, Werbung) → Quarantäne. - ⚠️ KEIN Codec-Gate (Stand v12): der Sorter liest nur
stream=height, niecodec_name. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nachmedia/. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit643c318. - Freie Titelformen wie
xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.extparst der Sorter nicht sinnvoll → vor dem Lauf aufMarke.<Titel>.extvornormalisieren (oder manuell einsortieren). exit 0immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
Problem: „Sammler" sind Collection-NZBs, die als Payload weitere .nzb-Dateien enthalten
(z. B. nzbindex.nzb-9 mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
NZBs als gewöhnliche Dateien herunter und reiht sie nicht selbst ein — der Inhalt bleibt liegen.
29.10. lagen 12 solche NZBs in incomplete/ (aus Jobs -9, -10, -7) und 1 in complete/.
Mechanik — /config/tools/nzb_harvest.sh (PVC, überlebt Rollouts):
| Baustein | Zweck |
|---|---|
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
Ledger /config/nzb-inbox/.ledger (sha256[:16] pro Zeile) |
Idempotenz, nie zweimal einreihen |
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen media/<Serie>/ → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
mode=addlocalfile + script=convert720.sh |
einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
Drop-Inbox /config/downloads/nzb-drop (SMB: downloads/nzb-drop) |
manuell abgelegte NZBs; nach Erfolg → nzb-drop/.added/ |
Zwei Trigger:
- Postproc-Hook im Sorter (Zeilen 17–23,
convert720.sh, Commitd7a9fd9): direkt nachmkdir -p "$MEDIA" "$QUAR", also vor jeder anderen Verarbeitung — greift bei erfolgreich abgeschlossenen Jobs. Log:/config/logs/nzb_harvest.log. - Hermes-Cron
cbe8b52009a2(alle 15 min,no_agent, Script~/.hermes/scripts/nzb_harvest_cron.sh): Sweep überincomplete/+complete/+nzb-drop/— fängt gescheiterte oder abgebrochene Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm beikubectl-Fehlern max. 1×/6 h.
Manuell: kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]
Pitfalls:
- API von
127.0.0.1:8080braucht-H "Host: sabnzbd"— sonst blockthost_whitelist(nursabnzbd,sabnzbd.local,10.0.30.206). - Der Bibliotheks-Guard matcht Serien-Ordner + ISO-Datum; Szenen ohne Datum im Namen (z. B.
MaxineX - Velvet Skye … Part 3) laufen daran vorbei und werden normal eingereiht. - Reihenfolge ist wichtig: Harvest vor der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
Stand 29.10.2026: 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend (wird beim Fertigwerden von Job -9 automatisch gegriffen).
Aufräum-Workflow (nach großen Wellen)
- Sorter je Job-Ordner laufen lassen:
kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"(auch fürincomplete/-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr). - Dedupe: Gruppen über Basisname ohne
(N); Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer →quarantine/dedup2/(kein Delete). - HEVC → h264 (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI
-vaapi_devicevor-i,-vf format=nv12,hwupload,-c:v h264_vaapi -qp 21, Audio-c:a copy(AAC),-movflags +faststart; Original nach/config/transcode-originals/. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min. 3b.incomplete/-Ordner mit StatusFailed(Reparatur fehlgeschlagen) gefahrlos räumen — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l→ bei 0 enthält der Ordner nur Rar/Par2-Blöcke.- Set-Namen aus den Rar-Dateinamen ableiten (
abc.part07.rar→abc) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026:nzbindex-5(7 Sets),Devicebondage(6),nzbindex-10(8) → 21/21 gedeckt, 96,75 GB frei. - Vorher prüfen, dass der Job nicht in der Queue steht (
mode=queue) — SAB benennt das Verzeichnis nach dem NZB-Namen,nzbindex-10≠nzbindex.nzb-10! - Große
du-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße preallokiert (du -sb= apparent size), echtedf-Differenz liegt deutlich darunter.
- NFO-Abdeckung prüfen:
for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done→ muss leer sein. - Jellyfin
POST /Library/Refresheinmal; wiederholte POSTs brechen einen laufenden Scan ab.
Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich einzigartige Dateien werden as-is nach
media/<Serie>/importiert — kein Upscaling, keine Neukodierung. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.) - Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s und Head/Tail-Hash gegen die Bibliothek), dann
mv+ gleichnamige.nfomit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" +chown 1000:1000, danach genau ein Jellyfin-Refresh. - 29.10. importiert: 3× PureTaboo (544/576p aus
milfan-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung. - Der Import läuft am Sorter vorbei: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach
quarantine/schieben.
Serien-Ordner-Kollision durch Groß-/Kleinschreibung
Maxinex/vsMaxineX/: der generische Sorter-Fallback erzeugteMaxinex(cap_words), die explizite Mapping-Stufe späterMaxineX. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei identischem Zielnamen, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).- Erkennung:
ls media | awk '{print tolower($0)}' | sort | uniq -d. - Auflösung 29.10.: HEVC-Duplikat →
quarantine/dedup-sorter/MaxineX/, h264-Keeper (1,55 GB, 1080p) nachMaxineX/, leerer Ordner entfernt. - Nebenbefund: automatisch generierte NFOs unbekannter Marken haben leeren
<plot>und<studio>Kink.com</studio>→ bei manuellem Import/Fix proper nachziehen.
Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
- Pod-Rollout killt laufende Transcodes: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: erst Deploy abschließen, dann transcodieren — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein
_tmp_*.mp4untertranscode-originals/; Originale bleiben intakt (das Script machtmverst nach Erfolg). - Container-Trennung:
convert720.shliegt nur im sabnzbd-Container (/config/scripts/),ffmpeg/VAAPI nur im converter-Sidecar. Sortieren →-c sabnzbd, Transcoden →-c converter.kubectl cpbraucht-c converter, sonst landet die Datei im falschen Container. - faststart-Prüfung nicht mit Byte-Sniffing: Ein 200-KB-Fenster reicht nicht —
moovwächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das Atom-Ketten-Lesen (ftyp→moov→free→mdat, Size-Felder springen).
VAAPI / GPU-Encoding
- Nur worker-05 (10.0.30.65) besitzt
/dev/dri/renderD128(AMD Granite Ridge, render-GID 991) — worker-04 hat KEINEN render-Node → Pin zwingend - VAAPI in Pods erfordert
privileged: true(Devices-Cgroup blockt hostPath-Device-Nodes sonst) - Encoder: h264_vaapi/hevc_vaapi, 5.7× schneller als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
- CPU-Fallback eingebaut (falls renderD128 fehlt)
Converter-Pipeline (Design)
⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr. Commit
643c318(„sorter->media/ with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon imconverter-Sidecar läuft seither leer (/config/convert-queuedauerhaft 0 Jobs,pszeigt nursleep 20) — Transcodes passieren nur noch manuell per Skript. Konsequenz: HEVC/x265 landet ungefiltert inmedia/(Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue,TARGET_Him Daemon auf 1080 (heute 720), Original-Sicherung inencode_one(heute überschreibtdst=.mp4das Original!), und beides braucht einen Rollout → nur bei leerer Queue deployen.
- Postproc (Enqueuer) schreibt Job-File
<ts>-<safe>.job(Zeile 1: Quelldatei) nach/config/convert-queue/, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!) - Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
- Partials-Discard (
.converting.*) — VOR dem Park-Case (v4-Lesson: case-Order!) - Park-Case
*/incomplete/*: nur solange Quelle dort EXISTIERT ([ -f ], v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h - Resolver: Quelle nach SAB-Move in
complete/neu suchen - Skip-Guard: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe
-of csv=p=0QUOTET Komma-Werte — Quotes strippen (v5-Lesson)! - Encode: VAAPI h264 → 720p, Audio → AAC 192k,
-movflags +faststart, Temp.converting.mp4, Rename bei Erfolg
- Partials-Discard (
- Ausgabe neben Quelle in
complete/; Originale werden nie gelöscht (House-Rule)
Betrieb & Verifikation
kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
Rollout-Rezept (Skript-Änderung) — korrigiert 29.10.2026
/config/scripts ist ein readOnly-ConfigMap-Mount (postproc-scripts → sabnzbd-postproc-script), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.
- Skript in
configmap.yamlpatchen, Commit + Push (Gitea). kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite- Nach ~50 s prüfen:
kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>und im Podgrep -c <neues-token> /config/scripts/convert720.sh— ArgoCD hat den CM direkt aktualisiert (keindelete cmnötig, Stand ArgoCD 29.10.). - Kein
converter-script-version-Bump und kein Restart für Sorter-Änderungen — der Bump betrifft nur denconverter-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg). /config/scripts/ist read-only —kubectl cpdorthin schlägt mitRead-only file systemfehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
Netzwerk / Sicherheit
- CNP
sabnzbd-lan-only: Ingress von world/host/remote-node (SNAT macht VIP-Clients zuworld), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80) - API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung
local_rangesoffen) - Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
Bekannte Issues / Offene Punkte
- Usenet.Farm Block leer (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
Related Solution Docs
~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md(ffprobe-Quoting, case-Order, Stale-Parking)