140 lines
15 KiB
Markdown
140 lines
15 KiB
Markdown
---
|
||
title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||
category: systems
|
||
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
|
||
created: "2026-10-19"
|
||
modified: "2026-10-19"
|
||
---
|
||
|
||
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||
|
||
## Überblick
|
||
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
|
||
|
||
## Container
|
||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
|
||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
|
||
- **samba** (Sidecar): SMB-Share `downloads`
|
||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||
|
||
## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`)
|
||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
|
||
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
|
||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||
|
||
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
|
||
|
||
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
|
||
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
|
||
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
|
||
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
|
||
|
||
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
|
||
|
||
| Baustein | Zweck |
|
||
|---|---|
|
||
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
|
||
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
|
||
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
|
||
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
|
||
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
|
||
|
||
**Zwei Trigger:**
|
||
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
|
||
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
|
||
|
||
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
|
||
|
||
**Pitfalls:**
|
||
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
|
||
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
|
||
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
|
||
|
||
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
|
||
|
||
## Aufräum-Workflow (nach großen Wellen)
|
||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
|
||
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
|
||
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
|
||
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
|
||
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
|
||
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
|
||
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
|
||
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
|
||
|
||
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
|
||
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
|
||
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
|
||
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
|
||
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
|
||
|
||
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
|
||
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
|
||
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
|
||
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
|
||
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
|
||
|
||
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
|
||
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
|
||
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
|
||
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
|
||
|
||
## VAAPI / GPU-Encoding
|
||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
|
||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
|
||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||
|
||
## Converter-Pipeline (Design)
|
||
|
||
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
|
||
|
||
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
|
||
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
|
||
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
|
||
- **Park-Case** `*/incomplete/*`: nur solange Quelle dort EXISTIERT (`[ -f ]`, v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
|
||
- **Resolver**: Quelle nach SAB-Move in `complete/` neu suchen
|
||
- **Skip-Guard**: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe `-of csv=p=0` QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
|
||
- Encode: VAAPI h264 → 720p, Audio → AAC 192k, `-movflags +faststart`, Temp `.converting.mp4`, Rename bei Erfolg
|
||
3. Ausgabe neben Quelle in `complete/`; **Originale werden nie gelöscht** (House-Rule)
|
||
|
||
## Betrieb & Verifikation
|
||
```bash
|
||
kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log
|
||
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
|
||
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
|
||
```
|
||
|
||
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
|
||
|
||
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
|
||
|
||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.).
|
||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||
|
||
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
|
||
|
||
## Netzwerk / Sicherheit
|
||
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
|
||
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
|
||
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
|
||
|
||
## Bekannte Issues / Offene Punkte
|
||
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
|
||
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
|
||
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
|
||
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
|
||
|
||
## Related Solution Docs
|
||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|