Files
memory/systems/sabnzbd.md
T
2026-11-01 22:00:25 +00:00

268 lines
29 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
category: systems
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
created: "2026-10-19"
modified: "2026-11-01"
---
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
## Überblick
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
## Container
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
- **samba** (Sidecar): SMB-Share `downloads`
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
## Sorter (Stand v13, 01.11.2026, Commit `a27c85e`)
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
**v13 (01.11.2026) — vier Studios ergänzt:** `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles`.
Wichtig dabei: `*angelogodshack*` **Wildcard** (LegalPorno postet als `LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P`),
`^legalporno[._-][0-9]{4}[._-]` im `norm_title` strippen, und Junk-Token `p0rnl0v3r` (Zahl-3-Schreibweise).
Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (`Submissed - 2026-07-26 - Dragon Fruit.mp4`, `AngeloGodshack - Nikol Raklova.mp4`).
## NZB-Beschaffung (Quellen-Lage 01.11.2026)
| Quelle | Status |
|---|---|
| `nzbindex.com` | Suche (JSON-API) ok, **jeder Download-Pfad 404** → unbrauchbar |
| `nzbking.com` | NZB-Download ok, aber für die Ziel-Posts nur **.par2** indexiert → unbrauchbar |
| `binsearch.info` | **funktioniert**: Suche-HTML + echter NZB-Download |
```bash
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
# Einreihen ohne Drop-Ordner-Race:
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
--data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
--data-urlencode "apikey=$KEY" --data-urlencode "output=json"
```
**Pitfall:** NZB in `nzb-drop/` legen + Harvest-Cron ist eine **Race** — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). `mode=addurl` liefert eine `nzo_id` und umgeht den Ordner.
**Suchterm-Regel:** binsearch UND-verknüpft die Wörter eines Terms — `pascals.sub.sluts` findet nichts, `pascals` 17 Posts, `angelogodshack` 23, `submissed` 26. Immer **einen kurzen, unterscheidbaren Token ohne Punkte** nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort **gar nicht** indexiert — nicht mit ähnlichen Treffern auffüllen.
**Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge):** `nzb_sweep.py` (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → `nzb_plan_filter.py` (Dedupe gegen `media/` über Datum+Performer; ohne Datum nur Performer) → `queue_sweep.sh` (`mode=addurl`). `"status":true` ohne Leerzeichen — Erfolg am `nzo_ids`-Key prüfen, nicht am Status-Text.
SolDoc `~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md`.
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
| Baustein | Zweck |
|---|---|
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
**Zwei Trigger:**
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
### Sorter-Sweep-Watchdog (seit 01.11.2026)
Cron `57900310b6e5` (alle 30 min, `no_agent`, `~/.hermes/scripts/sab_sorter_sweep.sh`) läuft `convert720.sh` über jede **ruhige** Unterordner von `complete/` (mtime > 20 min, keine `_UNPACK_`/`_FAILED_`/`_ADDFROM`-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei `bewegt=0`.
**Container-Pitfall:** Das Sorter-Skript liegt als CM-Mount nur im **`sabnzbd`**-Container (`/config/scripts/convert720.sh`), **nicht** im `converter` — dort ist nur `/config/tools/ffprobe` (PVC) erreichbar. Sweep daher mit `-c sabnzbd`; `converter` liefert `sh: /config/scripts/convert720.sh: not found`.
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
**Pitfalls:**
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
## Provider-Störungen & Reparatur-Fehler (31.10.2026)
**Symptom:** Massenhaft `Failed: Reparatur fehlgeschlagen. Nicht genug Reparatur-Blöcke vorhanden` über Nacht bei 2012–2017-Releases.
**Ursache #1 (falsch-positiv):** **Usenet.Farm-Block leer** → Server antwortet `482 Your block account is fully used`; SAB wertet die 482-Antwort als „Artikel fehlt" und deklariert NZBs als unfixbar, obwohl PureUsenet die Artikel hat. Prüfen: `mode=warnings` zeigt die 482-Meldungen. Fix:
```bash
# API-Semantik: keyword=<SERVERNAME> value=<FELD> <feld>=<wert>
curl -sk "http://10.0.30.206:8080/api?apikey=$KEY&mode=set_config&section=servers&keyword=news.usenet.farm&value=enable&enable=0"
# Falsch: keyword=name&value=news.usenet.farm → erzeugt Phantom-Server "name" (mit mode=del_config&section=servers&keyword=name wieder löschen)
```
Danach `mode=retry&value=<nzo_id>` (**nicht** `mode=history&name=retry` — das liefert nur den History-Blob und macht nichts).
**Ursache #2 (echt tot):** Artikel provider-seitig gelöscht (Retention). **Beweis: identische Fehlblock-Zahl vor/nach Retry** → kein Repost auf nzbindex/nzbking vorhanden → endgültig aufgeben, kein dritter Versuch.
**Teilsalvage lohnt nicht:** `unrar x -kb` liefert bei kleinen Defiziten (17 Blöcke bei 848 MB) zwar 94 % der Bytes, aber **2373 Decode-Fehler** (invalid NAL units) — Video unbrauchbar. Nur bei reinen Datei-Enden (letzte Sekunden) wäre es vertretbar.
**NZB-QC vor Enqueue (Pflicht):** Segment-Bytes-Summe per Regex `<segment[^>]*bytes="(\d+)"` gegen Anzeige-Größe ±6 % prüfen; `.part0X`/`.rXX`/`-sample` im **Namen** sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart `mode=addfile` an `/sabnzbd/api` scheitert am HTML-Redirect — **Watchdir `nzb-drop` mit `kubectl cp` ist der zuverlässige Weg**.
## Provider-Fenster 430-Welle (01.11.2026)
**Symptom:** 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.
**Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket):** AUTH ok → `group` ok → `head <hotNummer>` → **430** auf allen Gruppen/Posters/Nummern, während `stat <gleicheNummer>` → **223 ok**. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.
**Bedien-Fallstricke:** Manual-Probes stoßen an `502 Too many connections` (SAB hält alle Slots) → vorher `set_config section=servers keyword=news.pureusenet.nl connections=6` (danach restore auf 20). History-Rows mit Status `Queued`/`Verifying` und **leerer** fail_message = Postprocessing läuft — **keine Fails**, nicht deleten!
**Recovery nach Fenster:** individuelles `mode=retry&value=<nzo_id>` (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.
## Quarantäne-Inventar (01.11.2026, 163 GB)
Erhoben mit `qcov2.py` (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen `media/`):
| Klasse | Dateien | GB | Bedeutung |
|---|---|---|---|
| A-safe | 62 | 91,9 | exakte Dublette (Dauer ±2 s), Gegenstück in `media/` **gleich oder höher** aufgelöst → löschbar nach GO |
| A-master | 6 | 42,3 | 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten |
| B | 3 | 2,6 | gleiche Szene, **andere Dauer** (2 Samples à 61 s + `NewSensations - Sage Hunter` 1982 s vs 3075 s) → Review |
| C | 17 | 43,5 | kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p) |
| D | 0 | 0 | nicht lesbar |
Summe der Dateigrößen (180 GB) > `du` (163 GB) — apparent vs. belegte Blöcke, kein Fehler.
Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
## Aufräum-Workflow (nach großen Wellen)
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
- **Faststart-Gate im Batch braucht ≥16 MB Fenster** (30.10. teuer): gemessen `moov`-Ende 61 min 1080p = **3,18 MB**, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein `mdat` mehr → der Job verwirft **fertige, korrekte** Encodes als `FAIL faststart` (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: `moov` muss gefunden werden, `mdat` nur prüfen *falls* im Fenster. SolDoc: `docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md`.
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
## VAAPI / GPU-Encoding
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
- CPU-Fallback eingebaut (falls renderD128 fehlt)
## Converter-Pipeline (Design)
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
- **Park-Case** `*/incomplete/*`: nur solange Quelle dort EXISTIERT (`[ -f ]`, v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
- **Resolver**: Quelle nach SAB-Move in `complete/` neu suchen
- **Skip-Guard**: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe `-of csv=p=0` QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
- Encode: VAAPI h264 → 720p, Audio → AAC 192k, `-movflags +faststart`, Temp `.converting.mp4`, Rename bei Erfolg
3. Ausgabe neben Quelle in `complete/`; **Originale werden nie gelöscht** (House-Rule)
## Betrieb & Verifikation
```bash
kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
```
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh`.
> **Korrektur 01.11.2026:** Der CM selbst ist nach ~6 s aktuell (`Synced <rev>`), der **Pod-Mount blieb aber stale** (Symlink zeigte >5 min auf den alten `..data`-Snapshot; auch `delete cm` half nicht). Verlässlich: `kubectl -n sabnzbd rollout restart deploy/sabnzbd` → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach `script =`-Setting in der ini erneut prüfen.
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
## HEVC-Bibliothekslauf (30.10.2026, laufend)
**Ziel:** alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript `/tmp/hevc_library2.sh` (detached via `setsid nohup` im converter-Sidecar), Manifest `/config/_hevc_manifest.jsonl` (append-only, Audit-Trail), Log `/config/_hevc_library.log`, Remux-Log `/config/_remux_hvc1.log`.
- **`-tag:v hvc1` ist Pflicht.** Apple/QuickTime/AVFoundation spielt HEVC nur als `hvc1`, ffmpeg-Default `hev1` wird verweigert. Bestand reparieren: `ffmpeg -c copy -tag:v hvc1 -movflags +faststart` (lossless).
- **Manifest ist die Wahrheit**, nicht das Log. Statusfragen daraus beantworten (`rel`, `before`, `after`, `dur`, `h`).
- Nach In-Place-Ersetzung ist Jellyfins `MediaStreams` stale (meldet alten h264 + alte Größe) → Client bricht ab; **ein** `POST /Library/Refresh` reicht (danach hevc sichtbar).
- GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
Solution Doc: `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)
Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — alle korrekt `hvc1`-getaggt ✅ · **338 H.264** (263×1080p, 42×720p, 27×480p, 6 krumme Auflösungen 240–778p) · 2 WMV3 (ASF, TheUpperFloor 2012) · 3 unlesbar (2 abgebrochene `.hevc_`-Temps ~1,9 GB; 1 Tutorial-MP4 90 MB „moov atom not found" = defekt).
**HEVC-Lauf gestoppt:** Manifest `/config/_hevc_manifest.jsonl` 126 Einträge, letzter Schreibzugriff **30.10. 17:56**; kein ffmpeg aktiv, `convert-queue` leer. 164er-Zahl > 126 Manifest, weil frühere Wellen (30/278 am 30.10. 06:15, WMV-Swap, native HEVC) mitzählen.
**Blocker für Fortsetzung:** hevc_vaapi braucht GPU. worker-05 (ms-a2-2) seit 01.11. 11:19 dunkel; worker-04 hat kein renderD128 → CPU-x265 auf 4 vCPU ≈ Wochen für 343 Dateien. Fortsetzung erst nach ms-a2-2-Revival sinnvoll.
## Netzwerk / Sicherheit
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
## Sorter-Stillstand 01.11.2026 — Root Cause & Fix
**Symptom:** Bibliothek stand stundenlang bei 506 Dateien, `complete/` wuchs auf 155 GB, `incomplete/` 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.
**Root Cause:** In `sabnzbd.ini` stand `script = Default` (Default-Kategorie) → **kein Post-Processing-Skript**, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in `/config/sabnzbd.ini`, PVC):
`/api?mode=set_config&section=categories&keyword=*&script=convert720.sh`
(Verifikation: `grep -n "^script" /config/sabnzbd.ini` → `script = convert720.sh`.)
**Drei Folgefehler im Sorter-Skript** (alle GitOps, Commit `3ffe1c1`, `7527995`):
1. **Case-sensitiv:** `case "$1"` gegen Muster wie `DungeonSex*|dungeonsex*` — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: `case "$(echo "$1" | tr 'A-Z' 'a-z')"`, alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
2. **Markenlücken:** 15 Marken der eigenen Bibliothek fehlten in `series_of` (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + `PublicDisgrace`/`SadisticRope`. Folge: diese Marken konnten **nie** einsortieren.
3. **Obfuskierte Ordner:** bei `_003_..._yEnc/2.1_55_HD_.mp4` steht die Marke nur im Elternordner. Fix: wenn `series_of(basename)` = OTHER → `series_of(basename(dirname))` (deterministisch, kein Raten).
**Retry-Automat:** `sab-retry-automaton.py` retryte **permanente** Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt `complete/_FAILED_*`-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: `PERMANENT_PATTERNS` + `is_permanent_failure()`; bei Treffer wird `attempts = MAX_RETRIES` gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: **retry=0 del=20 skip=0**.
**Wirkung:** Sweep über `complete/` → 11 neue Dateien in `media/`, Jellyfin 504 → **516 Items** (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben `nosdb`: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), `complete/` 155 → 105 GB.
**Rest in `complete/` (nicht sorter-fähig):** 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die **Dubletten** bereits sortierter Szenen sind (`.part01.rar` mit `.1`-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.
## Bekannte Issues / Offene Punkte
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
## Passwortgeschützte Posts & House-of-Usenet (31.10.2026)
- `misc.password` war leer → SAB unpackt mit `-p-` (leer) und scheitert an **jedem** verschlüsselten RAR. Kandidatenliste (Board-Namen) greift beim Auto-Unpack nicht zuverlässig.
- **House-of-Usenet-Banner** (`House-of-Usenet.com/Premium-News`, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → **ohne Board-Login nicht öffnenbar**. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
## Related Solution Docs
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)