Files
memory/systems/sabnzbd.md
T
2026-11-09 22:01:14 +00:00

38 KiB
Raw Blame History

title, category, tags, created, modified
title category tags created modified
SABnzbd Usenet Downloader + VAAPI AppleTV-Converter systems
sabnzbd
usenet
k8s
vaapi
ffmpeg
appletv
smb
argocd-gitops
2026-10-19 2026-11-01

SABnzbd Usenet Downloader + VAAPI AppleTV-Converter

Überblick

SABnzbd 5.1.3 (LinuxServer-Image) im Namespace sabnzbd auf RKE2, gepinnt auf rke2-worker-05 (einziger GPU-Node). Web/API http://10.0.30.206:8080, SMB \\10.0.30.206\downloads (Sidecar alpine:3.20, fruit/streams_xattr). PVC sabnzbd-config 1 Ti (Ceph-RBD hdd_disk, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — FileSystemResizePending bis Remount), Mount /config. IaC: iac-homelab/clusters/main/sabnzbd/ (ArgoCD-App sabnzbd).

Container

  • sabnzbd (LSIO, PUID 1000): Download-Engine, Postproc-Script convert720.sh (Name historisch; seit v8 = Sorter: sortiert Masters direkt in media/<Serie>/ + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
  • converter (Sidecar, linuxserver/ffmpeg:latest, privileged): Daemon converter-daemon.sh, pollt /config/convert-queue/*.job alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
  • samba (Sidecar): SMB-Share downloads
  • Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)

Sorter (Stand v13, 01.11.2026, Commit a27c85e)

  • Serien-Ableitung ist seit v10 generisch: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→He's in Charge); Fallback leitet die Serie aus dem führenden Marken-Token vor einem Datum (Marke.26.09.15.… und Marke.2026-09-15.…) bzw. vor einem E-Code (Lustery.E2240.…) ab → neue Brands landen nicht mehr bei OTHER, sondern automatisch in media/<Marke>/.
  • Naming: <Serie> - YYYY-MM-DD - <Titel>.ext (ohne Datum, wenn keins im Namen) + gleichnamige .nfo (title/premiered/year/studio/plot/genre/actor).
  • Kollisionen werden seit v12 dedupliziert: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz ≤2 s → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → quarantine/dedup-sorter/<Serie>/. Differenz >2 s → andere Szene, altes (N)-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc ~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md.)
  • Resolution-Gate: <700p oder >1100p → Quarantäne (nie löschen). Junk (.url, .sfv, Werbung) → Quarantäne.
  • ⚠️ KEIN Codec-Gate (Stand v12): der Sorter liest nur stream=height, nie codec_name. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach media/. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit 643c318.
  • Freie Titelformen wie xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext parst der Sorter nicht sinnvoll → vor dem Lauf auf Marke.<Titel>.ext vornormalisieren (oder manuell einsortieren).
  • exit 0 immer: ein Sortierfehler darf einen Download nie als „failed" markieren.

v13 (01.11.2026) — vier Studios ergänzt: Submissed, PascalsSubSluts, AngeloGodshack, FutileStruggles. Wichtig dabei: *angelogodshack* Wildcard (LegalPorno postet als LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P), ^legalporno[._-][0-9]{4}[._-] im norm_title strippen, und Junk-Token p0rnl0v3r (Zahl-3-Schreibweise). Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (Submissed - 2026-07-26 - Dragon Fruit.mp4, AngeloGodshack - Nikol Raklova.mp4).

NZB-Beschaffung (Quellen-Lage 01.11.2026)

Quelle Status
nzbindex.com Suche (JSON-API) ok, jeder Download-Pfad 404 → unbrauchbar
nzbking.com NZB-Download ok, aber für die Ziel-Posts nur .par2 indexiert → unbrauchbar
binsearch.info funktioniert: Suche-HTML + echter NZB-Download
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
# Einreihen ohne Drop-Ordner-Race:
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
  --data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
  --data-urlencode "apikey=$KEY" --data-urlencode "output=json"

Pitfall: NZB in nzb-drop/ legen + Harvest-Cron ist eine Race — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). mode=addurl liefert eine nzo_id und umgeht den Ordner. Suchterm-Regel: binsearch UND-verknüpft die Wörter eines Terms — pascals.sub.sluts findet nichts, pascals 17 Posts, angelogodshack 23, submissed 26. Immer einen kurzen, unterscheidbaren Token ohne Punkte nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort gar nicht indexiert — nicht mit ähnlichen Treffern auffüllen.

Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge): nzb_sweep.py (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → nzb_plan_filter.py (Dedupe gegen media/ über Datum+Performer; ohne Datum nur Performer) → queue_sweep.sh (mode=addurl). "status":true ohne Leerzeichen — Erfolg am nzo_ids-Key prüfen, nicht am Status-Text.

SolDoc ~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md.

Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue

Problem: „Sammler" sind Collection-NZBs, die als Payload weitere .nzb-Dateien enthalten (z. B. nzbindex.nzb-9 mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese NZBs als gewöhnliche Dateien herunter und reiht sie nicht selbst ein — der Inhalt bleibt liegen. 29.10. lagen 12 solche NZBs in incomplete/ (aus Jobs -9, -10, -7) und 1 in complete/.

Mechanik — /config/tools/nzb_harvest.sh (PVC, überlebt Rollouts):

Baustein Zweck
XML-Parse als Reife-Test eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut
Ledger /config/nzb-inbox/.ledger (sha256[:16] pro Zeile) Idempotenz, nie zweimal einreihen
Bibliotheks-Guard Serien-Ordner + Datum aus dem NZB-Namen gegen media/<Serie>/ → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads)
mode=addlocalfile + script=convert720.sh einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter
Drop-Inbox /config/downloads/nzb-drop (SMB: downloads/nzb-drop) manuell abgelegte NZBs; nach Erfolg → nzb-drop/.added/

Zwei Trigger:

  1. Postproc-Hook im Sorter (Zeilen 17–23, convert720.sh, Commit d7a9fd9): direkt nach mkdir -p "$MEDIA" "$QUAR", also vor jeder anderen Verarbeitung — greift bei erfolgreich abgeschlossenen Jobs. Log: /config/logs/nzb_harvest.log.
  2. Hermes-Cron cbe8b52009a2 (alle 15 min, no_agent, Script ~/.hermes/scripts/nzb_harvest_cron.sh): Sweep über incomplete/ + complete/ + nzb-drop/ — fängt gescheiterte oder abgebrochene Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei kubectl-Fehlern max. 1×/6 h.

Sorter-Sweep-Watchdog (seit 01.11.2026)

Cron 57900310b6e5 (alle 30 min, no_agent, ~/.hermes/scripts/sab_sorter_sweep.sh) läuft convert720.sh über jede ruhige Unterordner von complete/ (mtime > 20 min, keine _UNPACK_/_FAILED_/_ADDFROM-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei bewegt=0.

Container-Pitfall: Das Sorter-Skript liegt als CM-Mount nur im sabnzbd-Container (/config/scripts/convert720.sh), nicht im converter — dort ist nur /config/tools/ffprobe (PVC) erreichbar. Sweep daher mit -c sabnzbd; converter liefert sh: /config/scripts/convert720.sh: not found.

Manuell: kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]

Pitfalls:

  • API von 127.0.0.1:8080 braucht -H "Host: sabnzbd" — sonst blockt host_whitelist (nur sabnzbd, sabnzbd.local, 10.0.30.206).
  • Der Bibliotheks-Guard matcht Serien-Ordner + ISO-Datum; Szenen ohne Datum im Namen (z. B. MaxineX - Velvet Skye … Part 3) laufen daran vorbei und werden normal eingereiht.
  • Reihenfolge ist wichtig: Harvest vor der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.

Stand 29.10.2026: 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend (wird beim Fertigwerden von Job -9 automatisch gegriffen).

Provider-Störungen & Reparatur-Fehler (31.10.2026)

Symptom: Massenhaft Failed: Reparatur fehlgeschlagen. Nicht genug Reparatur-Blöcke vorhanden über Nacht bei 2012–2017-Releases.

Ursache #1 (falsch-positiv): Usenet.Farm-Block leer → Server antwortet 482 Your block account is fully used; SAB wertet die 482-Antwort als „Artikel fehlt" und deklariert NZBs als unfixbar, obwohl PureUsenet die Artikel hat. Prüfen: mode=warnings zeigt die 482-Meldungen. Fix:

# API-Semantik: keyword=<SERVERNAME> value=<FELD> <feld>=<wert>
curl -sk "http://10.0.30.206:8080/api?apikey=$KEY&mode=set_config&section=servers&keyword=news.usenet.farm&value=enable&enable=0"
# Falsch: keyword=name&value=news.usenet.farm  → erzeugt Phantom-Server "name" (mit mode=del_config&section=servers&keyword=name wieder löschen)

Danach mode=retry&value=<nzo_id> (nicht mode=history&name=retry — das liefert nur den History-Blob und macht nichts).

Ursache #2 (echt tot): Artikel provider-seitig gelöscht (Retention). Beweis: identische Fehlblock-Zahl vor/nach Retry → kein Repost auf nzbindex/nzbking vorhanden → endgültig aufgeben, kein dritter Versuch.

Teilsalvage lohnt nicht: unrar x -kb liefert bei kleinen Defiziten (17 Blöcke bei 848 MB) zwar 94 % der Bytes, aber 2373 Decode-Fehler (invalid NAL units) — Video unbrauchbar. Nur bei reinen Datei-Enden (letzte Sekunden) wäre es vertretbar.

NZB-QC vor Enqueue (Pflicht): Segment-Bytes-Summe per Regex <segment[^>]*bytes="(\d+)" gegen Anzeige-Größe ±6 % prüfen; .part0X/.rXX/-sample im Namen sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart mode=addfile an /sabnzbd/api scheitert am HTML-Redirect — Watchdir nzb-drop mit kubectl cp ist der zuverlässige Weg.

Provider-Fenster 430-Welle (01.11.2026)

Symptom: 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.

Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket): AUTH ok → group ok → head <hotNummer> → 430 auf allen Gruppen/Posters/Nummern, während stat <gleicheNummer> → 223 ok. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.

Bedien-Fallstricke: Manual-Probes stoßen an 502 Too many connections (SAB hält alle Slots) → vorher set_config section=servers keyword=news.pureusenet.nl connections=6 (danach restore auf 20). History-Rows mit Status Queued/Verifying und leerer fail_message = Postprocessing läuft — keine Fails, nicht deleten!

Recovery nach Fenster: individuelles mode=retry&value=<nzo_id> (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.

Quarantäne-Inventar (01.11.2026, 163 GB)

Erhoben mit qcov2.py (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen media/):

Klasse Dateien GB Bedeutung
A-safe 62 91,9 exakte Dublette (Dauer ±2 s), Gegenstück in media/ gleich oder höher aufgelöst → löschbar nach GO
A-master 6 42,3 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten
B 3 2,6 gleiche Szene, andere Dauer (2 Samples à 61 s + NewSensations - Sage Hunter 1982 s vs 3075 s) → Review
C 17 43,5 kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p)
D 0 0 nicht lesbar

Summe der Dateigrößen (180 GB) > du (163 GB) — apparent vs. belegte Blöcke, kein Fehler. Junk (.url, .par2, .sfv, .jpg, .nfo) liegt als ~160 Dateien daneben.

Aufräum-Workflow (nach großen Wellen)

  1. Sorter je Job-Ordner laufen lassen: kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>" (auch für incomplete/-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
  2. Dedupe: Gruppen über Basisname ohne (N); Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → quarantine/dedup2/ (kein Delete).
  3. HEVC → h264 (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI -vaapi_device vor -i, -vf format=nv12,hwupload, -c:v h264_vaapi -qp 21, Audio -c:a copy (AAC), -movflags +faststart; Original nach /config/transcode-originals/. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min. 3b. incomplete/-Ordner mit Status Failed (Reparatur fehlgeschlagen) gefahrlos räumen — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
    • find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l → bei 0 enthält der Ordner nur Rar/Par2-Blöcke.
    • Set-Namen aus den Rar-Dateinamen ableiten (abc.part07.rar → abc) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: nzbindex-5 (7 Sets), Devicebondage (6), nzbindex-10 (8) → 21/21 gedeckt, 96,75 GB frei.
    • Vorher prüfen, dass der Job nicht in der Queue steht (mode=queue) — SAB benennt das Verzeichnis nach dem NZB-Namen, nzbindex-10 ≠ nzbindex.nzb-10!
    • Große du-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße preallokiert (du -sb = apparent size), echte df-Differenz liegt deutlich darunter.
  4. NFO-Abdeckung prüfen: for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done → muss leer sein.
  5. Jellyfin POST /Library/Refresh einmal; wiederholte POSTs brechen einen laufenden Scan ab.

Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)

  • Vom Resolution-Gate (<700p) aussortierte, inhaltlich einzigartige Dateien werden as-is nach media/<Serie>/ importiert — kein Upscaling, keine Neukodierung. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
  • Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s und Head/Tail-Hash gegen die Bibliothek), dann mv + gleichnamige .nfo mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + chown 1000:1000, danach genau ein Jellyfin-Refresh.
  • 29.10. importiert: 3× PureTaboo (544/576p aus milfan-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
  • Der Import läuft am Sorter vorbei: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach quarantine/ schieben.

Serien-Ordner-Kollision durch Groß-/Kleinschreibung

  • Maxinex/ vs MaxineX/: der generische Sorter-Fallback erzeugte Maxinex (cap_words), die explizite Mapping-Stufe später MaxineX. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei identischem Zielnamen, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
  • Erkennung: ls media | awk '{print tolower($0)}' | sort | uniq -d.
  • Auflösung 29.10.: HEVC-Duplikat → quarantine/dedup-sorter/MaxineX/, h264-Keeper (1,55 GB, 1080p) nach MaxineX/, leerer Ordner entfernt.
  • Nebenbefund: automatisch generierte NFOs unbekannter Marken haben leeren <plot> und <studio>Kink.com</studio> → bei manuellem Import/Fix proper nachziehen.

Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)

  • Pod-Rollout killt laufende Transcodes: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: erst Deploy abschließen, dann transcodieren — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein _tmp_*.mp4 unter transcode-originals/; Originale bleiben intakt (das Script macht mv erst nach Erfolg).
  • Container-Trennung: convert720.sh liegt nur im sabnzbd-Container (/config/scripts/), ffmpeg/VAAPI nur im converter-Sidecar. Sortieren → -c sabnzbd, Transcoden → -c converter. kubectl cp braucht -c converter, sonst landet die Datei im falschen Container.
  • faststart-Prüfung nicht mit Byte-Sniffing: Ein 200-KB-Fenster reicht nicht — moov wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das Atom-Ketten-Lesen (ftyp→moov→free→mdat, Size-Felder springen).
  • Faststart-Gate im Batch braucht ≥16 MB Fenster (30.10. teuer): gemessen moov-Ende 61 min 1080p = 3,18 MB, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein mdat mehr → der Job verwirft fertige, korrekte Encodes als FAIL faststart (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: moov muss gefunden werden, mdat nur prüfen falls im Fenster. SolDoc: docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md.
  • 4K-Regel (Owner 30.10.): einzelne 2160p-Quelle wird auf 1080p herunterskaliert, nie upscalen. GPU-Pfad: -vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'; real 5,26 GB → 893 MB (−83 %), Dauer identisch, hvc1, moov@32 < mdat@2,55 MB. Der Bibliothekslauf überspringt ≥2000p-Quellen (SKIP(4K, wird separat skaliert)) — Sonderlauf /tmp/fix4k.sh.

VAAPI / GPU-Encoding

  • Nur worker-05 (10.0.30.65) besitzt /dev/dri/renderD128 (AMD Granite Ridge, render-GID 991) — worker-04 hat KEINEN render-Node → Pin zwingend. Faktisch gibt es keinen Pin: das Deployment hat keinen nodeSelector; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath /dev/dri nur card0 enthält. -vaapi_device /dev/dri/card0 ist kein Ersatz → Failed to initialise VAAPI connection: -1 / EIO (3-s-testsrc-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
  • VAAPI in Pods erfordert privileged: true (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
  • Encoder: h264_vaapi/hevc_vaapi, 5.7× schneller als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
  • CPU-Fallback eingebaut (falls renderD128 fehlt)

Converter-Pipeline (Design)

⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr. Commit 643c318 („sorter->media/ with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im converter-Sidecar läuft seither leer (/config/convert-queue dauerhaft 0 Jobs, ps zeigt nur sleep 20) — Transcodes passieren nur noch manuell per Skript. Konsequenz: HEVC/x265 landet ungefiltert in media/ (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, TARGET_H im Daemon auf 1080 (heute 720), Original-Sicherung in encode_one (heute überschreibt dst=.mp4 das Original!), und beides braucht einen Rollout → nur bei leerer Queue deployen.

  1. Postproc (Enqueuer) schreibt Job-File <ts>-<safe>.job (Zeile 1: Quelldatei) nach /config/convert-queue/, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
  2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
    • Partials-Discard (.converting.*) — VOR dem Park-Case (v4-Lesson: case-Order!)
    • Park-Case */incomplete/*: nur solange Quelle dort EXISTIERT ([ -f ], v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
    • Resolver: Quelle nach SAB-Move in complete/ neu suchen
    • Skip-Guard: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe -of csv=p=0 QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
    • Encode: VAAPI h264 → 720p, Audio → AAC 192k, -movflags +faststart, Temp .converting.mp4, Rename bei Erfolg
  3. Ausgabe neben Quelle in complete/; Originale werden nie gelöscht (House-Rule)

Betrieb & Verifikation

kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50   # Daemon-Log
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
  -of default=nokey=1:noprint_wrappers=1 <mp4>                   # AppleTV-Check (unquoted!)

Rollout-Rezept (Skript-Änderung) — korrigiert 29.10.2026

/config/scripts ist ein readOnly-ConfigMap-Mount (postproc-scripts → sabnzbd-postproc-script), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.

  1. Skript in configmap.yaml patchen, Commit + Push (Gitea).
  2. kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite
  3. Nach ~50 s prüfen: kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token> und im Pod grep -c <neues-token> /config/scripts/convert720.sh.

    Korrektur 01.11.2026: Der CM selbst ist nach ~6 s aktuell (Synced <rev>), der Pod-Mount blieb aber stale (Symlink zeigte >5 min auf den alten ..data-Snapshot; auch delete cm half nicht). Verlässlich: kubectl -n sabnzbd rollout restart deploy/sabnzbd → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach script =-Setting in der ini erneut prüfen.

  4. Kein converter-script-version-Bump und kein Restart für Sorter-Änderungen — der Bump betrifft nur den converter-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
  5. /config/scripts/ ist read-only — kubectl cp dorthin schlägt mit Read-only file system fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.

Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.

HEVC-Bibliothekslauf (30.10.2026, laufend)

Ziel: alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript /tmp/hevc_library2.sh (detached via setsid nohup im converter-Sidecar), Manifest /config/_hevc_manifest.jsonl (append-only, Audit-Trail), Log /config/_hevc_library.log, Remux-Log /config/_remux_hvc1.log.

  • -tag:v hvc1 ist Pflicht. Apple/QuickTime/AVFoundation spielt HEVC nur als hvc1, ffmpeg-Default hev1 wird verweigert. Bestand reparieren: ffmpeg -c copy -tag:v hvc1 -movflags +faststart (lossless).
  • Manifest ist die Wahrheit, nicht das Log. Statusfragen daraus beantworten (rel, before, after, dur, h).
  • Nach In-Place-Ersetzung ist Jellyfins MediaStreams stale (meldet alten h264 + alte Größe) → Client bricht ab; ein POST /Library/Refresh reicht (danach hevc sichtbar).
  • GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
  • Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (DeviceBondage - Octavia Red, 3840×2160) bremst 2 Slots für ~2,5 h.
  • Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), export -f log fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.

Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)

Neben hev1-Tag und stale Jellyfin-DB gibt es Encoder-Ausschuss auf Slice-Ebene: SexAndSubmission - 2026-08-28 - Alexa Chains.mp4 spielte weder in Jellyfin noch in QuickTime, obwohl ffprobe (hevc/hvc1/Main/1080p/yuv420p) und der Box-Parser (moov@28 < mdat, hvcC numOfArrays=3) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.

  • Beweis: ffmpeg -nostdin -v error -i F -f null - → 35 Zeilen CABAC_MAX_BIN 26/27/28/30/31, ~1/Minute über die Laufzeit verteilt; rc=0 trotzdem (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
  • Remux hilft nicht (Korruption sitzt in den Frames) → Re-Encode libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart: 4 vCPU, 1080p30/10 Mbit ≈ 44 fps / 1,45× Echtzeit, Ausgabe ~2,1 Mbit/s.
  • Gates vor Swap: hevc,hvc1 · Dauer ±2 s · <95 % Quelle · Atom-Kette · Volldekodierung 0 Zeilen → Original nach transcode-originals/ → chown 1000:1000 → atomares mv.
  • Auto-Refresh: zweiter detached Watcher pollt auf die Markerzeile GETAUSCHT und schickt genau einen POST /Library/Refresh — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"', nie pgrep -f (matcht das eigene bash -c → Selbst-Kill, Exit 143).

Solution Doc: ~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md · ~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md · Skill: video-codec-compatibility

Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)

Bei VAAPI-Ausschuss ist Re-Fetch erste Wahl (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.

  1. Release per Binsearch (Einzeldatei-MP4, kein partNNN.rar-Set) → publish_nzb.py → nzb-drop/.
  2. Den Tausch macht der Sorter: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach quarantine/dedup-sorter/<Serie>/. Kein manuelles mv, keine (2)-Kopie.
  3. Verifizieren (Codec, Dauer ±2 s, Volldekodierung 0 Fehlerzeilen), dann bei Bedarf software-HEVC zurückführen (Original → transcode-originals/), ein Refresh am Ende.

Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → hevc,hvc1,1080, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.

  • Gate-Falle: der Converter-Sidecar hat kein python3 — ein Gate mit python3 -c endet 127 und meldet GATE FAIL Dauer bei identischen Werten. Gates + Swap gehören in den App-Container (/lsiopy/bin/python3, /config/tools/ffmpeg inkl. libx265); Dauer/Größe per awk.
  • VAAPI bleibt für Reparaturen gesperrt (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
  • BoundGangBangs - Rebel Rhyder hat kein Release (nur 10,8-GB-Rar-Set als part0.nzb) → dort bleibt Re-Encode aus dem korrupten File.
  • Offen (eigenes GO): quarantine/ 171 G, complete/ 105 G, transcode-originals/ 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
  • Parität immer über Stems zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.

Solution Doc: ~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md

Codec-Audit 01.11.2026 (vollständig, 507 Videos)

Scan aller Dateien im Medienordner (ffprobe, parallel): 164 HEVC (32 %) — alle korrekt hvc1-getaggt ✅ · 338 H.264 (263×1080p, 42×720p, 27×480p, 6 krumme Auflösungen 240–778p) · 2 WMV3 (ASF, TheUpperFloor 2012) · 3 unlesbar (2 abgebrochene .hevc_-Temps ~1,9 GB; 1 Tutorial-MP4 90 MB „moov atom not found" = defekt).

HEVC-Lauf gestoppt: Manifest /config/_hevc_manifest.jsonl 126 Einträge, letzter Schreibzugriff 30.10. 17:56; kein ffmpeg aktiv, convert-queue leer. 164er-Zahl > 126 Manifest, weil frühere Wellen (30/278 am 30.10. 06:15, WMV-Swap, native HEVC) mitzählen.

Blocker für Fortsetzung: hevc_vaapi braucht GPU. worker-05 (ms-a2-2) seit 01.11. 11:19 dunkel; worker-04 hat kein renderD128 → CPU-x265 auf 4 vCPU ≈ Wochen für 343 Dateien. Fortsetzung erst nach ms-a2-2-Revival sinnvoll.

Netzwerk / Sicherheit

  • CNP sabnzbd-lan-only: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu world), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
  • API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung local_ranges offen)
  • Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)

Sorter-Stillstand 01.11.2026 — Root Cause & Fix

Symptom: Bibliothek stand stundenlang bei 506 Dateien, complete/ wuchs auf 155 GB, incomplete/ 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.

Root Cause: In sabnzbd.ini stand script = Default (Default-Kategorie) → kein Post-Processing-Skript, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in /config/sabnzbd.ini, PVC): /api?mode=set_config&section=categories&keyword=*&script=convert720.sh (Verifikation: grep -n "^script" /config/sabnzbd.ini → script = convert720.sh.)

Drei Folgefehler im Sorter-Skript (alle GitOps, Commit 3ffe1c1, 7527995):

  1. Case-sensitiv: case "$1" gegen Muster wie DungeonSex*|dungeonsex* — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: case "$(echo "$1" | tr 'A-Z' 'a-z')", alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
  2. Markenlücken: 15 Marken der eigenen Bibliothek fehlten in series_of (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + PublicDisgrace/SadisticRope. Folge: diese Marken konnten nie einsortieren.
  3. Obfuskierte Ordner: bei _003_..._yEnc/2.1_55_HD_.mp4 steht die Marke nur im Elternordner. Fix: wenn series_of(basename) = OTHER → series_of(basename(dirname)) (deterministisch, kein Raten).

Retry-Automat: sab-retry-automaton.py retryte permanente Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt complete/_FAILED_*-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: PERMANENT_PATTERNS + is_permanent_failure(); bei Treffer wird attempts = MAX_RETRIES gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: retry=0 del=20 skip=0.

Wirkung: Sweep über complete/ → 11 neue Dateien in media/, Jellyfin 504 → 516 Items (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben nosdb: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), complete/ 155 → 105 GB.

Rest in complete/ (nicht sorter-fähig): 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die Dubletten bereits sortierter Szenen sind (.part01.rar mit .1-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.

Bekannte Issues / Offene Punkte

  • Usenet.Farm Block leer (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
  • Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
  • Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
  • theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)

Passwortgeschützte Posts & House-of-Usenet (31.10.2026)

  • misc.password war leer → SAB unpackt mit -p- (leer) und scheitert an jedem verschlüsselten RAR. Kandidatenliste (Board-Namen) greift beim Auto-Unpack nicht zuverlässig.
  • House-of-Usenet-Banner (House-of-Usenet.com/Premium-News, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → ohne Board-Login nicht öffnenbar. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
  • Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.

Indexer-Abdeckung & Beschaffungsgrenzen (06.11.2026)

  • binsearch.info: beste Quelle für aktuelle Scene-Releases (Kink, LegalPorno, VSEX/WRB/P2P). Alte Kink-Serien (TheTrainingOfO vor 2014) und Nischen-Maledom-Studios (BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured) sind dort nicht indexiert.
  • NZBKing: einzige freie Quelle für TOO 2012/2013 (a.b.multimedia.bdsm). Achtung: (a) Seite ist JS-lastig → headless Chrome; (b) HTTP 429 bei zu vielen /nzb:<id>/-Fetches liefert 0-Byte-NZBs — das ist Rate-Limit, kein fehlender Post (≥20–30 s Abstand, Cookie+Referer, Header prüfen); (c) .EXE-geflaggte Posts (z. B. BrutalMaster-„Full Rip") liefern keine NZBs, dort liegen nur 89-MB-JPG-Packs.
  • nzbindex.com: React-SPA, ~10 Monate Retention; per curl/URL keine Treffer, nur Formular-Submit im Browser. Für Titel älter als 10 Monate wertlos.
  • Alte Kink-RAR-Ketten: SAB meldet „Completed", liefert aber 30–45-MB-Fragmente (moov atom not found). Sorter quarantäniert sie; einzelne rutschen durch → nach jedem Batch Duration prüfen (<5 min bei 40–80 min Erwartung = Fragment).
  • Nicht beschaffbar (alle drei Indexer geprüft): BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured. Nur bezahlter Indexer (DrunkenSlug/NZBGeek) oder Direkt-Rip.
  • Secret-Falle: ~/.hermes/secrets/media_meta.env setzt Variablen ohne export → Python-Subprozesse sehen JF_TOKEN nicht (401). Immer set -a; source …; set +a.
  • ~/docs/solutions/integrations/2026-11-06-nzb-indexer-grenzen-rate-limit.md (Indexer-Abdeckung, 429-Falle, Fragmente)
  • ~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
  • ~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
  • ~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md (ffprobe-Quoting, case-Order, Stale-Parking)

Converter v18 — einheitlich HEVC (08.11.2026)

Ziel gedreht: Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.

  • Daemon /converter/converter-daemon.sh (CM sabnzbd-converter-script): hevc_vaapi -qp 25 -tag:v hvc1, Fallback libx265 -preset fast -crf 24 -tag:v hvc1, TARGET_H=1080.
  • verify_out(): prüft codec_tag_string == hvc1 + Dauer ±2 s; erst dann mv + chown 1000:1000; danach werden Original und Backup gelöscht (User-Vorgabe: convert → verify → original weg).
  • Bitstream-Gate + CPU-Retry: VAAPI erzeugt auf gfx1036 bei ~40–50 % CABAC_MAX_BIN (deterministisch pro Datei; -bf 0, -quality quality, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
  • Stall-Guard: Backup-cp mit timeout 600; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
  • Sorter-Gate invertiert: postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in /config/convert-queue.
  • Backlog-Feeder /config/tools/backlog_feeder.sh (im converter-Container, nohup): scannt media/ auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach /config/_hevc_backlog.log, State /config/_hevc_backlog.files + .done. Falle: markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
  • Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.

Konverter auf n5pro (GPU-Rettung, 09.11.2026)

Problem: Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder. Firmware-Update hilft nicht (linux-firmware aktuell, keine Updates verfügbar). Lösung: n5pro-iGPU Strix 880M (gfx1150, VCN4) ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):

  • Test: 1013-s-1080p in 43 s, 0 CABAC; 2 Läufe bit-identisch.
  • qp 28 statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle). Transport: NFS-Sidecar im sabnzbd-Pod (Image itsthenetwork/nfs-server-alpine:12, privileged).
    • Eigener Entrypoint nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug) und bricht ab, wenn SHARED_DIRECTORY nicht exportiert ist.
    • Port 2049 auf der BESTEHENDEN VIP 10.0.30.206 (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
    • CiliumNetworkPolicy muss 2049 freigeben (world + host/remote-node), sonst „2049 zu".
    • Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht. Runner: /usr/local/bin/n5pro_converter.sh auf n5pro (systemd conv-n5pro, 2 Worker, qp28, hard-NFS-Mount, Timeout 5400 s/Datei), Log /var/log/conv-n5pro.log, Tausch über _conv_trash auf dem Share. Fallstricke: SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen. Nie pkill -f backlog_feeder aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).