Auto-sync: 2026-11-02

This commit is contained in:
Dominik Schön
2026-11-02 22:00:24 +00:00
parent 21a25a0635
commit 4fbd8bc1a9
11 changed files with 271 additions and 15 deletions
+29 -2
View File
@@ -166,7 +166,7 @@ Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
## VAAPI / GPU-Encoding
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend. **Faktisch gibt es keinen Pin:** das Deployment hat keinen `nodeSelector`; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath `/dev/dri` nur `card0` enthält. `-vaapi_device /dev/dri/card0` ist **kein** Ersatz → `Failed to initialise VAAPI connection: -1` / EIO (3-s-`testsrc`-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
- CPU-Fallback eingebaut (falls renderD128 fehlt)
@@ -216,7 +216,34 @@ Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
Solution Doc: `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
### Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)
Neben `hev1`-Tag und stale Jellyfin-DB gibt es **Encoder-Ausschuss auf Slice-Ebene**: `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime, obwohl `ffprobe` (`hevc/hvc1/Main/1080p/yuv420p`) und der Box-Parser (`moov@28 < mdat`, `hvcC numOfArrays=3`) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.
- **Beweis:** `ffmpeg -nostdin -v error -i F -f null -` → 35 Zeilen `CABAC_MAX_BIN 26/27/28/30/31`, ~1/Minute über die Laufzeit verteilt; **`rc=0` trotzdem** (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
- **Remux hilft nicht** (Korruption sitzt in den Frames) → Re-Encode `libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart`: 4 vCPU, 1080p30/10 Mbit ≈ **44 fps / 1,45× Echtzeit**, Ausgabe ~2,1 Mbit/s.
- **Gates vor Swap:** `hevc,hvc1` · Dauer ±2 s · <95 % Quelle · Atom-Kette · **Volldekodierung 0 Zeilen** → Original nach `transcode-originals/` → `chown 1000:1000` → atomares `mv`.
- **Auto-Refresh:** zweiter detached Watcher pollt auf die Markerzeile `GETAUSCHT` und schickt **genau einen** `POST /Library/Refresh` — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per `ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"'`, **nie** `pgrep -f` (matcht das eigene `bash -c` → Selbst-Kill, Exit 143).
Solution Doc: `~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md` · `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
### Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)
Bei VAAPI-Ausschuss ist **Re-Fetch erste Wahl** (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.
1. Release per Binsearch (Einzeldatei-MP4, kein `partNNN.rar`-Set) → `publish_nzb.py` → `nzb-drop/`.
2. **Den Tausch macht der Sorter**: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach `quarantine/dedup-sorter/<Serie>/`. Kein manuelles `mv`, keine `(2)`-Kopie.
3. Verifizieren (Codec, Dauer ±2 s, **Volldekodierung 0 Fehlerzeilen**), dann bei Bedarf software-HEVC zurückführen (Original → `transcode-originals/`), **ein** Refresh am Ende.
Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → `hevc,hvc1,1080`, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.
- **Gate-Falle:** der Converter-Sidecar hat **kein `python3`** — ein Gate mit `python3 -c` endet 127 und meldet `GATE FAIL Dauer` bei identischen Werten. Gates + Swap gehören in den App-Container (`/lsiopy/bin/python3`, `/config/tools/ffmpeg` inkl. libx265); Dauer/Größe per `awk`.
- **VAAPI bleibt für Reparaturen gesperrt** (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
- `BoundGangBangs - Rebel Rhyder` hat **kein** Release (nur 10,8-GB-Rar-Set als `part0.nzb`) → dort bleibt Re-Encode aus dem korrupten File.
- Offen (eigenes GO): `quarantine/` 171 G, `complete/` 105 G, `transcode-originals/` 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
- Parität immer über **Stems** zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.
Solution Doc: `~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md`
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)