From fe148c35367f5064b2876f37ab8dd6fdb0e4530e Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Thu, 29 Oct 2026 13:02:18 +0000 Subject: [PATCH] sabnzbd: Sammler-NZB-Harvest (Postproc-Hook + Cron), Sorter v12, Low-Res-Policy --- log.md | 2 ++ systems/sabnzbd.md | 30 ++++++++++++++++++++++++++++++ 2 files changed, 32 insertions(+) diff --git a/log.md b/log.md index 0db2995..51648ca 100644 --- a/log.md +++ b/log.md @@ -806,3 +806,5 @@ - **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh `); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18. - **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`. + +- **29.10. (Chair) Sammler-NZBs: 5 Szenen eingereiht + Automatik gebaut** — Owner: „starte alle nzb files in incomplete. gewährleiste, dass korrekt heruntergeladene nzbs aus sammlern künftig automatisch geladen werden". Befund: die Jobs `nzbindex.nzb-*` sind **Collection-NZBs**; ihr Payload enthält weitere `.nzb`-Dateien (12 in `incomplete/` aus `-9/-10/-7`, 1 in `complete/nzbindex.nzb-8/`), die SABnzbd als Dateien lädt, aber **nie einreiht** — bezahlter Traffic ohne Bibliotheksinhalt. Neu `/config/tools/nzb_harvest.sh` (PVC): XML-Parse als Reife-Test (unfertige NZBs sind NUL-vorbelegt), sha256-Ledger `/config/nzb-inbox/.ledger`, **Bibliotheks-Guard** (Serien-Ordner + ISO-Datum gegen `media/`), Einreihung per `mode=addlocalfile` + `script=convert720.sh`; Drop-Inbox `/config/downloads/nzb-drop` (SMB `downloads/nzb-drop`). Zwei Trigger: **Postproc-Hook** am Anfang des Sorters (Commit `d7a9fd9`, live via ConfigMap ohne Restart, Zeilen 17–23) für erfolgreiche Jobs + **Hermes-Cron `cbe8b52009a2`** alle 15 min (`no_agent`, silent) für gescheiterte. E2E-Beweis mit synthetischer Mini-NZB durch den echten Postproc-Weg (Queue-Slot „TestBrand - 2019-01-01 - Hook Probe", danach restlos entfernt). Ergebnis: **5 eingereiht, 9,9 GB** (TheUpperFloor 2011-10-20/21, TheTrainingOfO 2013-01-11/03-22, MaxineX Velvet Skye Part 3), **4 übersprungen** weil schon in der Bibliothek (10,7 GB nicht erneut geladen), 4 waren unvollständig → 3 inzwischen komplett+übersprungen, offen nur `2015-05-22 Savannah Fox` (kommt automatisch mit Job `-9`). Pitfalls: API von `127.0.0.1` braucht `Host: sabnzbd` (host_whitelist), Harvest muss **vor** der Junk-Quarantäne laufen. SolDoc `integrations/2026-10-29-sammler-nzbs-automatisch-einreihen.md`. diff --git a/systems/sabnzbd.md b/systems/sabnzbd.md index 3867da8..04426f4 100644 --- a/systems/sabnzbd.md +++ b/systems/sabnzbd.md @@ -26,6 +26,36 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf * - Freie Titelformen wie `xxx - - - - - - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke..ext` vornormalisieren (oder manuell einsortieren). - `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren. +## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue + +**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten +(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese +NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen. +29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`. + +**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts): + +| Baustein | Zweck | +|---|---| +| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut | +| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen | +| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media//` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) | +| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter | +| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` | + +**Zwei Trigger:** +1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`. +2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h. + +Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] []` + +**Pitfalls:** +- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`). +- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht. +- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind. + +**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen). + ## Aufräum-Workflow (nach großen Wellen) 1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd -c sabnzbd -- bash /config/scripts/convert720.sh ""` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr). 2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).