sabnzbd: Sammler-NZB-Harvest (Postproc-Hook + Cron), Sorter v12, Low-Res-Policy

This commit is contained in:
Dominik Schön
2026-10-29 13:02:18 +00:00
parent 807dc2b396
commit fe148c3536
2 changed files with 32 additions and 0 deletions
+2
View File
@@ -806,3 +806,5 @@
- **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh <agent> <model>`); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18.
- **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung <n>p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`.
- **29.10. (Chair) Sammler-NZBs: 5 Szenen eingereiht + Automatik gebaut** — Owner: „starte alle nzb files in incomplete. gewährleiste, dass korrekt heruntergeladene nzbs aus sammlern künftig automatisch geladen werden". Befund: die Jobs `nzbindex.nzb-*` sind **Collection-NZBs**; ihr Payload enthält weitere `.nzb`-Dateien (12 in `incomplete/` aus `-9/-10/-7`, 1 in `complete/nzbindex.nzb-8/`), die SABnzbd als Dateien lädt, aber **nie einreiht** — bezahlter Traffic ohne Bibliotheksinhalt. Neu `/config/tools/nzb_harvest.sh` (PVC): XML-Parse als Reife-Test (unfertige NZBs sind NUL-vorbelegt), sha256-Ledger `/config/nzb-inbox/.ledger`, **Bibliotheks-Guard** (Serien-Ordner + ISO-Datum gegen `media/`), Einreihung per `mode=addlocalfile` + `script=convert720.sh`; Drop-Inbox `/config/downloads/nzb-drop` (SMB `downloads/nzb-drop`). Zwei Trigger: **Postproc-Hook** am Anfang des Sorters (Commit `d7a9fd9`, live via ConfigMap ohne Restart, Zeilen 17–23) für erfolgreiche Jobs + **Hermes-Cron `cbe8b52009a2`** alle 15 min (`no_agent`, silent) für gescheiterte. E2E-Beweis mit synthetischer Mini-NZB durch den echten Postproc-Weg (Queue-Slot „TestBrand - 2019-01-01 - Hook Probe", danach restlos entfernt). Ergebnis: **5 eingereiht, 9,9 GB** (TheUpperFloor 2011-10-20/21, TheTrainingOfO 2013-01-11/03-22, MaxineX Velvet Skye Part 3), **4 übersprungen** weil schon in der Bibliothek (10,7 GB nicht erneut geladen), 4 waren unvollständig → 3 inzwischen komplett+übersprungen, offen nur `2015-05-22 Savannah Fox` (kommt automatisch mit Job `-9`). Pitfalls: API von `127.0.0.1` braucht `Host: sabnzbd` (host_whitelist), Harvest muss **vor** der Junk-Quarantäne laufen. SolDoc `integrations/2026-10-29-sammler-nzbs-automatisch-einreihen.md`.
+30
View File
@@ -26,6 +26,36 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
| Baustein | Zweck |
|---|---|
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
**Zwei Trigger:**
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
**Pitfalls:**
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
## Aufräum-Workflow (nach großen Wellen)
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).