sabnzbd: Sorter v12, Low-Res-Import-Policy, MaxineX-Kollision, HEVC-Enqueuer-Luecke (29.10.)
This commit is contained in:
@@ -1,5 +1,14 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
|
||||
- **Befund (Owner):** seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
|
||||
- **Fix (Commit f70fe30):** watcher 0.17.1 `IdleScheduler` (fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs.
|
||||
- **Beweis:** 08:39:51 idle_trigger (45108 s Stille) → CEO claim → Delegation mit karte_id → card_auto_fertig + review_task → „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 Zyklus 2 autonom. 9/9 Sandboxes v5.3, Heartbeats grün, deadman pending 0.
|
||||
- **Pitfalls:** `--template` schließt `--env` aus (Startkonfiguration ins Image!); systemd-OIDC-Login braucht `Environment=HOME=/root` (sonst „Unknown gateway 'fleet'", Token lief 4 h ab und blockierte den Rollout).
|
||||
- **Nachtrag 10:40 — Lücke 4 geschlossen:** 5. Deadman-Kaskade `progress` (Commit `f098091`, `fleet-deadman@sha256:73cc5988…`): offener Task (`submitted|working`) mit mtime-Alter > 5400 s → ALARM + escalation an ceo. E2E ALARM 10:38:29 → RESOLVED 10:39:29, Unit-Test 13/13. Pitfall: Test-Tasks brauchen `uuid4()`-`task_id` (Watcher quarantänisiert sonst in Sekunden) und `status: working` (nicht claimbar).
|
||||
- **Autonomie-Bilanz 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger, 4 Karten Fertig, 4 Reviews, NAR-Zyklus (ciso-Freigabe → Karte `rueckbau-nar-tower-healthz-readonly`).
|
||||
- SolDoc architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16) + Hindsight; Wiki systems/agent-fleet.md neuer Abschnitt.
|
||||
|
||||
## [2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
|
||||
- **RCA:** devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
|
||||
- **NAR-Verfahren (Owner-Mandat):** Anträge `[NAR] <ziel>` an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner (`[NAR-ESKALATION]`, P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch).
|
||||
@@ -787,3 +796,13 @@
|
||||
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
|
||||
|
||||
- **28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel** — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
|
||||
|
||||
- **29.10. 05:0x (Chair) Traefik-interne EntryPoints nach ArgoCD-Sync verloren + Tower 0.15 Sandboxes-View** — Tower (.213) und fleet-webui (.212) waren ab 28.10. 22:21 down: ArgoCD-`proxy`-Sync (Rev 4ecb30e) fiel exakt mit Helm-Release #96 zusammen, das ohne HelmChartConfig-Werte renderte (keine `web-internal`/`websecure-internal`/`tower-internal`, kein allowCrossNamespace) — Pods blieben 1/1 Ready, Service-Endpoints 8/8 ready, nur die EntryPoints fehlten; nach Wiederherstellung der Config lief KEIN neuer Job (Controller reagiert nur auf Hash-Änderung). Fix: Kommentar in `valuesContent` → Push → ArgoCD-Sync → Release #97 mit allen Ports; verify 200 von 10.0.20.92, 403 von VLAN 30, `/api/fleet/sandboxes` 9 Agenten all_running. Tower 0.15 (Commit 4ecb30e, Digest 00a82fef…): fleet-native Sandboxes-View via read-only PromQL/kube-state-metrics (Upstream-Views brauchten Host-CLI). NAR-Eskalation edd15ff1 war bereits per `[APPROVE]` entschieden (devops hat GitOps-Grant umgesetzt). SolDoc bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md (Bug Fixes 53), Skill traefik-proxy-administration gepatcht, Wiki systems/agent-fleet.md aktualisiert.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Sorter v11, HEVC-Rest, Jellyfin 215/215 grün** — 70 neue Downloads sortiert (0 übersprungen): PureTaboo 49, nzbindex-5 12, HogTied 8, nzbindex-4 1. Sorter v10 führte die **generische Serien-Ableitung** ein (Marken-Token vor Datum/E-Code → `media/<Marke>/` statt `OTHER`); v11 erweitert den Fallback auf `YYYY-MM-DD`-Namen und mappt `DigitalSin → He's in Charge`. Neue Serien: PureTaboo, SilkSub, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, KinkUniversity. Dedupe 8 Gruppen → 10 Verlierer (5,7 GB) nach `quarantine/dedup2/`. 66/70 waren bereits h264+AAC; die 5 HEVC-Dateien per VAAPI auf h264 umkodiert (BratTamer 479→991 MB, Lustery 688→1192, DungeonSex 753→1607, Deeper 605→1194, HogTied 460→835) — alle `ftyp→moov→free→mdat` = faststart, Originale in `transcode-originals/`, **HEVC-Rest 0**. Owner-Drift von 61 Dateien auf 1000:1000 korrigiert. **Jellyfin-Scan-Hänger (84 %) war der Ordner `Other`**, nicht die Datei und nicht die DB-Zeile (Canary-Beweis: gleiche Datei in `Solo` indexiert sofort) — Ordner aufgelöst, Strays nach `Deeper/`; Scan jetzt **Idle, 215 Items = 215 Videos, 215 NFOs**. Disk 608G/1008G (61 %). Pitfalls (Wiki sabnzbd.md): Pod-Rollout SIGKILLt laufende In-Pod-Transcodes (erst Deploy, dann Encode); Sorter-Script nur im sabnzbd-Container, VAAPI-ffmpeg nur im converter-Sidecar; faststart nie mit 200-KB-Sniffing prüfen (moov kann größer sein) — Atom-Kette lesen. SolDoc integrations/2026-10-29-jellyfin-scan-hang-other-folder.md. Offen: Quarantäne 82 GB (27 4K-Varianten mit 1080p-Gegenstück) wartet auf Lösch-GO; `_hold/src.mp4` 618 MB.
|
||||
|
||||
- **29.10. (Chair) Fleet-Autonomie Iteration 3: Identität (SOUL.md) + Ideations-Pflicht + Tower-Token-Anzeige** — Owner: „Loop läuft nicht sauber, keine neuen Ideen, Karten bewegen sich nicht, keine Token-Consumption." Drei unabhängige Root Causes: (1) **SOUL.md** (Identitäts-Slot des Hermes-Prompts, im Workspace `/sandbox/.hermes/`) enthielt nur generischen Boilerplate bzw. fehlte bei cto/research/devops → 9 rollenlose Agenten, `max_turns: 40` wurde mit Selbstbeschäftigung gefüllt (devops: 8,5 Mio Input-Tokens in 30 min, dann rc=1). (2) Tower zeigte `0 tok/s` bei realem Verbrauch: `rate()` liefert je VK mehrere Serien, `out[vk].in = v` überschrieb mit der letzten (meist 0) → `sum by (virtual_key_name)`. (3) Der Idle-Auftrag des Watchers sagte wörtlich „**Keine neuen Karten erfinden**" — Ideen waren im System verboten, die Organisation konnte nur den Seed-Backlog abarbeiten. Fix: `gen_soul.py` + `deploy_soul.sh` (9× SOUL.md 2,9–4,0 KB, `max_turns 20`, `reasoning_effort` je Rolle), `start-agent.sh` `ensure_soul()`, Tower `sha256:84a79b99…`, watcher 0.19 `sha256:93777fc0…` mit Pflicht-Schritt 4 IDEATION (<3 Karten `Neu` → genau EINE Idee: eigene Karte oder Ideations-Auftrag an Rotation cto/cmo/coo/research). Commits `a362144`, `1407c0e`, `ce38c34`, `3f9f0cd`. Beweise: Turns 32–138 s statt 30 min; Tower-Raten (ceo 4489 / ciso 3516 / devops 9424 tok/s) identisch mit Prometheus; Karte `rueckbau-nar-tower-healthz-readonly` Neu→In Bau→Fertig mit Review; **CEO nimmt eine Abnahme nicht ab** (ZURÜCKGEWIESEN + Nachbesserung); **ciso triagiert NAR als KRITISCH** und eskaliert an tower-owner; devops stellt `[CHANGE-ORDER]` an ciso. Pitfalls: SOUL.md liegt im PVC (Image-Rebuild ändert bestehende Sandboxes nicht), Idle-Task-Text schlägt SOUL-Mandat, `wert`/`machbarkeit` 1..10, Tower bindet auf Pod-Hostname, `pkill -f "<script>"` killt die eigene SSH-Session. SolDoc Architecture 17.
|
||||
|
||||
- **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh <agent> <model>`); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung <n>p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`.
|
||||
|
||||
+76
-8
@@ -277,15 +277,35 @@ LLM-Chokepoint und objektiver Telemetrie.
|
||||
CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`,
|
||||
force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht
|
||||
`@/lib/…` — tsconfig `@/*`→`./*`).
|
||||
**29.10.: Tower 0.15** (Digest `sha256:00a82fefd1e350b73ae2f1ed288dbf71e04
|
||||
c719b7b39be96cd314c6a11878854`, Commit `4ecb30e`) = fleet-native
|
||||
**Sandboxes-View** (`/api/fleet/sandboxes` → read-only PromQL gegen
|
||||
kube-state-metrics, NS openshell, Pods `default--<agent>`; 9/9 Running,
|
||||
node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views
|
||||
(Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem
|
||||
Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create
|
||||
bewusst NICHT (Creates laufen über Provisioning-Pipeline).
|
||||
- **⚠️ 29.10. Traefik-Regression (behoben):** ArgoCD-`proxy`-Sync
|
||||
28.10. 22:21:53 (Rev `4ecb30e`) fiel mit Helm-Release #96 zusammen, das
|
||||
OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein
|
||||
allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods
|
||||
trotzdem 1/1 Ready. Fix: Kommentar in `valuesContent` (Hash-Änderung) →
|
||||
Release #97 mit `tower-internal:8445`/`web-internal:8001`/
|
||||
`websecure-internal:8444`; verify: 200 von 10.0.20.92, 403 von VLAN 30.
|
||||
Merksatz: **nach jedem proxy-App-Sync `helm get values rke2-traefik`
|
||||
prüfen**; `rc=7` = VIP announced/Port zu, Timeout = VIP-Problem.
|
||||
SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md
|
||||
- **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service
|
||||
`traefik-tower-lb`, targetPort 8445, entryPoint `tower-internal` :8445 —
|
||||
neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`), IngressRoute
|
||||
PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 + 172.16.0.0/24,
|
||||
VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls (Interim-CA bis 24.01.
|
||||
2027, CN tower.schoen.codes). `externalTrafficPolicy: Local` PFLICHT für
|
||||
ACL (sonst SNAT). ingressClass-Annotations PFLICHT (sonst still ignoriert,
|
||||
PAT-017). Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP
|
||||
`https://10.0.30.213/` (Cert-Warnung wegklicken, wie fleet-webui).
|
||||
`traefik-tower-lb`, port 443→targetPort 8445, entryPoint `tower-internal`
|
||||
:8445 — neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`),
|
||||
IngressRoute PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 +
|
||||
172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls
|
||||
(Interim-CA bis 24.01.2027, CN tower.schoen.codes).
|
||||
`externalTrafficPolicy: Local` PFLICHT für ACL (sonst SNAT).
|
||||
ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017).
|
||||
Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP
|
||||
**`https://10.0.30.213/`** (ohne Portangabe! :8445 ist nur der
|
||||
Container-Port; Cert-Warnung wegklicken).
|
||||
- **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs
|
||||
via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type
|
||||
∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten;
|
||||
@@ -775,3 +795,51 @@ Important-Fixes committed `b3b4b9f`).
|
||||
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
|
||||
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.
|
||||
|
||||
|
||||
## 29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen)
|
||||
- **Owner-Befund:** 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt.
|
||||
- **Fix (iac-homelab `f70fe30`):**
|
||||
- `fleet-spool-watcher 0.17.1` = `sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7` — IdleScheduler: Spool still ≥ `IDLE_SILENCE_SECONDS=900` + keine offenen Tasks → genau EIN Task `from=fleet-scheduler,to=ceo,type=build,P3`; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf).
|
||||
- `fleet-board-service 0.18` = `sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72` — `complete_task` mit `karte_id`/`vs` → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent.
|
||||
- `hermes-agent v5.3` = `sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067` — `FLEET_BEACON_URL` FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung.
|
||||
- `submit_task.py`: `fleet-scheduler` System-Sender (nur `build`), optionale Felder `karte_id`/`vs` (Regex `^[a-z0-9][a-z0-9-]{2,63}$`).
|
||||
- **Beweis 29.10.:** 08:39:51 `idle_trigger_created` (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation `5db4e788` ceo→devops mit `karte_id=rueckbau-nar-edd15ff1` → `card_auto_fertig` + `review_task_created` → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte `it1-tower-02-telemetry-fallback` delegiert. Karte rueckbau: Neu→In Bau→Fertig.
|
||||
- **Rollout:** 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, `deadman_agents_pending 0`, alle `alert_active 0`.
|
||||
- **PITFALL neu (OpenShell-CLI):** `openshell sandbox create --template` schließt `--env` aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest `default_image` nur beim Start → nach Digest-Pin `rollout restart sts/openshell` + `systemctl restart openshell-portforward.service` (.124).
|
||||
- **PITFALL neu (systemd):** `fleet-oidc-login.service` scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → `Environment=HOME=/root` in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, `openshell sandbox list` bricht sonst ab.
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md` (INDEX Architecture 16), Hindsight-Sync.
|
||||
- **Nachtrag 10:40 — 5. Deadman-Kaskade `progress` (Lücke 4 geschlossen),** Commit `f098091`, Image `fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa`: offener Task (`submitted|working`) mit mtime-Alter > `TASK_STALL_S=5400` → ALARM-Quelle `progress` + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; `from=deadman-watchdog` wird übersprungen, Spool unlesbar = fail-closed. Metriken `deadman_open_tasks`, `deadman_oldest_open_task_age_seconds`, `deadman_alert_active{source="progress"}`. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. **PITFALL:** Test-Tasks mit Nicht-UUID-`task_id` quarantänisiert der Watcher in Sekunden (`_invalid/`) — Test-Tasks immer `uuid4()` + `status: working` (nicht claimbar).
|
||||
- **Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (`rueckbau-nar-edd15ff1`, `it1-tower-02`, `it1-tower-03`, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe `tower-healthz-readonly` → neue Karte `rueckbau-nar-tower-healthz-readonly` (Ablauf 30.11.). Spool 116 Tasks, 0 hängend.
|
||||
|
||||
## 29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte
|
||||
- **Owner-Befund (dritte Iteration desselben Symptoms):** „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: **Prompt- und Kostenebene**, nicht Trigger-Ebene.
|
||||
- **RC-1 Identität:** Der Hermes-Identitäts-Slot ist `SOUL.md` im Workspace (`/sandbox/.hermes/SOUL.md`, Loader `agent/system_prompt.py`), NICHT Image und NICHT `config.yaml`. Dort lag nur generischer Hermes-Boilerplate (667 B); `cto`/`research`/`devops` hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin.
|
||||
- **Fix (Commit `a362144`):** `agent-image/fleet/gen_soul.py` erzeugt 9 `SOUL.md` (2,9–4,0 KB) aus `org.yaml` + `FLEET-POLICIES.md` (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report `ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN`, harte Fähigkeitsgrenzen). `deploy_soul.sh` schreibt live + `max_turns 40→20` + `reasoning_effort` (coo/research/devops `low`, Rest `max`). `start-agent.sh` `ensure_soul()` kopiert `soul/<agent_id>.md` aus `/opt/hermes/fleet/soul/` bei fehlend/abweichend.
|
||||
- **Wirkung:** Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → `rc=1` am `max_turns=40`-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (`cto`) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s.
|
||||
- **RC-2 Kosten-Anzeige:** devops verbrannte **8,5 Mio Input-Tokens in 30 min** mit Meta-Analyse der eigenen `state.db`-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower `0 tok/s` für alle: `fleetSource.ts` nutzte `rate(bifrost_input_tokens_total[2m])` ohne Aggregation — `rate()` liefert je VK mehrere Serien (`method`/`model`/`provider`/`fallback_index`), `out[vk].in = v` überschrieb mit der letzten (meist 0).
|
||||
- **Fix (Commit `1407c0e`, Tower `sha256:84a79b99…`):** `sum by (virtual_key_name)(rate(...))` + additives `+=`. **Beweis:** Tower `ceo 4489 / ciso 3516 / devops 9424 tok/s` — identisch mit Prometheus-Gegenprobe.
|
||||
- **RC-3 Ideen waren verboten:** Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … **Keine neuen Karten erfinden**." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.)
|
||||
- **Fix (Commits `ce38c34` watcher 0.18, `3f9f0cd` watcher 0.19, live `sha256:93777fc0…`):** Pflicht-Schritt 4 **IDEATION** — sind < 3 Karten `status=Neu` (ohne `rueckbau-*`, ohne Dauerauftrag `dauer-tower-dev`), erzeugt der CEO genau EINE Idee: selbst eine Karte (`add_backlog_card`, `wert`/`machbarkeit` je **1–10**, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation `cto/cmo/coo/research` (`IDLE_IDEATION_ROLES`, `(epoch//86400) % 4`, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee").
|
||||
- **Nebenbeweise für Loop-Qualität (gleicher Zeitraum):** `complete_task` mit `karte_id` → Karte `rueckbau-nar-tower-healthz-readonly` automatisch `Fertig` + Review an `ceo`; **CEO hat die Abnahme ZURÜCKGEWIESEN** (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); **ciso triagiert NAR als KRITISCH** (Schreibzugriff Policy-Repo) und eskaliert an `tower-owner` statt zu genehmigen; **devops erkennt fehlenden Cluster-Zugriff** und stellt Änderungsauftrag (`[CHANGE-ORDER]`) an `ciso`.
|
||||
- **PITFALLS:** (1) `SOUL.md` liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) `add_backlog_card`: `wert`/`machbarkeit` sind `1..10` (`SCORE_MIN,SCORE_MAX=1,10`) — Text mit `1-100` wirft ToolError. (4) `rate()` je VK immer `sum by (virtual_key_name)`. (5) Tower bindet auf **Pod-Hostname**, `fetch` mit `127.0.0.1` → ECONNREFUSED (Pod-IP nutzen). (6) `pkill -f "<scriptname>"` killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile).
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md` (INDEX Architecture 17), Hindsight retain.
|
||||
|
||||
## 29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5
|
||||
- **Entscheid 1b:** Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. **Entscheid 2b:** Ideations-Schwelle `< 3` → `< 5` Karten `Neu`.
|
||||
- **Neu: `fleet-policy-service` 0.1** (`git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e`, Code `clusters/main/fleet/mcp/policy-service/`, Commit `0e7f698`). MCP-Tools: `health`, `policy_list`, `policy_read`, `policy_diff`, `policy_commit`, `policy_status`. Schreibt **nur** `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via **Gitea-Contents-API** (kein git im Pod).
|
||||
- **6 Gates:** Org-Mitglied → Rolle in `POLICY_WRITERS={ciso,devops}` → **Owner-Freigabe** (`grant_task_id` = Spool-Task `from=tower-owner`, `to=<caller>`, `type=build`, `topic='FREIGABE: erteilt — …'`, ≤30 Tage) → Pfad-Regex (kein `..`, kein Unterordner) → striktes YAML (`version:1`, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → **Read-back bytegleich**.
|
||||
- **Audit:** Journal-Event `policy_commit` (Pfad, Commit-SHA, Rolle, Grant, `hosts_added/hosts_removed`) — Tower liest dort.
|
||||
- **Token** nur im Pod (`Secret fleet-policy-gitea`, out-of-band).
|
||||
- **Beweise:** 9/9 Negativfaelle aus dem Pod fail-loud (`GATE_FAILS=0`); echter Commit `538359a` als Autor `Fleet devops` mit Owner-Grant `f6dafd60…`, Read-back OK; **Agent-Turn aus dem Sandbox 60 s** (health/list/read valide, beide Negativfaelle greifen).
|
||||
- **Verdrahtung (3 Dinge, sonst unerreichbar):** Deployment+Service → Host in `sandbox-base.yaml` (`fleet_mcp_policy_service:8080`, Chair-Commit) → `mcp_servers.policy` in `/sandbox/.hermes/config.yaml` → **Recreate** (Policy wird beim Create gebunden). devops+ciso recreated, `Phase: Ready`, SOUL 3113/3225 B, `max_turns: 20`.
|
||||
- **watcher 0.20** (`sha256:21ea543c…`, Commit `5279cdc`): Ideations-Schwelle `<5`. Live verifiziert (`ALS 5` im Pod, `ALS 3` weg).
|
||||
- **PITFALLS (neu, alle real):**
|
||||
1. **OIDC-Token (4 h) abgelaufen → delete UND create scheitern** (`no refresh token available`) — fail-closed, nichts geloescht. Re-Login `/tmp/oidc-login3.sh` auf .124.
|
||||
2. **`--detach -- sleep infinity` ist die falsche Startzeile** — Sandbox laeuft ohne Runtime (nur `sleep`, keine SOUL/Config). Richtig: `--template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh <agent> <model>`.
|
||||
3. **Recreate = frisches Workspace-PVC**: SOUL+Config weg. `ensure_soul` greift nur, wenn `/opt/hermes/fleet/soul/` **im Image** liegt — das Gateway-`default_image` ist aelter. **LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet.** Sofort-Fix `deploy_soul.sh <agents>`; Dauerfix = Agent-Image-Rebuild (offene Karte).
|
||||
4. **Maskierte Werkzeug-Ausgaben**: venv-Pfad erscheint als `…3.14.9+202****1021-…`; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren `binaries`-Match nie greift. Gegenprobe per `base64`.
|
||||
5. **PyYAML akzeptiert doppelte Keys** (letzter gewinnt), OpenShell nicht → eigener Strict-Loader.
|
||||
6. **`kubectl exec`-Prozesse im Sandbox haben KEIN DNS** (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec.
|
||||
- **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
|
||||
- **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.
|
||||
|
||||
+3
-2
@@ -24,10 +24,11 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
| Admin-Login | 1P-Item **„Jellyfin Login dominik"** (Vault Kubernetes ESO), User `dominik`, IsAdministrator |
|
||||
|
||||
## Bibliothek
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`, 6 Serienordner als Folder: DeviceBondage (8), DungeonSex (26), ErikaLust (5), SexAndSubmission (36), TheTrainingOfO (6), TheUpperFloor (25) — **106 Videos, verifiziert 19.10.**.
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`. Stand **29.10.2026: 215 Videos, 215 NFOs** in 25 Serienordnern (Jellyfin 1:1 = 215 Items, Scan verifiziert) (PureTaboo 42, Deeper 45, KinkUniversity 1, SexAndSubmission 26, TheUpperFloor 18, BratTamer 16, DeviceBondage 13, DungeonSex 13, HogTied 8, TheTrainingOfO 6, ErikaLust 5, He's in Charge 4, Lustery 3, BFTP18/NerdPervert/KinkTestShoots 2, AnalVids/BellesaFilms/BoundGangBangs/BukkakeFest/EnjoyX/GlowingDesire/MajorHotWife/SilkSub/TheLifeErotic 1).
|
||||
- **Kollaps-Falle**: Movies-Typ fasst mehrere Dateien pro Ordner zu 1 Film + unsichtbaren Extras zusammen. Szenen-Bibliotheken besser als `homevideos` oder untypisiert anlegen (zeigen jede Datei einzeln; NFO-Parsing identisch).
|
||||
- **Zombie-Items-Falle**: Alte Movie-Items auf gleichen Pfaden überleben Library-Delete+Recreate in `jellyfin.db` (pfadbasiertes Keying) und lassen jeden Scan leer laufen („Validating" ohne Enumeration). Heilung: Full-DB-Reset — ArgoCD selfHeal aus, scale 0, `mv /config/data/jellyfin.db* /config/dbbackup-<datum>/`, Wizard-Flag reset, Neu-Bootstrap. Backup: `/config/dbbackup-20261019/` auf jellyfin-config-PVC.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert.
|
||||
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
|
||||
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
|
||||
|
||||
## API-Fallen (12.2) — Details: Solution Doc s.u.
|
||||
|
||||
+54
-6
@@ -12,11 +12,49 @@ modified: "2026-10-19"
|
||||
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
|
||||
|
||||
## Container
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne; Mappings zusätzlich Deeper/AnalVids/BFTP18)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
|
||||
- **samba** (Sidecar): SMB-Share `downloads`
|
||||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||||
|
||||
## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`)
|
||||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||||
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
|
||||
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
|
||||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||||
|
||||
## Aufräum-Workflow (nach großen Wellen)
|
||||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||||
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
|
||||
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
|
||||
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
|
||||
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
|
||||
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
|
||||
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
|
||||
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
|
||||
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
|
||||
|
||||
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
|
||||
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
|
||||
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
|
||||
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
|
||||
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
|
||||
|
||||
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
|
||||
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
|
||||
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
|
||||
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
|
||||
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
|
||||
|
||||
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
|
||||
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
|
||||
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
|
||||
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
|
||||
|
||||
## VAAPI / GPU-Encoding
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
|
||||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||||
@@ -24,6 +62,9 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
|
||||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||||
|
||||
## Converter-Pipeline (Design)
|
||||
|
||||
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
|
||||
|
||||
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
|
||||
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
|
||||
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
|
||||
@@ -41,10 +82,17 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||||
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
|
||||
```
|
||||
|
||||
## Rollout-Rezept (Skript-Änderung)
|
||||
1. Skript in `configmap.yaml` patchen + `sabnzbd/converter-script-version: "N+1"` im Deployment bumpen (bash liest Skript nur beim Start)
|
||||
2. Commit + Push (Gitea) → `kubectl -n sabnzbd delete cm sabnzbd-postproc-script sabnzbd-converter-script` (ArgoCD-SSA-Hot-Update-Limitierung)
|
||||
3. `kubectl annotate application sabnzbd -n argocd argocd.argoproj.io/refresh=normal --overwrite` → neuer Pod, Daemon startet mit neuem Skript
|
||||
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
|
||||
|
||||
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
|
||||
|
||||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.).
|
||||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||||
|
||||
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
|
||||
|
||||
## Netzwerk / Sicherheit
|
||||
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
|
||||
|
||||
Reference in New Issue
Block a user