Compare commits
3
Commits
9709787bc0
...
21a25a0635
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
21a25a0635 | ||
|
|
2053828eaf | ||
|
|
e79b912ca5 |
@@ -0,0 +1,41 @@
|
||||
# Samsung QN90A (Wohnzimmer-TV)
|
||||
|
||||
**Modell:** GQ65QN90AATXZG · Tizen · EU · DUID uuid:6499ad2f-1417-432a-868c-26b2404c47ba
|
||||
**Netz:** 10.0.40.104 (WLAN, MAC 10:2b:41:55:7e:5e; DHCP-Reservation offen) · res/uid wechselnde IP!
|
||||
**Stand:** 2026-11-01 — gerootet + persistent gehärtet via Vetro v0.3.5
|
||||
|
||||
## Security-Status
|
||||
- **Vetro v0.3.5** installiert (Partner-Zertifikat: `~/.config/Apps2Samsung/Certificate/` auf hermes-agent-01)
|
||||
- Vetro-Service rootet den TV **bei jedem Boot selbst** (agent uid=0) → kein manueller Root mehr nötig
|
||||
- Dashboard: `http://10.0.40.104:8099` — **unauthentifiziertes HTTP**, nur trusted LAN, nie exponen
|
||||
- Developer Mode: Host-IP steht auf **127.0.0.1** → SDB 26101 von außen bewusst geschlossen
|
||||
|
||||
## Privacy-Härtung (verified 2026-11-01)
|
||||
- DNS-Filter: 21 Telemetrie-Domains (samsungads/samsungacr/samsungqbe/atlas) → 0.0.0.0, Vetro restauriert bei jedem Boot
|
||||
- Voice-Stack komplett aus: `voice-all` (31 Apps) + `tracking-all`/ACR (18 Apps), Boot-Flags false
|
||||
- HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0 — schützt die Root-Route!)
|
||||
- Boot-Flag-Backup: `~/workspace/tv-privacy-backup-20261101.csv` (431 Flags, Host + TV)
|
||||
|
||||
## Nie anfassen
|
||||
- `org.tizen.ambientapp` (Boot-Loop-Gefahr)
|
||||
- `com.samsung.tv.coba.adagent` (Smart-Hub-Abhängigkeit)
|
||||
- Vetro-Service-Flags (`vetrotvapp.svc` onboot/autorestart müssen true bleiben)
|
||||
|
||||
## App-Installation (Fladder-Playbook, verifiziert 2026-11-01)
|
||||
DevMode „Host PC IP" = vconf-Key **`db/sdk/develop/ip`** (Buxton-DB `/var/lib/buxton2/system.db`) — ohne TV-Menü umschaltbar via Vetro-Root:
|
||||
1. `curl -X POST http://10.0.40.104:8099/exec -d '{"cmd":"vconftool set -f -t string db/sdk/develop/ip 10.0.30.230"}'`
|
||||
2. `sdb kill-server && sdb start-server && sdb connect 10.0.40.104:26101`
|
||||
3. `a2s/apps2samsung-cli install "<App>" --tv 10.0.40.104 --local-ip 10.0.30.230 --yes --partner` (Partner-Zertifikat lokal, kein Login)
|
||||
4. **Zurück auf 127.0.0.1** (`vconftool set … 127.0.0.1`) + `sdb kill-server` → SDB extern wieder zu
|
||||
Pitfalls: ohne `--partner` wartet A2S 5 min auf Samsung-Login; `pkgcmd -i` direkt auf dem TV scheitert an fehlender Signatur (error -12); A2S hält während des Laufs den SDB-Slot.
|
||||
Installiert: **Fladder v0.8.1** (`nl.jknaapen.fladder`, Jellyfin-Client) — Server-URL im ersten App-Start konfigurieren.
|
||||
|
||||
## Known Issues
|
||||
- IP volatil (.100→.104 nach Power-Cycle) — Reservation am Router offen
|
||||
- QN90A bootet nach Stromtrennung in Standby mit WLAN getrennt (rote LED)
|
||||
- sdbd-Client-Slot exklusiv: Während Apps2Samsung-Installer läuft, keine Root-Sessions möglich
|
||||
|
||||
## Related
|
||||
- Skill: samsung-tizen-tv-administration, security-exposure-audit
|
||||
- Solution Doc: ~/docs/solutions/integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md
|
||||
- Offen: Debloat-Menü, individueller lokaler Hintergrund (Ambient)
|
||||
@@ -15,6 +15,7 @@
|
||||
| `patterns/` | Rekurrente Failure-Mode Patterns + Skill-Impact Tracker |
|
||||
|
||||
## Entities
|
||||
- [[entities/samsung-qn90a]] — Wohnzimmer-TV, gerootet, Vetro v0.3.5, Privacy-Stack (11/2026)
|
||||
- [[entities/infrastructure]] — Physikalische Hardware, Cluster-Übersicht
|
||||
- [[entities/team-structure]] — CEO + Agents Modell (Nutzerprofil Dominik integriert)
|
||||
- [[entities/finanzen-immobilien]] — Baufinanzierung, Tegernheim, Mintos (aus L0 ausgelagert 10/2026)
|
||||
@@ -84,6 +85,8 @@
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] — PCI-Reset→lvchange→chown-Falle, Weight-Management bei Reintegration (PAT-014)
|
||||
- [[patterns/systemd-path-blindness]] — Exit-127-Klasse: ~/.local/bin unsichtbar im systemd-PATH, trap-EXIT-Cleanup (PAT-016)
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015)
|
||||
- [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018)
|
||||
- [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019)
|
||||
- [[patterns/skill-impact]] — Skill Modification Audit Trail
|
||||
|
||||
## Memory Layer Architektur
|
||||
|
||||
@@ -1,5 +1,28 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-11-01] Zweite Beschaffungswelle: +24 Szenen (Submissed/AngeloGodshack/PascalsSubSluts) + Quarantäne-Inventar
|
||||
- **Sweep repariert:** discovery-Cap `max=250` (vorher 25 Zeilen), Szenen-Key = Brand+Datum+Performer mit Release-Token-Strip, Varianten-Merge (1080p AVC > 1080p HEVC > 720p). Alte Version lud dieselbe Szene 2–3× als 720p/1080p.
|
||||
- **Dedupe-Regel:** gegen `media/` über Datum **und** Performer; ohne Datum (LegalPorno-Jahresposts) nur Performer. Nur Performer allein hätte 3× `Mini Mitzix` als „neu“ gemeldet.
|
||||
- **Ergebnis:** 24 Szenen / 23 GB, `addurl` in einem Rutsch, 0 Fehlschläge. Bibliothek **557 Dateien / 555 NFOs** (550 mp4 + 5 mkv + 2 wmv), 0 ohne NFO, 0 falscher Owner, 0 `(2)`-Kopien. Jellyfin **555 Items** (Refresh 204, Scan Completed).
|
||||
- **Verteilung:** Submissed 14 (+5), PascalsSubSluts 16 (+15), AngeloGodshack 9 (+4).
|
||||
- **Quarantäne 163 GB klassifiziert:** A-safe 62 Dateien/91,9 GB löschbar (Dubletten, Gegenstück ≥ gleiche Auflösung), A-master 6× 2160p/42,3 GB behalten, B 3/2,6 GB Review, C 17/43,5 GB unique (davon 8× 2160p ~34 GB Downscale-Kandidaten).
|
||||
- **binsearch** ist entgegen der alten Skill-Notiz curl-scrapbar (`/search?...&max=250`, NZB per GET). Skill `usenet-binaries` korrigiert.
|
||||
|
||||
## [2026-11-01] NZB-Kanal binsearch + Sorter v13 (4 neue Studios) + 14 Szenen in der Bibliothek
|
||||
- **Quellenlage:** nzbindex (Download 404) und nzbking (nur .par2) untauglich → **binsearch.info** liefert echte Videoposts. NZB per **GET** `/nzb?<msgid>=on` (POST = 405), Einreihen per SAB `mode=addurl` statt `nzb-drop` (Drop+Cron = Doppel-Einreihung, 2×1,7 GB beobachtet).
|
||||
- **Sorter v13** (`a27c85e`): `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles` gemappt; `*angelogodshack*`-Wildcard nötig (LegalPorno-Branding), `^legalporno[._-][0-9]{4}[._-]`-Strip, Junk-Token `p0rnl0v3r`.
|
||||
- **Ergebnis:** +14 Szenen (8 Submissed, 1 PascalsSubSluts, 5 AngeloGodshack), 18,3 GB, 0 Fehlschläge; Bibliothek **525 Videos / 530 NFOs / 0 ohne NFO / 0 falscher Owner / 0 (2)-Kopien**; Jellyfin 530 Items (Refresh 204).
|
||||
- **Nebenarbeit:** 28 Tutorials-NFOs erzeugt (Studio `Tutorials`, Genre BDSM/Education), 5 root:root-NFOs in PublicDisgrace gefixt, 2 Früh-NFOs mit `studio=Kink.com` auf `Submissed` korrigiert.
|
||||
- **Offen:** `complete/` 105 GB Löschfreigabe, Quarantäne 163 GB, 7 stale Jellyfin-Rows (mkv/wmv), Disk 88 %.
|
||||
- SolDoc integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md; Wiki systems/sabnzbd.md (v13 + NZB-Quellen).
|
||||
|
||||
## [2026-11-01] Samsung QN90A persistent gerootet + Privacy-Stack via Vetro v0.3.5
|
||||
- **Root:** samsung-tv-root v0.0.12 (SVE-2025-50109) via Developer Mode, danach Vetro-Service installiert → **self-rooting bei jedem Boot** (Developer-Host-IP jetzt 127.0.0.1, SDB extern zu).
|
||||
- **Privacy verified:** DNS-Filter 21 Domains (Vetro restauriert je Boot), Voice-Stack aus (voice-all: 31 Apps geflaggt, 0 Prozesse live), ACR/tracking-all (18 Apps), HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0).
|
||||
- **Pitfalls:** Tizen-App-Graph — Einzelflags verlieren gegen referencedBy-Kanten, Quick-Win-Gruppen nehmen; pkgcmd -D exit 25 (wirkungslos auf diesem Build); sdbd-Client-Slot exklusiv (A2S-Installer blockt Root-Sessions); /wins-firmware-Semantik invertiert; Vetro-/dns-Payload braucht `action:"apply"`.
|
||||
- **Backups:** tv-privacy-backup-20261101.csv (431 Boot-Flags, Host+TV); Samsung-Partner-Zertifikat unter ~/.config/Apps2Samsung.
|
||||
- SolDoc integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md + Hindsight; Wiki entities/samsung-qn90a.md NEU + index.md.
|
||||
|
||||
## [2026-10-30] CVE-2026-98432 Fleet-Sweep — 26/26 Kernel betroffen, drei Fix-Pfade
|
||||
- **Befund:** 8 PVE-Hosts (7.0.14-17/-19, Fix ab -25), 8 K8s-Nodes (7.1.8, Branch EOL), 8 Debian-12-VMs (6.1.187, Fix 6.1.190 **schon installiert**), Ubuntu-Node .100 (6.8.0-146, Fix 6.8.0-149 noch nicht released), HAOS 6.18.52. 29 LXC erben PVE-Kernel. 0 gepatcht.
|
||||
- **Exposition:** Einzige WAN-exponierte Kernel-Instanz ist CT99999 (Traefik-LXC auf proxmox7); K8s-Nodes sehen Internet nur über L7-Proxy (re-originated, keine IP-Options). Kein öffentlicher PoC, EPSS 0,39 %.
|
||||
@@ -836,3 +859,13 @@
|
||||
- 2026-11-01 12:40 - systems/homeassistant: **BLE-Kalibrierung korrigiert** — ref_power gilt PRO GERÄT (nicht pro Scanner); Geometrie gemessen: 18/27 Geräte von ≥3 Scannern gesehen, iPhone indoor nur 2 → Innenraum-Proxy-Dichte ist der Engpass, nicht Kalibrierung. Fix: Output-0 (Brunnenstein) → Garten, Shelly-Entry-Titel 'Stromverbrauch Heizung' → 'Strommessung Wärmepumpe'. Tool: ~/workspace/bermuda_calib.py.
|
||||
- 2026-11-01 13:50 - systems/sabnzbd: **Codec-Audit komplett** (507 Videos): 164 HEVC/hvc1 (32%), 338 h264, 2 WMV3, 3 defekt (2x `.hevc_`-Temp ~1,9 GB, 1 Tutorial-MP4 moov fehlt). HEVC-Lauf stoppte 30.10. 17:56 (Manifest 126 Eintraege, kein ffmpeg aktiv). Fortsetzung blockiert: GPU-Node worker-05 (ms-a2-2) dunkel, worker-04 ohne renderD128 -> CPU-x265 unrentabel. Audit-Rohdaten: /config/convert-state/scan.tsv im Pod.
|
||||
- 2026-11-01 13:50 - entities/haus-grundrisse neu: Grundrisse EG/OG abgelegt (`assets/haus/`), Raum-Mapping OG vom Owner (Schlafen=Büro Sarah, Kind2=Schlafzimmer, Kind1=Cleo). Vision-Auswertung offen (Backend 502/WASM).
|
||||
- 2026-11-01 19:20 - systems/galera-maxscale: **MariaDB 11.8.9 rolling, 3/3 Synced, kein App-Ausfall** — Drift 11.4.12/12/13 erkannt, Stufe 1 alle auf 11.4.13, Stufe 2 node-fuer-node 11.4.13->11.8.9 (db3->db2->db1, Master zuletzt), `galera-4 26.4.27` unveraendert. `.72` per IST (5 s), `.73`/`.71` per SST (mariabackup-Stream, danach ~2 min Schema-Init). Verifiziert: VIP .70:3306 offen, gitea+5x ha_recorder ueber MaxScale verbunden, wsrep_last_committed +4/30 s, 0 ERROR-Zeilen, Gitea HTTPS 200, Schemas 116/25/16/13 Tabellen. Pitfalls: drain auf Master verboten -> `maintenance`; `maxctrl clear server X <state>` braucht State-Arg; Repo-Dateiname `.sources` vs `.list` je Node; apt auf HDD-Ceph ~10 min/Node -> nohup im Node. Logischer Dump verworfen (13 MB/min, ~6 h) -> Rollback = qm-Snapshots VM300/301/302. Naechster Schritt: Repo-Suite deb12->deb13 (trixie), Version bleibt 11.8.9. SolDoc migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md
|
||||
- 2026-11-01 20:10 - systems/jellyfin: **StashDB-Metadaten-Pipeline** — 439/506 Szenen (87 %) mit Original-Englisch-Plot, Studio, Datum, Cast, Regie; 31 Collections als Studio-/Serien-Kategorien; 437 NFOs ersetzen die Boilerplate. Fallstricke: `searchStudio` token-basiert (DeviceBondage→0, Device→*Device Bondage*), `performers` nur `INCLUDES` (EQUALS = Serverfehler, Recovery lief 5 min mit 0 Treffern), `text` matcht nur Titel → Cast nur via `searchPerformer`-ID, Pfad-Prefix `/media` vs `/config/downloads/media` normalisieren. Jellyfin-Write = voller DTO per `POST /Items/{id}` (204), Collections `POST /Collections?name=…&ids=…`. 67 ohne Match (28 Tutorials nicht in StashDB). SolDoc integrations/2026-11-01-stashdb-metadata-pipeline.md
|
||||
- 2026-11-01 20:15 - systems/jellyfin: **Dauerbetrieb** — StashDB-Enricher (`~/workspace/media_meta/`) + Cron `7264208b70b0` (6h, no_agent, still bei Leerlauf). 437 Items Tag `StashDB`, 67 Tag `nosdb` (zweiter Anlauf inkl. Performer-Recovery: 0 weitere Treffer). Sorter bewusst unangetastet (GitOps + Rollout killt Transcodes). Secrets: JF in `~/.hermes/secrets/media_meta.env`, StashDB-Key via `op read`.
|
||||
- 2026-11-01 19:05 - systems/agent-fleet: **Watcher 0.26 fyi-Retention live** — `phase_archive()` verschiebt fyi älter 1 Tag per os.replace nach `_archive/` (Move, nie Delete; max 250/Lauf, alle 300 s, Journal `fyi_archived`). Digest `sha256:aeb6efc6…ad30beb`, Smoke 32/32. Zwei Läufe: **319 fyi archiviert**, top-level 1574→1255, Rest 345 fyi alle ≤1,0 d. **Korrektur einer Fehlaussage:** von 664 fyi waren 651 `completed` — nur **12 `submitted`** blockierten das Idle-Gate. Kaniko-Pitfalls: interne Gitea-CA (`--skip-tls-verify-registry`), `BLOB_UPLOAD_UNKNOWN` + lügende `--digest-file` (Wahrheit = Pushed-Zeile; `--compressed-caching=false` + frischer Pod). SolDoc bug-fixes/2026-11-01-fyi-retention-archive.md
|
||||
- 2026-11-01 19:10 - systems/sabnzbd: **Sorter-Stillstand beendet** — `script = Default` in ini (kein Postproc!) + 3 Skript-Bugs (case-sensitiv, 15 Marken fehlten, obfuskierte Ordner) + Retry-Automat wiederholte permanente Fehler. 11 Dateien sortiert, Jellyfin 504→516, Disk 90→88%%.
|
||||
- 2026-11-01 19:56 - systems/rke2-kubernetes: **ArgoCD-Sync-Blocker entkoppelt** — App `fleet` hing 1,5 h an `DaemonSet/fleet-agent-image-prepuller` (8/7 ready, worker-05 Unknown): ArgoCD bewertet DS erst ab `numberReady==desiredNumberScheduled` als Healthy. `resource.customizations.health.apps_DaemonSet` mit enger Toleranz (nur dieses DS, genau 1 Node, ab 2 → Progressing) → Settings-Reload ohne Restart, laufender Op wurde `Succeeded`, App `Synced/Healthy`. Dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`), weil argocd-cm Helm-managed ist. Nebeneffekt: der Op rollte das Watcher-Deployment aus Git neu aus → Retention-Env + `_archive`-Init-Container erst dadurch live (`set image` hatte sie übersprungen). SolDoc bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md
|
||||
- 2026-11-01 20:05 - systems/sabnzbd: **Sorter-Sweep-Watchdog** (Cron `57900310b6e5`, 30 min) + Retry-Automat um Postproc-Klasse erweitert (`nachbearbeitung wurde abgebrochen`, `no such file`) → Sarah18-Wrack weg. Befund: `complete/` = 104 GB, darin **0 Videos** (67 GB Anime + 37 GB RAR-Sets + 89 NFO/JPG-Huelsen) → Loeschung braucht GO.
|
||||
- 2026-11-01 20:45 - systems/agent-fleet: **Karten-Bewertungs-Sweep live** (board-service 0.23 `2d8d3026`, watcher 0.25 `580773d3`, Commits 801409c/e8ef165/a233597). Zwei Zustell-Blocker behoben: (1) Dedupe filterte auf `type: review` — ein fachlicher Abnahme-Task (`working`, vs-fleet-rebuild) sperrte 40 fällige Karten → `_is_card_review_task()` = Sender-Diskriminator; (2) `board-service` fehlte in der **Hardcode-Kopie** der Sender-Allowlist im Watcher (`watcher_main.py` importiert nichts) → 4 Tasks `accepted` + 1 s später `quarantined`, Automatik meldete 40 min Erfolg ohne Zustellung. `accepted` ist Schreib-, `task_claimed` ist Zustellbeweis. Regressionsschutz `spool/test_sender_sync.py` (AST, 14 Checks). E2E: 5 Karten an ceo zugestellt (`c5473d17`), Karten unverändert `Neu`, Folgelauf ohne Doppel-Task. Pattern PAT-018 (`patterns/automatik-erfolg-kein-zustellbeweis.md`), Skill-Ref `agent-fleet-operations/references/spool-delivery-contract.md`, SolDoc bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
- 2026-11-01 21:55 - systems/galera-maxscale: **Welle 4 komplett — alle 5 DB-Nodes auf Debian 13 trixie, Kernel 6.12.113** (schließt CVE-2026-98432 für diese Tier). Galera: MariaDB 11.8.9+maria~deb13, galera-4 26.4.27-deb13, 3/3 Synced/wsrep_ready=ON; MaxScale 24.02.9~trixie-1 auf .81/.82, VIP .70:3306 offen. Ablauf: MaxScale zuerst (.82→.81), dann Galera db1→db2→db3 (Master zuletzt via `maintenance`, weil `galeramon` keinen switchover kennt). Pitfalls: cloud-init 25.1.4 schrieb auf .81 leeres netplan → DHCP/IP-Verlust (Fix 99-static-eth0.yaml per MAC + cloud-init-Netz aus); Repo-Namen driften (`mariadb.sources` vs `mariadb.list`, `fluent-bit.list` auf .72/.73); apt auf HDD-Ceph ~10-20 min/Node → nohup + `=== END`-Sentinel. E2E: Gitea 200 (1.27.0), Immich pong. Seafile-502 vorbestehend (VM203 ai-inference-01 gestoppt). SolDoc migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md
|
||||
- 2026-11-01 21:25 - systems/agent-fleet: **Deadman-Alarm an toten ceo umgeleitet** (Commit `7b621ad`, deadman 0.13.3 `d8dbc57a`, watcher 0.27 `ced4430b`). Vorfall: ceo-Sandbox `PHASE Error` ab ~18:43, Deadman erkannte korrekt, legte Alarm mit `to: ceo` → 1 h 43 m ungesehen, 73 Tasks Rückstau. Fix: `alarm_recipient()` leitet bei `source_key == agent:<ALARM_TARGET>` an `tower-owner`. Sender-Matrix in allen drei Ebenen erweitert (submit_task.py, watcher_main.py, CM-Kopie). Tests: test_alarm_routing 19/19, sender_sync 0 Fehler, echter Validator im Pod 6/6. ceo wiederhergestellt (stop→start nach OIDC-Login). Pattern PAT-019. Offen: Reconcile-Loop für PHASE Error, OIDC-Refresh-Token
|
||||
|
||||
@@ -0,0 +1,84 @@
|
||||
---
|
||||
pattern_id: PAT-018
|
||||
title: "Erfolgsmeldung einer Automatik ist kein Zustellbeweis — dateibasierte Queues validieren zweimal"
|
||||
category: integration
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-10
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-spool, board-service, spool-watcher, submit_task]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md
|
||||
- bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
related_skills: [devops/agent-fleet-operations]
|
||||
---
|
||||
|
||||
# Erfolgsmeldung einer Automatik ist kein Zustellbeweis
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein Automatik-Dienst meldet Erfolg (Log-Zeile, `rc=0`, `{"result":"OK","task_id":…}`,
|
||||
MCP-`OK_*`) — aber der erzeugte Auftrag existiert nirgends:
|
||||
|
||||
- `grep` nach dem Sender findet **0** Dateien im Spool,
|
||||
- die Zielgröße bleibt unverändert (Karte `Neu`, Dead-Letter-Eintrag weg),
|
||||
- im Journal stehen **zwei** Events zur selben `task_id`: `accepted` **und**
|
||||
`quarantined`.
|
||||
|
||||
Der Dienst läuft stundenlang „grün" und arbeitet nichts ab.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Der Spool hat **zwei unabhängige Validierungsschichten**:
|
||||
|
||||
| Schicht | Datei | Zeitpunkt | Sichtbar für den Einleger? |
|
||||
|---|---|---|---|
|
||||
| Einleger | `spool/submit_task.py` (`VALID_SYSTEM_SENDERS`, `VALID_SYSTEM_SENDER_TYPES`) | beim Schreiben | ja (Rückgabewert) |
|
||||
| Watcher | `spool/watcher/watcher_main.py` (`SUBMIT_SYSTEM_SENDERS`, `SUBMIT_SYSTEM_SENDER_TYPES`, `validate_schema_loose`) | beim Scan, Sekunden später | **nein** |
|
||||
|
||||
Der Watcher-Pod hat `submit_task.py` nicht im Image und hält eine **Hardcode-Kopie**
|
||||
derselben Konstanten. Wer nur eine Seite pflegt, erzeugt Drift: Der Einleger
|
||||
akzeptiert, der Watcher quarantäniert (`_invalid/`), und `accepted` wird **vor**
|
||||
der Quarantäne geschrieben — der Aufrufer sieht nur den Erfolg.
|
||||
|
||||
Zweite Ausprägung derselben Klasse: Der Watcher prüft das Envelope-Schema
|
||||
strikt (uuid4-`task_id`, Status-Enum, Feld-Whitelist). Ein Erzeuger, der eigene
|
||||
IDs oder Zusatzstatus schreibt, wird erst beim Scan abgewiesen.
|
||||
|
||||
## Mitigation
|
||||
|
||||
1. **Zustell-Indikator prüfen, nicht den Rückgabewert:**
|
||||
`grep -l "^from: <sender>" <spool>/*.yaml | wc -l` → muss > 0 sein.
|
||||
2. **Journal nach der `task_id` fragen:** `accepted` + `quarantined` in
|
||||
derselben Sekunde beweist Einleger-schuld-frei / Watcher-schuld-tragend.
|
||||
3. **`_invalid/*quar-<id>.yaml` prüfen** — der Envelope ist meist inhaltlich
|
||||
korrekt und kann nach dem Fix unverändert zurück in den Spool
|
||||
(`mv` statt Neuerzeugung, IDs/Bodies bleiben).
|
||||
4. **Beide Konstanten-Dateien patchen**, dann Sync-Test laufen lassen
|
||||
(`spool/test_sender_sync.py`, AST-Vergleich beider Dateien).
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Sync-Test für Duplikate:** Wo eine Konstante bewusst doppelt liegt, muss ein
|
||||
Test die Gleichheit erzwingen (`test_sender_sync.py`: Sendermengen,
|
||||
Typ-Mapping je Sender, keine Kollision System-Sender/Org-Agent).
|
||||
- **Erfolg erst behaupten, wenn zugestellt:** Automatik-Trigger loggen „ok"
|
||||
erst bei `task_claimed` / Datei im Spool nach dem Scan — nicht bei `accepted`.
|
||||
- **Typen sind Format, nicht Absicht:** Dedupe/Filter nie auf einen Typ stützen,
|
||||
den auch Menschen benutzen (`review` = fachliche Abnahme **und** Sweep-Auftrag).
|
||||
Diskriminator ist der Sender (`from`).
|
||||
- **Automatik-Tasks nicht mit `karte_id` versehen**, wenn sie nur aktivieren
|
||||
sollen — sonst koppelt `complete_task` die Karte blind auf `Fertig`.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-10-30** — Re-Dispatch verletzte den Envelope-Vertrag (synthetische
|
||||
`task_id`, `status: re-dispatched`, Zusatzfelder) → zwei `quarantined`-Events,
|
||||
Dead-Letter-Eintrag weg. SolDoc
|
||||
`bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md`.
|
||||
- **2026-11-01** — Karten-Bewertungs-Sweep: `board-service` fehlte in der
|
||||
Watcher-Kopie der Sender-Allowlist; 4 Tasks quarantäniert, 12 Karten blieben
|
||||
unbewertet, Sweep meldete `cards=5` als Erfolg. Zusätzlich sperrte ein
|
||||
fachlicher `review`-Task (`Abnahme: deadman-rezidiv-research-4`, `working`)
|
||||
den Value Stream `vs-fleet-rebuild` mit 40 fälligen Karten. SolDoc
|
||||
`bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md`.
|
||||
@@ -0,0 +1,93 @@
|
||||
---
|
||||
pattern_id: PAT-019
|
||||
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-11
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
|
||||
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
|
||||
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
|
||||
---
|
||||
|
||||
# Watchdog-Alarm an das ausgefallene Ziel
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
|
||||
der Watchdog messbar korrekt gearbeitet hat:
|
||||
|
||||
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
|
||||
- im Spool liegt ein P1-Task mit korrektem Text
|
||||
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
|
||||
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
|
||||
|
||||
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
|
||||
Funktion), nicht durch die eigene Überwachung.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
|
||||
ergeben:
|
||||
|
||||
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
|
||||
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
|
||||
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
|
||||
keinen vom Ziel unabhängigen Empfänger.
|
||||
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
|
||||
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
|
||||
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
|
||||
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
|
||||
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
|
||||
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
|
||||
wird damit permanent, statt sich selbst zu reparieren.
|
||||
|
||||
## Mitigation
|
||||
|
||||
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
|
||||
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
|
||||
kein Agent, eigenes Deployment):
|
||||
|
||||
```python
|
||||
def alarm_recipient(self, source_key):
|
||||
if source_key == f"agent:{ALARM_TARGET}":
|
||||
return OWNER_TARGET
|
||||
return ALARM_TARGET
|
||||
```
|
||||
|
||||
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
|
||||
inkl. Vorbedingungen (Login).
|
||||
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
|
||||
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
|
||||
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
|
||||
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
|
||||
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
|
||||
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
|
||||
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
|
||||
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
|
||||
ein Logbuch.
|
||||
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
|
||||
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
|
||||
nicht selbst.
|
||||
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
|
||||
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
|
||||
wenn sie gebraucht wird.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
|
||||
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
|
||||
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
|
||||
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
|
||||
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
|
||||
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
|
||||
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
|
||||
Klasse: Fehlerzustand ohne Reconcile. SolDoc
|
||||
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
|
||||
+132
-5
@@ -46,6 +46,38 @@ LLM-Chokepoint und objektiver Telemetrie.
|
||||
|
||||
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
|
||||
|
||||
> **BETRIEBSSTATUS 01.11.2026 15:55 UTC (gemessen) — KONZERN WIEDERBELEBT:**
|
||||
> Stillstand-Ursache war **kein** Defekt: in allen 8 CTs waren `<rolle>-heartbeat.timer`
|
||||
> und `fleet-mail.service` `disabled` (CT201/CT202 zusätzlich `ceo-heartbeat.timer`
|
||||
> `masked`); letzter Lauf 25.10. 18:39:45, letzter Poller-Stop 19:45:50.
|
||||
> Nach `enable --now`: **7/7 Heartbeat-Timer + 7/7 Mail-Poller active**, Heartbeats
|
||||
> landen im 60-s-Takt in `fleet.heartbeats` (Beleg 14:53:11–14:53:46Z).
|
||||
> CT201 (research) bleibt dunkel: **kein Bifrost-Key** + kein research-Timer.
|
||||
> In `agent-fleet` laufen weiterhin nur 4 Pods (pg, beacon, bifrost, fleet-webui) —
|
||||
> die Agenten sind **CT-Prozesse**, keine K8s-Pods; das ist Soll, kein Mangel.
|
||||
> **VK-INVENTAR 18 → 15** (revoked: `agile-coach`, `ceo`, `fleet`; Rollback-Anker
|
||||
> `/home/debian/tmp/vk-inventar-vor-revoke-2026-11-01.json`). Ist-Verteilung
|
||||
> (Join über Key-Suffix): CT161 ceo=**ceo-v2**, CT163 cto/CT164 ciso/CT165 chro/
|
||||
> CT202 coo/CT205 cmo/CT206 devops = **Legacy-Namen**, alle HTTP 200. Die Rotation
|
||||
> vom 24.10. ist **nur für CEO** vollzogen; die 6 `-v2`-Keys sind nirgends
|
||||
> installiert und ihr Klartext **nicht mehr beschaffbar** (Admin-API maskiert
|
||||
> `value` auch beim Einzel-GET) → als Migrationsziel unbrauchbar, Neuaustellung nötig.
|
||||
> Host-Hermes hat toten Key `sk-bf-…a6a7` (401) in `config.yaml`.
|
||||
> **ZWEI BEACONS:** `agent-fleet/beacon` (LB **10.0.30.211**, org aus ConfigMap
|
||||
> `beacon-org-yaml` = `agent-fleet/beacon.yaml`, 10 Rollen, **empfängt die
|
||||
> Heartbeats**) vs `fleet/fleet-beacon` (nur ClusterIP 10.43.220.85:8000, org aus
|
||||
> `fleet-truth/org.yaml`, 9 Rollen inkl. agile-coach; **App `fleet` = Progressing**).
|
||||
> Kanon für den Betrieb = `agent-fleet/beacon.yaml`; Befund als Kopfkommentar in
|
||||
> `fleet-truth/org.yaml` festgeschrieben (Commit `a2fa75a`), Datei bewusst NICHT
|
||||
> gespiegelt (Schema-Divergenz `agent_id/wave/al` vs `id/caps/hrProfileId`).
|
||||
> B3-Quarantäne gepurged (10 Dateien/308 K, danach 0).
|
||||
> SEED-E2/E5/E6 + D-5: GO erging 24.10. („Go für alle Punkte"), Vollzug im Board
|
||||
> nicht belegt.
|
||||
> C1-Bind-Pin: `config.yaml` SOLL `platforms.webhook.extra.host: 10.0.30.230`,
|
||||
> IST lauscht Gateway-PID auf `0.0.0.0:8644` → Pin wirkt am laufenden Prozess
|
||||
> nicht; C2-iptables deckt ab (`-A INPUT -s 10.0.30.0/24 --dport 8644 ACCEPT`,
|
||||
> Rest `DROP`, reboot-fest). Ursache (Config-Key vs. Bind-Code) offen.
|
||||
|
||||
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
|
||||
Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt;
|
||||
max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
|
||||
@@ -150,11 +182,13 @@ LLM-Chokepoint und objektiver Telemetrie.
|
||||
### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate,
|
||||
automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`).
|
||||
Image `git.schoen.codes/dominik/fleet-spool-watcher` Tag `fleet-v1` =
|
||||
**digest `sha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf`**
|
||||
(python:3.11-slim + pyyaml 6.0.2, non-root UID 1000).
|
||||
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py
|
||||
591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS).
|
||||
Image `git.schoen.codes/dominik/fleet-spool-watcher` — **live 0.26 (01.11.2026)**:
|
||||
digest `sha256:aeb6efc672feabde882ad0256ba8b459b7f348870dba06b94f6e5f8d5ad30beb`
|
||||
(python:3.11-slim + pyyaml, non-root UID 1000, Kaniko-Pod `watcher-build-026d`;
|
||||
026/026b scheiterten an TLS-CA bzw. `BLOB_UPLOAD_UNKNOWN` — `--compressed-caching=false`
|
||||
+ frischer Pod loeste es).
|
||||
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py,
|
||||
watcher/deployment.yaml, tests/smoke_test_local.py — **32/32 PASS**).
|
||||
- **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
|
||||
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
|
||||
default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}).
|
||||
@@ -169,6 +203,27 @@ LLM-Chokepoint und objektiver Telemetrie.
|
||||
heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches
|
||||
sofort).
|
||||
|
||||
- **Watcher 0.25-Fix (01.11.):** fyi-Tasks zählen NICHT mehr als offene Arbeit im
|
||||
Idle-Gate (`_open_task_count`, `maybe_fire.real_ready`). **Korrektur einer
|
||||
frueheren Fehlaussage:** von 664 fyi waren 651 `completed` — geblockt haben
|
||||
nur **12 `submitted`** fyi (+1 failed). Echte Arbeit zählt weiter,
|
||||
`to=tower-owner` (0.22) bleibt ausgenommen. Liveness nur über
|
||||
`_journal/watcher.tick` (mtime, 10 s) prüfbar — kein Startup-Log by design.
|
||||
- **Watcher 0.26 fyi-Retention (01.11.):** `phase_archive()` verschiebt fyi
|
||||
älter `FLEET_FYI_ARCHIVE_DAYS` (default 1, 0=aus) per **`os.replace` nach
|
||||
`_archive/`** (Move, NIE Delete; Unterordner ausserhalb des Scan-Globs), max
|
||||
`FLEET_FYI_ARCHIVE_MAX` (250) pro Lauf, alle 300 s; Journal `fyi_archived`
|
||||
(task_id/file/to/status/alter_tage). Zwei Laeufe: **319 Dateien** (alle fyi
|
||||
>1 d), top-level 1574→1255; Rest 345 fyi, alle ≤1,0 d.
|
||||
- **Spool-Bestand 01.11.:** 1574 Envelopes, **664 fyi** (651 completed),
|
||||
34 submitted (24 tower-owner, 10 ceo).
|
||||
- **ArgoCD-Sync-Blocker:** Der `fleet`-App-Sync hängt bei
|
||||
`DaemonSet/fleet-agent-image-prepuller` (8 desired / 7 ready, weil
|
||||
rke2-worker-05 NotReady ist). ArgoCD wartet auf Healthy und blockiert die
|
||||
gesamte Sync-Welle. Workaround: Soll-Zustand direkt per `kubectl set image`
|
||||
setzen (identisch zum Git-Pin) → App danach `Synced`; Root-Fix =
|
||||
Node-Availability (Parallel-Session) oder Sync-Wave entkoppeln.
|
||||
|
||||
### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi,
|
||||
healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet).
|
||||
@@ -1093,3 +1148,75 @@ Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
|
||||
**Folge-Arbeiten offen:** Kaniko-Build fleet-v4-triage (CISO-Vollmacht-Image) erneut aufsetzen; 9 Sandbox-CR-Recreation (GO vor); eval-trigger-card; watcher-fyi-fix (Rollout 0.23).
|
||||
|
||||
SolDoc: `docs/solutions/bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`
|
||||
|
||||
## Netzwerk-Policy live ändern ohne Recreation (01.11.2026)
|
||||
|
||||
**Problem:** Agent-Sandboxes wurden 29.10. mit Policy v1 erstellt; der `fleet_mcp_deploy_facility`-Endpoint kam erst mit Commit `c0612fb` (31.10.). Bestehende Sandboxes behielten die alte Egress-Boundary — Facility aus der Sandbox nicht erreichbar (DNS ok, TCP deny).
|
||||
|
||||
**Lösung (PVC-sicher, kein Pod-Neustart):**
|
||||
```bash
|
||||
# auf Runner 10.0.30.124
|
||||
export OPENSHELL_GATEWAY=fleet OPENSHELL_GATEWAY_INSECURE=true
|
||||
openshell policy set --policy /root/sandbox-base.yaml --wait <agent>
|
||||
```
|
||||
Setzt Policy-Version hoch (1→2), Supervisor lädt sie live. Für alle 8 Standard-Agenten durchgeführt; research bewusst ausgelassen (eigene Internet-Policy, Live-v3 ≠ Git-Stand).
|
||||
|
||||
**E2E-Beweis:** `openshell sandbox exec devops -- curl -X POST http://fleet-deploy-facility.fleet.svc.cluster.local:8080/mcp ...` → `serverInfo: deploy-facility`.
|
||||
|
||||
**Pitfalls:**
|
||||
- `kubectl exec` in den Workload-Pod (`default--<agent>`) ist KEIN valider Boundary-Kontext → DNS/HTTP-Tests dort liefern falsche Negative. Nur `openshell sandbox exec` zählt.
|
||||
- `boundary.json` (Sandbox-Secret) enthält keine Host-Whitelist — nur Session-/TLS-/Identitätsdaten. Enforcement sitzt im Supervisor-Proxy.
|
||||
- Synthetik-IPs 198.18.0.x = Proxy-Mapping; DNS-Antwort allein beweist keinen erlaubten TCP-Pfad.
|
||||
- Policy-Dateien: `iac-homelab/clusters/main/fleet-truth/openshell-policies/{sandbox-base,research-sandbox}.yaml`.
|
||||
|
||||
## 01.11.2026 (20:00–20:45) — Karten-Bewertungs-Sweep live; zwei Zustell-Blocker behoben
|
||||
|
||||
**Feature:** board-service legt alle 900 s `review`-Tasks für Karten im Status `Neu` an (Mindestalter 3600 s, Cooldown 86400 s/Karte, max 5 Karten/Task, ein offener Sweep-Task pro Value Stream). Der Sweep **bewegt keine Karte** — er aktiviert nur den VS-Owner. Kein `karte_id` im Envelope, damit `complete_task` nichts auf `Fertig` koppelt.
|
||||
|
||||
**Versionen:** board-service 0.23 `sha256:2d8d3026e02b497dca19b4deda1a5ea2da5ecfdd9980bc395d7796d3745a324e`; spool-watcher 0.25 `sha256:580773d35f679cb450fee692e18d2b1d2334959a1af18e7e93a399055f292b7e`. Commits `801409c`, `e8ef165`, `a233597` (ArgoCD `a233597`).
|
||||
|
||||
**Blocker 1 — Dedupe auf mehrdeutigem Typ:** `_open_review_vs()` filterte auf `type == "review"`. Fachliche Abnahme-Tasks der Agenten haben denselben Typ; ein offener `Abnahme: deadman-rezidiv-research-4` (`working`, `vs-fleet-rebuild`) sperrte den ganzen Value Stream (40 fällige Karten). Fix: `_is_card_review_task(env)` = `type=="review" and from=="board-service"`.
|
||||
|
||||
**Blocker 2 — Sender-Allowlist-Drift:** Der Spool validiert zweimal — `submit_task.py` beim Schreiben, `watcher_main.py` beim Scan (`validate_schema_loose`). Der Watcher-Pod hat `submit_task.py` **nicht im Image** und hält eine Hardcode-Kopie der Konstanten. `board-service` war nur im Einleger ergänzt → Journal zeigte `accepted` (rc=0), eine Sekunde später `quarantined` („'from' ist kein Mitglied der 9er-Org"), Task in `_invalid/`. **`accepted` ist Schreib-, nicht Zustellbeweis — erst `task_claimed` zählt.**
|
||||
|
||||
**Regressionsschutz:** `clusters/main/fleet/spool/test_sender_sync.py` vergleicht beide Konstanten-Dateien per AST (14 Checks): Sendermengen, Typ-Mapping je Sender, `board-service`→nur `review`, keine Kollision System-Sender/Org-Agent. Läuft ohne Import der Module.
|
||||
|
||||
**E2E-Beweis:** Sweep-Log `vs-fleet-rebuild -> ceo cards=5` (Task `c5473d17`); die 4 quarantänierten Envelopes zurück in den Spool → `task_claimed by cto`, `agent_claim_active`, 2× `agent_awaiting_claim`, keine neue Quarantäne. Folgelauf 15 min später erzeugte **keinen** neuen Task (Dedupe greift). Karten `e2e-014-owner-idee`/`dauer-tower-dev` unverändert `Neu`. `health()` liefert `card_review: {enabled,last_run,runs,last_result}` als **MCP-Tool** (kein HTTP-Endpunkt — `curl :8080/health` → 404).
|
||||
|
||||
**Test-Isolation:** `/tmp/bsvenv` (`mcp==2.3.0`, pyyaml) für `test_card_review.py` (20/20). Kaniko-Builds im Cluster: `bs-build-023c` (board-service), `ws-build-025` (watcher); Registry-Push `BLOB_UPLOAD_UNKNOWN` ist transient → Retry hilft.
|
||||
|
||||
## Deadman-Alarm-Routing (01.11.2026, 21:20 UTC) — `7b621ad`, deadman 0.13.3
|
||||
|
||||
**Vorfall:** `ceo`-Sandbox stand ab ~18:43 UTC auf `PHASE Error` (Pod weg, kein
|
||||
Supervisor). Der Deadman erkannte die Stille korrekt (1858 s > 1800 s) und legte
|
||||
P1-Task `06aa7d55` — mit `to: ceo`, also an den ausgefallenen Agenten selbst.
|
||||
Der Alarm lag **1 h 43 m** ungesehen, 73 Tasks stauten sich. Heilung war nur
|
||||
manuell möglich (OIDC-Login ohne Refresh-Token war abgelaufen).
|
||||
|
||||
**Fix:** `alarm_recipient(source_key)` in `deadman_main.py` — ist
|
||||
`source_key == "agent:<ALARM_TARGET>"`, geht der Alarm an `OWNER_TARGET`
|
||||
(`tower-owner`, kein Agent, HITL-fähig). Alle anderen Alarme unverändert an ceo.
|
||||
Body trägt `UMLEITUNG:`-Block mit Heilungsweg.
|
||||
|
||||
**Sender-Matrix (alle drei Ebenen, sonst Quarantäne):**
|
||||
`VALID_SYSTEM_RECIPIENT_SENDERS` / `SUBMIT_SYSTEM_RECIPIENT_SENDERS`
|
||||
`[tower-owner] = {ciso, deadman-watchdog}` — in `spool/submit_task.py`,
|
||||
`spool/watcher/watcher_main.py` **und** der CM-Kopie `fleet-submit-task`
|
||||
(`mcp/board-service/deployment.yaml`). NAR-Regel bleibt eng: kein Org-Agent
|
||||
darf an `tower-owner`; `deadman-watchdog` nur `type: escalation`.
|
||||
|
||||
**Tests:** `deadman/test_alarm_routing.py` 19/19 (neu), `spool/test_sender_sync.py`
|
||||
0 Fehler, echter Watcher-Validator im Pod 6/6 (`validate_schema_loose`).
|
||||
|
||||
**Sandbox-Wiederherstellung (Runner, verifiziert):**
|
||||
`pkill -f "gateway[ ]login"` (Regex-Trick — `pkill -f "openshell gateway login"`
|
||||
killt die eigene Shell, weil die Kommandozeile das Muster enthält) →
|
||||
`bash /tmp/oidc-login3.sh` → `✓ Authenticated to gateway 'fleet'` →
|
||||
`openshell sandbox stop <name>` → `start <name>` → `PHASE Ready`.
|
||||
Bei `PHASE Error` ist **stop → start** der Weg (start allein reicht nicht).
|
||||
`/root/resume.sh` startet alle 9 (Liste enthält ceo, am 01.11. gefixt).
|
||||
|
||||
**Offen:** Reconcile-Loop für `PHASE Error`-Sandboxes (Selbstheilung);
|
||||
OIDC-Refresh-Token auf dem Runner. Images: watcher 0.27 `ced4430b…`,
|
||||
deadman 0.13.3 `d8dbc57a…`. SolDoc
|
||||
`bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`, Pattern PAT-019.
|
||||
|
||||
@@ -3,12 +3,18 @@ title: MariaDB Galera + MaxScale
|
||||
category: systems
|
||||
tags: [mariadb, galera, maxscale, database, ha]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-10-04"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# MariaDB Galera + MaxScale
|
||||
|
||||
## Galera Cluster (3/3 Synced)
|
||||
**Version (2026-11-01, nach Welle 4): MariaDB 11.8.9 (`-deb13`), `galera-4 26.4.27-deb13`,
|
||||
OS Debian 13 trixie, Kernel `6.12.113+deb13-amd64`** auf allen 3 Nodes. Rolling: 11.4.12/13 → 11.8.9
|
||||
(Runbook `docs/solutions/migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md`), danach OS-Suite
|
||||
bookworm → trixie (`docs/solutions/migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md`).
|
||||
Nebeneffekt: Kernel 6.12.113 schließt **CVE-2026-98432** für diese Tier.
|
||||
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| db1 | VM300 | proxmox4 | n5pro, proxmox3, proxmox4 | 10.0.30.71 |
|
||||
@@ -21,6 +27,7 @@ Rollen (Master/Slave) dynamisch — 10.10. war db2 Master. Anti-Collocation-Rule
|
||||
- **1Password `mariadb-root` Item:** PASSWORT IST FALSCH — stimmt nicht mit `/root/.my.cnf` überein
|
||||
|
||||
## MaxScale Proxy (HA)
|
||||
**Stand 2026-11-01 (Welle 4): beide Nodes Debian 13 trixie, Kernel `6.12.113`, MaxScale `24.02.9~trixie-1`** — Upgrade .82 zuerst, dann .81; VIP blieb durchgehend erreichbar.
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| MaxScale-01 | VM310 | proxmox7 | proxmox4, proxmox5, proxmox7 | 10.0.30.81 (:8989 Admin) |
|
||||
@@ -40,6 +47,9 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
- **2026-10-04 (GROSSER VORFALL): Ext4-Volume-Label `MARIADB_DATA` auf allen 3 Galera-Datadisks verlor sich** (Ursache ungeklärt, Symptome ab 04.10. ~07:58 MESZ). fstab montiert per `LABEL=MARIADB_DATA` mit `nofail` → Boot ging durch, aber `/var/lib/mysql` blieb LEER → mariadb crashte im Loop (Permission denied auf leeres Dir). Reparatur: `e2label <dev> MARIADB_DATA` je Disk (VM300 im Gast, VM301/302 offline via `rbd map` + mount auf Hypervisor) → Reboot. **Pattern: bei leerem /var/lib/mysql trotz intakter fstab IMMER `tune2fs -l` → "volume name" prüfen.** Galera-Recovery: Bootstrap-Kandidat per gvwmstate/grastate-Mtimes bestimmt (VM301, letzte View 38={301,300}), `safe_to_bootstrap: 1` offline in grastate geschrieben → 301 startete als PC, 300 jointe sofort, 302 folgte (IST 570871→570923, Delta nur 52 Tx). Ende: 3/3 Synced, MaxScale beide aktiv, VIP offen.
|
||||
- **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md`
|
||||
- **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <vmid> <<< 'info status'` prüfen.
|
||||
|
||||
@@ -55,6 +55,16 @@ Wird eine Mediendatei **unter gleichem Pfad** ersetzt (Transcode/Remux), behält
|
||||
|
||||
**Regel:** Nach jeder In-Place-Ersetzungswelle ein Refresh — **nicht** mehrere parallel (wiederholte POSTs brechen den laufenden Scan ab). Wiederholte Refreshes während eines laufenden Batch sind unbedenklich, weil die Ersetzung atomar per `mv` passiert.
|
||||
|
||||
## Green-Artefacts auf AppleTV trotz sauberem Profil (01.11.2026)
|
||||
|
||||
Titel `TheUpperFloor - 2011-10-20 - Aiden Starr …` (HEVC Main 720p, hvc1, yuv420p, bt709) spielte in Swiftfin nicht — grüne Artefakte, Rest der Serie (H.264) problemlos. ffprobe sah **unauffällig** aus; Ursache war **echte Bitstream-Korruption**: volles `ffmpeg -i … -f null -` ergab 31 `CABAC_MAX_BIN`-Warnings. FFmpeg-Softdecoder toleriert das still, Apples HW-HEVC-Decoder artefaktet/grün.
|
||||
|
||||
**Diagnose-Praxis:** ffprobe reicht nicht — bei Playback-Problemen immer Full-Decode-Scan (`ffmpeg -v error -i FILE -f null -`), Non-CABAC-Zeilen zählen. Doppel-Editlist mit `media_time=-1` war hier Nebenschauplatz (Remux `-c copy -ignore_editlist 1` half nicht — Korruption sitzt in den Frames, nur echter Transcode löst).
|
||||
|
||||
**Repertoire (in-place Repair):** Original nach `/config/transcode-originals/<case>/` moven → Transcode nach `_hold` (`libx265 preset superfast crf19 -tag:hvc1`, ~55 min für 60-min-720p) → `chown 1000:1000` + atomic `mv` aufs Ziel → Jellyfin-Pod-Restart erzwingt Re-Inspection (Startup-Scan vergleicht Size/Date) → `_hold`-Temp löschen. Falls API-Key vorhanden: `POST /Library/Refresh` statt Restart.
|
||||
|
||||
**Fallstricke:** (1) fg-ffmpeg >300 s stirbt am Tool-Timeout → halbes MP4 ohne moov; immer `nohup … &` detachen und pollen. (2) Jellyfin-API-Tokens aus `Devices`-Tabelle können widerrufen sein (401 trotz Vorhandensein) — Restart ist der robuste Fallback.
|
||||
|
||||
## archive.org als Torrent-freie Zweitquelle (31.10.2026)
|
||||
|
||||
Usenet liefert keine Shibari-/BDSM-Tutorials (nzbindex null; Alternativ-Indizes JS-Walls), TPB nur per Torrent (Veto). **archive.org Advanced Search** (`advancedsearch.php?q=…&output=json`) + **Metadata-API** (`/metadata/<id>`) + Direktdownload (`/download/<id>/<file>`) lieferten 28 Tutorial-Videos (2,73 GB): BDSM-Skills-Serie, BDSM 101, Mistress Clarissa's Bondage 101 u. a. — alle h264-MP4, AppleTV-Direct-Play.
|
||||
@@ -64,6 +74,42 @@ Usenet liefert keine Shibari-/BDSM-Tutorials (nzbindex null; Alternativ-Indizes
|
||||
- **Integration:** tar-Stream via `kubectl exec -i` in die PVC, `chown 1000:1000`, **ein** `POST /Library/Refresh`, Item-Delta +28 verifiziert. `.hevc_*`-Temps im FS zählen nicht (Jellyfin ignoriert sie absichtlich).
|
||||
- Details: `docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md`
|
||||
|
||||
## StashDB-Metadaten-Pipeline (01.11.2026)
|
||||
|
||||
Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die 475 Boilerplate-NFOs.
|
||||
**Crew:** `dschoen`; API-Key in 1Password-Vault **Hermes** (Item *StashDB API Key*), lokal `/tmp/stashdb_key`.
|
||||
|
||||
### API
|
||||
- Endpoint `https://stashdb.org/graphql`, Header **`ApiKey: <JWT>`** (kein Bearer, kein Cookie). `me{ name }` als Auth-Beweis.
|
||||
- Der Key ist ein JWT (`{"sub":"APIKey"}`) — funktioniert unabhängig vom Browser-Login.
|
||||
|
||||
### Matching-Strategie (3 Stufen, 439/506 = 87 % Trefferquote)
|
||||
1. `queryScenes` mit `studios:EQUALS` + `date:EQUALS` — eindeutig, höchster Score (Feld `release_date` ist `YYYY-MM-DD`).
|
||||
2. Studio + Titeltext.
|
||||
3. **Performer-ID** (`performers: {modifier: INCLUDES}`) für undatierte Dateien.
|
||||
|
||||
### Fallstricke (alle verifiziert)
|
||||
- **`searchStudio` ist token-basiert:** „DeviceBondage" → 0 Treffer, „Device" → *Device Bondage*. CamelCase splitten und mit Einzelwort probieren, sonst bleiben ganze Studio-Familien (Kink-Sites) ungematcht.
|
||||
- **`performers` akzeptiert kein `EQUALS`** — Serverfehler *„unsupported modifier EQUALS for scene_performers.performer_id"*. Nur **`INCLUDES`** liefert Szenen.
|
||||
- **`text` durchsucht nur Titel**, nicht Darsteller und nicht Description. Cast-Suche geht ausschließlich über `searchPerformer` → Performer-ID.
|
||||
- Score-Gate: akzeptieren nur wenn **Studio ODER Datum** passt — sonst rutschen Fremd-Studios durch (Textsuche liefert 30 Treffer über alle Studios).
|
||||
|
||||
### Schreiben
|
||||
- **Jellyfin-Update:** `POST /Items/{id}` mit **vollem DTO** (nicht PATCH): `Overview`, `Studios[{Name}]`, `Tags[]`, `PremiereDate`, `ProductionYear`, `People[{Name,Type:Actor|Director}]`, `Genres`. Antwort **204**, Read-Back bestätigt.
|
||||
- **Collections** (Kategorisierung nach Studio/Serie): `POST /Collections?name=<Brand>&ids=a,b,c` → `{Id}`; Nachfüllen via `POST /Collections/{id}/Items?ids=…`. 31 Boxsets, 439 Items.
|
||||
- **Pfad-Mapping:** Jellyfin sieht `/media/<Brand>/…`, SAB-Pod `/config/downloads/media/<Brand>/…` — Prefix normalisieren, sonst 0 Treffer trotz 504 Items.
|
||||
- **NFO:** Kodi-`<movie>`-XML mit `<uniqueid type="stashdb">`, Plot im Original-Englisch, `<actor>`, `<tag>`, `<studio>`; per `tar` + `kubectl cp` in die PVC (nicht Datei-für-Datei).
|
||||
|
||||
### Rest
|
||||
67 ohne Match: 28 Tutorials (nicht in StashDB) + undatierte Einzelfälle. 7 Matches haben leeres `details`-Feld bei StashDB (Titel/Cast/Datum gesetzt, Plot fehlt). Diese 67 sind am 01.11. mit Tag **`nosdb`** markiert (zweiter Anlauf inkl. Performer-Recovery brachte **0** weitere Treffer) — sie werden nicht mehr abgefragt, außer mit `--retry`.
|
||||
|
||||
### Automatisierung für Neuzugänge (01.11.2026)
|
||||
- **Enricher:** `~/workspace/media_meta/stashdb_enrich.py` — idempotent; nimmt Jellyfin-Items **ohne** Tag `StashDB`/`nosdb`, matcht (3 Stufen inkl. Performer-Recovery), schreibt NFO + `POST /Items/{id}`, hängt in die Brand-Collection, markiert Nicht-Treffer mit `nosdb`.
|
||||
- **Wrapper:** `~/workspace/media_meta/run_enrich.sh` — lädt `~/.hermes/secrets/media_meta.env` (JF-Token, 600) und holt den StashDB-Key via `op read 'op://Hermes/xsjfcmeo23rgleyu2xovvkb3aq/credential'`. Kein Key im Repo, kein `/tmp`-Cache nötig.
|
||||
- **Cron:** Job `7264208b70b0` (*StashDB-Metadaten für Neuzugänge*), `0 */6 * * *`, `no_agent`, Skript `~/.hermes/scripts/media_meta_nightly.sh` → stdout **leer wenn nichts passiert** (Watchdog-Muster), Log `~/workspace/media_meta/enrich.log`.
|
||||
- **Nicht** im Sorter (ConfigMap `postproc-scripts`) verankert: Sorter-Änderungen laufen über GitOps, und ein Pod-Rollout killt laufende Transcodes. Der Cron läuft host-seitig, deployt NFOs per `tar`+`kubectl cp` und braucht keinen Rollout.
|
||||
- Idle-Lauf = **0 s** (alle Items getaggt), Voll-Lauf mit 67 Kandidaten ≈ 160 s.
|
||||
|
||||
## Related Solution Docs
|
||||
- `docs/solutions/integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`
|
||||
- `docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
|
||||
|
||||
@@ -123,6 +123,7 @@ modified: "2026-10-19"
|
||||
## Known Pitfalls
|
||||
- `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`)
|
||||
- ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden
|
||||
- **1 NotReady-Node blockiert die ganze Sync-Welle:** ArgoCD (2.14) bewertet ein DaemonSet erst ab `numberReady == desiredNumberScheduled` als Healthy → App bleibt ewig `OutOfSync`/`Progressing`, kein Rollout. Fix: `resource.customizations.health.apps_DaemonSet` in `argocd-cm`, enge Toleranz (nur `fleet/fleet-agent-image-prepuller`, genau 1 fehlender Node, ab 2 wieder `Progressing`); dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`). `hard refresh` und `kubectl set image` entblocken NICHT. SolDoc `bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md`
|
||||
- CoreDNS: `hosts` configBlock nicht params
|
||||
- etcd Defrag monatlich (CronJob)
|
||||
|
||||
|
||||
+84
-3
@@ -3,7 +3,7 @@ title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
category: systems
|
||||
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
|
||||
created: "2026-10-19"
|
||||
modified: "2026-10-19"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
@@ -17,7 +17,7 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
|
||||
- **samba** (Sidecar): SMB-Share `downloads`
|
||||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||||
|
||||
## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`)
|
||||
## Sorter (Stand v13, 01.11.2026, Commit `a27c85e`)
|
||||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||||
@@ -26,6 +26,35 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
|
||||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||||
|
||||
**v13 (01.11.2026) — vier Studios ergänzt:** `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles`.
|
||||
Wichtig dabei: `*angelogodshack*` **Wildcard** (LegalPorno postet als `LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P`),
|
||||
`^legalporno[._-][0-9]{4}[._-]` im `norm_title` strippen, und Junk-Token `p0rnl0v3r` (Zahl-3-Schreibweise).
|
||||
Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (`Submissed - 2026-07-26 - Dragon Fruit.mp4`, `AngeloGodshack - Nikol Raklova.mp4`).
|
||||
|
||||
## NZB-Beschaffung (Quellen-Lage 01.11.2026)
|
||||
|
||||
| Quelle | Status |
|
||||
|---|---|
|
||||
| `nzbindex.com` | Suche (JSON-API) ok, **jeder Download-Pfad 404** → unbrauchbar |
|
||||
| `nzbking.com` | NZB-Download ok, aber für die Ziel-Posts nur **.par2** indexiert → unbrauchbar |
|
||||
| `binsearch.info` | **funktioniert**: Suche-HTML + echter NZB-Download |
|
||||
|
||||
```bash
|
||||
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
|
||||
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
|
||||
# Einreihen ohne Drop-Ordner-Race:
|
||||
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
|
||||
--data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
|
||||
--data-urlencode "apikey=$KEY" --data-urlencode "output=json"
|
||||
```
|
||||
|
||||
**Pitfall:** NZB in `nzb-drop/` legen + Harvest-Cron ist eine **Race** — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). `mode=addurl` liefert eine `nzo_id` und umgeht den Ordner.
|
||||
**Suchterm-Regel:** binsearch UND-verknüpft die Wörter eines Terms — `pascals.sub.sluts` findet nichts, `pascals` 17 Posts, `angelogodshack` 23, `submissed` 26. Immer **einen kurzen, unterscheidbaren Token ohne Punkte** nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort **gar nicht** indexiert — nicht mit ähnlichen Treffern auffüllen.
|
||||
|
||||
**Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge):** `nzb_sweep.py` (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → `nzb_plan_filter.py` (Dedupe gegen `media/` über Datum+Performer; ohne Datum nur Performer) → `queue_sweep.sh` (`mode=addurl`). `"status":true` ohne Leerzeichen — Erfolg am `nzo_ids`-Key prüfen, nicht am Status-Text.
|
||||
|
||||
SolDoc `~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md`.
|
||||
|
||||
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
|
||||
|
||||
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
|
||||
@@ -47,6 +76,12 @@ NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — de
|
||||
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
|
||||
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
|
||||
|
||||
### Sorter-Sweep-Watchdog (seit 01.11.2026)
|
||||
|
||||
Cron `57900310b6e5` (alle 30 min, `no_agent`, `~/.hermes/scripts/sab_sorter_sweep.sh`) läuft `convert720.sh` über jede **ruhige** Unterordner von `complete/` (mtime > 20 min, keine `_UNPACK_`/`_FAILED_`/`_ADDFROM`-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei `bewegt=0`.
|
||||
|
||||
**Container-Pitfall:** Das Sorter-Skript liegt als CM-Mount nur im **`sabnzbd`**-Container (`/config/scripts/convert720.sh`), **nicht** im `converter` — dort ist nur `/config/tools/ffprobe` (PVC) erreichbar. Sweep daher mit `-c sabnzbd`; `converter` liefert `sh: /config/scripts/convert720.sh: not found`.
|
||||
|
||||
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
|
||||
|
||||
**Pitfalls:**
|
||||
@@ -74,6 +109,31 @@ Danach `mode=retry&value=<nzo_id>` (**nicht** `mode=history&name=retry` — das
|
||||
|
||||
**NZB-QC vor Enqueue (Pflicht):** Segment-Bytes-Summe per Regex `<segment[^>]*bytes="(\d+)"` gegen Anzeige-Größe ±6 % prüfen; `.part0X`/`.rXX`/`-sample` im **Namen** sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart `mode=addfile` an `/sabnzbd/api` scheitert am HTML-Redirect — **Watchdir `nzb-drop` mit `kubectl cp` ist der zuverlässige Weg**.
|
||||
|
||||
## Provider-Fenster 430-Welle (01.11.2026)
|
||||
|
||||
**Symptom:** 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.
|
||||
|
||||
**Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket):** AUTH ok → `group` ok → `head <hotNummer>` → **430** auf allen Gruppen/Posters/Nummern, während `stat <gleicheNummer>` → **223 ok**. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.
|
||||
|
||||
**Bedien-Fallstricke:** Manual-Probes stoßen an `502 Too many connections` (SAB hält alle Slots) → vorher `set_config section=servers keyword=news.pureusenet.nl connections=6` (danach restore auf 20). History-Rows mit Status `Queued`/`Verifying` und **leerer** fail_message = Postprocessing läuft — **keine Fails**, nicht deleten!
|
||||
|
||||
**Recovery nach Fenster:** individuelles `mode=retry&value=<nzo_id>` (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.
|
||||
|
||||
## Quarantäne-Inventar (01.11.2026, 163 GB)
|
||||
|
||||
Erhoben mit `qcov2.py` (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen `media/`):
|
||||
|
||||
| Klasse | Dateien | GB | Bedeutung |
|
||||
|---|---|---|---|
|
||||
| A-safe | 62 | 91,9 | exakte Dublette (Dauer ±2 s), Gegenstück in `media/` **gleich oder höher** aufgelöst → löschbar nach GO |
|
||||
| A-master | 6 | 42,3 | 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten |
|
||||
| B | 3 | 2,6 | gleiche Szene, **andere Dauer** (2 Samples à 61 s + `NewSensations - Sage Hunter` 1982 s vs 3075 s) → Review |
|
||||
| C | 17 | 43,5 | kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p) |
|
||||
| D | 0 | 0 | nicht lesbar |
|
||||
|
||||
Summe der Dateigrößen (180 GB) > `du` (163 GB) — apparent vs. belegte Blöcke, kein Fehler.
|
||||
Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
|
||||
|
||||
## Aufräum-Workflow (nach großen Wellen)
|
||||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||||
@@ -138,7 +198,8 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||||
|
||||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.).
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh`.
|
||||
> **Korrektur 01.11.2026:** Der CM selbst ist nach ~6 s aktuell (`Synced <rev>`), der **Pod-Mount blieb aber stale** (Symlink zeigte >5 min auf den alten `..data`-Snapshot; auch `delete cm` half nicht). Verlässlich: `kubectl -n sabnzbd rollout restart deploy/sabnzbd` → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach `script =`-Setting in der ini erneut prüfen.
|
||||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||||
|
||||
@@ -170,6 +231,25 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
|
||||
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
|
||||
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
|
||||
|
||||
## Sorter-Stillstand 01.11.2026 — Root Cause & Fix
|
||||
|
||||
**Symptom:** Bibliothek stand stundenlang bei 506 Dateien, `complete/` wuchs auf 155 GB, `incomplete/` 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.
|
||||
|
||||
**Root Cause:** In `sabnzbd.ini` stand `script = Default` (Default-Kategorie) → **kein Post-Processing-Skript**, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in `/config/sabnzbd.ini`, PVC):
|
||||
`/api?mode=set_config§ion=categories&keyword=*&script=convert720.sh`
|
||||
(Verifikation: `grep -n "^script" /config/sabnzbd.ini` → `script = convert720.sh`.)
|
||||
|
||||
**Drei Folgefehler im Sorter-Skript** (alle GitOps, Commit `3ffe1c1`, `7527995`):
|
||||
1. **Case-sensitiv:** `case "$1"` gegen Muster wie `DungeonSex*|dungeonsex*` — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: `case "$(echo "$1" | tr 'A-Z' 'a-z')"`, alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
|
||||
2. **Markenlücken:** 15 Marken der eigenen Bibliothek fehlten in `series_of` (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + `PublicDisgrace`/`SadisticRope`. Folge: diese Marken konnten **nie** einsortieren.
|
||||
3. **Obfuskierte Ordner:** bei `_003_..._yEnc/2.1_55_HD_.mp4` steht die Marke nur im Elternordner. Fix: wenn `series_of(basename)` = OTHER → `series_of(basename(dirname))` (deterministisch, kein Raten).
|
||||
|
||||
**Retry-Automat:** `sab-retry-automaton.py` retryte **permanente** Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt `complete/_FAILED_*`-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: `PERMANENT_PATTERNS` + `is_permanent_failure()`; bei Treffer wird `attempts = MAX_RETRIES` gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: **retry=0 del=20 skip=0**.
|
||||
|
||||
**Wirkung:** Sweep über `complete/` → 11 neue Dateien in `media/`, Jellyfin 504 → **516 Items** (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben `nosdb`: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), `complete/` 155 → 105 GB.
|
||||
|
||||
**Rest in `complete/` (nicht sorter-fähig):** 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die **Dubletten** bereits sortierter Szenen sind (`.part01.rar` mit `.1`-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.
|
||||
|
||||
## Bekannte Issues / Offene Punkte
|
||||
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
|
||||
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
|
||||
@@ -182,5 +262,6 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
|
||||
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
|
||||
|
||||
## Related Solution Docs
|
||||
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
|
||||
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
|
||||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|
||||
|
||||
Reference in New Issue
Block a user