Compare commits
5
Commits
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
807dc2b396 | ||
|
|
edb65794ac | ||
|
|
89eaf83f3f | ||
|
|
52959e3b44 | ||
|
|
bd55603188 |
@@ -1,25 +1,25 @@
|
||||
# User Drift Report — 2026-10-19
|
||||
# User Drift Report — 2026-10-26
|
||||
|
||||
**Recent window:** Last 14 days (817 msgs)
|
||||
**Baseline:** Previous 90 days (7645 msgs)
|
||||
**Recent window:** Last 14 days (1738 msgs)
|
||||
**Baseline:** Previous 90 days (8124 msgs)
|
||||
|
||||
## Detected Drifts
|
||||
|
||||
- **message_length**: Messages 166% longer (baseline: 1943 chars → recent: 5171)
|
||||
- **frustration_increase**: Frustration markers rose from 6.7% to 23.4%
|
||||
- **correction_increase**: Corrections increased from 9.7% to 27.8% — preferences may have shifted
|
||||
- **new_focus**: New dominant topics: monitoring, security
|
||||
- **declining_focus**: Topics fading from focus: proxmox, ceph
|
||||
- **message_length**: Messages 288% longer (baseline: 1989 chars → recent: 7725)
|
||||
- **frustration_increase**: Frustration markers rose from 6.8% to 29.6%
|
||||
- **correction_increase**: Corrections increased from 10.4% to 43.0% — preferences may have shifted
|
||||
- **new_focus**: New dominant topics: gitops, ai_ml, monitoring
|
||||
- **declining_focus**: Topics fading from focus: backup, security, ceph
|
||||
|
||||
## Signal Summary
|
||||
|
||||
| Metric | Baseline | Recent |
|
||||
|---|---|---|
|
||||
| Avg msg length | 1943 | 5171 |
|
||||
| Frustration rate | 6.7% | 23.4% |
|
||||
| Correction rate | 9.7% | 27.8% |
|
||||
| Action-first | 1.6% | 2.8% |
|
||||
| Top topics | ceph, proxmox, k8s | security, backup, gitops |
|
||||
| Avg msg length | 1989 | 7725 |
|
||||
| Frustration rate | 6.8% | 29.6% |
|
||||
| Correction rate | 10.4% | 43.0% |
|
||||
| Action-first | 1.5% | 3.8% |
|
||||
| Top topics | ceph, proxmox, k8s | proxmox, gitops, ai_ml |
|
||||
|
||||
## Recommendations
|
||||
|
||||
|
||||
@@ -1,5 +1,160 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
|
||||
- **Befund (Owner):** seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
|
||||
- **Fix (Commit f70fe30):** watcher 0.17.1 `IdleScheduler` (fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs.
|
||||
- **Beweis:** 08:39:51 idle_trigger (45108 s Stille) → CEO claim → Delegation mit karte_id → card_auto_fertig + review_task → „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 Zyklus 2 autonom. 9/9 Sandboxes v5.3, Heartbeats grün, deadman pending 0.
|
||||
- **Pitfalls:** `--template` schließt `--env` aus (Startkonfiguration ins Image!); systemd-OIDC-Login braucht `Environment=HOME=/root` (sonst „Unknown gateway 'fleet'", Token lief 4 h ab und blockierte den Rollout).
|
||||
- **Nachtrag 10:40 — Lücke 4 geschlossen:** 5. Deadman-Kaskade `progress` (Commit `f098091`, `fleet-deadman@sha256:73cc5988…`): offener Task (`submitted|working`) mit mtime-Alter > 5400 s → ALARM + escalation an ceo. E2E ALARM 10:38:29 → RESOLVED 10:39:29, Unit-Test 13/13. Pitfall: Test-Tasks brauchen `uuid4()`-`task_id` (Watcher quarantänisiert sonst in Sekunden) und `status: working` (nicht claimbar).
|
||||
- **Autonomie-Bilanz 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger, 4 Karten Fertig, 4 Reviews, NAR-Zyklus (ciso-Freigabe → Karte `rueckbau-nar-tower-healthz-readonly`).
|
||||
- SolDoc architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16) + Hindsight; Wiki systems/agent-fleet.md neuer Abschnitt.
|
||||
|
||||
## [2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
|
||||
- **RCA:** devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
|
||||
- **NAR-Verfahren (Owner-Mandat):** Anträge `[NAR] <ziel>` an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner (`[NAR-ESKALATION]`, P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch).
|
||||
- **Rollout 9/9 fleet-v5.1** (Digest sha256:7f141019…, Commits d60b7c0/55dcc9a/c0666eb): Gateway-STS-Restart VOR Rollout (default_image wird nur beim Start gelesen), Portforward-Service neu gestartet, Digest je Pod verifiziert; board-service 0.16 (4ea9f7bf) + watcher 0.16 (77657260) synchron; CM fleet-submit-task mit NAR-submit_task.py synchronisiert (Pod-Restart nach CM-Update erzwingen).
|
||||
- SolDoc bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md (INDEX 52) + Hindsight-Sync; Wiki agent-fleet.md v5.1-Abschnitt ersetzt v5.
|
||||
|
||||
## [2026-10-28] p1-image v4 — EACCES-Fix + Autonomie-Mandat für Tower-Weiterentwicklung scharf
|
||||
- Image `fleet-v4` (sha256:f7fc9e8b…, Commit 5e1b656): HERMES_HOME=/sandbox/.hermes (PVC statt /opt/data 1000:1000 → Erstart-EACCES-Klasse eliminiert), worker stderr 2000z + 1 Retry. Rollout 9/9 grün (Digest je Pod verifiziert), Canary-Erstart LLM RC=0.
|
||||
- Autonomie-Mandat: Backlog-Karte `dauer-tower-dev` (Owner) am Board; CEO-Self-Dispatch bewiesen (Task 8945e949 geclaimt, status working). Zyklus: Ideation→Priorisierung→Umsetzung→Test→Deploy→Retro, endlos.
|
||||
- Ops-Fixes: Gitea-SSH-Push-Adresse korrigiert (.200 statt .202 — Wiki trug falsch seit 17.09.); Gateway-Restart nach Digest-Pin nötig (Gateway liest gateway.toml nur beim Start); Port-Forward-Service auf .124 nach Pod-Restart neu starten.
|
||||
- SolDoc bug-fixes/2026-10-28-hermes-sandbox-hermes-home-eacces.md + Hindsight-Sync; Wiki gitea.md + agent-fleet.md aktualisiert.
|
||||
|
||||
## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
|
||||
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40).
|
||||
- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
|
||||
- Live-Verify im Pod: >500-Call → isError:true + "eintrag fehlt oder laenger als 500 Zeichen" lesbar; valider Call OK (Note eingetragen). CEO-Retry-Task c49978fe eingereicht via submit_owner_task.
|
||||
- Learnings: MCP-Server-Regel "Validierungen IMMER ToolError"; Signature rc=1+api_call_count==max_turns = verdeckter Tool-Fehler. SolDoc bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md + Hindsight; Wiki agent-fleet.md board-service-Abschnitt aktualisiert (Digest, 9 Tools, Fix).
|
||||
|
||||
## [2026-10-27 spät] p0-e2e GRÜN — Phase 0.14 E2E-Abnahme 8/8, Phase 0 KOMPLETT
|
||||
- Alle Kriterien bewiesen: Owner-Kanäle (Idee→Backlog physisch, Neuer VS→CEO-Task a295dc32, Chat-Thread mit CEO-Antwort gerendert), Beacon 422/200, DB-Selftest (DROP verweigert), Deadman pending 9→0, Watcher-Kill→ALARM→Escalation-Task→Restore→RESOLVED (18:25–18:30 UTC komplett), Landlock 8/8 Nodes.
|
||||
- **Produktionsbug via E2E gefunden+gefixt:** tower-owner fehlte in VALID_SYSTEM_SENDERS (Commit 0a784fb hatte nur die Typ-Map erweitert — Gate 1 weist zuerst ab). Fix 992cdfb an Disk + CM-Embed. Zusätzlich board-service+watcher Images stale (0.8/0.7) → Neubau + Digest-Pins 69e806a5/92b1470b (89ed639).
|
||||
- **Vorfall (aufgeklärt+repariert):** DELETE-Test auf heartbeats ging DURCH (app_fleet = DML-Rolle, Annahme „verweigert" war falsch) → alle 8 Heartbeat-Zeilen gelöscht → durch 9 Repair-Heartbeats via Beacon wiederhergestellt, alle 5 Alt-Alarme RESOLVED, pending 9→0. Lektion: destruktive DB-Tests nur mit Prädikat; DDL (DROP) ist der richtige Scope-Check.
|
||||
- Landlock-Verifikation: kubectl-debug blockiert (TTY) — SSH-Pfad (id_ed25519_cloudinit debian@node) ist der zuverlässige Check.
|
||||
- SolDoc bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md + INDEX 48; Wiki agent-fleet.md 0.14-Abschnitt + Phasen-Header.
|
||||
|
||||
## [2026-10-27 abend] p0-tower GRÜN — Fleet Control Tower live (DOM-Smoke 23/23)
|
||||
- Phase 0.13 abgeschlossen: Tower-Pod `fleet-tower-…-bsc2p` 1/1 (ns fleet), Image digest-gepinnt `sha256:0ddad265…` (Git==Live), Exposure über VIP 10.0.30.213 (neuer entryPoint `tower-internal` :8445, ipAllowList 10.0.20/40+WG, VLAN 30 ausgesperrt, eTP Local, TLS Interim-CA bis 24.01.2027). Kein DNS-Record → Zugang per VIP-IP wie fleet-webui.
|
||||
- Abnahme werkzeugbestimmt: DOM-Smoke **23/23 PASS** im Live-Pod (TOWER_URL=Pod-IP, Custom-Server lauscht auf os.hostname() statt 127.0.0.1 — Pitfall) + 5/5 `/api/fleet/*` 200 mit echten Daten (9 Agenten, 200 Journal-Einträge, Kanban). Offen: Owner-G1-Browsertest aus erlaubtem Segment.
|
||||
- Neue Learnings indexiert: Solution-Doc tooling/2026-10-27-nextjs-custom-server-docker-build.md (node-pty-Builder-Toolchain, kein Runtime-npm-ci, UID 1001 statt 1000, Child-Prozesse COPYen); PAT-017 traefik-ingressclass-silent-ignore (2. Inkarnation!); Evidence-Updates Gitea-OCI-Push (1P-Token als Docker-PW, Push-Log vs. manifest inspect) + ingressClass (eTP-Local-für-ACL); INDEX.md gepflegt.
|
||||
- Wiki agent-fleet.md: Phasen-Header 0.9 ✓ + 0.13 ✓, neuer Abschnitt p0-tower Live-Facts.
|
||||
|
||||
## [2026-10-27] CephFS-aes256k-Kernel-Fenster geschlossen — 8 Nodes auf 7.1.8, Cilium-7.2.9-Bruch entdeckt
|
||||
- 4 Fleet-Facilities (board-service, deadman, provisioning, spool-watcher) hingen 9 h an CephFS-EINVAL: Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte); Kernel 6.12.x-libceph hat 16-Byte-Limit (`libceph: secret too big 32`). Nur frische Mounts betroffen — RBD lief weiter (mounter rbd-nbd, Userspace).
|
||||
- Kernel-Upgrade 7.2.9 (trixie-backports) brachte CephFS-Mounts, brach aber Cilium 1.19.4 fatal (`FnSetRetval … R1 is not a scalar`, CrashLoop → CSI-Pods API-unreachable → Node netz-tot für Pods). Rollback auf 7.1.8 (Debs aus apt-Cache worker-04; linux-base-7.1.8 fehlt im Backports-Index) + rolling drain→reboot→verify→uncordon. Danach: Cilium/CSI grün, alle 4 Facilities 1/1, Immich-Backup-CronJob durchgelaufen (snapshot ccadb60e), Immich-Server pong.
|
||||
- IaC: Kernel-Pin `linux-image-amd64=7.1.8-1~bpo13+1` in `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4 (Commit 590cf2a; vorher state:latest = Zeitbombe). AGENTS.md-Worker-Tabelle war stale (.63 falsch) — Korrektur blockiert (write-protected, kein Owner-GO); kanonisch jetzt Wiki rke2-kubernetes.md (8 Nodes, VM-IDs korrekt).
|
||||
- Test-Artefakte geräumt (SC ktest/fusetest, PVCs, Pods); VK-Klartext-Reste /tmp/fleet-vk auf mgmt+runner gelöscht; ESO 9/9 SecretSynced. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`; Wiki ceph-cluster.md (Known Issues) + rke2-kubernetes.md gepatcht.
|
||||
|
||||
## [2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs
|
||||
- **Phase 0.8 komplett:** org-registry + board-service + **telemetry**
|
||||
(601435d3) + **provisioning** (fa39b7cd) live, alle E2E-grün aus dem
|
||||
Cluster (ConfigMap-Pod-Muster), psql-Beweise erbracht. Baukasten-Muster
|
||||
dokumentiert (Solution-Doc architecture/2026-10-26-fleet-mcp-facility-baukasten.md).
|
||||
- **Deadman v2 (Cold-Start-Fix):** nie gesehene Agenten = pending (kein
|
||||
Alarm), Beacon-Unerreichbarkeit = EIN fail-closed-Alarm, DEADMAN-ALARM.md
|
||||
auf Board-PVC mit RESOLVED-Zeilen. Digest f700e772, Unit-Tests + live
|
||||
bewiesen (agents_pending 8, beacon_ok 1).
|
||||
- **Beacon 0.11 final:** psql heartbeats-Beweis (count=2, ceo 09:27 UTC).
|
||||
- **Design-Docs (blockieren 0.9/0.13):** sandbox-design.md (21,4 KB, 8
|
||||
Abnahmekriterien, VK-Platzhalter-Fluss, Strict-Gate-422, Blaupausen) +
|
||||
tower-design.md (17,2 KB, Fork-Inventar, 3 Tasks, Manifest-Deploy).
|
||||
- **Subagent-Bilan:** 600s-Timeout systematisch (API-Latenz) — Chair-direct
|
||||
ist der effektive Pfad; Config-Erhöhung child_timeout_seconds greift erst
|
||||
nach Session-Neustart.
|
||||
|
||||
## [2026-10-26 früh] p0-spool + p0-db GRÜN — Spool/Watcher E2E + Fleet-DB + ArgoCD-ignoreDifferences
|
||||
- **Phase 0.7 (Spool+Watcher) abgeschlossen:** `submit_task.py` (Schema-
|
||||
Validierung, Journal, `_invalid/`, fail-loud) + Watcher-Deployment
|
||||
`fleet-spool-watcher` (Image fleet-spool-watcher:fleet-v1, digest
|
||||
c51684fd…, 25/25 Smoke) live. E2E beide Richtungen bewiesen: completed
|
||||
(touch-CMD) + failed (exit-127-Writeback). CephFS-Pitfall gelöst via
|
||||
initContainer chown 1000:1000 (Root-Dir root:root). TASK_RUN_CMD-Override
|
||||
NUR via Git — ArgoCD selfHeal reverts kubectl-Patches sofort.
|
||||
- **Phase 0.10 (Fleet-DB) abgeschlossen:** CNPG `fleet-db` healthy, 7 Tabellen,
|
||||
App-User `app_fleet` als **CNPG Managed Role** (Bootstrap-Owner hat kein
|
||||
CREATEROLE — CREATE ROLE im Job failt, Managed Roles sind der Weg).
|
||||
DROP-Negativtest ok, App-Secret `fleet-db-app` via K8s-API-Readback.
|
||||
- **ArgoCD-Lektion (neu):** `jqPathExpressions` brauchen **jq-Punktnotation**
|
||||
(`.spec.probes`, Wildcards `[]`); JSON-Pointer-Syntax (`/spec/probes`) →
|
||||
`unexpected token "/"`, Mischform → `function not defined`. Plus: K8s-1.35
|
||||
`status.terminatingReplicas` blockte ALLE fleet-Syncs (ComparisonError) —
|
||||
Fix jsonPointers. Nach Application-Spec-Änderung `argocd app get root
|
||||
--refresh` (app-of-apps). Solution Doc:
|
||||
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`
|
||||
- **Wiki:** systems/agent-fleet.md um p0-spool/p0-db-Live-Facts erweitert,
|
||||
Phasenliste aktualisiert (0.7 + 0.10 GRÜN).
|
||||
|
||||
## [2026-10-26 früh] p0-bifrost GRÜN — 9 VKs je Agent, Smoke + Prometheus bestätigt
|
||||
- **Phase 0.6 abgeschlossen:** 9 Virtual Keys (ceo-v3, cto-v2, ciso-v2, chro-v2,
|
||||
cmo-v2, agile-coach, coo-v2, devops-v2, research), Werte in 1P „Kubernetes ESO",
|
||||
ExternalSecrets `fleet-vk-<agent>` in NS fleet (ArgoCD fleet Synced/Healthy,
|
||||
Commit 5d5b26b + 5aa4d31), Mapping `fleet-truth/bifrost-vks.yaml`
|
||||
(→ `FLEET_BIFROST_API_KEY` für Phase 0.9). Smoke 9/9 HTTP 200, Deny-by-default
|
||||
403, Prometheus `bifrost_input_tokens_total` je Key 19–38.
|
||||
- **Pitfalls:** `POST /api/governance/virtual-keys` verwirft `allow_all_keys` →
|
||||
`PUT …/{id}` mit `key_ids:["*"]` (PATCH 405); echte API nur `/api/…`
|
||||
(`/api/v1/…` liefert SPA-HTML mit 200); Modellnamen brauchen `noris/`-Präfix;
|
||||
Reasoning-Modelle: Smoke über Status + usage, nicht Content; ESO-Defaults
|
||||
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
|
||||
in Git pinnen, sonst ArgoCD-Drift bei leerem Diff.
|
||||
- **Altlast:** 1P-Items `VK ceo (v2)`/`coo (v2)`/`cmo (v2)`/`devops (v2)` halten
|
||||
13-Zeichen-Platzhalter (401) — Löschung vorgeschlagen. 9 Alt-VKs noch aktiv
|
||||
(Deaktivierung = Owner-GO).
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
|
||||
|
||||
## [2026-10-25 spät] Fleet-Rebuild p0-image GRÜN — Gitea-OCI-Push-Kette + ESO-b64dec
|
||||
- **Phase 0.5 abgeschlossen:** Agent-Image `git.schoen.codes/dominik/hermes-agent:fleet-v1`
|
||||
= digest `sha256:32eda413…` in Gitea-Registry (1,07 GB), digest-gepinnt in
|
||||
OpenShell-Values (Commit 640e051), ArgoCD Synced/Healthy, gateway.toml
|
||||
`default_image` live. E2E: Kubelet-Pull 34,6 s, jq intakt. Pull-Secret
|
||||
`agent-fleet-registry-pull` out-of-band NS fleet.
|
||||
- **Solution Docs:** integrations/2026-10-25-gitea-oci-registry-push-chain.md
|
||||
(http-Realm-Bug Gitea 1.27, Traefik-499-Manifest-PITFALL: Blobs idempotent →
|
||||
einfach erneut pushen; port-forward überlebt keine SSH-Session) und
|
||||
bug-fixes/2026-10-25-eso-decodingstrategy-pruned-b64dec.md (ESO v2.2.0 prunt
|
||||
decodingStrategy → b64dec IM Template; Mischung = Doppel-Dekodierung schreibt
|
||||
Fehlerstring als Secret).
|
||||
- **Wiki:** systems/agent-fleet.md (Rebuild-v2.5-Abschnitt + Freeze-Status) und
|
||||
systems/gitea.md (Container-Registry-Sektion + Push-Runbook) aktualisiert.
|
||||
|
||||
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
|
||||
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
|
||||
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
|
||||
glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch
|
||||
Bifrost, 159–268 ms, VK-Policy erlaubt alle).
|
||||
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash ·
|
||||
COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206),
|
||||
Config-Backups je CT.
|
||||
- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab
|
||||
(HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle
|
||||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in
|
||||
/root/.hermes/config.yaml (CT 202/206). Flash unempfindlich.
|
||||
- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey.
|
||||
- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung
|
||||
(tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h:
|
||||
1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
|
||||
|
||||
## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
|
||||
- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK)
|
||||
— jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h
|
||||
hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem
|
||||
(315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
|
||||
- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen
|
||||
7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde).
|
||||
Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
|
||||
- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei-
|
||||
namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call.
|
||||
Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär.
|
||||
Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär.
|
||||
- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26,
|
||||
CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
|
||||
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
|
||||
nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver-
|
||||
arbeitung von already-processed) — kosmetisch, beobachten.
|
||||
- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION-
|
||||
STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
|
||||
|
||||
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
|
||||
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
|
||||
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
|
||||
@@ -637,3 +792,17 @@
|
||||
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
|
||||
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
|
||||
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
|
||||
|
||||
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
|
||||
|
||||
- **28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel** — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
|
||||
|
||||
- **29.10. 05:0x (Chair) Traefik-interne EntryPoints nach ArgoCD-Sync verloren + Tower 0.15 Sandboxes-View** — Tower (.213) und fleet-webui (.212) waren ab 28.10. 22:21 down: ArgoCD-`proxy`-Sync (Rev 4ecb30e) fiel exakt mit Helm-Release #96 zusammen, das ohne HelmChartConfig-Werte renderte (keine `web-internal`/`websecure-internal`/`tower-internal`, kein allowCrossNamespace) — Pods blieben 1/1 Ready, Service-Endpoints 8/8 ready, nur die EntryPoints fehlten; nach Wiederherstellung der Config lief KEIN neuer Job (Controller reagiert nur auf Hash-Änderung). Fix: Kommentar in `valuesContent` → Push → ArgoCD-Sync → Release #97 mit allen Ports; verify 200 von 10.0.20.92, 403 von VLAN 30, `/api/fleet/sandboxes` 9 Agenten all_running. Tower 0.15 (Commit 4ecb30e, Digest 00a82fef…): fleet-native Sandboxes-View via read-only PromQL/kube-state-metrics (Upstream-Views brauchten Host-CLI). NAR-Eskalation edd15ff1 war bereits per `[APPROVE]` entschieden (devops hat GitOps-Grant umgesetzt). SolDoc bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md (Bug Fixes 53), Skill traefik-proxy-administration gepatcht, Wiki systems/agent-fleet.md aktualisiert.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Sorter v11, HEVC-Rest, Jellyfin 215/215 grün** — 70 neue Downloads sortiert (0 übersprungen): PureTaboo 49, nzbindex-5 12, HogTied 8, nzbindex-4 1. Sorter v10 führte die **generische Serien-Ableitung** ein (Marken-Token vor Datum/E-Code → `media/<Marke>/` statt `OTHER`); v11 erweitert den Fallback auf `YYYY-MM-DD`-Namen und mappt `DigitalSin → He's in Charge`. Neue Serien: PureTaboo, SilkSub, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, KinkUniversity. Dedupe 8 Gruppen → 10 Verlierer (5,7 GB) nach `quarantine/dedup2/`. 66/70 waren bereits h264+AAC; die 5 HEVC-Dateien per VAAPI auf h264 umkodiert (BratTamer 479→991 MB, Lustery 688→1192, DungeonSex 753→1607, Deeper 605→1194, HogTied 460→835) — alle `ftyp→moov→free→mdat` = faststart, Originale in `transcode-originals/`, **HEVC-Rest 0**. Owner-Drift von 61 Dateien auf 1000:1000 korrigiert. **Jellyfin-Scan-Hänger (84 %) war der Ordner `Other`**, nicht die Datei und nicht die DB-Zeile (Canary-Beweis: gleiche Datei in `Solo` indexiert sofort) — Ordner aufgelöst, Strays nach `Deeper/`; Scan jetzt **Idle, 215 Items = 215 Videos, 215 NFOs**. Disk 608G/1008G (61 %). Pitfalls (Wiki sabnzbd.md): Pod-Rollout SIGKILLt laufende In-Pod-Transcodes (erst Deploy, dann Encode); Sorter-Script nur im sabnzbd-Container, VAAPI-ffmpeg nur im converter-Sidecar; faststart nie mit 200-KB-Sniffing prüfen (moov kann größer sein) — Atom-Kette lesen. SolDoc integrations/2026-10-29-jellyfin-scan-hang-other-folder.md. Offen: Quarantäne 82 GB (27 4K-Varianten mit 1080p-Gegenstück) wartet auf Lösch-GO; `_hold/src.mp4` 618 MB.
|
||||
|
||||
- **29.10. (Chair) Fleet-Autonomie Iteration 3: Identität (SOUL.md) + Ideations-Pflicht + Tower-Token-Anzeige** — Owner: „Loop läuft nicht sauber, keine neuen Ideen, Karten bewegen sich nicht, keine Token-Consumption." Drei unabhängige Root Causes: (1) **SOUL.md** (Identitäts-Slot des Hermes-Prompts, im Workspace `/sandbox/.hermes/`) enthielt nur generischen Boilerplate bzw. fehlte bei cto/research/devops → 9 rollenlose Agenten, `max_turns: 40` wurde mit Selbstbeschäftigung gefüllt (devops: 8,5 Mio Input-Tokens in 30 min, dann rc=1). (2) Tower zeigte `0 tok/s` bei realem Verbrauch: `rate()` liefert je VK mehrere Serien, `out[vk].in = v` überschrieb mit der letzten (meist 0) → `sum by (virtual_key_name)`. (3) Der Idle-Auftrag des Watchers sagte wörtlich „**Keine neuen Karten erfinden**" — Ideen waren im System verboten, die Organisation konnte nur den Seed-Backlog abarbeiten. Fix: `gen_soul.py` + `deploy_soul.sh` (9× SOUL.md 2,9–4,0 KB, `max_turns 20`, `reasoning_effort` je Rolle), `start-agent.sh` `ensure_soul()`, Tower `sha256:84a79b99…`, watcher 0.19 `sha256:93777fc0…` mit Pflicht-Schritt 4 IDEATION (<3 Karten `Neu` → genau EINE Idee: eigene Karte oder Ideations-Auftrag an Rotation cto/cmo/coo/research). Commits `a362144`, `1407c0e`, `ce38c34`, `3f9f0cd`. Beweise: Turns 32–138 s statt 30 min; Tower-Raten (ceo 4489 / ciso 3516 / devops 9424 tok/s) identisch mit Prometheus; Karte `rueckbau-nar-tower-healthz-readonly` Neu→In Bau→Fertig mit Review; **CEO nimmt eine Abnahme nicht ab** (ZURÜCKGEWIESEN + Nachbesserung); **ciso triagiert NAR als KRITISCH** und eskaliert an tower-owner; devops stellt `[CHANGE-ORDER]` an ciso. Pitfalls: SOUL.md liegt im PVC (Image-Rebuild ändert bestehende Sandboxes nicht), Idle-Task-Text schlägt SOUL-Mandat, `wert`/`machbarkeit` 1..10, Tower bindet auf Pod-Hostname, `pkill -f "<script>"` killt die eigene SSH-Session. SolDoc Architecture 17.
|
||||
|
||||
- **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh <agent> <model>`); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung <n>p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`.
|
||||
|
||||
@@ -0,0 +1,51 @@
|
||||
---
|
||||
pattern_id: PAT-017
|
||||
title: "Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert (404 ohne Log)"
|
||||
category: networking
|
||||
severity: medium
|
||||
status: active
|
||||
first_observed: 2026-10-23
|
||||
last_updated: 2026-10-27
|
||||
related_systems: [rke2-kubernetes, traefik, agent-fleet]
|
||||
related_solution_docs: [integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md]
|
||||
related_skills: []
|
||||
---
|
||||
|
||||
# Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert
|
||||
|
||||
## Symptom
|
||||
IngressRoute (oder andere Traefik-CRD) mit korrektem Host/Path/TLS-Setup liefert
|
||||
404 (Traefik-Default), obwohl LoadBalancer, entryPoint und Backend alle
|
||||
funktionsfähig sind. Kein Fehler im Traefik-Log, Objekt ist per kubectl sichtbar.
|
||||
|
||||
## Root Cause
|
||||
Traefik läuft mit Provider-Filter
|
||||
`--providers.kubernetescrd.ingressClass=traefik`. Objekte ohne die Annotations
|
||||
`kubernetes.io/ingress.class: traefik` UND `traefik.io/ingress.class: traefik`
|
||||
werden vom CRD-Provider komplett verworfen — still, ohne Log-Eintrag.
|
||||
|
||||
## Mitigation
|
||||
Beide Annotations am CRD setzen:
|
||||
```yaml
|
||||
metadata:
|
||||
annotations:
|
||||
kubernetes.io/ingress.class: traefik
|
||||
traefik.io/ingress.class: traefik
|
||||
```
|
||||
Wirkung sofort (Router matcht). Nebenerkenntnis 27.10.: Für ipAllowList-Zwang
|
||||
am VIP-LB braucht es `externalTrafficPolicy: Local` am LB-Service — bei
|
||||
`Cluster` SNATet Cilium die Client-IP weg und die ACL blockt fälschlich alles.
|
||||
|
||||
## Prevention
|
||||
- Vor Deploy einer neuen Traefik-CRD: gegen eine bereits funktionierende
|
||||
Route diffen und die ingressClass-Annotations kopieren.
|
||||
- Review-Checkliste für Exposure-PRs: ingressClass-Annotations? eTP Local bei
|
||||
ACL? EntryPoint-Länge ≤15 Z. (Chart kürzt)?
|
||||
|
||||
## Evidence
|
||||
- 2026-10-23: fleet-webui (VIP .212) — Original-Incident, 404 → Fix
|
||||
Commit-Kette 37f40ec…1d35b1f; Solution-Doc integrations/2026-10-23.
|
||||
- 2026-10-27: Fleet Control Tower (VIP .213) — **zweite Inkarnation**,
|
||||
identisches Bild, Fix Commit 8d201bf (8d201bf..0ddad265-Kette). DOM-Smoke
|
||||
23/23 PASS danach. Evidence-Update im Solution-Doc.
|
||||
- MEMORY.md-Pointer ergänzt.
|
||||
+442
-18
@@ -3,15 +3,350 @@ title: Agent-Fleet
|
||||
category: systems
|
||||
status: active
|
||||
created: 2026-10-22
|
||||
updated: 2026-10-23
|
||||
updated: 2026-10-26
|
||||
---
|
||||
|
||||
# Agent-Fleet (Multi-Agent-Plattform)
|
||||
|
||||
Projekt: Corporation-scale Agent-Fleet mit CEO+SRE-Team, Org-as-Code, zentralem
|
||||
LLM-Chokepoint und objektiver Telemetrie. Phase 0 (Fundament) weitgehend gebaut.
|
||||
LLM-Chokepoint und objektiver Telemetrie.
|
||||
|
||||
## Repos & Struktur
|
||||
> **STATUS 25.10.2026:** Iteration 1 (MVP, 7 Hermes-CTs 161/163/164/165/202/205/206)
|
||||
> per Q8a-GO **EINGEFROREN** (Crons `.frozen-20261025`, Protokoll
|
||||
> `/srv/fleet-board-freeze/` auf PVE); Deprovisionierung erst nach Phase-1-Grün.
|
||||
> **Aktiv ist der Rebuild v2.5** (lebende Verfassung, Commit 391c9fa): 9 Agenten
|
||||
> (ceo; cto/ciso/chro/coo/cmo unter ceo; agile-coach unter chro; research unter
|
||||
> cto; devops unter cto) auf RKE2 (CP 10.0.30.51–53, Worker .63–65), Git-Truth
|
||||
> `iac-homelab/clusters/main/fleet-truth/org.yaml`. Dieser Wiki-Abschnitt
|
||||
> **Iteration-1-Betrieb** ist historisch (CTs, Poller, WebUI v0.x, B-Inputs,
|
||||
> Chair-Ticks, Value-Streams) — Rebuild-Details siee Abschnitt
|
||||
> „Fleet-Rebuild v2.5 (Phase 0)" unten.
|
||||
|
||||
## Fleet-Rebuild v2.5 (Phase 0, ab 25.10.2026)
|
||||
|
||||
- **Verfassung:** Prompt v2.5 = lebendes Dokument (Q9b), Owner-GO 25.10.
|
||||
Kernfeatures 1–5 unabänderlich; ereignisgetriebene Starts statt Zeittakt;
|
||||
max. 26 Agenten; Handover an Org nach Phase-1-E2E (danach Chair read-only).
|
||||
- **Phasen:** 0.1 Landlock ✓ · 0.2 Git-Truth ✓ · 0.3 CephFS ✓ · 0.4 OpenShell-
|
||||
Gateway ✓ (Chart 0.1.5, OIDC Authelia, Enforcement via grpcurl verifiziert) ·
|
||||
**0.5 p0-image ✓ GRÜN (25.10. spät)** · **0.6 Bifrost-VKs ✓ GRÜN (26.10.)** ·
|
||||
**0.7 Spool+Watcher ✓ GRÜN (26.10.)** · **0.8 MCP-Facilities ✓ ALLE 4 GRÜN
|
||||
(26.10.)** · **0.9 Sandboxes ✓ GRÜN (26./27.10., 9/9 Ready)** ·
|
||||
**0.10 Fleet-DB ✓ GRÜN (26.10.)** · **0.11 Beacon ✓ GRÜN (26.10.)** ·
|
||||
**0.12 Deadman ✓ GRÜN (26.10.)** · **0.13 Control Tower ✓ GRÜN (27.10.,
|
||||
DOM-Smoke 23/23)** · **0.14 E2E ✓ GRÜN (27.10. abends, 8/8 Kaskaden)** →
|
||||
Phase 1 Onboarding.
|
||||
- **p0-image (0.5) final:** Agent-Image `git.schoen.codes/dominik/hermes-agent`
|
||||
Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`**
|
||||
(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile
|
||||
`clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124).
|
||||
- **p1-image v5.1 (28.10., AKTUELL):** Tag `fleet-v5.1` = **digest
|
||||
`sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d`**
|
||||
(Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) **NAR-Verfahren**
|
||||
(Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan-
|
||||
Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien
|
||||
+ Worker-Tool-Prompt-Verweis; `to: tower-owner` NUR durch ciso und nur
|
||||
`type: escalation|fyi`, kodiert in 3 Validierungsschichten (submit_task.py
|
||||
+ CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py),
|
||||
E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) **Worker
|
||||
Resume-on-Disconnect:** `Gateway disconnected` startet KEIN Re-Execute,
|
||||
sondern beobachtet die Session-DB bis 900 s und completed mit der finalen
|
||||
assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops
|
||||
(RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser;
|
||||
(c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen).
|
||||
Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout —
|
||||
default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert.
|
||||
**Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`) +
|
||||
Prepuller-DS `clusters/main/fleet/agent-image-prepull.yaml` → gateway.toml
|
||||
`default_image` → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest
|
||||
sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task)
|
||||
+ Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret
|
||||
`agent-fleet-registry-pull` out-of-band im NS fleet (default-SA
|
||||
imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe
|
||||
`systems/gitea.md` „Container Registry". SolDoc:
|
||||
`docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md`.
|
||||
- **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
|
||||
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
|
||||
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
|
||||
Key "openshell.gateway" (inline `values:`, nie ArgoCD-parameters — dotted Keys
|
||||
brechen --set-Parsing, CrashLoop).
|
||||
- **ArgoCD-Lektionen (wiederkehrend):** dotted Keys nur inline `values:`; nach
|
||||
Git-Push Root-App (app-of-apps) refreshen; Sync via
|
||||
`kubectl -n argocd exec sts/argocd-application-controller -- argocd app sync <app> --core`;
|
||||
org.yaml NICHT im ArgoCD-App-Pfad (CR ohne CRD blockiert Sync) → fleet-truth/.
|
||||
- **Bifrost (Wiederverwendung Iteration 1):** NS agent-fleet, VIP 10.0.30.210:8080,
|
||||
App 2.3.1; 18 VKs live, davon 9 im Rebuild genutzt (s. Tabelle). EIN VK je Member
|
||||
benannt `<agent_id>[-v<n>]`, Rotation `-v<n>`; Allowlist
|
||||
`^(noris/)?vllm/release/.*`, `key_ids ["*"]`, deny-by-default. Abnahme je VK:
|
||||
Completion-Call 200 + Prometheus-Gegenprobe 10.0.30.202:9090.
|
||||
|
||||
### p0-bifrost VK-Tabelle (26.10., live + Secrets in NS fleet)
|
||||
|
||||
| agent_id | VK | Modell (noris/vllm/release/…) | Secret |
|
||||
|---|---|---|---|
|
||||
| ceo | ceo-v3 | glm-5-3 | fleet-vk-ceo |
|
||||
| cto | cto-v2 | glm-5-3 | fleet-vk-cto |
|
||||
| ciso | ciso-v2 | glm-5-3 | fleet-vk-ciso |
|
||||
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
|
||||
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
|
||||
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
|
||||
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort max) | fleet-vk-coo |
|
||||
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
|
||||
| research | research | deepseek-v41-flash | fleet-vk-research |
|
||||
|
||||
- Secrets: `kubernetes.io` ESO-ExternalSecrets aus `clusters/main/fleet/vk-secrets.yaml`
|
||||
(1P-Vault „Kubernetes ESO", Items `Agent-Fleet VK <vk>`, Feld `password`);
|
||||
Keys `api-key` + `key-name`; Zieldatei `FLEET_BIFROST_API_KEY` definiert in
|
||||
`fleet-truth/bifrost-vks.yaml` (Phase-0.9-Injektion).
|
||||
- **Bifrost-API-Pitfalls:** `POST /api/governance/virtual-keys` verwirft
|
||||
`allow_all_keys` → Key ohne Schlüssel (400 „no keys found"); Fix per
|
||||
`PUT …/{id}` mit `key_ids:["*"]` (PATCH = 405). Echte API nur unter `/api/…`
|
||||
(`/api/v1/…` = SPA-HTML 200!). Modellnamen brauchen Provider-Präfix `noris/`.
|
||||
Reasoning-Modelle liefern bei `max_tokens`-Knappheit leeren Content → Smoke
|
||||
über HTTP-Status + `usage.total_tokens`. ESO-Defaults
|
||||
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
|
||||
müssen in Git gepinnt werden, sonst ArgoCD-Dauerdrift bei leerem Diff.
|
||||
- **Offen (Owner-GO):** 9 Alt-VKs (`fleet`, `ceo`, `ceo-v2`, `cto`, `ciso`, `chro`,
|
||||
`coo`, `cmo`, `devops`) noch aktiv; 4 1P-Items mit 13-Zeichen-Platzhaltern
|
||||
(`VK ceo (v2)`, `coo (v2)`, `cmo (v2)`, `devops (v2)`) löschen.
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
|
||||
|
||||
### p0-spool (0.7) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **Deployment `fleet-spool-watcher`** (NS fleet, 1 Replika, Recreate,
|
||||
automountServiceAccountToken false, Label `fleet.noris.de/deadman-cascade: "true"`).
|
||||
Image `git.schoen.codes/dominik/fleet-spool-watcher` Tag `fleet-v1` =
|
||||
**digest `sha256:c51684fd67c95b1aadf91c8930ced0644d7b0180931348d386b7eb51e6e073bf`**
|
||||
(python:3.11-slim + pyyaml 6.0.2, non-root UID 1000).
|
||||
Code: `clusters/main/fleet/spool/` (submit_task.py, watcher/watcher_main.py
|
||||
591 Z., watcher/deployment.yaml, tests/smoke_test_local.py — 25/25 PASS).
|
||||
- **Watcher-Konfig:** scan 10 s, WIP max 2 je to-Agent, Agent-Cooldown 30 s,
|
||||
Budget 2/Zyklus, global max 4 inflight, run_timeout 900 s; TASK_RUN_CMD
|
||||
default `hermes chat {input}` (Platzhalter {input} {agent} {task_id}).
|
||||
- **CephFS-Fix:** initContainer `spool-perms` (busybox:1.36, root) legt
|
||||
`_journal/ _runs/ _invalid/` an + chown 1000:1000 — sonst PermissionError
|
||||
(CephFS-Root root:root vs. Watcher non-root). RWO/RWX-PVC-Mount /srv/fleet/tasks.
|
||||
- **E2E bewiesen:** submitted→dispatched→run_started→run_finished, Status-
|
||||
Writeback ins Envelope; completed-Variante via touch-CMD, failed-Variante
|
||||
(exit 127) — beides im Journal + Envelope nachgewiesen.
|
||||
- **Befehlsmuster:** Toolbox-Pod `kubectl -n fleet run spool-e2e --image=python:3.11-slim`
|
||||
+ PVC-Mount per --overrides; Einreichung via `kubectl cp` + `kubectl exec -i`
|
||||
heredoc; Watcher-E2E-Overrides NUR via Git (selfHeal reverts kubectl-Patches
|
||||
sofort).
|
||||
|
||||
### p0-db (0.10) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **CNPG-Cluster `fleet-db`** (NS fleet, 1 Instanz, pg 16.4, ceph-flash 5Gi,
|
||||
healthy; App-Secrets via CNPG: `fleet-db-app` Service fleet-db-rw:5432 DB fleet).
|
||||
Manifeste: `clusters/main/fleet/db/` (fleet-db.yaml, schema.yaml).
|
||||
- **App-User `app_fleet`** = CNPG **Managed Role** (`spec.managed.roles`:
|
||||
login, connectionLimit 50, passwordSecret-Ref `fleet-db-app-user` [username+
|
||||
password]; KEIN superuser/createdb/createrole). Bootstrap-Owner `fleet`
|
||||
(Secret `fleet-db-owner` out-of-band) hat KEIN CREATEROLE — CREATE ROLE im
|
||||
Schema-Job schlägt fehl → Managed Roles sind der Weg.
|
||||
- **7 Tabellen** (additiv, IF NOT EXISTS): members, org_snapshots,
|
||||
provisioning_events, sandboxes, trace_meta, heartbeats, gov_samples.
|
||||
heartbeats-Spalten: agent_id, status, task_id, ts, tok_in, tok_out, meta.
|
||||
- **Beweise:** psql select count je Tabelle (Selftest), DROP-Negativtest
|
||||
(verweigert für app_fleet), `SECRET_READBACK_OK`, ArgoCD Synced+Healthy.
|
||||
- **ArgoCD ignoreDifferences-Pitfalls** (Commits 3931c63, 34179d4): K8s-1.35
|
||||
`status.terminatingReplicas` (jsonPointers) + ~45 CNPG-Webhook-Defaults via
|
||||
**jqPathExpressions in jq-Punktnotation** (`.spec.probes` — Slash-Syntax
|
||||
failt im Diff-Normalizer; Wildcards `[]` nicht `*`). Solution Doc:
|
||||
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`.
|
||||
|
||||
### p0-beacon (0.11) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **Deployment `fleet-beacon`** (NS fleet, 1/1, digest `55718277…`), Code aus
|
||||
`/home/debian/workspace/agent-fleet/src/beacon/` (FastAPI, 14/14 Tests),
|
||||
deployt unter `clusters/main/fleet/beacon/` (app.py, deployment.yaml,
|
||||
containerPort 8000, sync-wave 6). Persistenz via Secret `fleet-db-app`.
|
||||
- **3 Root-Causes auf dem Weg (alle gefixt):** (1) app.py liest `DATABASE_URL`,
|
||||
`envFrom: secretRef` liefert aber nur Einzelkeys → healthz 503 (fail-closed).
|
||||
Fix: `valueFrom.secretKeyRef{name: fleet-db-app, key: uri}` (Commit f13c744).
|
||||
(2) Patch-Indent-Bug: `name:` neben statt unter `secretRef` → ArgoCD
|
||||
`ComparisonError: envFrom[0].name: field not declared in schema` blockierte
|
||||
den GESAMTEN App-Sync (Commit fe5cc10). (3) `app_fleet` hatte Tabellen- aber
|
||||
keine **Sequence**-Rechte → `permission denied for sequence
|
||||
heartbeats_heartbeat_id_seq` beim INSERT. Live-GRANT + Git-Fix in
|
||||
schema.yaml (`GRANT USAGE, SELECT ON ALL SEQUENCES` + ALTER DEFAULT
|
||||
PRIVILEGES, Commit ca7660b).
|
||||
- **E2E:** POST /heartbeat ceo → 200 + DB-Row; unbekannter Agent → **422**
|
||||
(nicht 403 — Strict-Gate); /metrics counter + age-Gauge; TTL 3600 s.
|
||||
- **Sequence-Lektion:** BIGSERIAL-PKs brauchen GRANT USAGE auf Sequences —
|
||||
Tabellen-Grants allein reichen nicht (gilt für alle künftigen Facility-Inserts).
|
||||
|
||||
### p0-deadman (0.12) ✓ GRÜN (26.10.) — Live-Facts
|
||||
- **Deployment `fleet-deadman`** (NS fleet, 1/1, sync-wave 7, digest
|
||||
`sha256:f700e772dc434af15b9d88330cbe7e3392332d5c753e1b29ce955331e55e267e`
|
||||
— v2 „coldstart-fix", Pod fleet-deadman-68cb6d9f6f-*), Code
|
||||
`clusters/main/fleet/deadman/{deadman_main.py, Dockerfile, deployment.yaml}`.
|
||||
Image python:3.11-slim + pyyaml, **KEIN LLM, kein hermes** (bewiesen: `NO_HERMES`,
|
||||
pip list = stdlib+PyYAML), non-root UID 1000, `/metrics`+`/healthz` auf 8100,
|
||||
readiness/liveness tcpSocket. **Board-PVC rw gemountet** (FLEET_BOARD_DIR).
|
||||
- **VIER Kaskaden (§3.5, v2):** Agent-Silence 1800 s (Quelle Beacon
|
||||
`/metrics` → `beacon_last_heartbeat_age_seconds`), Watcher-Tick 180 s
|
||||
(`_journal/watcher.tick` mtime), Bifrost-Gateway 120 s anhaltend
|
||||
(`/health`), **Beacon-Unerreichbarkeit fail-closed** (EIN `beacon`-Alarm,
|
||||
KEINE 9 Fake-Alarme; Zustand unbekannt ≠ Stille; kein Heal bestehender
|
||||
Alarme). **Edge-Trigger**: ein P1-Eskalations-Task je OK→ALARM an ceo;
|
||||
Heilung löscht den Alert (`GEHEILT`-Log), kein Task-Spam.
|
||||
- **Cold-Start-Semantik (Fix 26.10.):** Agent OHNE je gesehenen Heartbeat
|
||||
= **pending** (KEIN Alarm; Metrik `deadman_agents_pending`). ALARM erst
|
||||
wenn Heartbeat da WAR und dann 30 min still. Begründung: Phase-1-Agenten
|
||||
senden noch keine Heartbeats — 9 Fehlalarme ab Tag 1 wären Spec-Verstoß.
|
||||
Unit-Test bewiesen: Cold-Start → 0 `agent:*`-Alarme; Heilung → RESOLVED.
|
||||
- **DEADMAN-ALARM.md** (Board-PVC, HITL-Kanal §3.5): je Ursache EINE
|
||||
`[AKTIV]`-Zeile, Zustandswechsel-Updates statt Spam, Heilung schreibt
|
||||
`[RESOLVED]` in den append-only-Verlauf; temporäre Datei + os.replace
|
||||
(atomic). Schreibfehler = Log, nie Crash (Task+/metrics bleiben primär).
|
||||
- **Metrics:** deadman_silence_seconds{agent}, deadman_alert_active{source},
|
||||
deadman_agents_pending, deadman_beacon_ok, deadman_watcher_tick_age_seconds,
|
||||
deadman_gateway_ok, deadman_last_scrape_age_seconds, deadman_up.
|
||||
- **Live-Beweis (26.10.):** `agents_pending 8`, `beacon_ok 1`, keine
|
||||
`agent:*`-Alarme, Watcher-Tick 6 s; Board-rw (touch-Test) OK.
|
||||
- **Validator-Konflikt (kritisch):** submit_task.py UND watcher_main.py
|
||||
erlaubten from/to nur aus der 9er-Org → Deadman-Tasks wären quarantäniert.
|
||||
Fix: `VALID_SYSTEM_SENDERS=["deadman-watchdog"]` / `SUBMIT_SYSTEM_SENDERS`,
|
||||
nur als Absender, nur `type=escalation`, `to` bleibt 9er-Org.
|
||||
Envelope-Feld heißt **`body`** (Watcher-Whitelist REQUIRED_FIELDS +
|
||||
KNOWN_OPTIONAL_FIELDS = reply_to|requires_ack|agent_card_ref|thread_id|topic|body;
|
||||
`input` → Quarantäne). Beweis: 9/9 Tasks durch `validate_schema_loose`.
|
||||
- **Watcher v2** (digest `sha256:e7bc819cf8b83ba64d0f4494972f812422b786e11dc73d396e0c9ac3f7ed36a8`):
|
||||
schreibt `_journal/watcher.tick` (epoch-int, fsync) je Zyklus als Liveness-Signal;
|
||||
System-Sender-Whitelist.
|
||||
- **E2E live:** 8 Agenten ohne Heartbeat → 8 Alarme (ceo korrekt aus, hatte
|
||||
Heartbeat); Gateway 0, Watcher 0. **Watcher-Kaskade bewiesen**: replicas 0
|
||||
(via Git, Commit-Historie) → Tick 105→300 s → bei 196 s ALARM + Task
|
||||
`ac15c65b` → replicas 1 → `GEHEILT watcher`, alert 0, Tick 3 s.
|
||||
- **ArgoCD-Job-Immutabilität (neue Lektion):** `fleet-db-schema` Job blockierte
|
||||
JEDEN App-Sync („field is immutable"; `Replace=true` scheitert an fehlendem
|
||||
selector). Lösung: Job als **PostSync-Hook** (`argocd.argoproj.io/hook: PostSync`
|
||||
+ `hook-delete-policy: BeforeHookCreation`) → nicht getrackt, konvergiert
|
||||
idempotent bei jedem Sync. Commit 077c5c8.
|
||||
- **Grenze des Kill-Tests:** `kill -STOP 1` im Pod wirkt NICHT (PID-Namespace-Init
|
||||
ignoriert Signale ohne Handler, kein CAP_KILL) — Kaskadentest deshalb über
|
||||
Git-replicas, nicht über Signale. `kubectl scale` wird von ArgoCD selfHeal
|
||||
binnen ~3 min revertiert → Overrides IMMER via Git.
|
||||
|
||||
### p0-mcp (0.8) ✓ ALLE 4 FACILITIES GRÜN (26.10.) — Live-Facts
|
||||
- **Baukasten:** alle 4 Facilities nach demselben Muster (mcp==2.3.0,
|
||||
`MCPServer` + `run(transport="streamable-http", stateless_http=True)`,
|
||||
tcpSocket-Probe — httpGet auf /mcp = 406, sync-wave 5, Recreate,
|
||||
automountServiceAccountToken false, deadman-cascade-Label, UID 1000,
|
||||
Digest-Pins). Vorlage: `clusters/main/fleet/mcp/org-registry/`.
|
||||
Solution-Doc: `docs/solutions/architecture/2026-10-26-fleet-mcp-facility-baukasten.md`.
|
||||
- **1/4 org-registry** (digest `sha256:dc3f53e2f57e91ba5796426046cbda08c51c4f832103f9ee028bd9ae6949913e`):
|
||||
Tools list_members/get_member/health aus org.yaml (CM fleet-org-truth,
|
||||
Datei-Mount, fail-loud SystemExit 2). In-cluster E2E 9 Agents.
|
||||
- **2/4 board-service** (digest `sha256:6bf3890e227f46776b2d84fc9da69cbf32de3217056ea18d9f705a85c6d44d9a`,
|
||||
Commit beb85d5, 27.10. ToolError-Fix): 9 Tools (add_backlog_card, add_release_note,
|
||||
get_backlog, get_kanban, health, list_value_streams, move_card, submit_task,
|
||||
submit_owner_task); Single-Writer aufs Board-PVC, Spool-Submit. **27.10. Fix:
|
||||
alle 54 Validierungen raisen jetzt `ToolError` statt `ValueError`** — das
|
||||
MCP-SDK verdeckt bei non-ToolError die Message (Agent sah nur "Error executing
|
||||
tool", CEO verbrannte 40 Iterationen blind, Task failed). Limits jetzt in
|
||||
Tool-Docstrings: eintrag≤500, titel≤200, body≤8000, thread_id nur bei type=chat.
|
||||
Live-Verify 27.10.: >500-Call liefert lesbare Meldung. Solution-Doc:
|
||||
`docs/solutions/bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md`.
|
||||
- **3/4 telemetry** (digest `sha256:601435d3ca1fb84e6ccc4f05c97e201cbc066560e2729531267025c33e12bba7`,
|
||||
Commit aec669d): Tools query_prometheus (NUR GET, PromQL frei),
|
||||
get_agent_tokens (9 Default-VKs, rate[2m] in+out), get_beacon_status
|
||||
(Heartbeat-Age je Agent), health. E2E 6/6 in-cluster + fail-loud
|
||||
(kaputtes PromQL → isError true). Prometheus/Beacon-ENV konfigurierbar.
|
||||
- **4/4 provisioning** (digest `sha256:fa39b7cd3abd99158e9de5918507ea4d75a9596740c5e70f656b378cf54fd4b1`,
|
||||
Commit f07c7d0): Tools validate_hire (Pflichtfelder + member_id-Doppelt-
|
||||
ausschluss + A16-Vote-Datei im Board-PVC + CISO/CHRO-Gates → ok/fehlerliste),
|
||||
record_provisioning_event (INSERT provisioning_events, psql-bewiesen
|
||||
event_id=1), get_sandbox_status (Strict-Gate: member_id ∈ org.yaml sonst
|
||||
isError; `none` = noch nicht provisioniert), health (DB-Connect).
|
||||
**Gateway-Call STUBBED** (provision_sandbox_stub → NotImplementedError,
|
||||
Aktivierung 0.9 laut sandbox-design.md). Board-PVC RO + initContainer
|
||||
board-perms chown. envFrom fleet-db-app: Keys heißen **user/password/host/
|
||||
port/db** (NICHT DB_USER — ENV-Name = Secret-Key!).
|
||||
- **E2E-Muster (wiederverwendbar):** Test-Skript als ConfigMap + python:3.11-alpine-
|
||||
Pod mit --overrides-Mount; RPC via POST + `Accept: application/json,
|
||||
text/event-stream`, letzte `data: `-Zeile parsen. python:3.11-alpine hat KEIN
|
||||
kubectl — Board-Test-Dateien vom Host via kubectl exec anlegen.
|
||||
|
||||
### p0-tower (0.13) ✓ GRÜN (27.10.) — Live-Facts
|
||||
- **Fleet Control Tower** = Fork `dominik/openshell_controller` (Upstream
|
||||
nemo-shell-dashboard), Next.js 15 Custom-Server `server.mjs` (kein
|
||||
standalone), ns fleet, Pod `fleet-tower-…-bsc2p` 1/1 auf rke2-worker-03.
|
||||
Image `git.schoen.codes/dominik/fleet-tower@sha256:0ddad26520e9d4345012b814
|
||||
588117ac03fdeb8c0f2094a90e70dfff34f2e9d2` (Git==Live verifiziert).
|
||||
5 Kernfeatures: Org-Chart (tok/s, Inbox, Heartbeat), Message-Feed
|
||||
(Journal, Epoch-Cursor), VS-Kanban, Owner-Kanäle (Idee→Backlog, VS→CEO-Task,
|
||||
CEO-Chat-Threads), Escalation-Historie. 7 API-Routen `/api/fleet/*`,
|
||||
force-dynamic no-store; Import `@/app/lib/fleet/fleetSource` (nicht
|
||||
`@/lib/…` — tsconfig `@/*`→`./*`).
|
||||
**29.10.: Tower 0.15** (Digest `sha256:00a82fefd1e350b73ae2f1ed288dbf71e04
|
||||
c719b7b39be96cd314c6a11878854`, Commit `4ecb30e`) = fleet-native
|
||||
**Sandboxes-View** (`/api/fleet/sandboxes` → read-only PromQL gegen
|
||||
kube-state-metrics, NS openshell, Pods `default--<agent>`; 9/9 Running,
|
||||
node/cpu/mem/restarts/image_digest/heartbeat_age). Upstream-Views
|
||||
(Sandboxes/Settings/MCP/Wizards) sind tot (brauchen openshell-CLI auf dem
|
||||
Tower-HOST) — Option „fleet-native View" vom Owner gewählt; Wizards/Create
|
||||
bewusst NICHT (Creates laufen über Provisioning-Pipeline).
|
||||
- **⚠️ 29.10. Traefik-Regression (behoben):** ArgoCD-`proxy`-Sync
|
||||
28.10. 22:21:53 (Rev `4ecb30e`) fiel mit Helm-Release #96 zusammen, das
|
||||
OHNE HelmChartConfig-Werte rendert (keine internen EntryPoints, kein
|
||||
allowCrossNamespace) → Tower (.213) + fleet-webui (.212) down, Pods
|
||||
trotzdem 1/1 Ready. Fix: Kommentar in `valuesContent` (Hash-Änderung) →
|
||||
Release #97 mit `tower-internal:8445`/`web-internal:8001`/
|
||||
`websecure-internal:8444`; verify: 200 von 10.0.20.92, 403 von VLAN 30.
|
||||
Merksatz: **nach jedem proxy-App-Sync `helm get values rke2-traefik`
|
||||
prüfen**; `rc=7` = VIP announced/Port zu, Timeout = VIP-Problem.
|
||||
SolDoc: bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md
|
||||
- **Exposure:** VIP 10.0.30.213 (Cilium LB-IPAM, dedizierter LB-Service
|
||||
`traefik-tower-lb`, port 443→targetPort 8445, entryPoint `tower-internal`
|
||||
:8445 — neu in `clusters/main/proxy/rke2-traefik-helmchartconfig.yaml`),
|
||||
IngressRoute PathPrefix `/` + ipAllowList (10.0.20.0/24 + 10.0.40.0/24 +
|
||||
172.16.0.0/24, VLAN 30 bewusst ausgesperrt), TLS fleet-tower-tls
|
||||
(Interim-CA bis 24.01.2027, CN tower.schoen.codes).
|
||||
`externalTrafficPolicy: Local` PFLICHT für ACL (sonst SNAT).
|
||||
ingressClass-Annotations PFLICHT (sonst still ignoriert, PAT-017).
|
||||
Kein DNS-Record tower.schoen.codes → Owner-Zugang per VIP-IP
|
||||
**`https://10.0.30.213/`** (ohne Portangabe! :8445 ist nur der
|
||||
Container-Port; Cert-Warnung wegklicken).
|
||||
- **Single-Writer:** Tower schreibt NIE auf Spool-/Board-PVC; Owner-Inputs
|
||||
via board-service MCP-Tool `submit_owner_task` (from=tower-owner, type
|
||||
∈ {chat,build}; chat⇒thread_id+topic Pflicht, build⇒thread verboten;
|
||||
body ≤8000; kein Escalation-Spoofing). Tower liest Spool/Journal RO.
|
||||
- **DOM-Smoke 23/23 PASS** (scripts/dom-smoke.mjs im Pod, TOWER_URL=Pod-IP —
|
||||
Custom-Server lauscht auf os.hostname(), NICHT 127.0.0.1): Shell+CSP+
|
||||
nosniff, 9 Agent-Karten mit tok/inbox/hb, Messages ≥10 (200 geliefert),
|
||||
Kanban 4 Spalten+1 Karte, Escalations, Owner-Chat, Next-Assets.
|
||||
- **Abnahme-Status:** werkzeugseitig GRÜN (23/23 + 5/5 API 200). Offen:
|
||||
Owner-G1-Browsertest aus erlaubtem Segment (10.0.20/24 oder WG) — aus
|
||||
10.0.30.x design-gemäß 403.
|
||||
- Solution-Doc: `docs/solutions/tooling/2026-10-27-nextjs-custom-server-docker-build.md`
|
||||
(Builder-Toolchain node-pty, UID 1001, Child-Prozesse, Hostname-Binding);
|
||||
Evidence-Updates in Gitea-Push- + ingressClass-Docs; PAT-017.
|
||||
|
||||
### p0-e2e (0.14) ✓ GRÜN (27.10. abends) — Abnahme-Evidenz
|
||||
- **Owner-Kanäle:** Idee→Backlog via Tower-API (Karte e2e-014-owner-idee,
|
||||
score 16, ursprung=owner, physisch im ideen-register.md); Duplikat/Invalid/
|
||||
Pflichtfeld fail-loud (500/500/400). Neuer VS→CEO-Task a295dc32 (type=build,
|
||||
P2, from=tower-owner, Spool-File+Journal accepted bewiesen); Validierungen
|
||||
400 (topic Pflicht, >200 Z.). Chat: Thread e2e-thread-014 mit Owner-Frage +
|
||||
CEO-Testantwort (manuell gelegt, uuid4-Gate!) gerendert über
|
||||
GET /api/fleet/owner/chat — §8-Kriterium erfüllt.
|
||||
- **Beacon Strict-Gate:** ghost→422, devops→200, psql-Zeile sichtbar.
|
||||
- **DB-Selftest:** 7 Tabellen via app_fleet; DROP verweigert („must be owner");
|
||||
NOTE: app_fleet ist DML-Rolle — DELETE geht DURCH (Vorfall: heartbeats
|
||||
geleert, durch 9 Repair-Heartbeats wiederhergestellt, Alt-Alarme RESOLVED).
|
||||
- **Deadman:** pending 9→0 nach Heartbeats; Watcher-Kill-Kaskade E2E-7
|
||||
vollständig bewiesen: Git-replicas 0 (f9cbde2) → ALARM 18:28:43
|
||||
(tick 234 s > 180 s) → Escalation-Task 935b3d3e (P1, to=ceo) im Spool →
|
||||
Restore (c5f26af) → RESOLVED 18:30:43. Landlock 8/8 Nodes via SSH
|
||||
(kubectl-debug-Pfad blockiert TTY — nicht als Kriterium prüfen).
|
||||
- **Produktionsbug gefunden+gefixt (992cdfb):** tower-owner fehlte in
|
||||
VALID_SYSTEM_SENDERS (Typ-Map allein wirkt nicht — Gate 1 weist zuerst ab);
|
||||
Fix an Disk + CM-Embed (EMBED==DISK). Board-service+watcher Images neu
|
||||
gebaut+gepinnt (69e806a5/92b1470b, 89ed639) — waren 0.8/0.7-stale.
|
||||
SolDoc: bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md.
|
||||
- Abschluss: 8 Deployments 1/1, ArgoCD fleet+proxy Synced/Healthy,
|
||||
Sandboxes 9/9 Running. Phase 0 KOMPLETT — Phase 1 (Onboarding) ist frei.
|
||||
|
||||
## Repos & Struktur (Iteration 1 — historisch)
|
||||
- **agent-fleet** (Gitea, lokal `/home/debian/workspace/agent-fleet`): Org-YAML,
|
||||
Beacon-Scaffold (`src/beacon/`), Pläne (`docs/plans/2026-10-22-agent-fleet-phase0.md`,
|
||||
inkl. Bifrost-Pivot-Vermerk — LiteLLM-Abschnitte A3/A4 sind superseded).
|
||||
@@ -117,16 +452,28 @@ Important-Fixes committed `b3b4b9f`).
|
||||
(2777). Nachrichten = MD-Dateien `<epoch>-von-<agent>-<thema>.md` mit
|
||||
From/To/Subject-Kopf; Mailboxen allseitig beschreibbar.
|
||||
- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) →
|
||||
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.6 (24.10. spät)** —
|
||||
ITERATIVE CHUNK-TRIAGE (Owner-Direktive „Nicht FIFO, alle Mails je Tick
|
||||
priorisiert"). Design-Entwicklung aus der Triage-Failserie: v3.4 (Retry+
|
||||
Gateway-Wait+K=3), v3.5 (Chunks à 15 + Mini-Prompt head -c 150 + Fail-safe
|
||||
P2), v3.6 SLOTGUARD (Triage feuert nur bei <K laufenden hermes-Calls;
|
||||
Waisen-`timeout 1500`-Kinder überleben Restart), v3.6.1 NUMMERIERTE TRIAGE
|
||||
(Modell antwortet nur `<Nr>=P<n>`; Poller mappt lokal auf Dateinamen
|
||||
zurück — Output-15×-Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf
|
||||
freien vLLM-Slot warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung
|
||||
sofort verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
|
||||
`/usr/local/bin/fleet-mail-poller.sh <agent>`: **v3.7 (25.10. früh)** —
|
||||
v3.6.2 + **SILENT-ACK-KONSUM** (Chair-Direktive COMMUNICATION-STOP
|
||||
25.10.): Reine Quittungs-Mails (ACK/Konsum-/Corrigenda-Ketten, Dateiname-
|
||||
Muster `*ack*|*quittung*|*ok-already*|*konsum-*`) werden vom Poller selbst
|
||||
erkannt (`is_ack_chain`) und STILL konsumiert (mv → processed/), OHNE
|
||||
Subagent/LLM-Call, OHNE Antwort-Mail. Behebt die **Quittungs-Kaskade**
|
||||
(ACK-of-ACK-Perpetuum-Mobile, 25.10.: Zustrom ~179 Mails/h ≈ Abfluss →
|
||||
Backlog stagnierte; CEO 44 Mails obwohl chro 26→3 gedreht hatte). Kein
|
||||
Datenverlust: Archiv bleibt lesbar, Backfill-Verbot unberührt; Ausnahmen:
|
||||
Corrigenda mit aktiver Frage/Freigabe im Subject + Absender verlangt
|
||||
ausdrücklich Antwort → normal verarbeitet. Vor Deploy Mock-Klassifikation
|
||||
am echten Backlog: 27/43 CEO-Mails korrekt als terminal erkannt, 16
|
||||
regulär. EVIDENZ: Zustrom nach Deploy −88 % (179/h → 11/30 min), CEO
|
||||
43→12, CTO 72→26, CISO 52→30 binnen ~80 min. Design-Entwicklung aus der
|
||||
Triage-Failserie: v3.4 (Retry+Gateway-Wait+K=3), v3.5 (Chunks à 15 +
|
||||
Mini-Prompt head -c 150 + Fail-safe P2), v3.6 SLOTGUARD (Triage feuert
|
||||
nur bei <K laufenden hermes-Calls; Waisen-`timeout 1500`-Kinder
|
||||
überleben Restart), v3.6.1 NUMMERIERTE TRIAGE (Modell antwortet nur
|
||||
`<Nr>=P<n>`; Poller mappt lokal auf Dateinamen zurück — Output-15×-
|
||||
Reduktion), v3.6.2 (TTIMEOUT=900 s: Triage darf auf freien vLLM-Slot
|
||||
warten + TRIAGE_CAP=900 s Phasen-Kappe → bei Sättigung sofort
|
||||
verarbeiten statt endlos priorisieren). ROOT CAUSE der Failserie:
|
||||
NICHT Prompt-Größe/Encoding (beides widerlegt), sondern **vLLM-Slot-
|
||||
sättigung** — Subagenten belegen Sequenzen 8–15 min; Triage-Requests
|
||||
stehen in der vLLM-Warteschlange bis zum Timeout. Subagent je Mail
|
||||
@@ -138,9 +485,19 @@ Important-Fixes committed `b3b4b9f`).
|
||||
Erstanlauf nach Restart: erste Triage fastfail rc=1 (Gateway-Race) →
|
||||
Retry deckt ab. Deploy IMMER gestaffelt (Thundering Herd auf Bifrost);
|
||||
Restart killt Waisen-Subagenten via pkill "timeout 1500".
|
||||
- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln
|
||||
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
||||
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
||||
- **Mailprompt v2** `/root/fleet/mailprompt.txt` je Agent (25.10.): Zeile 1
|
||||
agent-spezifisch („Du bist <agent> (<Rolle>)…"), Kontext CHARTER/spec/org,
|
||||
dann **COMMUNICATION-STOP-Regeln** (bindend, Chair-Direktive 25.10.):
|
||||
(1) Reine Quittungen (ACK/Konsum-Quittung/ok-already/Corrigenda-zu-ACKs)
|
||||
sind TERMINAL — still konsumieren, KEINE Antwort, auch keine Meta-Quittung;
|
||||
(2) Ausnahme: Absender verlangt Antwort oder Fehler zu korrigieren;
|
||||
(3) max. eine Dialogrunde, dann Konvergenz; (4) terminale Quittung ins
|
||||
eigenes run.log, nicht in fremde INBOX. Kaskadenstopp-Hebel 1 von 2.
|
||||
(Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für
|
||||
Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv.
|
||||
Deploy 25.10.: base64-Transfer + je CT ERST dekodieren, DANN %AGENT%/
|
||||
%ROLE% substituieren (Pitfall: sed auf base64 substituiert nicht);
|
||||
Verifikation stop-section=1 terminal-rule=1 auf allen 7 CTs.
|
||||
- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final),
|
||||
`challenges/`, `inbox/`. Owner liest dort freizügig.
|
||||
- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00
|
||||
@@ -157,8 +514,19 @@ Important-Fixes committed `b3b4b9f`).
|
||||
den systemd-Poller ist der stabile Weg.
|
||||
|
||||
## Konventionen & Regeln
|
||||
- Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später
|
||||
über Aliase im VK oder weitere VKs).
|
||||
- Fleet-Standard-Modelle: `noris/vllm/release/*`. **Model-Split 25.10. (Owner-
|
||||
Direktive „Last verteilen auf glm5.3, glm flash und deepseek"):**
|
||||
CEO/CTO/CISO = `glm-5-3` (Reasoning-lastig) · CHRO/CMO = `glm-5-3-flash` ·
|
||||
COO/devops = `deepseek-v41-flash`. Pinned via `model.default` je CT-Config
|
||||
(`/root/.hermes/config.yaml`), Backups `.bak-model-split-20261025`.
|
||||
**PITFALL DeepSeek:** V4.1 akzeptiert Hermes' Default-`reasoning_effort`
|
||||
nicht („must be low, high, xhigh, max or integer [1,100]") → HTTP 400 →
|
||||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in der
|
||||
CT-Config (202/206). **PITFALL Hermes-Config-Schema:** Feld heißt
|
||||
`api_key` (snake_case), nicht `apiKey`. Flash-Modelle brauchen kein
|
||||
reasoning_effort. Verifikation: Chat-OK je CT, Bifrost-Lastverteilung
|
||||
33,9k (glm-5-3) / 16,4k (deepseek) / 208 tok/s (flash) + req/1h je Modell,
|
||||
Queues drainen.
|
||||
- Token-/Cost-Messung AM INGRESS (KRITIS-Requirement, kein Agent-Self-Reporting).
|
||||
- ArgoCD: kein prune bis Besitz-Konsolidierung; Overlap-Regel: Helm-Release
|
||||
`bifrost` verwaltet nur bifrost-*-Objekte.
|
||||
@@ -419,3 +787,59 @@ Important-Fixes committed `b3b4b9f`).
|
||||
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
|
||||
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
|
||||
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
|
||||
|
||||
## Value-Stream-System (25.10., Owner-Direktive "Fokus echten Wert")
|
||||
- **Struktur:** `/srv/fleet-board/value-streams/` = register.md (VS + Leads), ideen-register.md (Score=Wert×Machbarkeit), release-notes.md (append-only, nur Verifiziertes); Template `templates/value-stream-template.md`. Neue VS intern beschlossen (A16/Lead), keine Owner-Freigabe (A17).
|
||||
- **VS-1 Control Tower** (Lead CTO, devops+cmo): WebUI-Self-Audit + Weiterentwicklung. **VS-2 Agent Excellence** (Lead CHRO): Agenten-Prompts/Einstellungen messbar verbessern. **Agile Coach COO**: stündl. Kadenz, WIP max 2/Lead, Anti-Meta-Wachhund.
|
||||
- **Kadenz:** min. 1 verifiziertes Deliverable/Stunde fleet-weit (WebUI | Einstellung | Artefakt); Stundentakt `/etc/cron.d/fleet-valuestream` (CT 161) → TAKT-Mail an CEO.
|
||||
- **WebUI v0.4.3:** Tab "Value Streams" (`/api/valuestreams`, fail-loud), CM `fleet-webui-valuestreams` (register/ideen/release-notes.md), Volume-Mount `/board/value-streams`. Sync: `/usr/local/bin/fleet-vs-sync.sh` auf CT 163 (Board → CM). CSS-Original: `/srv/fleet-board/webui-v032/v032-artifacts/v03/static/style.css` (PITFALL: jsonpath-Abfrage von Keys mit Punkten wie `style.css` liefert LEER → CM-Key versehentlich mit 488 B überschrieben; Restore aus v032-Artefakten).
|
||||
- **B3-Vollzug:** E-2-Egress auf CT 163 additiv um 10.0.30.50:6443 (Regel `b3-k8s-api`) erweitert + reboot-Persistenz (`/etc/fleet-e2-egress.nft` + systemd `fleet-e2-egress.service`) — das CISO-Preset war sonst reboot-empfindlich (Basis-conf macht `flush ruleset`). CTO hat kubectl, deployt WebUI-Content autonom.
|
||||
|
||||
|
||||
## 29.10.2026 — Autonomie-Fix v5.3: Idle-Trigger + Abschluss-Kopplung (GRÜN, live bewiesen)
|
||||
- **Owner-Befund:** 11,5 h Stille nach 28.10. 21:08; Karten klebten auf Neu/In Bau. Kein Ausfall — Deadman grün. Ursache: Spool ist Pull-System, Leerlauf war kein Ereignis (Spec §5 nie gebaut), complete_task erzeugte keine Folgearbeit, Deadman misst Liveness statt Fortschritt.
|
||||
- **Fix (iac-homelab `f70fe30`):**
|
||||
- `fleet-spool-watcher 0.17.1` = `sha256:5451e8770fcf91ee7b3ebb284051aa0a3905e86bdc822423104ef590bf3757d7` — IdleScheduler: Spool still ≥ `IDLE_SILENCE_SECONDS=900` + keine offenen Tasks → genau EIN Task `from=fleet-scheduler,to=ceo,type=build,P3`; Cooldown 1800 s, Backoff ×2 bis 14400 s; Reset nur bei Arbeit OHNE fleet-scheduler (sonst Selbstzählung = Endlos-Leerlauf).
|
||||
- `fleet-board-service 0.18` = `sha256:69c26496e56360a3902007c0ebd49127f0d6ee7c720245dfd37ca79552c5fe72` — `complete_task` mit `karte_id`/`vs` → Karte „Fertig" + Review-Task an VS-Owner (P2); kein Selbst-Loop bei Owner==Agent.
|
||||
- `hermes-agent v5.3` = `sha256:357fdee942f4599dfbbe4c82e94ca186f4b13ba999fc802009b1ad36a4f59067` — `FLEET_BEACON_URL` FQDN im Image (10.0.30.211 = Iteration-1-Beacon), TOOL_HINT Backlog-Kopplung.
|
||||
- `submit_task.py`: `fleet-scheduler` System-Sender (nur `build`), optionale Felder `karte_id`/`vs` (Regex `^[a-z0-9][a-z0-9-]{2,63}$`).
|
||||
- **Beweis 29.10.:** 08:39:51 `idle_trigger_created` (silence 45108 s) → CEO claim 2 s → Planungs-Turn 2:09 min → Delegation `5db4e788` ceo→devops mit `karte_id=rueckbau-nar-edd15ff1` → `card_auto_fertig` + `review_task_created` → CEO „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 zweiter Idle-Zyklus (Backoff korrekt zurückgesetzt), Karte `it1-tower-02-telemetry-fallback` delegiert. Karte rueckbau: Neu→In Bau→Fertig.
|
||||
- **Rollout:** 9/9 Sandboxes auf v5.3 (09:01–09:05), Heartbeat-Alter 23–234 s, `deadman_agents_pending 0`, alle `alert_active 0`.
|
||||
- **PITFALL neu (OpenShell-CLI):** `openshell sandbox create --template` schließt `--env` aus → alles startrelevante (Beacon-URL!) MUSS im Image-Default stehen. Gateway liest `default_image` nur beim Start → nach Digest-Pin `rollout restart sts/openshell` + `systemctl restart openshell-portforward.service` (.124).
|
||||
- **PITFALL neu (systemd):** `fleet-oidc-login.service` scheiterte 4-h-taktend mit „Unknown gateway 'fleet'" — Service-Kontext hat kein HOME → `Environment=HOME=/root` in der Unit; danach „Token gueltig — kein Re-Login noetig". Kein Refresh-Token → nach Ablauf (~4 h) ist ein Re-Login zwingend, `openshell sandbox list` bricht sonst ab.
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md` (INDEX Architecture 16), Hindsight-Sync.
|
||||
- **Nachtrag 10:40 — 5. Deadman-Kaskade `progress` (Lücke 4 geschlossen),** Commit `f098091`, Image `fleet-deadman@sha256:73cc59885de35a1c6172650b0bfd952208b3b8afbadc1294a3437a934a3deaaa`: offener Task (`submitted|working`) mit mtime-Alter > `TASK_STALL_S=5400` → ALARM-Quelle `progress` + escalation-Task an ceo (P1) + DEADMAN-ALARM.md; `from=deadman-watchdog` wird übersprungen, Spool unlesbar = fail-closed. Metriken `deadman_open_tasks`, `deadman_oldest_open_task_age_seconds`, `deadman_alert_active{source="progress"}`. E2E: ALARM 10:38:29 → RESOLVED 10:39:29; Unit-Test 13/13. **PITFALL:** Test-Tasks mit Nicht-UUID-`task_id` quarantänisiert der Watcher in Sekunden (`_invalid/`) — Test-Tasks immer `uuid4()` + `status: working` (nicht claimbar).
|
||||
- **Autonomie-Bilanz 29.10. 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger (08:39, 09:13, 10:09), 4 Karten auf Fertig (`rueckbau-nar-edd15ff1`, `it1-tower-02`, `it1-tower-03`, +1), 4 Review-Tasks durch ceo abgenommen, NAR-Zyklus: ciso erteilt Freigabe `tower-healthz-readonly` → neue Karte `rueckbau-nar-tower-healthz-readonly` (Ablauf 30.11.). Spool 116 Tasks, 0 hängend.
|
||||
|
||||
## 29.10.2026 (11:00–11:40) — Identität + Ideations-Pflicht: warum der Loop trotz v5.3 verstummte
|
||||
- **Owner-Befund (dritte Iteration desselben Symptoms):** „Loop läuft nicht sauber — keine neuen Ideen, Kanban-Tickets bewegen sich nicht, keine Token-Consumption." v5.3 (Idle-Trigger + Abschluss-Kopplung) war grün, das Symptom blieb. Ursache lag eine Ebene tiefer: **Prompt- und Kostenebene**, nicht Trigger-Ebene.
|
||||
- **RC-1 Identität:** Der Hermes-Identitäts-Slot ist `SOUL.md` im Workspace (`/sandbox/.hermes/SOUL.md`, Loader `agent/system_prompt.py`), NICHT Image und NICHT `config.yaml`. Dort lag nur generischer Hermes-Boilerplate (667 B); `cto`/`research`/`devops` hatten gar keine Datei → 9 rollenlose Agenten ohne Vorgesetzten, Auftragsprotokoll, Fähigkeitsgrenzen, Kostendisziplin.
|
||||
- **Fix (Commit `a362144`):** `agent-image/fleet/gen_soul.py` erzeugt 9 `SOUL.md` (2,9–4,0 KB) aus `org.yaml` + `FLEET-POLICIES.md` (Rolle, authority_level, parent, Org-Chart, VS, Board-MCP-Signaturen, NAR-Policy, Report `ERGEBNIS/EVIDENZ/ARTEFAKTE/OFFEN`, harte Fähigkeitsgrenzen). `deploy_soul.sh` schreibt live + `max_turns 40→20` + `reasoning_effort` (coo/research/devops `low`, Rest `max`). `start-agent.sh` `ensure_soul()` kopiert `soul/<agent_id>.md` aus `/opt/hermes/fleet/soul/` bei fehlend/abweichend.
|
||||
- **Wirkung:** Turns 32 s (research), 61 s (CEO-Idle-Planung), 138 s (devops) — vorher 30 min → `rc=1` am `max_turns=40`-Cap. Beweis: research-Selbstauskunft nennt Rolle, Vorgesetzten (`cto`) und Grenzen („kein git, kubectl, openshell-CLI, Internet") in 32 s.
|
||||
- **RC-2 Kosten-Anzeige:** devops verbrannte **8,5 Mio Input-Tokens in 30 min** mit Meta-Analyse der eigenen `state.db`-Sessions (40 Turns Selbstbeschäftigung). Gleichzeitig Tower `0 tok/s` für alle: `fleetSource.ts` nutzte `rate(bifrost_input_tokens_total[2m])` ohne Aggregation — `rate()` liefert je VK mehrere Serien (`method`/`model`/`provider`/`fallback_index`), `out[vk].in = v` überschrieb mit der letzten (meist 0).
|
||||
- **Fix (Commit `1407c0e`, Tower `sha256:84a79b99…`):** `sum by (virtual_key_name)(rate(...))` + additives `+=`. **Beweis:** Tower `ceo 4489 / ciso 3516 / devops 9424 tok/s` — identisch mit Prometheus-Gegenprobe.
|
||||
- **RC-3 Ideen waren verboten:** Der Idle-Auftrag des Watchers enthielt wörtlich „Regeln: … **Keine neuen Karten erfinden**." Der CEO hielt sich daran → die Organisation konnte nur den geseedeten Backlog abarbeiten und verstummte danach. (Der Idle-Task ist die User-Message des Turns und damit stärker als das SOUL-Mandat.)
|
||||
- **Fix (Commits `ce38c34` watcher 0.18, `3f9f0cd` watcher 0.19, live `sha256:93777fc0…`):** Pflicht-Schritt 4 **IDEATION** — sind < 3 Karten `status=Neu` (ohne `rueckbau-*`, ohne Dauerauftrag `dauer-tower-dev`), erzeugt der CEO genau EINE Idee: selbst eine Karte (`add_backlog_card`, `wert`/`machbarkeit` je **1–10**, Score = Produkt max 100) ODER Ideations-Auftrag an die Tagesrolle aus Rotation `cto/cmo/coo/research` (`IDLE_IDEATION_ROLES`, `(epoch//86400) % 4`, kein State). Schritt 3 bleibt „genau eine bestehende Karte"; Regeln entwirrt („Schritt 3 … Schritt 4 ZUSÄTZLICH höchstens EINE neue Idee").
|
||||
- **Nebenbeweise für Loop-Qualität (gleicher Zeitraum):** `complete_task` mit `karte_id` → Karte `rueckbau-nar-tower-healthz-readonly` automatisch `Fertig` + Review an `ceo`; **CEO hat die Abnahme ZURÜCKGEWIESEN** (Karte zurück auf „In Bau", Nachbesserungsauftrag an devops); **ciso triagiert NAR als KRITISCH** (Schreibzugriff Policy-Repo) und eskaliert an `tower-owner` statt zu genehmigen; **devops erkennt fehlenden Cluster-Zugriff** und stellt Änderungsauftrag (`[CHANGE-ORDER]`) an `ciso`.
|
||||
- **PITFALLS:** (1) `SOUL.md` liegt im Workspace-PVC — Image-Rebuild ändert bestehende Sandboxes NICHT. (2) Idle-Auftrag > SOUL-Mandat bei Widerspruch; beide müssen dieselbe Regel nennen. (3) `add_backlog_card`: `wert`/`machbarkeit` sind `1..10` (`SCORE_MIN,SCORE_MAX=1,10`) — Text mit `1-100` wirft ToolError. (4) `rate()` je VK immer `sum by (virtual_key_name)`. (5) Tower bindet auf **Pod-Hostname**, `fetch` mit `127.0.0.1` → ECONNREFUSED (Pod-IP nutzen). (6) `pkill -f "<scriptname>"` killt die eigene SSH-Session (Muster steht in der eigenen Kommandozeile).
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-identitaet-soul-und-ideations-pflicht.md` (INDEX Architecture 17), Hindsight retain.
|
||||
|
||||
## 29.10.2026 (12:00–12:30) — Owner-Entscheid 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5
|
||||
- **Entscheid 1b:** Agenten bekommen ein eigenes, enges Repo-Schreibwerkzeug statt Chair-Handarbeit. **Entscheid 2b:** Ideations-Schwelle `< 3` → `< 5` Karten `Neu`.
|
||||
- **Neu: `fleet-policy-service` 0.1** (`git.schoen.codes/dominik/fleet-policy-service@sha256:8e7cb123cbdf6e9d39c84dd81ad3249c0900ed53ad8cc0d69441f2292884e45e`, Code `clusters/main/fleet/mcp/policy-service/`, Commit `0e7f698`). MCP-Tools: `health`, `policy_list`, `policy_read`, `policy_diff`, `policy_commit`, `policy_status`. Schreibt **nur** `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via **Gitea-Contents-API** (kein git im Pod).
|
||||
- **6 Gates:** Org-Mitglied → Rolle in `POLICY_WRITERS={ciso,devops}` → **Owner-Freigabe** (`grant_task_id` = Spool-Task `from=tower-owner`, `to=<caller>`, `type=build`, `topic='FREIGABE: erteilt — …'`, ≤30 Tage) → Pfad-Regex (kein `..`, kein Unterordner) → striktes YAML (`version:1`, Policy-Abschnitt, keine Duplikate, ≤64 KiB) → **Read-back bytegleich**.
|
||||
- **Audit:** Journal-Event `policy_commit` (Pfad, Commit-SHA, Rolle, Grant, `hosts_added/hosts_removed`) — Tower liest dort.
|
||||
- **Token** nur im Pod (`Secret fleet-policy-gitea`, out-of-band).
|
||||
- **Beweise:** 9/9 Negativfaelle aus dem Pod fail-loud (`GATE_FAILS=0`); echter Commit `538359a` als Autor `Fleet devops` mit Owner-Grant `f6dafd60…`, Read-back OK; **Agent-Turn aus dem Sandbox 60 s** (health/list/read valide, beide Negativfaelle greifen).
|
||||
- **Verdrahtung (3 Dinge, sonst unerreichbar):** Deployment+Service → Host in `sandbox-base.yaml` (`fleet_mcp_policy_service:8080`, Chair-Commit) → `mcp_servers.policy` in `/sandbox/.hermes/config.yaml` → **Recreate** (Policy wird beim Create gebunden). devops+ciso recreated, `Phase: Ready`, SOUL 3113/3225 B, `max_turns: 20`.
|
||||
- **watcher 0.20** (`sha256:21ea543c…`, Commit `5279cdc`): Ideations-Schwelle `<5`. Live verifiziert (`ALS 5` im Pod, `ALS 3` weg).
|
||||
- **PITFALLS (neu, alle real):**
|
||||
1. **OIDC-Token (4 h) abgelaufen → delete UND create scheitern** (`no refresh token available`) — fail-closed, nichts geloescht. Re-Login `/tmp/oidc-login3.sh` auf .124.
|
||||
2. **`--detach -- sleep infinity` ist die falsche Startzeile** — Sandbox laeuft ohne Runtime (nur `sleep`, keine SOUL/Config). Richtig: `--template fleet-agent --detach -- /opt/hermes/fleet/start-agent.sh <agent> <model>`.
|
||||
3. **Recreate = frisches Workspace-PVC**: SOUL+Config weg. `ensure_soul` greift nur, wenn `/opt/hermes/fleet/soul/` **im Image** liegt — das Gateway-`default_image` ist aelter. **LANDMINE: jeder Recreate heute erzeugt einen Agenten ohne Identitaet.** Sofort-Fix `deploy_soul.sh <agents>`; Dauerfix = Agent-Image-Rebuild (offene Karte).
|
||||
4. **Maskierte Werkzeug-Ausgaben**: venv-Pfad erscheint als `…3.14.9+202****1021-…`; wer ihn aus der Ausgabe kopiert, baut eine Policy, deren `binaries`-Match nie greift. Gegenprobe per `base64`.
|
||||
5. **PyYAML akzeptiert doppelte Keys** (letzter gewinnt), OpenShell nicht → eigener Strict-Loader.
|
||||
6. **`kubectl exec`-Prozesse im Sandbox haben KEIN DNS** (bypasst Supervisor-Bootstrap) — Netz-/Policy-Tests nur ueber den Agenten/Worker, nie per exec.
|
||||
- **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
|
||||
- **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.
|
||||
|
||||
@@ -65,6 +65,9 @@ modified: "2026-09-26"
|
||||
|
||||
## Known Issues
|
||||
|
||||
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27)
|
||||
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
|
||||
|
||||
### HEALTH_WARN: Insecure Key Types (2026-09-26)
|
||||
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
|
||||
Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set).
|
||||
|
||||
+25
-1
@@ -43,6 +43,30 @@ modified: "2026-09-27"
|
||||
- **DinD Pitfalls:** docker:27-dind creates docker.sock as directory → use TCP mode (--host=tcp://, --tls=false). act_runner:0.2.13 has no docker CLI → use nc for port check. act_runner:0.2.13 doesn't auto-register → wrapper script needed.
|
||||
- **Solution Doc:** `docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md`
|
||||
|
||||
## Container Registry (OCI, seit 25.10.2026 verifiziert push+pull-fähig)
|
||||
|
||||
- **Repos:** `git.schoen.codes/v2/dominik/hermes-agent` (Fleet-Agent-Image, digest-gepinnt
|
||||
`sha256:32eda413…` = Tag `fleet-v1`, 1,07 GB) und `dominik/beacon` (Iteration 1).
|
||||
- **Zertifikat:** Internes Wildcard `*.schoen.codes` via ESO/1P (`git-schoen-codes-tls`,
|
||||
template `b64dec`, Commit e8b006b) — Traefik serviert es per SNI. Push/CI NUR gegen
|
||||
`git.schoen.codes`; `git.familie-schoen.com` terminiert am externen Proxy mit
|
||||
LE-Cert (deckt familie-schoen.com, nicht *.schoen.codes) und erzeugt den
|
||||
http-Realm-Bug.
|
||||
- **KNOWN BUG (Gitea 1.27.0):** Token-Realm-URL wird per
|
||||
`GuessCurrentHostURL` aus Request-Headern gebaut, nicht aus ROOT_URL. Ohne
|
||||
`X-Forwarded-Proto` (öffentlicher Pfad) → `realm="http://…/v2/token"` → Docker
|
||||
stript Auth beim 301→https-Redirect → anonymes Token → **Push 401** (Pull
|
||||
klappt, wenn Repo public). Intern hinter Traefik: Header vorhanden, Realm https.
|
||||
- **Push-Runbook:** (1) `docker login git.schoen.codes` VOR dem Push; (2) bei
|
||||
HTTP 499 am Manifest-PUT NICHT neu anfangen — Blobs sind idempotent drin,
|
||||
einfach erneut pushen; (3) kubectl port-forward überlebt keine SSH-Session und
|
||||
ist für Bulk-Pushes zu langsam; (4) tags/list zeigt nur Tags mit eigener
|
||||
Manifest-Revision — Beweis via `GET /v2/…/manifests/<tag>` (200).
|
||||
- **Kubelet-Pull:** Node-DNS löst git.schoen.codes auf; Pull-Secret
|
||||
`agent-fleet-registry-pull` (NS fleet, default-SA imagePullSecrets, out-of-band,
|
||||
nicht im Git). E2E: 1,07 GB in 34,6 s auf rke2-cp-01.
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-25-gitea-oci-registry-push-chain.md`
|
||||
|
||||
## IaC Remotes
|
||||
- iac-homelab hat EINEN remote: `origin` = K8s Gitea (git.schoen.codes)
|
||||
- Alter CT108 remote wurde entfernt (CT108 decommissioned)
|
||||
@@ -51,7 +75,7 @@ modified: "2026-09-27"
|
||||
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
|
||||
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
|
||||
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.202:22/dominik/iac-homelab.git HEAD:main`
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.200:22/dominik/iac-homelab.git HEAD:main` (SSH-LB-IP ist **10.0.30.200** — NICHT .202; .202 = alte/andere Adresse, Verbindung timed out. Beweis 28.10.: Port-22-Check von .124 und .213 OK auf .200, BLOCKED auf .202.)
|
||||
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
|
||||
|
||||
## Known ArgoCD Issues (Sep 2026)
|
||||
|
||||
+3
-2
@@ -24,10 +24,11 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
| Admin-Login | 1P-Item **„Jellyfin Login dominik"** (Vault Kubernetes ESO), User `dominik`, IsAdministrator |
|
||||
|
||||
## Bibliothek
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`, 6 Serienordner als Folder: DeviceBondage (8), DungeonSex (26), ErikaLust (5), SexAndSubmission (36), TheTrainingOfO (6), TheUpperFloor (25) — **106 Videos, verifiziert 19.10.**.
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`. Stand **29.10.2026: 215 Videos, 215 NFOs** in 25 Serienordnern (Jellyfin 1:1 = 215 Items, Scan verifiziert) (PureTaboo 42, Deeper 45, KinkUniversity 1, SexAndSubmission 26, TheUpperFloor 18, BratTamer 16, DeviceBondage 13, DungeonSex 13, HogTied 8, TheTrainingOfO 6, ErikaLust 5, He's in Charge 4, Lustery 3, BFTP18/NerdPervert/KinkTestShoots 2, AnalVids/BellesaFilms/BoundGangBangs/BukkakeFest/EnjoyX/GlowingDesire/MajorHotWife/SilkSub/TheLifeErotic 1).
|
||||
- **Kollaps-Falle**: Movies-Typ fasst mehrere Dateien pro Ordner zu 1 Film + unsichtbaren Extras zusammen. Szenen-Bibliotheken besser als `homevideos` oder untypisiert anlegen (zeigen jede Datei einzeln; NFO-Parsing identisch).
|
||||
- **Zombie-Items-Falle**: Alte Movie-Items auf gleichen Pfaden überleben Library-Delete+Recreate in `jellyfin.db` (pfadbasiertes Keying) und lassen jeden Scan leer laufen („Validating" ohne Enumeration). Heilung: Full-DB-Reset — ArgoCD selfHeal aus, scale 0, `mv /config/data/jellyfin.db* /config/dbbackup-<datum>/`, Wizard-Flag reset, Neu-Bootstrap. Backup: `/config/dbbackup-20261019/` auf jellyfin-config-PVC.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert.
|
||||
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
|
||||
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
|
||||
|
||||
## API-Fallen (12.2) — Details: Solution Doc s.u.
|
||||
|
||||
@@ -21,9 +21,13 @@ modified: "2026-10-19"
|
||||
| cp-01 | 10.0.30.51 | Control Plane |
|
||||
| cp-02 | 10.0.30.52 | Control Plane |
|
||||
| cp-03 | 10.0.30.53 | Control Plane |
|
||||
| worker-01 | 10.0.30.63 | Worker |
|
||||
| worker-04 | 10.0.30.64 | Worker |
|
||||
| worker-05 | 10.0.30.65 | Worker (GPU renderD128 ✅ on ms-a2-2; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
|
||||
| worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) |
|
||||
| worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) |
|
||||
| worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) |
|
||||
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
|
||||
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
|
||||
|
||||
**8 Nodes, v1.35.6+rke2r1, alle auf Kernel 7.1.8+deb13-amd64 GEPINNT (aes256k/Cilium-Fenster, siehe ceph-cluster.md Known Issues + Solution Doc 2026-10-27).**
|
||||
|
||||
## Storage
|
||||
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
|
||||
|
||||
+54
-6
@@ -12,11 +12,49 @@ modified: "2026-10-19"
|
||||
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
|
||||
|
||||
## Container
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne; Mappings zusätzlich Deeper/AnalVids/BFTP18)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
|
||||
- **samba** (Sidecar): SMB-Share `downloads`
|
||||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||||
|
||||
## Sorter (Stand v12, 29.10.2026, Commit `3dacee6`)
|
||||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||||
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
|
||||
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
|
||||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||||
|
||||
## Aufräum-Workflow (nach großen Wellen)
|
||||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||||
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
|
||||
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
|
||||
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
|
||||
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
|
||||
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
|
||||
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
|
||||
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
|
||||
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
|
||||
|
||||
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
|
||||
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
|
||||
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
|
||||
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
|
||||
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
|
||||
|
||||
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
|
||||
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
|
||||
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
|
||||
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
|
||||
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
|
||||
|
||||
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
|
||||
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
|
||||
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
|
||||
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
|
||||
|
||||
## VAAPI / GPU-Encoding
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
|
||||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||||
@@ -24,6 +62,9 @@ SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf *
|
||||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||||
|
||||
## Converter-Pipeline (Design)
|
||||
|
||||
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
|
||||
|
||||
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
|
||||
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
|
||||
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
|
||||
@@ -41,10 +82,17 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||||
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
|
||||
```
|
||||
|
||||
## Rollout-Rezept (Skript-Änderung)
|
||||
1. Skript in `configmap.yaml` patchen + `sabnzbd/converter-script-version: "N+1"` im Deployment bumpen (bash liest Skript nur beim Start)
|
||||
2. Commit + Push (Gitea) → `kubectl -n sabnzbd delete cm sabnzbd-postproc-script sabnzbd-converter-script` (ArgoCD-SSA-Hot-Update-Limitierung)
|
||||
3. `kubectl annotate application sabnzbd -n argocd argocd.argoproj.io/refresh=normal --overwrite` → neuer Pod, Daemon startet mit neuem Skript
|
||||
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
|
||||
|
||||
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
|
||||
|
||||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh` — ArgoCD hat den CM direkt aktualisiert (kein `delete cm` nötig, Stand ArgoCD 29.10.).
|
||||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||||
|
||||
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
|
||||
|
||||
## Netzwerk / Sicherheit
|
||||
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
|
||||
|
||||
Reference in New Issue
Block a user