From 03a7103932e553e26196e04d3df7ab69aad4e9b2 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Fri, 23 Oct 2026 19:04:41 +0000 Subject: [PATCH] agent-fleet: CM-Sync-Verfahren + Pool-Befund M5(f) --- log.md | 14 ++++ systems/agent-fleet.md | 177 ++++++++++++++++++++++++++++++++++++++++- 2 files changed, 190 insertions(+), 1 deletion(-) diff --git a/log.md b/log.md index 87f2163..4c5ad44 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,18 @@ # Memory Log +## [2026-10-23] agent-fleet-b-inputs — PB1–PB7 geliefert (Owner-Proxy, AL3) +- Lieferte PB1–PB7 (B-Inputs) als Owner-Proxy: PB1 Fleet-DB (`fleet_rw`), + PB2 openshell_controller-Vertrag v0, PB3 cto-deployer-RBAC, PB4 Bifrost-Admin + + Monitoring, PB5 Test-NS agent-fleet-test, PB7 Capacity (Zaun 12 bestätigt). +- Debug-Story: CNPG-PW-Rotation per Unix-Socket-`ALTER ROLE` (Owner-Reconcile + erkennt Secret-Änderung nicht), ArgoCD-Retry-Loop bei unbekanntem CRD. +- Solution Docs: cnpg-managed-role-password-rotation.md, + argocd-unknown-crd-blocks-autosync.md; Hindsight retained. +- PB1: CNPG-Managed-Role `fleet_rw` (managed.roles, ExternalSecret→1P), rw-LB **VIP 10.0.30.214:5432**, psql+pgpass in CT 163, Schema-Dump am Board. Sofort-PW-Rotation nur via `psql -U postgres` über Socket (Owner `fleet` darf kein ALTER ROLE; CNPG-Reconcile zu langsam) → Solutions-Doc `integrations/2026-10-23-cnpg-managed-role-password-rotation.md`, Hindsight retained. +- PB2: openshell_controller-Vertrag v0 (API-Doku + Blueprint `hermes-sandbox` v1 hash-gepinnt sha256 a5611966…b3f1 + Machine-Token in 1P `openshell_controller Machine-Token` + CT163 /root/.secrets/). +- PB3: SA `cto-deployer` NS-scoped RBAC + kubeconfig/kubectl in CT 163, Negativ-Tests live (kein ClusterScope/secrets-read). M5 (Web-UI-Deploy) entblockt. +- Wiki `systems/agent-fleet.md` um B-Inputs-Sektion erweitert. + ## [2026-10-22] agent-fleet-b2 | Beacon v0 PRODUKTIV (E2E grün) — ArgoCD-Wave-Wedge + ESO-Restart als Platform-Gotchas - B2 FERTIG: Beacon live im NS agent-fleet (Deployment 1/1 auf rke2-worker-01). E2E verifiziert: /healthz 200, Heartbeat ceo→200 mit PG-Row (heartbeats), intruder→403 (Strict-Org-Gate gegen org.yaml-ConfigMap), Prometheus-Target `beacon` UP. Image git.familie-schoen.com/dominik/beacon:773b247 + latest. - SCHEMA-BUG vorgefunden: Original-schema.sql fehlten task_id/tok_in/tok_out, die die App insertet — jeder Heartbeat-Insert wäre gecrasht. Fix im Beacon-Repo; außerdem fehlerhaften Unique-Index (agent_id,task_id) entfernt (legitime Wiederhol-Heartbeats). @@ -585,3 +598,4 @@ - Health-Entity aktualisiert (Verlauf inkl. 19.10.-Messung, Fortschritt −3,4 kg = 23 % des Wegs, modified 20.10.). Kcal-Tracker: goal 1890, burn 2681,6, Food-Log weiter bei 0 (7-Tage-Avg 0). - DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert. - **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md. +- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md. diff --git a/systems/agent-fleet.md b/systems/agent-fleet.md index a1884c8..a6bca96 100644 --- a/systems/agent-fleet.md +++ b/systems/agent-fleet.md @@ -3,7 +3,7 @@ title: Agent-Fleet category: systems status: active created: 2026-10-22 -updated: 2026-10-22 +updated: 2026-10-23 --- # Agent-Fleet (Multi-Agent-Plattform) @@ -101,6 +101,43 @@ Important-Fixes committed `b3b4b9f`). sq-sw-dev → sq-design → sq-ea), Dissens-Protokoll, Caps-Check. **Liegt zur Genehmigung beim Owner.** +## Board-Sandboxes W1 (23.10. — A16/ADR-019) +- **CT 163 `cto` (Occam, 10.0.30.163) · CT 164 `ciso` (Hadrian, 10.0.30.164) · CT 165 `chro` (Diogenes, 10.0.30.165)** — Vollklone von CT 161 (Snapshot `w1seed`, danach gelöscht) inkl. komplettem Hermes-Stack; danach sanitisiert (state.db, sessions, kanban, gateway-State, spawn-ledger entfernt — Klone „erinnern" sich nicht, CEO zu sein) und mit eigener Identität versehen (CHARTER, USER.md, Kickoff). +- **Mandate:** CTO = Technology (Mission #1: Hiring-Pipeline + Parent-Orphan-Test, Governor-Baseline; Gegenspieler B1/B2/B6) · CISO = Security (Preset-Matrix, Audit-Chain, Threat-Modell der Org selbst; Gegenspieler B1/B4; Self-Disclosure-Pflicht für die eigene Sandbox) · CHRO = People (HR-Profil-Veto persönlich bis HR-Agent existiert, Bedarfs-Gate, Caps-Wächter; Gegenspieler B3/B5). +- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails. +- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.** +- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär. +- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles). + +## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower) +- **Fleet-Mail** (Herzstück der 24/7-Autonomie): Host-Verz. `/srv/fleet-mail` + mit `inbox-/{new,processed}` je Agent (ceo/cto/ciso/chro), via + `pct set -mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` in alle 4 CTs gemountet + (2777). Nachrichten = MD-Dateien `-von--.md` mit + From/To/Subject-Kopf; Mailboxen allseitig beschreibbar. +- **Poller**: systemd `fleet-mail.service` je CT (Restart=always) → + `/usr/local/bin/fleet-mail-poller.sh `: pollt 60 s, verarbeitet seriell + mit `hermes chat -q` (timeout 1500 s, -Q quiet), verschiebt nach `processed/`, + Run-Logs als `.run.log` daneben; Fehler → `/var/local/fleet/mail-errors.log` + + logger (fail loud). Task-ID aus Subject ins Heartbeat. +- **Mailprompt** `/root/fleet/mailprompt.txt` je Agent: Kommunikationsregeln + (Roster, Antwort in Absender-INBOX, Alle-an-Alle erlaubt, CEO-only für + Digests an Owner), Dissens-Klassifikation, A16-Board-Kollektiv. +- **Board-Board**: `/srv/fleet-board` (mp0) — `/digest-*.md` (CEO-final), + `challenges/`, `inbox/`. Owner liest dort freizügig. +- **Kadenz (A7)**: `/etc/cron.d/fleet-meeting` im CEO-CT — werktäglich 09:00 + Europe/Berlin (CT-Zeitzone Europe/Berlin gesetzt, DST-safe) → Trigger-Nachricht + in inbox-ceo/new → CEO fährt Meeting autonom über Fleet-Mail. +- **SC6-Watchdog**: Hermes-Cron `b28227374068` (monitor-Modus, Mo–Fr 08:20 UTC + = 09:20 Berlin), Script `~/.hermes/scripts/fleet-digest-watch.sh`, deliver=all — + Alert nur wenn Digest `-final.md` fehlt oder fleet-mail inaktiv (OK = + deterministisch, still). Board-Meeting #1 (23.10.) lief vollautonom in 13 min: + r1-Digest → 5 Challenges → Final-Digest (F-1–F-11, alle Board-GO 4/0, Artefakte + im Repo `genesis/board-2026-10-23/`, Commit `0917144`). +- **Gotcha Detach**: `nohup hermes chat &` starb lautlos (Exit ohne Log) — + niemals Detach-Runs der Members bauen; serielle Nachrichtenverarbeitung über + den systemd-Poller ist der stabile Weg. + ## Konventionen & Regeln - Fleet-Standard-Modelle: `noris/vllm/release/*` (heavy=default/light-Tiers später über Aliase im VK oder weitere VKs). @@ -121,3 +158,141 @@ Important-Fixes committed `b3b4b9f`). - D1 ERLDIGT: CT fleet-control (10.0.30.161) — Hermes-Spike bestanden („BETRIEB" via Bifrost; VK direkt in config.yaml, KEINE env.-Expansion in Hermes-Configs). + +## B-Inputs PB1–PB3 geliefert (23.10., Owner-Proxy, AL3-Freigabe) +- **PB1 Fleet-DB-Zugang CTO:** CNPG-Managed-Role **`fleet_rw`** + (`managed.roles` in `clusters/main/agent-fleet/postgres-cnpg.yaml`, + `Agent-Fleet PG fleet_rw`; `connectionLimit: 10` — SINGULAR, CRD v0.21). + Grants als Owner `fleet`: CONNECT/TEMP auf DB, USAGE/CREATE auf schema + public, DML+Default-Privileges auf alle Tabellen. Zugang vom VLAN 30 über + **rw-LB-VIP 10.0.30.214:5432** (`agent-fleet-pg-rw-lb`, Cilium lb-ipam). + CT 163: postgresql-client + `~/.pgpass`. Reconciler-Jobs im K8s nutzen + intern `agent-fleet-pg-r…svc` statt VIP. **PW-Sofort-Rotation:** CNPG + zieht Secret-Änderungen nicht sekundenschnell → `kubectl exec … psql -U + postgres` (Socket, ohne -h) `ALTER ROLE fleet_rw …` (DB-Owner fleet darf + KEIN ALTER ROLE). Solutions-Doc: + `docs/solutions/integrations/2026-10-23-cnpg-managed-role-password-rotation.md` +- **PB2 openshell_controller-Vertrag v0** (Controller selbst noch nicht + implementiert, CT 160 leer; Adapter loggt DRY-RUN gegen den Vertrag): + API-Doku + **Blueprint `hermes-sandbox` v1** (hash-gepinnt, sha256 + `a5611966…b3f1`, Board: `blueprint-hermes-sandbox-v1.yaml`) + + **Machine-Token** (1P-Item `openshell_controller Machine-Token` + + `/root/.secrets/openshell-machine-token` in CT 163). T08: preset_hash ≠ + Blueprint → 422 BLOCK. +- **PB3 Deploy-Recht NS agent-fleet:** SA **`cto-deployer`** + Role + + Token-Secret (`clusters/main/agent-fleet/cto-deployer-rbac.yaml`), NS- + scoped (kein ClusterScope, kein secrets-read, argocd/kube-system/default + verweigert, Negativ-Tests live). Kubeconfig `/root/.kube/config` + + kubectl v1.35.0 in CT 163 (Symlink /usr/bin — pct-PATH-Pitfall). Zweck: + Ad-hoc-Deploys (Web-UI v0 M5), GitOps bleibt Prime-Pfad. +- Board-Doks: `/srv/fleet-board/b1-fleet-db-input.md`, + `b2-openshell-controller-api-v0.md`, `b3-deploy-recht-input.md`, + `b1-fleet-schema-dump.sql`. Mail an inbox-cto + inbox-ceo + (`*-von-eigentuemerproxy-b123-*.md`). +- Neu in 1P (Vault Kubernetes ESO): `Agent-Fleet PG fleet_rw`, + `openshell_controller Machine-Token`. + +## B-Inputs PB4+PB5+PB7 geliefert (23.10. nachmittags, „Go") +- **PB4 Bifrost-Admin + Monitoring:** Admin-API-Creds an CT 163 + (`~/.secrets/bifrost-admin.json`, 600). Scope NUR VK-Anlage + (`/api/governance/virtual-keys`); Provider-/Policy-Änderungen TABU. + Monitoring read-only: Prometheus **10.0.30.202:9090**, Grafana + **10.0.30.201:3000**, Loki **10.0.30.207:3100** — anonym erreichbar im + VLAN 30 (F-2-Thema beim CISO). VK-Create/Delete-Pfad live verifiziert + (Probe-VK sofort wieder gelöscht). +- **PB5 Test-NS `agent-fleet-test`:** ArgoCD-App `agent-fleet-test` + (app-of-apps `clusters/main/apps/agent-fleet-test.yaml`) — NS + Quota + (4 vCPU/8 Gi/20 Pods) + Ingress-Deny-NetPol + Fixture-org-ConfigMap + (ft-ceo/ft-cto) + cto-deployer-RBAC (inkl. pods/exec+log für E2E). + E2E gegen Fixture, nicht master-org.yaml; Teardown nur nach Owner-Freigabe. +- **PB7 Capacity:** Zaun 12 host-tragfähig (Agent-CTs real ~0,7 GiB RAM/8 GiB, + CPU ~0 %; 8 freie Slots × 50 GB = 400 GiB << 1,3 TiB Ceph-avail). + F-7 Option B (4/8/50) damit formal bestätigt. +- **PITFALL ArgoCD (neu):** Manifest einer unbekannten CustomResource im + App-Pfad → Auto-Sync blockiert im Retry-Loop („synchronization tasks are + not valid"); **Dotfiles werden NICHT geskippt**; JSON-Patch auf + `/status/operation` abgelehnt. Fix: File aus App-Pfad entfernen (Content + → ConfigMap), dem Retry ~3–5 min geben — selbtheilend. Solutions-Doc: + `integrations/2026-10-23-argocd-unknown-crd-blocks-autosync.md` +- Board-Doks: `b4-bifrost-admin-input.md`, `b5-test-ns-input.md`, + `b7-capacity-input.md`; Mails an inbox-cto + inbox-ceo + (`*-von-eigentuemerproxy-b457-*.md`, 13:42). + +## Web-UI v1-Zugang: IP-only, kein Client-Cert/Login (23.10., Owner-Direktive) +- **Zugang:** `http://10.0.30.212` (plaintext, kein Browser-Warning) **oder** + `https://10.0.30.212` (TLS, einmalige Self-Signed-Warnung: no-SNI → + Traefik-Default-Cert). **Kein** Client-Zertifikat, **kein** Login in v1. + mTLS-Material (`fleet-webui-clientca`, Owner-P12) bleibt vorgehalten → + v2/OIDC. Nichts gelöscht. +- **Edge:** Intern-only LB `traefik-internal-lb` (VIP **10.0.30.212**): + `:443 → 8444` (EntryPoint `websecure-internal`) und `:80 → 8001` + (NEUER dedizierter PLAINTEXT-EntryPoint **`web-internal`**). Warum + dediziert: EntryPoint `web` (8000) ist geteilt mit öffentlichem + `traefik-lb` (.203) → Catch-all hätte gespooft werden können; dediziert + ⇒ `.203:80` mit Host-Spoof → 404 (verifiziert). +- **IngressRoutes (Git, `clusters/main/agent-fleet/`):** `fleet-webui` + (HTTPS, `PathPrefix(/)`, middleware `fleet-webui-headers`, tls + `fleet-webui-tls`), `fleet-webui-http` (EntryPoint `web-internal`). + Provider-Filter `providers.kubernetescrd.ingressClass=traefik` ⇒ **jede** + IngressRoute braucht `traefik.io/ingress.class: traefik` — sonst still + ignoriert (404, kein Log). Das war der ursprüngliche Bug. +- **App:** Deployment `fleet-webui` env `REQUIRE_CERT_HEADER=0` (Backend + verlangt keinen Cert-Header mehr); `auth_interim` in CM `fleet-webui-app` + ehrlich = „v1: ip-only, no client-cert". CM hat **2 Keys** (`server.py` + + `sanitize_md.py`) — `--from-file` muss beide liefern (sonst CrashLoop). +- **Noch live-only (CTO-App-Manifest-Lane):** Deployment-Env, CM, + Middleware, TLSOption, NetPol, Services, board-CMs. Routen + Edge sind + Git-persistiert (Commits 37f40ec/8d915d2/efa983e/08a3533/1d35b1f). +- Solutions-Doc: `integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md`. + +## Web-UI v0.2 (23.10. abend, Owner-Direktive 24/7-Loop): Organigramm + Live tok/s +- **Neue Endpunkte:** `/api/org` (org.yaml aus CM `fleet-webui-org` — Kopie + von `beacon-org-yaml`, Mount `/org`, Mini-Parser stdlib-only, fail-loud), + `/api/live/tokens` (Prometheus `10.0.30.202:9090`, `sum by + (virtual_key_name)` über `bifrost_input/output_tokens_total` rate[2m], + 10 s-Cache). UI-Tab „Live" pollt 15 s. APP_VERSION=`v0.2.0-live`. +- **Per-Agent-VKs:** `key_ids:["*"]`-Fix (s. Solution-Doc bifrost-vk-key- + binding) — Attribution je virtual_key_name verifiziert (Solo-Smoke: + ceo-Counter 16→332, cto konstant). vk-fleet bleibt Fallback. +- **NetPol-Pitfall (2. Mal):** Prometheus-VIP .202 per `ipBlock`-Egress ⇒ + FAIL (Cilium DNAT'd VIP → Pod-IP; ipBlock matcht nicht post-DNAT). Fix: + `namespaceSelector` auf `monitoring` + Port 9090 — gleiche Klasse wie + beacon-Regel. VIPs in Agent-Fleet-NetPol **nie** per ipBlock erlauben, + immer den Backend-NS selektieren. +- **24/7-Loop:** Cron `konzern-loop` (`23d4769ec873`, hourly, deliver + origin): CEO-INBOX-FIFO, Fleet-Health, Open-Items-Treiber, Board-Refresh + (CM-Snapshot bei neuen Board-Entscheidungen), Takt-Report. + +## v0.2-Backfill-Merge (23.10. abend): Mandat, Incidents, Härtung +- **Final-State:** Package landete mandatkonform in + `clusters/main/_archive/webui-v02-backfill/` (**Commit 478da727**, + AUSSERHALB aller 23 ArgoCD-App-Sync-Pfade — Merge-Kommission Board-Inbox + 19:37 forderte tracking-freie Platzierung; Underscore-Trick funktioniert + NICHT, ArgoCD trackt hier per instance-LABEL und scanned `_webui-v02` + trotzdem). Board-CMs bewusst NICHT im Git (live-only, One-Truth-per- + Concern; org-CM-Snapshot war innerhalb 2 h stale = Werkstück). +- **INCIDENT (unaufgeklärt):** Zwischen 19:47–19:52 wurden alle 6 + fleet-webui-CMs aus NS agent-fleet GELÖSCHT, während der Pod lief (stale + Volume-Projektionen; FailedMount-Burst als Alarmsignal). Kein Audit-Log + im Cluster ⇒ Löscher unklar (ArgoCD-Partial-Sync + simultanes + Label-Strippen ODER manueller Delete eines parallelen Actors). + **Restore byte-exakt** aus 3 Quellen (lokale JSON-Dumps 17:35, Stage- + Manifeste, Git e823c20): Hash-Gegenprobe 5/5 MATCH. Danach Härtung: + alle 6 CMs + Deploy/NetPol/SVC/IngressRoute mit Annotations + `argocd.argoproj.io/compare-options=IgnoreDifference` + + `sync-options=Prune=false,Delete=false`. +- **Parallel-Actor-Race:** Zweite aktive Session-Linie fuhr dasselbe + Thema (VLAN-40-ACL 9b029641, Merge-Kommission, Auto-Sync-Toggles, + eigene Mails) — mein syncPolicy-Pause-Patch wurde binnen Sekunden + resumed. Regel: **niemals davon ausgehen, dass ein Toggle hält**; + lieber Schutz-Annotations (persistieren) als transiente Spec-Changes. +- **Open:** API-Server-Audit-Logging absent (destruktive Ops ohne + Zuordnung) — Aktivierung prüfen; Varianten-Wahl Board-CM-Fix (B/C/ + Re-Bake) bei Owner; Adoption-PR am v0.3/v1-Gate. + + +## Fleet-Board-CM-Sync & LB-Pools (23.10.2026) +- Board-CMs (fleet-webui-board/-challenges/-inbox, NS agent-fleet): live Plaintext-Werte (Restore 19:50 via kubectl-CSA). NICHT mit /tmp/board-cm-gen.py (base64!) neu anlegen — WebUI dekodiert nicht. Update nur via kubectl patch --type=json Plaintext (umgeht auch 262144-Byte-Annotation-Limit bei apply). Patch ohne Deployment-Neustart wirksam (Volume-Mount), Rollout-Restart optional. +- LB-IP-Pool: EIN CiliumLoadBalancerIPPool "default-pool" 10.0.30.200-250 (Quelle: /var/lib/rancher/rke2/server/manifests/cilium-l2-lb.yaml auf rke2-cp-01 10.0.30.51, identisch iac-homelab ansible playbook Z.86-95). KEIN kube-vip. API-VIP 10.0.30.50 = statisch /32 auf cp-01. Speaker-MAC-"Wanderung" = Cilium-L2-per-Node-ARP. .212 = fleet-webui (traefik-internal-lb, io.cilium/lb-ipam-ips), .213 frei (Authelia-Kandidat), .214 = agent-fleet-pg-rw-lb. +- Fleet-Mail: Zustellung = Datei in inbox-/new/ + delivery.log-Zeile (epoch TAB name TAB bytes TAB sha256). Mails an andere Rollen als Eigentümer-Proxy: From "Eigentümer (Dominik, über Eigentümer-Proxy Hermes)". +- CT-Admin: ssh debian@10.0.30.51 mit id_ed25519_cloudinit; RKE2-manifests ohne sudo lesbar; kubectl cto-deployer (auf PVE-Host via cto-deployer-kubeconfig) ist NS-scoped (agent-fleet only).