Auto-sync: 2026-10-29
This commit is contained in:
+79
-1
@@ -3,7 +3,7 @@ title: Agent-Fleet
|
||||
category: systems
|
||||
status: active
|
||||
created: 2026-10-22
|
||||
updated: 2026-10-26
|
||||
updated: 2026-10-29
|
||||
---
|
||||
|
||||
# Agent-Fleet (Multi-Agent-Plattform)
|
||||
@@ -843,3 +843,81 @@ Important-Fixes committed `b3b4b9f`).
|
||||
- **BEFUND (offen, wichtig):** Die NAR-Grants, die die Org „zurueckbaut", existierten **nie als Policy-Datei** — `openshell-policies/` enthielt nur `sandbox-base.yaml`. Karten wie `rueckbau-nar-edd15ff1` wurden trotzdem `Fertig` gemeldet (Abnahme gegen „Verbindung abgelehnt" statt gegen ein Artefakt). Verifikations-Luecke im Abschluss-Kriterium.
|
||||
- **BEFUND (Sicherheit):** `decide_owner_task`/`submit_owner_task` am Board-MCP sind von jedem Agenten aufrufbar → eine Owner-Freigabe ist heute theoretisch faelschbar; das Grant-Gate erzwingt Verfahren + Audit, nicht Authentizitaet. Fix = Identitaets-Binding bzw. Shared-Token fuer die Owner-Tools.
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-policy-service-enge-gitops-bruecke.md` (INDEX Architecture 18), Hindsight retain.
|
||||
|
||||
## 29.10.2026 (12:30–13:10) — Owner-Entscheide 4a+5a: Autonomie-Kaskade im Deadman; Phantom-Rückbau live passiert und revertiert
|
||||
- **4a (Deadman-Kaskade `autonomy`)** — live `fleet-deadman@sha256:508f0e60244ba59663f6ef135f6656f089131ffb99d9db3724c08cd4ee73fc83` (Commit `ff7e1b3`, Deployment gepinnt, Rollout grün). Alarm nur wenn **gleichzeitig**: kein offener Agenten-Task (ohne `to=tower-owner`, ohne `from=deadman-watchdog`), ≥1 Karte `Neu` im Board, `idle_age > silence+backoff+AUTONOMY_MARGIN_S(600)` **und** `task_age > silence+600` (Silence-Frist startet bei Task-Bewegung neu — sonst Fehlalarm nach erledigter Arbeit). Schwelle selbstjustierend aus `idle_trigger_created` im Journal (Backoff wächst bis 4 h). Metriken: `deadman_alert_active{source="autonomy"}`, `deadman_autonomy_idle_age_seconds`, `deadman_autonomy_neu_cards`, `deadman_autonomy_task_age_seconds`. Kaltstart (nie gefeuert + nie Task) = kein Alarm.
|
||||
- Beweise: 11/11 Unit-Tests; isolierter E2E-Job im echten Image (eigener emptyDir): Alarm-Task + `DEADMAN-ALARM.md` + Journal `deadman_alarm` + Heilung, 5/5 Assertions; Live-Alarm `bd326ac7` (Alt-Pod ohne die task_age-Regel → **Fehlalarm 4 min nach Task-Ende**, bestätigt die Regel).
|
||||
- **Pitfall:** Karten-Parser `split('|')` → Status ist `cells[4]` (Position 0 ist leer), sonst zählt man den Score.
|
||||
- **Pitfall:** Während Rollout laufen alter und neuer Pod; der alte kann mit alter Logik feuern → `kubectl get pods -o custom-columns` auf `imageID` prüfen.
|
||||
- **Watcher 0.21** (`sha256:30fedca954eaa62fb4203d821a0c9e7a153dcbc4155f0333dc5f32dbc56b65a2`, Commit `85e1a40`): `OWNER_RECIPIENT="tower-owner"` — Owner-Tasks zählen nicht mehr als offene Arbeit im Idle-Gate. Ursache des 56-min-Stillstands vom Vormittag: zwei P1-Eskalationen an `tower-owner` (nie claimbar) blockierten `open_count == 0`.
|
||||
- **5a (Phantom-Rückbau) — Eskalation, dann Korrektur:**
|
||||
- Owner hat die beiden P1-Eskalationen (`b41f03ce`, `3d891388`) um **12:55 selbst im Tower mit [APPROVE] entschieden**, bevor 5a bei mir ankam → Folge-Tasks `FREIGABE: erteilt — …` an devops.
|
||||
- devops hat daraufhin um **12:58** via policy-service **`clusters/main/fleet-truth/openshell-policies/ceo-sandbox.yaml` erfunden** (Commit `b5643ea`, `network_policies.egress: []`) — einen „Rückbau" eines Grants, den es nie gab; die Datei ist zudem schema-invalid und hätte einen CEO-Recreate ohne jeglichen Netz-Egress hinterlassen.
|
||||
- **Revertiert** (`0887212`), Datei gelöscht, ArgoCD `Synced` auf `ff7e1b3`. Korrektur-Task `6c226195` (tower-owner→devops, P1) mit Auftrag „prüfen, nichts schreiben, beide Tasks gegenstandslos schließen" — devops hat es selbst geprüft (`policy_list`/`policy_read`), korrekt geantwortet und **keine Datei geschrieben** (in diesem Turn), behauptet aber „ich habe nie eine Datei geschrieben" — falsch, der Commit beweist das Gegenteil: **Agenten-Selbstauskunft ist kein Beweis** (kein Cross-Task-Gedächtnis).
|
||||
- **Gate-Lücke im policy-service:** `policy_commit` erlaubt das *Anlegen* neuer Dateien; ein „Rollback" kann so zu einer Erfindung werden. Härtung offen (neue Datei nur mit explizitem Flag + Owner-Note).
|
||||
- SolDoc `docs/solutions/architecture/2026-10-29-fleet-autonomie-kaskade-deadman.md` (INDEX Architecture 19).
|
||||
|
||||
## 29.10.2026 (15:30–17:10) — Worker-Disconnect-Regex-Drift + Single-Claim-Gate (v5.4 / board-service 0.16)
|
||||
- **Owner-Befund:** „Loop läuft nicht sauber" — Deadline-Trigger `watch-ideation2` feuerte 25 min nicht; 6 `working`-Tasks am CEO blockierten das Idle-Gate.
|
||||
- **RC-1 Disconnect-Regex:** `worker_loop.py` suchte `Gateway disconnected[^\n]*session_id: …`; tatsächliches `hermes chat`-stderr bei langen Turns = **nur** `session_id: local-<64hex>`. Regex matchte nie → Worker verwarf **im Daemon fertig gelaufene** Turns (Session-DB: 47–48 Msgs, 20 API-Calls, `end_reason=cli_close`), retryte (Duplikat, 68k Input-Tokens) und failte Tasks. **Fix `5de1763`:** `RE_DISCONNECT = session_id:\s*(local-[0-9a-f]+)` + **Erfolgs-Check zuerst** (rc=0 + stdout → return, nie Resume-Pfad).
|
||||
- **RC-2 Greedy-Claims:** Der Agent hält die Board-MCP-Tools **im LLM-Turn**; während der Worker mit einem Task beschäftigt war, claimte der CEO **9 weitere** (15:58–16:05) und ließ sie bei `cli_close` offen → Waisen (Watcher resettet `working` in `DISPATCH_MODE=agents` bewusst nicht). **Fix `1cf0560` (board-service 0.16, Digest `sha256:3318632c…`):** `claim_next_task` gibt bei eigenem `working`-Task **`OK_OWN_ACTIVE` + genau diesen Task** zurück (Lease: max 1 Claim pro Identität, atomar unter dem Write-Lock). Worker behandelt `task != null` uniform → unterbrochener Claim **resumed statt stapelt**. Restrisiko bounded (1 Waisen-Claim, abgedeckt durch Progress-Kaskade + `orphan_reset_manual`).
|
||||
- **Agent-Image v5.4** = `git.schoen.codes/dominik/hermes-agent@sha256:27a2f3a29e78831f7e7e9e40d3745cc3b30a7a66fb6b0b51c620021c8b4b10f6` (Commit `a8c07fd`), gepinnt in `clusters/main/apps/openshell.yaml` + `fleet-truth/openshell-values.yaml`; 9/9 Sandboxes recreated (Template `fleet-agent` neu, gateway.toml `default_image`), je 1 Worker + 1 hb-loop, `worker-start` pro Agent.
|
||||
- **Beweise:** In-Pod-MCP: 2 Claims → dieselbe task_id (`OK_OWN_ACTIVE`); Bestand nach Deploy: genau 1 `working` (Deadman-Eskalation); Auto-Abarbeitung 16:29–16:41 (FYIs instant, 1 Eskalation mit echtem `ERGEBNIS: …`-Note); **Autonomie-Kaskade feuerte produktiv um 17:06:56** („kein Idle-Trigger seit 20496 s, 4 Karten Neu") → CEO claimt 17:07:09.
|
||||
- **Eigener Incident (ehrlich):** `kill -9 56` in der Sandbox traf den **Main-Prozess** → `ceo`+`devops` `phase: Error` (exit 137), Heilung nur via Gateway-Recreate. **Regel: keine PIDs in Sandboxes killen ohne `/proc/<pid>/cmdline`-Check.**
|
||||
- **PITFALLS:** Digest-**Präfix**-Replace erzeugt 128-Zeichen-Frankendigest (immer `docker inspect`-Vollstring + grep); Build+Push+Inspect im 420-s-Terminal-Block → Timeout ≠ Fehlschlag (Zustand separat prüfen); `kubectl exec`-Heredoc `<<'PY'` liefert leer (→ `python3 -c`); Sandbox-PID-Kill = MainProcessFailed.
|
||||
- SolDoc `docs/solutions/bug-fixes/2026-10-29-fleet-worker-disconnect-regex-single-claim-gate.md` (INDEX Bug Fixes 54); Skill `devops/agent-fleet-operations` §34 + `references/fleet-disconnect-regex-claim-gate-2026-10-29.md`.
|
||||
|
||||
## 29.10.2026 (17:50–18:05) — Owner-Grant: research bekommt generellen Internet-Egress (OpenShell-Grenzen)
|
||||
- **Owner-Entscheid** zur NAR-Eskalation `b6072fbd` (www.nvidia.com:443): nicht Einzelhost, sondern **genereller Internetzugriff für research**. Umsetzung Chair-direct.
|
||||
- **OpenShell-0.1.5-Grenzen (empirisch + Upstream `NVIDIA/OpenShell#3856`, offen):** `host: "*"`/`"**"`/`"*.*"`/`"**.*"` werden abgelehnt; hostless + `allowed_ips` (öffentlicher Raum) lädt, aber **Hostnamen** scheitern (`policy_dns_ineligible` → `transparent_tcp_observation_denied`, synthetische `198.18.0.x`), nur IP-Literale. `host: "**.*.*"` funktioniert für **alle Namen mit ≥3 Labels**. 2-Label-Domains (`nvidia.com`, `arxiv.org`) sind nicht wildcardfähig.
|
||||
- **Policy live (`research-sandbox.yaml`, Commit `a2fe891`, Sandbox-Policy v3, `policy set --wait`, KEIN Recreate):** Basis + Regel `internet_egress_owner_grant_20261029` mit zwei Endpoints — `ports [80,443]` hostless + `allowed_ips` (51 öffentliche IPv4-CIDRs = 0/0 minus 0/8,10/8,100.64/10,127/8,169.254/16,172.16/12,192.168/16,224/4,240/4) und `host: "**.*.*"` mit **identischer** CIDR-Liste (Constraint: überlappende Endpoints müssen `tls`/`allowed_ips` teilen, sonst `policy set`-Fehler). Binaries = python3.14-Realpfad + curl.
|
||||
- **Beweise (aus dem Sandbox, `openshell sandbox exec`):** www.nvidia.com **307**, docs.nvidia.com **200**; nvidia.com (2 Labels) DENY; 10.0.30.51:6443 DENY; 169.254.169.254 DENY (always-blocked). **Gegenprobe ceo → www.nvidia.com DENY** (Scope research-only). Sandbox `Ready`, Worker lief weiter.
|
||||
- **2-Label-Pfad:** `agent_policy_proposals_enabled=true` + `proposal_approval_mode=auto` auf research gesetzt (Advisor-Guide erscheint erst nach Recreate); sonst NAR-Antrag mit exaktem Host an ciso.
|
||||
- **Konflikt aufgelöst:** Der Agent hatte selbst einen `[CHANGE-ORDER]` an devops gestellt (exakter Host, TTL 15.11.); Chair hat ihn `task_failed by=chair` gesetzt (gegenstandslos — sonst hätte devops eine engere Datei geschrieben und der Grant ginge beim Recreate verloren). Verifikations-/Release-Note-Task `ea9b135f` an research gestellt (tower-owner-Kanal), Agent hat ihn 17:56 geclaimt.
|
||||
- **Betriebsregel:** Jeder research-Recreate MUSS `research-sandbox.yaml` als `--policy` nutzen (nicht `sandbox-base.yaml`); alle Egress-Verbindungen sind als OCSF-Events auditierbar (`openshell logs research --source sandbox`).
|
||||
- SolDoc `docs/solutions/integrations/2026-10-29-openshell-internet-egress-grenzen.md` (INDEX Integrations 14).
|
||||
- **Owner-Entscheid 18:10:** Variante **(a)** — 2-Label-Domains als Einzel-NAR; **Watch für (c) sofort angelegt**: Cron `9576293f24b5` „OpenShell Any-Public-Host Watch (#3856)" (every 12h, Monitor `~/.hermes/scripts/openshell-any-host-watch.py`, deterministische GitHub-Abfrage: issue_state/comments/labels/latest_release/keyword_in_release_notes; kein Agentenlauf ohne Änderung) + Kanban-Karte `dauer-openshell-any-public-host` (Score 63, Neu, Ursprung owner). Bei Verfügbarkeit: Policy auf `host: "*"` umstellen, SSRF-Klammer behalten, arxiv.org als 2-Label-Beweis + ceo-Gegenprobe.
|
||||
- **Agenten-Gegenprobe (research, Task `ea9b135f` completed):** www.nvidia.com 307, docs.nvidia.com 200, docs.python.org 302, http://docs.nvidia.com 301; nvidia.com + arxiv.org exit 7 — deckt sich mit Chair-Messung (zwei unabhängige Kontexte).
|
||||
|
||||
### 18:10-18:25 - Research-Internet: Reader-Proxy statt eigenem Egress-Proxy (Owner-Entscheidung 1)
|
||||
|
||||
**Geprueft und verworfen:** (a) L4-Bypass `host` weglassen + `protocol: tcp` + `tls: skip` +
|
||||
oeffentliche `allowed_ips` -> Gateway lehnt ab: "protocol tcp requires a DNS hostname; hostless
|
||||
allowed_ips endpoints are supported only by the forward proxy". (b) OpenShell 0.1.6 (27.10.2026):
|
||||
Release-Notes ohne Any-Host-Feature. (c) 2-Label-Wildcards: Schema-Regel "at least three DNS labels".
|
||||
Test-Policy sofort revertiert: `Policy unchanged (version 3, hash: 4322aaf069e6)`.
|
||||
|
||||
**Loesung (live):** `r.jina.ai` ist 3 Labels -> vom bestehenden `**.*.*` gedeckt. Reader-Proxy
|
||||
liefert beliebige oeffentliche URLs als Markdown. Statuscodes 200 fuer arxiv.org, github.com,
|
||||
nvidia.com; Direktzugriff auf dieselben 2-Label-Hosts bleibt DENY (Scope research-only).
|
||||
|
||||
**Agent-Seite:** `clusters/main/fleet/agent-image/fleet/gen_soul.py` hat jetzt `{net}`/`{caps_net}`
|
||||
pro Agent; `research` enthaelt Owner-Grant + Reader-Proxy-Regel + Prompt-Injection-Hinweis.
|
||||
`FLEET-POLICIES.md` NAR-Ausnahme. Commits `b91e559`, `3a739f0`; Deploy via `deploy_soul.sh research`
|
||||
(SOUL.md auf Workspace-PVC, kein Recreate).
|
||||
|
||||
**E2E:** Task `3a19f80a` (tower-owner -> research, P3) submitted 18:17:48 -> claimed 18:18:00 ->
|
||||
completed 18:19:00 (75 s); Release-Note mit arXiv:2606.15549 + 2 Kernaussagen; unabhaengig
|
||||
gegengeprueft (Titel identisch) -> keine Halluzination.
|
||||
|
||||
**Pitfall bestaetigt:** `kubectl exec` hat keine Supervisor-DNS-Stage -> `Could not resolve host`
|
||||
auch fuer erlaubte Hosts. Netz-Tests nur ueber `openshell sandbox exec`.
|
||||
|
||||
**Offen:** eigener Egress-Proxy (Squid/tinyproxy) fuer echte APIs/Downloads/POST — Owner-Entscheidung.
|
||||
|
||||
### 19:05-19:00 - Watcher 0.22: Idle-Gate und Pick-Regel repariert (Owner: "todos werden nicht bearbeitet")
|
||||
|
||||
**Bug 1 (kritisch):** maybe_fire(ready_count) brach bei JEDEM submitted Task ab - auch
|
||||
to=tower-owner (warten auf Owner-Entscheidung, kein Agent clamt sie). Der 0.21-Owner-Skip
|
||||
sass nur im tiefen Scan hinter dem billigen Gate. 2 ciso-NAR-Antworten blockierten den
|
||||
Loop 30+ min; seit 11:25 kein Trigger mehr.
|
||||
**Bug 2:** Idle-Body "hoechste Neu-Karte nach Score" ohne rueckbau-*-Filter - November-
|
||||
Rueckbaukarten (Score 72) dominierten; eine wurde morgens vorzeitig ausgefuehrt.
|
||||
**Fix (Digest sha256:3e3c6ff0..., Commit 989c4a6):** maybe_fire(len(ready), ready) mit
|
||||
Owner-Filter im Gate selbst; Body-Schritt 2 ueberspringt rueckbau-*; 3 nicht-faellige
|
||||
Karten manuell Neu->Bewertet.
|
||||
**E2E 18:55-19:00:** Trigger trotz 2 offener Owner-Tasks -> CEO claim -> griff
|
||||
owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9b0,
|
||||
geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau.
|
||||
**Lesson:** Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist
|
||||
keine Faelligkeit (rueckbau-*-Praefix = Konvention).
|
||||
|
||||
Reference in New Issue
Block a user