Auto-sync: 2026-10-28
This commit is contained in:
@@ -1,5 +1,17 @@
|
|||||||
# Memory Log
|
# Memory Log
|
||||||
|
|
||||||
|
## [2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
|
||||||
|
- **RCA:** devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
|
||||||
|
- **NAR-Verfahren (Owner-Mandat):** Anträge `[NAR] <ziel>` an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner (`[NAR-ESKALATION]`, P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch).
|
||||||
|
- **Rollout 9/9 fleet-v5.1** (Digest sha256:7f141019…, Commits d60b7c0/55dcc9a/c0666eb): Gateway-STS-Restart VOR Rollout (default_image wird nur beim Start gelesen), Portforward-Service neu gestartet, Digest je Pod verifiziert; board-service 0.16 (4ea9f7bf) + watcher 0.16 (77657260) synchron; CM fleet-submit-task mit NAR-submit_task.py synchronisiert (Pod-Restart nach CM-Update erzwingen).
|
||||||
|
- SolDoc bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md (INDEX 52) + Hindsight-Sync; Wiki agent-fleet.md v5.1-Abschnitt ersetzt v5.
|
||||||
|
|
||||||
|
## [2026-10-28] p1-image v4 — EACCES-Fix + Autonomie-Mandat für Tower-Weiterentwicklung scharf
|
||||||
|
- Image `fleet-v4` (sha256:f7fc9e8b…, Commit 5e1b656): HERMES_HOME=/sandbox/.hermes (PVC statt /opt/data 1000:1000 → Erstart-EACCES-Klasse eliminiert), worker stderr 2000z + 1 Retry. Rollout 9/9 grün (Digest je Pod verifiziert), Canary-Erstart LLM RC=0.
|
||||||
|
- Autonomie-Mandat: Backlog-Karte `dauer-tower-dev` (Owner) am Board; CEO-Self-Dispatch bewiesen (Task 8945e949 geclaimt, status working). Zyklus: Ideation→Priorisierung→Umsetzung→Test→Deploy→Retro, endlos.
|
||||||
|
- Ops-Fixes: Gitea-SSH-Push-Adresse korrigiert (.200 statt .202 — Wiki trug falsch seit 17.09.); Gateway-Restart nach Digest-Pin nötig (Gateway liest gateway.toml nur beim Start); Port-Forward-Service auf .124 nach Pod-Restart neu starten.
|
||||||
|
- SolDoc bug-fixes/2026-10-28-hermes-sandbox-hermes-home-eacces.md + Hindsight-Sync; Wiki gitea.md + agent-fleet.md aktualisiert.
|
||||||
|
|
||||||
## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
|
## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
|
||||||
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40).
|
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40).
|
||||||
- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
|
- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
|
||||||
@@ -773,3 +785,5 @@
|
|||||||
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
|
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
|
||||||
|
|
||||||
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
|
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
|
||||||
|
|
||||||
|
- **28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel** — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
|
||||||
|
|||||||
+26
-7
@@ -40,12 +40,31 @@ LLM-Chokepoint und objektiver Telemetrie.
|
|||||||
Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`**
|
Tag `fleet-v1` = **digest `sha256:32eda4136f62ef15920f9414c30dd33e9c7736b53a6f02c1658b5584c45a41b7`**
|
||||||
(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile
|
(1,07 GB; Basis nousresearch/hermes-agent digest-gepinnt + jq; Dockerfile
|
||||||
`clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124).
|
`clusters/main/fleet/agent-image/Dockerfile`; gebaut auf mgmt-runner .124).
|
||||||
**Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`, Commit 640e051,
|
- **p1-image v5.1 (28.10., AKTUELL):** Tag `fleet-v5.1` = **digest
|
||||||
App-Spec + fleet-truth synchron) → gateway.toml `default_image` → ArgoCD
|
`sha256:7f141019695cf38468c3930a0bf39523c09f0b0fad364364b1f7e4b74a23094d`**
|
||||||
Synced/Healthy. Pull-Secret `agent-fleet-registry-pull` out-of-band im NS fleet
|
(Commits d60b7c0+55dcc9a+c0666eb). Fixes seit v5: (a) **NAR-Verfahren**
|
||||||
(default-SA imagePullSecrets; nicht im Git). E2E: Kubelet-Pull 34,6 s auf
|
(Owner-Mandat 28.10.): Netz-Freigaben über CISO-Antrag statt Scan-
|
||||||
rke2-cp-01, Container-Start, jq 1.7. Push-Root-Causes + Runbook: siee
|
Improvisation — FLEET-POLICIES.md (ro im Image) + CISO-Triage-Kriterien
|
||||||
`systems/gitea.md` „Container Registry".
|
+ Worker-Tool-Prompt-Verweis; `to: tower-owner` NUR durch ciso und nur
|
||||||
|
`type: escalation|fyi`, kodiert in 3 Validierungsschichten (submit_task.py
|
||||||
|
+ CM-Kopie fleet-submit-task, watcher_main.py, board-service server.py),
|
||||||
|
E2E bewiesen (ciso→tower-owner durch, ceo geblockt); (b) **Worker
|
||||||
|
Resume-on-Disconnect:** `Gateway disconnected` startet KEIN Re-Execute,
|
||||||
|
sondern beobachtet die Session-DB bis 900 s und completed mit der finalen
|
||||||
|
assistant-Nachricht — Turns laufen im Daemon weiter, Scan-Loops
|
||||||
|
(RCA: 500m-Cgroup-Verhungern, IPC-Riss) sind der verbotene Auslöser;
|
||||||
|
(c) reasoning_effort max + LLM_TIMEOUT 1800 s (aus v5 übernommen).
|
||||||
|
Rollout 28.10. 19:0xZ: 9/9 recreate (Gateway-Restart vor Rollout —
|
||||||
|
default_image wird erst bei Neustart gelesen), Digest je Pod verifiziert.
|
||||||
|
**Digest-Pin live** in OpenShell-Values (`sandbox.image.digest`) +
|
||||||
|
Prepuller-DS `clusters/main/fleet/agent-image-prepull.yaml` → gateway.toml
|
||||||
|
`default_image` → ArgoCD Synced/Healthy. Board-Service 0.16 (Digest
|
||||||
|
sha256:4ea9f7bf…, NAR-Lane + submit_task.py aus CM fleet-submit-task)
|
||||||
|
+ Watcher 0.16 (Digest sha256:77657260…) synchron gepingt. Pull-Secret
|
||||||
|
`agent-fleet-registry-pull` out-of-band im NS fleet (default-SA
|
||||||
|
imagePullSecrets; nicht im Git). Push-Root-Causes + Runbook: siehe
|
||||||
|
`systems/gitea.md` „Container Registry". SolDoc:
|
||||||
|
`docs/solutions/bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md`.
|
||||||
- **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
|
- **OpenShell:** NS openshell, Pod openshell-0, Helm-Chart ghcr.io/nvidia 0.1.5
|
||||||
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
|
digest-gepinnt; sandbox_image_pull_policy if_not_present; Workspace IMMER
|
||||||
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
|
/sandbox, UID 1000. Helm-Pitfall: gatewayConfig-Mapping mit EINEM quoted dotted
|
||||||
@@ -71,7 +90,7 @@ LLM-Chokepoint und objektiver Telemetrie.
|
|||||||
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
|
| chro | chro-v2 | glm-5-3-flash | fleet-vk-chro |
|
||||||
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
|
| cmo | cmo-v2 | glm-5-3-flash | fleet-vk-cmo |
|
||||||
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
|
| agile-coach | agile-coach | glm-5-3-flash | fleet-vk-agile-coach |
|
||||||
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort low) | fleet-vk-coo |
|
| coo | coo-v2 | deepseek-v41-flash (reasoning_effort max) | fleet-vk-coo |
|
||||||
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
|
| devops | devops-v2 | deepseek-v41-flash | fleet-vk-devops |
|
||||||
| research | research | deepseek-v41-flash | fleet-vk-research |
|
| research | research | deepseek-v41-flash | fleet-vk-research |
|
||||||
|
|
||||||
|
|||||||
+1
-1
@@ -75,7 +75,7 @@ modified: "2026-09-27"
|
|||||||
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
|
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
|
||||||
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
|
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
|
||||||
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
|
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
|
||||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.202:22/dominik/iac-homelab.git HEAD:main`
|
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.200:22/dominik/iac-homelab.git HEAD:main` (SSH-LB-IP ist **10.0.30.200** — NICHT .202; .202 = alte/andere Adresse, Verbindung timed out. Beweis 28.10.: Port-22-Check von .124 und .213 OK auf .200, BLOCKED auf .202.)
|
||||||
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
|
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
|
||||||
|
|
||||||
## Known ArgoCD Issues (Sep 2026)
|
## Known ArgoCD Issues (Sep 2026)
|
||||||
|
|||||||
Reference in New Issue
Block a user