agent-fleet: E-2 ceo landed, kit-bug ziff10, CM-patch pitfall, health-check paths
This commit is contained in:
@@ -107,6 +107,7 @@ Important-Fixes committed `b3b4b9f`).
|
||||
- **Betriebsregeln für alle:** Inferenz nur via Bifrost (VK inline), Heartbeat 60 s → Beacon mit eigener agent_id, Dissens-Protokoll BLOCK/CONCERN/NOTE/CONSENT mit Eskalationsleiter, Fail-loud, NICHTS löschen ohne Freigabe, keine Auto-Mails.
|
||||
- **Ghost-Heartbeat-Zwischenfall (23.10., behoben):** Klone erbten CEO-Timer + `last_task_id` — feuerten ~7,5 h als `ceo` (1.438 Rows). Bereinigt per Timer-Phase-Clustering (308 echte CEO-Rows im Fenster erhalten), Member-Timer ersetzt CEO-Units. **Pitfall für alle zukünftigen Klone: systemd-Timer + State-Files im Snapshot mitdenken.**
|
||||
- **Hiring-Governance A16:** W1 hiret der CEO allein; ab W2 hiret das Board kollektiv (Decision Item, Mehrheit; Patt → CEO-Eskalation zum Owner). Worker-Sandboxes ab W2 Slim-Sizing 2 vCPU/4 GB; Backup sekundär.
|
||||
- **Owner-Delegation A17 (24.10., Direktive „Ich möchte keine operativen Pläne freigeben müssen"):** Operative Pläne + Umsetzungsentscheidungen genehmigt der Konzern selbst (CEO/CTO-Lane im A16-Vote), KEINE Genehmigungsanfragen an Owner. Owner-GO bleibt NUR für destruktive Operationen + strategische Entscheidungen (Zaun-Änderungen, Gremien, Budget). Grauzone: destruktiv → Owner-GO; im Zweifel nicht-destruktiv → Konzern. CISO-Gates/Vetos unberührt. Zustellung 1792824363.
|
||||
- **W1-Onboarding-Memos GELIEFERT (23.10., 06:30 UTC):** CTO → `memo-2026-10-22-cto-pipeline.md` (Hiring-Pipeline-Plan D1–D4, Owner-Bedarfsliste B1–B7, Pipeline-Go-Ziel 26.10.) · CISO → `memo-2026-10-22-ciso-baseline.md` (Preset-Matrix DI-1, Audit-Chain/Sampling DI-2, Threat-Modell T1–T5, Self-Disclosure DI-4) · CHRO → `memo-2026-10-22-chro-w2-profiles.md` (W2-Lead-Profile Staffel 1/2, Scorecard ≥10/12, Caps-Matrix, Attention-Budget). Alle im Repo `genesis/` (Commit `901f3ac`, Gitea gepusht) und per Stopgap ins CEO-Board-Verzeichnis verteilt. Heartbeats verifiziert: je Member eigene Task-ID (cto-pipeline-plan-memo, ciso-memo-…-baseline, chro-memo-…-w2-profiles).
|
||||
|
||||
## Board-Kanal & Fleet-Mail (23.10., Interims-Kommunikation bis Control Tower)
|
||||
@@ -337,3 +338,67 @@ Important-Fixes committed `b3b4b9f`).
|
||||
ohne Zielarg (MP immer /var/lib/lxc/<ct>/rootfs); Hollow-Confs unsichtbar in Resources-View.
|
||||
- **Offen**: CMO-Tranche (Kit: /srv/fleet-board/provisioning-kit/), W3-Votes, hohler CT 201
|
||||
(Purge nur mit Owner-Freigabe), WebUI-/api/health-Check, Morning-Report 07:30 Berlin.
|
||||
|
||||
## W2-Mail-Isolation-Fix (24.10. nachts, Tick 12)
|
||||
- **Lücke:** Seed 199 ist bewusst mount-frei; Harvest zog mp0/mp1 NICHT nach → CT 202 (coo) +
|
||||
CT 205 (cmo) liefen ohne Bind-Mounts, und inbox-coo/inbox-cmo fehlten auf dem Host (nur
|
||||
W1-Mailboxen angelegt) → coo/cmo mail-isoliert (Poller gegen leere lokale Pfade).
|
||||
- **Fix (live attach ohne Restart nötig):** `pct set <ct> -mp0 /srv/fleet-board,mp=/mnt/fleet-board
|
||||
-mp1 /srv/fleet-mail,mp=/mnt/fleet-mail` + `-onboot 1` + Mailbox-Hostdirs 2777 anlegen
|
||||
(`/srv/fleet-mail/inbox-<role>/{new,processed}`) + `pct unmount 202` (stale lock).
|
||||
- **VK-Injektion CT205:** Placeholder `VK-PLACEHOLDER-SET-BY-PROVISIONER` → Wert aus CT161
|
||||
(whitespace-safe sed-Extraktion, Wert via env in python, kein Logging).
|
||||
- **Für jeden künftigen Klon (Kit-Ergänzung):** Mailbox-Anlage + mp0/mp1 + onboot=1 +
|
||||
VK-Injektion sind Pflichtschritte; provisioning_events-Schema: member_id, sandbox_id,
|
||||
phase, outcome, detail(jsonb). Controller-Token liegt in CT160
|
||||
`/root/.secrets/openshell-machine-token` (64 B — der 1P-Wert ist ein ANDERER/älterer!).
|
||||
## Klammer-VK-Bug (24.10. Tick, gefixt)
|
||||
- VK-Injektion hinterließ `api_key: <sk-bf-...>` (Spitzklammern) in CT 202/205/206 → Hermes 401 "virtual key is required" gegen Bifrost, obwohl Curl mit demselben Key 200 lief. Fix: sed Klammern entfernen; Inferenz je CT verifiziert (OK).
|
||||
- Stray-CEO-Poller auf CT206 (PID, Arg ceo statt devops — systemd-Erbe aus Clone-Verarbeitung) killen; konsumierte CEO-Mails aus processed/ nach new/ re-queueen.
|
||||
- WebUI /api/health 403 von VLAN 30 ist ERWARTET: G1-Middleware fleet-webui-owner-acl erlaubt nur 10.0.20.0/24+10.0.40.0/24+172.16.0.0/24 (Owner-Segmente + WireGuard, Owner-Direktive 24.10.). Health-Verifikation immer aus Owner-Segment (z.B. via PVE-Host).
|
||||
- **Hire-Grenzen ENTFERNT (Owner-GO 24.10. „Kein rate limit"):** Zaun 999 (beacon.yaml d06750b), Validator-SCOPE_PIN = _UnlimitedPin, capacity_ledger 999, Loop-Tranchen-Regel raus; S-01-PIN-Testfall entfernt (CT163 19 Tests OK). Unberührt: A16-Vote, CISO-Gates, hrProfileId, B2. Vollzugs-Ledger: `/srv/fleet-board/ownerproxy-vollzug-2026-10-24-hire-limits-removed.md`.
|
||||
|
||||
## Takt-Learnings 24.10. ~09:00 (Tick 13)
|
||||
- **last_task_id Invalid-UTF-8 → Beacon 400**: Poller schreibt Subject (cut -c1-60) raw in last_task_id; Subject mit defekten Umlaut-Bytes → JSON-Payload bricht → Heartbeat-POST 400. coo fiel dadurch 5 min aus (agents_up 7→6). Interim: ASCII-Sanitize des Files; v3-Kandidat (cto): Task-ID-Sanitization + plain Mail-Koepfe (N2-Klasse). Heartbeat-Skripte: JSON NIE via Shell-String mit rohen Bytes bauen.
|
||||
- **Requeue-Akteur-These fuer CT161 widerlegt**: journal -t fleet-mail 06:30-08:08 durchgaengig ok, 0 RC=1, kein nobody-Prozess/cron/at. Erstversuch-RC=1-Serie (CTO-Beobachtung) stammt aus CT206-Klon-Erbe-Sicht. Lehrstueck: Journal-Gegenprobe vor These-Uebernahme.
|
||||
- **SSH+Heredoc-Pitfall**: Mail-Bodies via ssh heredoc scheitern am Quoting — robust: base64-Transport (lokal b64, remote dekodieren), Zustellzeile remote per printf.
|
||||
- **Owner-Gundsatz [1792824363, dauerhaft]**: operative Planlae/Umsetzungsentscheidungen = Konzern-Selbst (A16-Vote), KEINE Plan-Freigaben mehr an Owner. Destruktiv/strategisch bleibt Owner-GO. DI-10-Vote Mo 09:00 entscheidet selbst.
|
||||
- **coo/cmo operabel**: Inferenz live verifiziert (RC=0); Klammer-VK-401 transient/bereits gefixt. Offen: Send-Werkzeug-Retrofit (cto-Lane) + coo-3-Outbox-Entwuerfe.
|
||||
|
||||
## DI-10 WebUI v0.3 (24.10. — Org-Chart/Themen/Kanban/Owner-Notiz)
|
||||
- **Root Cause des Verzugs:** Verfahrens-Gate (Plan v0.1 wartete auf A16-Vote Mo 09:00), NICHT Technik. Owner-Accountability-Direktive ersetzte das Warten; GO-Vermerk im Board-Plan; A16 ratifizierend nach; CISO-Gates hart (Z3-POST hinter Flag default OFF bis CISO-GRUEN).
|
||||
- **CM-Fix Variante B:** fleet-webui-org (live-only CM, IgnoreDifference+Prune=false) mit beacon-org-yaml-Inhalt befüllt + `kubectl -n agent-fleet rollout restart deploy/fleet-webui` (App cached Org-Daten Point-in-Time). /api/org schachtelt unter `org.members` (nicht top-level!). WebUI-CMs sind NICHT Git-getrackt — selfHeal greift nicht, live-apply ist der Weg.
|
||||
- **Daten:** topics.yaml (13 Themen) + topics-history/ in /srv/fleet-board/ = Z2/Z5-Basis (Chair-kuratiert). Kanban-Quelle: backlog-Items + wartet_auf + status je Thema.
|
||||
- **Bau-Routing:** CTO-FIFO-Backlog 16 Mails (serial 10–25 min/Mail) → Bau-Auftrag ZUSÄTZLICH direkt an inbox-devops (CT 206, leer, 60-s-Poller) — devops zog <90 s. CTO bleibt Lead/Architekt.
|
||||
- **Überwachung:** cron `7423f0a98e8f` (*/30, monitor=di10-deploy-watch.sh) feuert bei v0.3-Deploy/Health-Down/18:00-Verzug; konzern-loop-Prompt (23d4769ec873) um DI-10-Open-Item erweitert (jobs.json direkt editiert).
|
||||
- **Provenienz-Konflikt (wichtig für Chair-Direktmails):** Loop-Agent meldete Owner-Proxy-Mails als Spoof-Verdacht (Future-Epoch-Filenames, keine Zustellzeile, Signatur-Abweichung). Geklärt via hygiene-nachbuchung-chair-2026-10-24.md Addendum 2: Owner-Proxy-Session > Loop-Tick bei Widerspruch; legitim bei Substanz-Alignment mit Owner-Kanal. Künftig: Zustellzeilen + einheitliche Signatur in Direktmails.
|
||||
- **Pitfalls:** APP_VERSION-env im WebUI-Deployment dupliziert (Warning bei apply); curl-Checks nur vom PVE-Host (VLAN 30 = 403 by design G1); topics bake in neue CM fleet-webui-topics mit Snapshot-Badge (kein Fake-Live).
|
||||
|
||||
|
||||
## 24.10.2026 12:15 CEST — Chair-Tick 30 (Delta)
|
||||
- Fleet: 7/7 Agents up (devops CT-devops LIVE seit 09:42); WebUI v0.2.0-live (DE-Lane: DI-10 v0.3.1 reviewt 58/58, Deploy ETA ~13:30, Ready -> PVE-E2E).
|
||||
- Controller CT160 openshell-controller.service ACTIVE. Beacon .211 (7/7, Age<62s). WebUI /api/health 403 aus Host-Sicht = interim ip-only-ACL (kein Defekt; PVE-Host-Sicht 200 ok).
|
||||
- CHAIR-KANAL ab jetzt ZEILIG (K1): Helper v1 byteidentisch vendort CT161 /root/fleet/tools/deliverylog_helper_chair.py (sha b1d48773...); Aufruf: dd(conv=fsync) -> helper <inbox> <pfad>. Roster-Whitelist der CT163-Wrapper-Variante gilt nicht fuer Chair (von-ceo-Naming).
|
||||
- Governance-Entscheidungen T30: PR-Paket-Konsistenz-Fix GO (Merge-gated KW43 2/2); Anti-Spoof E1/E2/E3 CONSENT; Hygiene-Addendum 3 (Erstwellen-Nachtrag, sha 088fda41); AL3 999/99 CONSENT mit Auflagen; Urheberschaft Vollzug=Owner-Proxy-Session (Host-Evidenz workspace/journal_hire_limits.sh df547692 + 3 Patch-Skripte).
|
||||
- Offen: W3 #8 research am CISO-Gate (pc-research-egress FINAL); DI-11 1/4 (Frist 17:00); Backlog-Altbestand ~19 Mails.
|
||||
|
||||
## 24.10.2026 13:2x CEST — Chair-Tick 31 (Delta)
|
||||
- DI-11 ABGESCHLOSSEN: Tally 3/4 (chro O4 + cto O4 + ciso O4 12:51; beratend coo/cmo O4) => BESCHLUSS Option 4 Hybrid (CTO Process-Owner, COO Delivery Master, Chair Taktung; Hire-Neubewertung nach 2 Retros <=07.11.). Resolution an cto+chro zustellzeilig.
|
||||
- Owner-Auftrag CISO-Departement-Struktur (Dublette 8611/8646 konsolidiert; Termin-Korrektur Mo->Di 27.10. 12:00) an ciso verteilt + Owner-Quittung.
|
||||
- Tranche fleet_devops_ro (2)-(4): C1+B+D+E1+F VOLLZOGEN — C1 GitOps commits 1c5baa2/e20301e (pg_hba 4 User-Regeln incl. podselector-Expansion 10.42.4.203/32, log_connections=on, RELOAD ohne Restart), B Rolle+Grants (shortsha 2b20c301b5c2), D .pgpass CT206 Match OK, E1 5 Counts + Probe(a) permission-denied, F Guard GREEN 13:12:56. C2/E2/G offen (Inventur >=8h, fruehester C2 ~21:00 CEST). Evidenz: cto-fleet-devops-ro-anlage-evidenz-2026-10-24.md.
|
||||
- PITFALLS neu: CNPG podselector-Adresse ohne YAML-Quotes; CSV-Logs=FIFO (kubectl logs statt tail); Helper v1 BASE=/mnt (Host-Dispatch via pct exec 161); Duplikat-Dispatch => mv quarantine.
|
||||
|
||||
## Chair-Tick 32 (24.10. ~18:45 CEST) — Learnings & Betriebszustand
|
||||
- **dd if=X of=X TRUNCATED**: Selbstkopie via dd schrieb Quelldatei auf 0 B (delivery.log bekam e3b0c442-Geisterzeilen). Fix: nach cat-Heredoc `sync -f <file>` statt dd-Selbstkopie; 0-Byte-Geister vor Redelivery entfernen. Betrifft Chair-Dispatcher auf PVE-Host.
|
||||
- **Phantom-CT-Mapping**: coo/cmo/devops = CT 202/205/206 (IPs .166/.167/.168) — CT 166/167/168 existieren NICHT (pct exec failed lautlos mit "does not exist"). Mapping immer gegen `pct list` prüfen, bevor Skripte CT-IDs hardcoden.
|
||||
- **openshell-controller Unit lebt IM CT 160**: Host-Sicht `systemctl is-active` = "not-found" (EXPECTED, kein Defekt). Realer Check: `pct exec 160 -- systemctl is-active openshell-controller.service` + curl /v1/health mit Bearer aus /root/.secrets/openshell-machine-token (auch via pct exec 160).
|
||||
- **v2.1-Threshold-Activator** (host-seitig, /root/fleet-tools/v21_threshold_activator.sh auf PVE): restart fleet-mail je CT nur bei Queue<20 ∧ 0 in-flight hermes-chat ∧ 0 Mail-Aktivität <60 s (Cross-Write-Schutz); Staffel 240 s; Singleton via flock; Order 202/205/206/163/164/165/161; Lifetime 4 h; Log /var/local/fleet/v21-threshold-activator.log. Umgeht den poller_idle()-False-Negative-Deadlock der Watcher v1.1 (Root cause cmo-RCA [1792855529]).
|
||||
- **E-2-Rollout-Forensik 24.10. abend**: unabhängige Chair-Messung deckungsgleich CISO-Kickoff [1792856060]: nft 0 Regeln + sshd listening auf allen 4 W1-CTs (161/163/164/165), kein Ship-Skript auf CT164 (/root/fleet/security/ fehlt) — Rollout nie materiell ausgeführt; Operator-Stellungnahme CTO ausstehend (Bit [1792857720]).
|
||||
- **research #8 entblockt**: ciso-preset-register ## #8 FINAL (15:32, preset_hash v1.1-Vollstring, Zeilen-Hash 2f4278f6…78cebe); Chain: CHRO hrp-Mint → CTO Merge-Lane (active_pin-Precondition) → Chair Controller-POST. Drives [1792859874]/[1792859875].
|
||||
- **CHRO-Config-Lifecycle**: Tooling war bereits exekutiert (Owner-Proxy, ASAP Ziff. 5); CHRO lieferte Inventar (7/7 Agenten, sha 369ed4a4…) + Selfbericht-Lane; Chair-Zeile CT161 + IP-Klarstellung (massgeblich 10.0.30.162, NICHT .161) geliefert [1792860031].
|
||||
|
||||
## Chair-Learnings 24.10. abend (E-2 + WebUI-Topics)
|
||||
- **E-2 ceo/CT161 LANDED-GRÜN 20:13** (Kit-Lauf CT-Poller; Reassign [1792863449]). nft `fleet_e2` (Egress NUR .210:8080+.211:80, 3x policy drop), sshd/postfix disable --now. Kit-BUG Ziff. 10: `SSHD_AFTER=$(systemctl is-active ssh || echo unknown)` hängt bei rc=3 (stdout `inactive` + Fallback `unknown`) → false-NEGATIV-Abbruch NACH materiellem Vollzug. Kit v1.1 nötig für CT163-165. Zweitlauf stoppt korrekt am VORHER==0-Assert (anti-doppelvollzug intakt).
|
||||
- **PITFALL (selbst verschulbt, 20:3x):** `kubectl patch --type=json` mit Platzhalter-Value als "Test" zerstört live CM-Daten SOFORT (topics.yaml → 11 B "PLACEHOLDER", WebUI topics ok:false). Nie Test-Patches auf live CMs — immer Full-Value + Verify. Restore-Quelle: `kubectl.kubernetes.io/last-applied-configuration`-Annotation (hier 9819 B, aktuell da kubectl-apply-basiert). Nach Restore: kubelet-Projektion kann stale bleiben → rollout restart erzwingt frischen Mount; danach health-Verify (topics count 15, v0.3.4).
|
||||
- **Fleet-WebUI Health-Check:** https://10.0.30.212/api/health via PVE-Host .92 (IP-ACL 10.0.20.0/24 erlaubt) — Beacon .211/metrics, Controller .161:8081 antwortet 401 ohne Token (fail-closed SOLL). Hermes-WebUI (Runner) separat: 10.0.30.230:8790/health.
|
||||
- **Chair-Session läuft auf hermes-agent-01 (.230)** — NICHT auf CT161/ceo. Fleet-CTs via `pct exec` (PVE .92) steuern; pct exec überlebt nft-input-drop + sshd-off auf Ziel-CT.
|
||||
|
||||
Reference in New Issue
Block a user