Auto-sync: 2026-10-30

This commit is contained in:
Dominik Schön
2026-10-30 22:00:17 +00:00
parent f78f265a8a
commit be5343e8b8
9 changed files with 272 additions and 3 deletions
+1
View File
@@ -23,6 +23,7 @@
## Systems
- [[systems/proxmox-cluster]] — PVE 9.2.20, 8 Nodes, Fluent Bit
- [[systems/mgmt-runner]] — VM 200 (10.0.30.124): Ops-VM, Root-Disk auf HDD-Pool, keine Builds
- [[systems/ceph-cluster]] — 17 OSDs, v20.2.4, 4 MONs, bekannte Probleme
- [[systems/rke2-kubernetes]] — 6 Nodes, ArgoCD, CNPG, Workloads
- [[systems/galera-maxscale]] — 3 Galera + 2 MaxScale, VIP .70
+15
View File
@@ -1,5 +1,12 @@
# Memory Log
## [2026-10-30] CVE-2026-98432 Fleet-Sweep — 26/26 Kernel betroffen, drei Fix-Pfade
- **Befund:** 8 PVE-Hosts (7.0.14-17/-19, Fix ab -25), 8 K8s-Nodes (7.1.8, Branch EOL), 8 Debian-12-VMs (6.1.187, Fix 6.1.190 **schon installiert**), Ubuntu-Node .100 (6.8.0-146, Fix 6.8.0-149 noch nicht released), HAOS 6.18.52. 29 LXC erben PVE-Kernel. 0 gepatcht.
- **Exposition:** Einzige WAN-exponierte Kernel-Instanz ist CT99999 (Traefik-LXC auf proxmox7); K8s-Nodes sehen Internet nur über L7-Proxy (re-originated, keine IP-Options). Kein öffentlicher PoC, EPSS 0,39 %.
- **Konflikt:** 7.1.8 ist gleichzeitig aes256k- und Cilium-kompatibel, aber EOL ohne Fix → nur 7.2.11 (Cilium-Canary) oder Cilium-Upgrade zuerst.
- **Pitfalls:** `qm guest exec` JSON `"out-data" :` (Regex-Fehlalarm 17/17 NOAGENT); `${Version}` in `sh -c` wird im Gast expandiert → `ls /boot/vmlinuz-*` nutzen. „Installiert ≠ läuft" (reboot-required) ist Pflichtspalte.
- SolDoc bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md + Hindsight; Wiki proxmox-cluster.md + rke2-kubernetes.md gepatcht; Skill `security-exposure-audit` um Kernel-Reboot-Regel erweitert.
## [2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
- **Befund (Owner):** seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
- **Fix (Commit f70fe30):** watcher 0.17.1 `IdleScheduler` (fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs.
@@ -814,3 +821,11 @@
- **29.10. (Chair) Owner-Grant Internet-Egress für research (OpenShell-Grenzen dokumentiert)** — Owner entschied zur NAR-Eskalation www.nvidia.com:443: research soll generell Internetzugriff bekommen. OpenShell 0.1.5 kann alle Hosts nicht (Upstream #3856): host '*'/'**'/'*.*'/'**.*' abgelehnt; hostless+allowed_ips autorisiert nur IP-Literale (Hostnamen scheitern mit policy_dns_ineligible, synthetische 198.18.0.x); '**.*.*' deckt alle Namen mit >=3 Labels. Umgesetzt: research-sandbox.yaml (Commit a2fe891) = Basis + zwei Endpoints (hostless CIDR-Klammer aus 51 oeffentlichen IPv4-Bloecken + Wildcard **.*.*, Ports 80/443, identische allowed_ips wegen Overlap-Constraint), live per policy set v3 ohne Recreate. Beweise: www.nvidia.com 307, docs.nvidia.com 200; 2-Label nvidia.com, K8s-API 6443 und Metadata 169.254.169.254 weiter DENY; ceo-Gegenprobe DENY (Scope research-only). Fuer 2-Label-Domains Advisor aktiviert (agent_policy_proposals_enabled, proposal_approval_mode=auto) bzw. NAR mit exaktem Host. Eigenen CHANGE-ORDER des Agents an devops als gegenstandslos geschlossen (haette engere Datei geschrieben -> Grant-Verlust beim Recreate); Verifikations-Task ea9b135f an research gestellt. SolDoc integrations 14.
- 2026-10-29 18:25 - agent-fleet: Research-Internet via Reader-Proxy (r.jina.ai) live; L4-Bypass + 0.1.6 als Wege ausgeschlossen (Gateway-Error, Release-Notes); SOUL/Policies-Commits b91e559, 3a739f0; E2E-Task 3a19f80a 75 s, arXiv:2606.15549 unabhaengig verifiziert; Pitfall: kubectl exec ohne Supervisor-DNS.
- 2026-10-29 19:05 - agent-fleet: Watcher 0.22 live — Idle-Gate ignoriert tower-owner-Tasks, Pick-Regel ueberspringt rueckbau-*; E2E 18:55-19:00: Trigger→CEO→owner-mvtk8gaf In Bau→devops-Delegation→Ideation tower-kosten-ampel. Digest 3e3c6ff0…, Commit 989c4a6. SolDoc bug-fixes/2026-10-29-fleet-watcher-idle-gate-tower-owner-block.md
- 2026-10-30 06:25 - agent-fleet: Tower 0.20 live (Tasks-View, Task-Detail, /healthz, /api/status, Re-Dispatch-Badge) + board-service 0.20 (`redispatch_task`) + watcher 0.23 (Envelope-Whitelist); E2E: Dead-Letter-Task 01956904 → cc6c6f97 → ceo lieferte Rollenbeschreibung; Builds jetzt in-cluster via Kaniko (Runner-VM 200 ext4-Journal-Hang). SolDocs bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md + tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md.
- 2026-10-30 06:27 - agent-fleet: deadman 0.13.2 live — progress-Kaskade ignoriert Owner-Lane (drittes Vorkommen der Semantik-Luecke); progress/open_tasks 0, gateway_ok 1.
- 2026-10-30 06:20 - sabnzbd: QuickTime spielt HEVC nicht — Ursache `hev1` statt `hvc1` (Apple/AVFoundation akzeptiert nur hvc1) + stale Jellyfin-MediaStreams nach In-Place-Ersetzung. Fix: `-tag:v hvc1` im Encode, Bestand per lossless Remux (`-c copy -tag:v hvc1`), ein Library-Refresh. Owner bestaetigte Wiedergabe. HEVC-Lauf: 30/278, 95,4 -> 24,3 GB (-75 %). Pitfalls: orphan ffmpeg 8,6 h GPU-Blockade nach abgebrochenem exec; `export -f log` fehlte; Selbst-Kill durch PID-Filter in eigener Kommandozeile (2x Exit 137). SolDoc integrations/2026-10-30-hevc-quicktime-hvc1.md
- 2026-10-30 06:45 - agent-fleet: watcher 0.24 live — verwaiste Claims werden requeued (7200s, max 3 -> blocked); Live-E2E gruen; Kreis requeue->claim->complete geschlossen.
- 2026-10-30 08:15 - systems/mgmt-runner neu: „ext4-Hang" VM 200 als Pool-Latenz entlarvt (jbd2 Ø 739ms commit, fsync 10 kB/s, Sequenzial 1,4 GB/s); Root-Disk auf hdd_disk (HDD-OSDs mit slow ops); Regel: Builds nur via Kaniko.
- 2026-10-30 08:45 - sabnzbd: 4K-Einzelstueck auf 1080p skaliert (5,26 GB -> 893 MB, -83 %, hvc1, Dauer identisch, GPU-`scale_vaapi`). Dabei **Batch-Bug** gefunden: Faststart-Gate mit 2-MB-Fenster verwarf 23 fertige Encodes (moov endet bei 3,18 MB/61 min) -> v3 mit 16-MB-Fenster + entschaerfter Bedingung, Worklist 338, laeuft. SolDoc integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md; Skill video-codec-compatibility gepatcht.
- 2026-10-30 08:50 - agent-fleet: board-service 0.22 (dismiss_owner_task) + Owner-Lane-Disziplin (FLEET-POLICIES 1.3, ciso-SOUL live). 13 Owner-Tasks geschlossen, Inbox 0. Entscheid: Kaniko bleibt Builder, Gitea-Actions-DinD verworfen (cp-01-Disk 7,7 GB frei).
- 2026-10-30 09:50 - agent-fleet: p1-e2e-flow 4/4 GRUEN live (Kette Owner->CEO->cto->Abnahme 13 min inkl. Karte Fertig; FYI ohne Antwort-Task; Envelope-Quarantaene; Egress-Deny rc=7). Strukturbefund: 10 von 13 devops-Tower-Change-Orders nicht integriert, Chair ist Deploy-Deckel.
+108
View File
@@ -921,3 +921,111 @@ owner-mvtk8gaf (Score 49) statt Rueckbau (72) -> Delegation P2 an devops (c8bbe9
geclaimed 19:00:21) -> IDEATION tower-kosten-ampel (56) -> Kanban In Bau.
**Lesson:** Gate-Filter muss dieselbe Semantik haben wie der tiefe Pfad; Kanban-Score ist
keine Faelligkeit (rueckbau-*-Praefix = Konvention).
## 30.10.2026 — Tower Tasks-View + Dead-Letter-Re-Dispatch (Envelope-Vertrag) + Kaniko-Builds im Cluster
- **Auslöser:** Runner-VM 200 (`10.0.30.124`) hatte einen **ext4-Journal-Hang**
(`jbd2` in D, 5,7 kB/s direkte 4-K-Writes) — Tower-Build hing 24 min. Owner
sagte „weiter" → Pivot auf **in-cluster Kaniko** (nicht Reboot/Disk-Move).
- **Kaniko-Pipeline (NS fleet, dauerhaft):** PVC `fleet-build-src` (cephfs-ssd 4Gi
RWX), Secret `fleet-build-push` (dockerconfigjson, out-of-band), Pod
`build-loader` als `kubectl cp`-Ziel; Build-Pod
`kaniko-<svc>` (`gcr.io/kaniko-project/executor:v1.23.2-debug`,
`--skip-tls-verify` PFLICHT wegen self-signed Gitea, `--digest-file` auf dem PVC).
Zeiten: board 24–60 s, watcher 21 s, Tower 4 m 56 s (Next.js full).
SolDoc `tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md`.
- **Tower 0.19 → 0.20** (`d8a233ac…`, Commit `1969132`): neue Views
**Tasks** (Spool / Dead-Letter / Alarm) mit Task-Detail-Modal (volles Envelope),
**`/healthz`** + **`/api/status`** (maschinenlesbar, fail-loud-read: tote Quelle =
degraded, nicht 500), NAR-Historie, Release-Notes-Feed, Board-PVC RO-Mount
(`/srv/fleet/board`), `FLEET_TOWER_VERSION`.
- **board-service 0.20** (`b7d68298…`): MCP-Tool `redispatch_task` — Dead-Letter-Task
erneut zustellen (`uuid4`, 7-Tage-Fenster, idempotent via `re_dispatched_to`
+ Scan `re_dispatch_of`, akzeptiert Org-Mitglieder **und** System-Sender
`tower-owner`/`deadman-watchdog`).
- **watcher 0.23** (`9c048560…`): `REDISPATCH_FIELDS`
(`re_dispatch_of`, `re_dispatched_to/_at/_by`) in `KNOWN_OPTIONAL_FIELDS`.
- **Bug-Kette (3 Quarantänen, SolDoc bug-fixes/2026-10-30-…-envelope-contract-quarantine.md):**
(1) synthetische ID `redis-<uuid>` → Watcher verlangt echte uuid4;
(2) Original auf `status=re-dispatched` → Status-Enum kennt den Wert nicht,
Dead-Letter-Eintrag verschwand; (3) Zusatzfelder nicht in der Whitelist.
**Lehre: Der Spool-Envelope ist ein Contract mit drei Achsen — ID-Form,
Status-Enum, Feld-Whitelist.** Provenienz entweder in die Whitelist oder ins
Journal. Reparatur aus `_invalid/` NIE mit Zusatzfeldern (`repair_note` → sofort
wieder Quarantäne).
- **E2E-Beweis (echter Dead-Letter-Task):** `01956904` (2,4 Tage alt, from
`tower-owner`) → Re-Dispatch `cc6c6f97` → `task_claimed` by **ceo** nach 8 s →
`task_completed` nach ~6 min mit Deliverable (Rollenbeschreibung devops +
Release-Note). Tower-DOM (headless Chromium via SSH-Tunnel über .92, weil der
Hermes-Host in VLAN 30 liegt und die IP-ACL ihn aussperrt): 61 Dead-Letter-Zeilen,
genau **1** Badge `↻ zugestellt cc6c6f97`, 0 Konsolenfehler.
- **PITFALLS:** (1) `pkill -f "ssh.*18443:…"` killt die eigene Shell (Muster steht
in der eigenen Kommandozeile) → Bracket-Trick `1844[3]`. (2) ArgoCD-Sync meldet
Exit 20 „another operation in progress" und wendet trotzdem an — Beweis ist
`rollout status` + `imageID`. (3) `add_release_note` akzeptiert nur org.yaml-Agenten
(`tower-owner` → Fehler) und max **500 Zeichen**; Chair-Deploys als `agent_id=ceo`
mit `[Chair]`-Präfix im Text. (4) `kubectl exec … python3 - <<EOF` ohne `-i`
liefert stillschweigend nichts → Script per `kubectl cp`. (5) Kaniko-Push auf
existierenden Tag bricht ab; `sed` auf Pod-Manifesten kann still nichts ändern
(0.19-Build ging versehentlich auf `:0.18`).
- **deadman 0.13.2** (`dd5bcf97…`, Commit `effa78e`): `progress`-Kaskade
überspringt `to=tower-owner`. 13 offene Owner-Entscheidungen hielten den Alarm
dauerhaft rot (ALARM auf einem Owner-FYI) und schickten dem CEO alle ~2 h einen
Deadman-Task — **drittes Vorkommen derselben Semantik-Lücke** (Watcher-Idle-Gate
0.22, Autonomie-Kaskade 0.13.1). Regel: „Ist die Fleet untätig?" schließt die
Owner-Lane aus, im billigen Gate genauso wie im tiefen Pfad. Nach dem Rollout
`progress 0`, `open_tasks 0`, `gateway_ok 1`; ALARM-Linie im Board nachträglich
als RESOLVED geschlossen (Pod-Restart verliert den Alarm-Zustand).
### Phase-1-Abnahme `p1-e2e-flow` — 4/4 grün (30.10.2026, live bewiesen)
| Test | Beweis |
|---|---|
| **A Kette Owner→CEO→VS→Lieferung→Abnahme→Kanban** | Owner-Task `a9030241` (tower-owner→ceo) → Claim + Erledigung; CEO legt Karte `e2e-p1-restore-runbook` an (Score 45, Ursprung owner) und delegiert P2-build `67011cb0` an cto (karte_id+vs gekoppelt); cto liefert Runbook (5 Schritte, je Prüfkommando + Abbruchkriterium, Artefakt `/sandbox/artifacts/e2e-p1-restore-runbook.md`); `card_auto_fertig` + `review_task_created` → `0316bd41` (cto→ceo); CEO **ABGENOMMEN** 09:46:35. Journal-Beleg: accepted → task_claimed → task_completed → card_auto_fertig → review_task_created → task_claimed → task_completed. |
| **B FYI ohne Antwort-Task** | `6cc6d5cf` (ceo→cto fyi): Claim +15 s, completed +26 s mit „FYI zur Kenntnis genommen", **kein** reply_to-Kind. |
| **C Fail-loud kaputtes Envelope** | Envelope mit `status=re-dispatched` + Fremdfeld → in `_invalid/20261030-092711-quar-<id>.yaml` verschoben, Journal `quarantined`; nichts still verworfen. |
| **D Egress-Deny** | Aus ceo-Sandbox via Supervisor: Prometheus `10.0.30.202:9090` rc=7 (Refusal 0 ms), K8s-API `10.0.30.51:6443` rc=7; Positivkontrolle board-service `:8080` erreichbar (HTTP 400 = MCP-Protokoll, TCP offen). |
**Durchsatz-Beobachtung:** Single-Thread-Worker je Agent ⇒ ein laufender LLM-Turn
blockiert Claims; ein Owner-Task wartete 197 s hinter einem Review-Turn. Kette
Ende-zu-Ende 09:33:40 → 09:46:35 = **13 min** für 3 Agenten-Turns.
**Offener Strukturbefund:** devops hat **13** Change-Order-Verzeichnisse in
`/sandbox/fleet-change-orders/` (kosten-ampel, flussmetriken, wochenbericht,
spool-aging, nar-register, deadman-status, owner-queue, notfall-runbook,
task-deadletter, health-ampel …); im Tower-Quellcode integriert sind nur
`task-detail`, `nar-historie`, `release-notes-feed` → **10 offen**. Agenten
können keine Images bauen und nicht ins IaC-Repo schreiben ⇒ jeder Tower-Deploy
läuft über die Chair-Pipeline. Damit ist der Chair der Durchsatz-Deckel für
Tower-Features (genau die Vorhersage der Verfassung; verschärft sich mit 26
Agenten). Entscheid offen: seriell deployen vs. Self-Service-Deploy-Facility
(Kaniko+Git-Gate, Owner-GO nötig).
- **board-service 0.22** (`483d105a…`, Commit `ceacfad`): `dismiss_owner_task`.
Befund 30.10.: 13 offene Owner-Tasks, davon 9 reine Quittungen. Der einzige
Schliess-Pfad (`decide_owner_task`) erzeugt IMMER einen Folge-Auftrag → für
Meldungen strukturell falsch, also blieben sie liegen. Neu: dismiss schliesst
ohne Folge-Task (Journal `owner_task_dismissed`). 13/13 geschlossen, 4 echte
Anträge als Freigabe an die Antragsteller delegiert (devops/ciso claimten in
17–18 s), Inbox 0 offen.
- **Owner-Lane-Disziplin** (FLEET-POLICIES §1.3, Owner-Vollmacht 30.10.,
Commit `bc1eaf1`): Eskalation an `tower-owner` nur noch bei harter Linie —
Egress extern, Schreibzugriff auf Produktions-/Owner-Systeme, Secrets, NEUE
externe Exposition, destruktive Eingriffe, Unsicherheit. Operatives im
Innenverhältnis (Deploys, Rollouts, Runbooks, Restarts, Grants in
10.0.30.0/24 — dauerhaft nur 90 Tage + Rückbau-Karte) entscheidet der CISO
selbst; Owner bekommt höchstens `fyi`. CISO-SOUL live deployt; FLEET-POLICIES.md
wird per COPY ins Image gebacken → dort erst mit dem nächsten Image-Build
wirksam (SOUL = Enforcement-Punkt).
- **watcher 0.24** (`547e35eb…`, Commit `da32178`): verwaiste Claims werden
automatisch freigegeben. `working` + mtime älter als `ORPHAN_REQUEUE_SECONDS`
(7200 s; deckt 2 × `LLM_TIMEOUT` 1800 s) → zurück auf `submitted`, nach
`ORPHAN_REQUEUE_MAX` (3) Versuchen `blocked` (sichtbar im Tower). Journal
`orphan_requeued` mit Alter/Empfänger/Versuch. Offline-Test 4/4 (3 Stufen +
Frisch-Claim-Gegenprobe), Live-E2E: synthetischer Orphan (9007 s) in < 10 s
requeued. **Damit ist der Kreis geschlossen: Requêue → `agent_awaiting_claim`
→ Claim → complete.** Bis 0.24 blieben tote Claims für immer liegen (Worker
hatte kein Re-Own).
- **Offen:** Runner-VM 200 ext4-Hang (Optionen Reboot / Disk auf `ceph-flash`);
Workflow-Lücke: Agenten schliessen selbst geclaimte Tasks nicht immer ab
(Waisen in `working`) — Re-Dispatch ist der manuelle Ausweg, ein Auto-Re-Own
im Worker fehlt weiterhin.
+2 -1
View File
@@ -6,7 +6,8 @@
| Eigenschaft | Wert |
|---|---|
| URL | `https://photos.familie-schoen.com` → Traefik-LB 10.0.30.203 → K8s |
| URL | `https://photos.familie-schoen.com` → WAN-Traefik CT99999 `photos`-Router → **10.0.30.203** (K8s `traefik-lb`) → IngressRoute `immich/immich` → `immich-server:2283` |
| Alt-Host | `immich.familie-schoen.com` → **301-Redirect** auf photos (WAN-Middleware `immich-to-photos`, 30.10.26). Legacy-Route auf CT111 `.99:2283` damit entfallen |
| Namespace | `immich` |
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
| Assets | **86.316** (85.960 unique Checksums) — Stand 10.10. nach NAS-Ingest |
+8
View File
@@ -47,6 +47,14 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
- Neue Medien landen automatisch via SABnzbd-Sorter in `/media/<Serie>/` (Postproc-Skript, CM `sabnzbd-postproc-script`).
- Bekannte Data-Hygiene-Aufgabe (19.10.): Alt-Salvage-MKVs (~600 MB 720p) liegen neben frischen 1080p/4K-MP4s derselben Szene (8 Paare in DeviceBondage, ~5 GB); Löschung nur nach GO.
## Stale MediaStreams nach In-Place-Ersetzung (30.10.2026)
Wird eine Mediendatei **unter gleichem Pfad** ersetzt (Transcode/Remux), behält Jellyfin den alten DB-Stand: es meldet weiter den alten Codec und die alte Dateigröße. Der Client bekommt dann DirectPlay mit falschem Codec angeboten und bricht ab (real: Datei war `hevc`, DB sagte `h264 High 4.418 GB` → QuickTime verweigerte).
**Fix:** genau ein `POST /Library/Refresh` (HTTP 204), Scan läuft async; danach stimmen `Size` und `MediaStreams` (`hevc Main 1920×1080 ~2.4 Mbit`). Verifikation über `GET /Items?...&Fields=Path,MediaSources,MediaStreams`.
**Regel:** Nach jeder In-Place-Ersetzungswelle ein Refresh — **nicht** mehrere parallel (wiederholte POSTs brechen den laufenden Scan ab). Wiederholte Refreshes während eines laufenden Batch sind unbedenklich, weil die Ersetzung atomar per `mv` passiert.
## Related Solution Docs
- `docs/solutions/integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`
- `docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
+52
View File
@@ -0,0 +1,52 @@
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
**Stand:** 2026-10-30
## Zweck
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
## Harte Fakten
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
| Test | Ergebnis |
|---|---|
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
| `sync` | 3,5 s |
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
## Konsequenz (Betriebsregel)
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
fsync-Latenzen nicht.
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
langsam — nicht als „kaputt" fehldeuten.
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
zurückgestellt, braucht Owner-GO.
+54 -2
View File
@@ -3,7 +3,7 @@ title: Proxmox VE Cluster
category: systems
tags: [proxmox, virtualization, lxc, qemu, pve]
created: "2026-04-28"
modified: "2026-09-30"
modified: "2026-10-30"
---
# Proxmox VE Cluster
@@ -22,7 +22,7 @@ modified: "2026-09-30"
## Cluster-Konfiguration
- **Version:** PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25)
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
- **Hypervisoren:** 10.0.20.x
- **Guests:** ~30 LXC + ~10 QEMU VMs
@@ -36,6 +36,32 @@ modified: "2026-09-30"
- VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
## Wake-on-LAN (eingerichtet 2026-10-30)
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|---|---|---|---|
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
## Fluent Bit (Logging)
- Alle 9 Hosts haben Fluent Bit aktiv
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
@@ -71,6 +97,16 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
## Bekannte Probleme
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
@@ -162,6 +198,22 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
## Bekannte Probleme
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
- **Gegenmaßnahme (aktiv):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s): bei `carrier=0` → `ip link set enp1s0 down/up` + `ethtool -r`, danach `modprobe -r/-i r8169`. Log: `/var/log/nic-watchdog.log`. Ziel: Auto-Recovery in Sekunden statt manueller Power-Cycle.
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
## Related
- [[systems/ceph-cluster]]
- [[systems/rke2-kubernetes]]
+17
View File
@@ -29,6 +29,23 @@ modified: "2026-10-19"
**8 Nodes, v1.35.6+rke2r1, alle auf Kernel 7.1.8+deb13-amd64 GEPINNT (aes256k/Cilium-Fenster, siehe ceph-cluster.md Known Issues + Solution Doc 2026-10-27).**
> ⚠️ **7.1.8 ist seit 30.10. ein Sicherheits-Blocker:** Der 7.1-Branch ging mit **7.1.13 EOL**,
> ohne Backport für **CVE-2026-98432** (IPv4-TCP-Options-UAF). Fix gibt es nur in 7.2.10+
> (Kandidat `7.2.11-1~bpo13+1`) oder 6.12.113 — beide kollidieren mit dem Kompatibilitätsfenster
> (7.2.9 bricht Cilium 1.19.4; 6.12 bricht CephFS-aes256k). 6.12.113 liegt auf worker-02/03
> bereits in `/boot`. Nächster Schritt: Cilium-Canary auf einem Worker mit 7.2.11, danach rolling.
> SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md`.
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`
> auf cp-01 → auf cp-02 `systemctl stop rke2-server`, **kein** `mv` des Mountpoints (ext4 auf `/dev/sdb`,
> `Device or resource busy`), stattdessen Inhalte innerhalb des Mounts nach `etcd/broken-20261030/`
> verschieben (member, name, config) → `start rke2-server` → Rejoin als Learner, neue Member-ID
> `16b9fcd7c4a32825`. **Verifiziert:** 3/3 Member Started, kein Learner, alle 8 Nodes Ready.
> Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in `broken-20261030/` (Aufräumen optional).
> Historie: cp-02 wurde schon am 03.10. so repariert (`etcd.old` vorhanden) — Wiederholungstäter-Knoten,
> bei Welle C zuerst beobachten.
## Storage
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
- **⚠️ StorageClass IaC (2026-09-29):** `ceph-flash` + `ceph-hdd-replica` waren MANUELL erstellt (nicht in Git). Jetzt committed unter `clusters/main/storage/`. Alle RBD SCs MÜSSEN `controller-expand-secret-name/namespace` haben — fehlt dies, schlagen Volume Expansions fehl ("provided secret is empty") und triggern Retry-Loops die API Server überlasten.
+15
View File
@@ -84,6 +84,8 @@ Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harve
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
- **Faststart-Gate im Batch braucht ≥16 MB Fenster** (30.10. teuer): gemessen `moov`-Ende 61 min 1080p = **3,18 MB**, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein `mdat` mehr → der Job verwirft **fertige, korrekte** Encodes als `FAIL faststart` (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: `moov` muss gefunden werden, `mdat` nur prüfen *falls* im Fenster. SolDoc: `docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md`.
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
## VAAPI / GPU-Encoding
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
@@ -124,6 +126,19 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
## HEVC-Bibliothekslauf (30.10.2026, laufend)
**Ziel:** alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript `/tmp/hevc_library2.sh` (detached via `setsid nohup` im converter-Sidecar), Manifest `/config/_hevc_manifest.jsonl` (append-only, Audit-Trail), Log `/config/_hevc_library.log`, Remux-Log `/config/_remux_hvc1.log`.
- **`-tag:v hvc1` ist Pflicht.** Apple/QuickTime/AVFoundation spielt HEVC nur als `hvc1`, ffmpeg-Default `hev1` wird verweigert. Bestand reparieren: `ffmpeg -c copy -tag:v hvc1 -movflags +faststart` (lossless).
- **Manifest ist die Wahrheit**, nicht das Log. Statusfragen daraus beantworten (`rel`, `before`, `after`, `dur`, `h`).
- Nach In-Place-Ersetzung ist Jellyfins `MediaStreams` stale (meldet alten h264 + alte Größe) → Client bricht ab; **ein** `POST /Library/Refresh` reicht (danach hevc sichtbar).
- GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
Solution Doc: `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
## Netzwerk / Sicherheit
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)