Compare commits
74
Commits
d487b596d7
...
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
9927bbc02a | ||
|
|
7090b022c7 | ||
|
|
b171a41a8c | ||
|
|
46bf4e6e42 | ||
|
|
3eda03ae8e | ||
|
|
668501c330 | ||
|
|
34457272d0 | ||
|
|
a0e3039cfa | ||
|
|
fd4a86533e | ||
|
|
d89db49445 | ||
|
|
41556fc10f | ||
|
|
a637ddcf61 | ||
|
|
b7ed1b4505 | ||
|
|
07de4bd482 | ||
|
|
e4767928a5 | ||
|
|
b49e4ed029 | ||
|
|
a85ba99e39 | ||
|
|
8585ee8b56 | ||
|
|
77702d8b66 | ||
|
|
306f3022bb | ||
|
|
4ab319815c | ||
|
|
ba9bf1525b | ||
|
|
90ce3e0267 | ||
|
|
3d48fe6628 | ||
|
|
6a310538ff | ||
|
|
bd366a61ee | ||
|
|
de3dd8a50d | ||
|
|
4fbd8bc1a9 | ||
|
|
21a25a0635 | ||
|
|
2053828eaf | ||
|
|
e79b912ca5 | ||
|
|
9709787bc0 | ||
|
|
8a2f961745 | ||
|
|
bd700b19b8 | ||
|
|
79047d9306 | ||
|
|
be5343e8b8 | ||
|
|
f78f265a8a | ||
|
|
fe148c3536 | ||
|
|
807dc2b396 | ||
|
|
edb65794ac | ||
|
|
89eaf83f3f | ||
|
|
52959e3b44 | ||
|
|
bd55603188 | ||
|
|
7e1a058212 | ||
|
|
53b3d4e67b | ||
|
|
c36ace9fba | ||
|
|
8cb4324fb3 | ||
|
|
e84b665b2a | ||
|
|
03a7103932 | ||
|
|
c26664e202 | ||
|
|
ddc352591b | ||
|
|
0f7228f0f5 | ||
|
|
f7ae47ba39 | ||
|
|
5268ec4d06 | ||
|
|
039fb846df | ||
|
|
a53e80db9e | ||
|
|
dc13225446 | ||
|
|
e74747d42f | ||
|
|
b7a6c45a79 | ||
|
|
8492ed3bbc | ||
|
|
22c6957ddc | ||
|
|
b1963161a2 | ||
|
|
66a3e993ea | ||
|
|
36520a7851 | ||
|
|
b8d38c5640 | ||
|
|
8dca234bc6 | ||
|
|
a6ef4d6870 | ||
|
|
bffcea0d4d | ||
|
|
dd78080e5f | ||
|
|
b527e4ff3c | ||
|
|
3a57db957e | ||
|
|
cc2f237ca3 | ||
|
|
531d6bfbdd | ||
|
|
a68665eca0 |
@@ -0,0 +1,346 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben
|
||||
- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38.
|
||||
- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar.
|
||||
- **Key-Falle:** Cache-Key ist `custom:<base_url>` (neu: `…#<fp>`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37).
|
||||
- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen).
|
||||
- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29).
|
||||
- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht.
|
||||
- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400).
|
||||
|
||||
## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel
|
||||
- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts".
|
||||
- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar.
|
||||
- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200).
|
||||
- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓).
|
||||
- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig).
|
||||
- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext.
|
||||
- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6.
|
||||
|
||||
## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold
|
||||
- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓.
|
||||
- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen).
|
||||
- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch).
|
||||
- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||||
- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt.
|
||||
- Hindsight: Config + Pitfall semantisch indexiert.
|
||||
|
||||
## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment
|
||||
- cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%.
|
||||
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert.
|
||||
- hindsight-api Live-Pin (Sep-17-Hotfix) war nie in Git → Live-Patch nötig.
|
||||
- Descheduler v0.30.0 deployt (raw Manifests, nicht Helm — Chart hat params/args-Bug + falsche API-Version). Policy: LowNodeUtilization (30/50/20 → 70/70/60), 2m Intervall, nodeFit auf Profile-Ebene.
|
||||
- RBAC-Lektion: Descheduler braucht `list/watch` auf `namespaces` in ClusterRole.
|
||||
- ArgoCD repoURL: `ssh://git@10.0.30.200:22/...` (mit `git@` User-Prefix, wie alle anderen Apps).
|
||||
- Solution Doc + INDEX + Wiki rke2-kubernetes.md aktualisiert. Commits b955d7e→8c1ecff.
|
||||
|
||||
## [2026-09-30] ceph-monitoring-hardened | Mgr-Failover-Resistenz + SMART-Korrektur
|
||||
- Ceph-Scrape war Single-Target am aktiven mgr (10.0.20.60) → jeder mgr-Failover hätte ALLE Ceph-Alerts stumm gemacht (Standbys: 200/empty-body). Fix: Union über alle 5 mgr-Kandidaten (.50,.60,.70,.91,.92:9283) in prometheus.yml — aktiver mgr liefert, Standbys harmlos leer. TOTAL DOWN TARGETS: 0. Auch 10.0.20.70:9100 (node_exporter mit ceph-fill-collector) in Scrape-Ziele aufgenommen.
|
||||
- Zwischenfail: `aliases:`-Field in Alert-Regel ungültig (RuleNode kennt das nicht) → Prometheus Fatal. Behoben durch Entfernen + force-recreate.
|
||||
- SMART-Korrektur: Kingston SFYRDK2000G (osd.2-Träger) ist GESUND (wear 6 %, media_errors 0, spare 100 %, PoH 1469) — frühere "Austausch-Kandidatin"-These RETRAKIERT. Vorfall war Controller-/Fabric-Ebene. Neu beobachten: Temps 70/78 °C, T1-throttle 3×.
|
||||
- PAT-014 erweitert (Smart-Log-Abschnitt), ceph-cluster.md korrigiert, Commit cc2f237.
|
||||
|
||||
## [2026-09-30] ceph-osd-resurrection | NVMe-Revival osd.2 + osd.3-Weight-Drama + ubuntu-Hosts-Fix (PAT-014)
|
||||
- osd.2 (ubuntu, Kingston SFYRDK2000G) tot: NVMe-Controller state=dead, VG verschwunden, errno-5. Revival-Kette: PCI remove/rescan (Ctrl kam als nvme2 zurück!) → pvscan --cache → lvchange -ay -K (stale DM-Table) → dd-Lesetest 1,4 GB/s → chown ceph:ceph am Mapper-Device (udev-Falle) → ACTIVE, Weight 1.0, 495 GiB. Drive = Replacement-Kandidatin. *(Korrektur später am selben Tag: SMART-Audit → gesund, kein Austausch; siehe nächster Eintrag.)*
|
||||
- osd.3-Lehre: re-in mit Weight 1.0 → instant 96 % voll → backfillfull, 13 PGs blockiert. Korrekt: `crush reweight osd.3 0.05` + in. Cluster 17/17 up/in, Degraded 0,78 % fallend.
|
||||
- ubuntu-Hosts-Fix: `10.0.20.100 ubuntu` in /etc/hosts aller 8 PVE-Nodes → GUI-500 „hostname lookup failed" behoben.
|
||||
- Doc: bug-fixes/2026-09-30-ceph-osd2-nvme-resurrection-osd3-drain.md, Pattern PAT-014.
|
||||
|
||||
## [2026-09-30] watchdog-self-healed | Guardrail-Rollout begleitender Incidents (PAT-013)
|
||||
- Beim Guardrail-Rollout entdeckt: Phantom-ICMP-Targets .10/.20 lebten NOCHMAL im blackbox_icmp-Abschnitt (erste Bereinigung traf nur node_exporter-Liste) → HostUnreachableICMP-Alerts. Entfernt, 12 ICMP-Probes, alle grün.
|
||||
- Eigener Fehler: `grep -vn`-Rewrite fügte Zeilennummer-Präfixe ("1:global:") in prometheus.yml ein → Prometheus Crashloop. **Rescue-Pfad etabliert:** CT-Rootfs direkt am Host mounten (`mount /dev/rbd2 /mnt/...` — rbd2 = CT141-Disk), Fix außerhalb des pct-Kanals, Container recreation. Prometheus wieder HEALTHY, 28 Targets, DOWN=[], alle Rules ok.
|
||||
- **Lessons**: (a) NIEMALS `grep -n`-Ausgaben als Rewrite-Source verwenden; (b) LXC-Rootfs-Host-Mount = universeller Rescue-Kanal wenn pct exec zickt; (c) nach jedem Rewrite YAML-validieren BEVOR recreate.
|
||||
- Doc: bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md, Commit <SHA>.
|
||||
|
||||
## [2026-09-30] guardrails-live | Placement-Policies maschinell erzwingbar (PAT-012)
|
||||
- Zwei neue Rules in CT141 (`placement_guardrails`): PVEPlacementCeilingBreached (>70% RAM, 15m) + HVResidentSwapNonzero (>100MiB, 10m). Alle Rules health=ok.
|
||||
- Baseline: proxmox3 80,6% / p4 79,3% / p5 75,5% / p6 72,6% ÜBER Deckel → Warnbursts erwartet (Rebalancing-Backlog Richtung ms-a2-1/-2 mit 74%/Headroom).
|
||||
- Doc: architecture/2026-09-30-placement-guardrails-ram-ceiling.md, Commit 66f2172.
|
||||
|
||||
## [2026-09-30] webhook-fixed | PVE→Telegram Notification-Pipeline repariert (PAT-011)
|
||||
- Ursachenkette (dreifach gestapelt): Endpoint-Drift .99→.141 (Bridge wohnt in CT141), fehlender `body`-Attr (Leere Posts → 400), unescapte Handlebars-Interpolation (Apostrophe/Multiline → invalides JSON).
|
||||
- Fix: URL korrigiert, Body via pvesh (BASE64-Pflicht!) mit `{{escape title}}`/`{{escape message}}` (Space-Syntax, NICHT Colon). Offizieller Test grün, Bridge loggt POST /pve 200.
|
||||
- Diagnose-Technik: Mini-Sniffer (temp URL-Redirect, Bytes kapern, URL restaurieren) enthüllte exakten Wire-Body.
|
||||
- Doc: bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md, Commit 38622ff. Residue ge cleaned (HV+/tmp+lokales).
|
||||
|
||||
## [2026-09-30] legacy-alert-cleanup | Alerts bereinigt, mysqld_exporter VM300 nachgezogen
|
||||
- proxmox3 /boot/efi 100%: 17 alte Kernel-Pakete gepurged (-17/-19/-12 behalten) → 30%.
|
||||
- Phantom-Targets .10/.20 entfernt, ICMP→TCP-Probe für Offsite-PBS (ICMP upstream gefiltert) → 30 Targets.
|
||||
- VM300 mysqld_exporter 0.15.1 nachdeployt (war aspirational Target): GitHub-Download via qm guest exec+b64, exporter-User (vorgeschädigte exporter@localhost-Shadow!) PW-Align, UFW 9104←10.0.30.141. Alle 3 Galera-Exporte UP.
|
||||
- Cleanup: alle /tmp-Skripts (HV+CT141+VM300), lokale Scratch-Dirs entfernt.
|
||||
|
||||
## [2026-09-30] remediation-complete | Vorfall-Nacharbeiten: GPU restored, PSI/OOM-Alerts live, p6 entlastet
|
||||
- GPU (VM102/ms-a2-2): hostpci0 ohne x-vga restauriert → renderD128 lebt. **x-vga=1 bricht AMD-Passthrough** (SeaBIOS Shadow-ROM → VBIOS-Zugriff tot, amdgpu -22). Doc-Update in 2026-07-21-amd-gpu-passthrough-rombar.md.
|
||||
- Monitoring (CT141): Regelgruppe `pressure_alerts` (5 Regeln: PSI mem waiting/stalled, oom_kill, Swap-Churn, MajFault-Storm) live; node_exporter auf ms-a2-1/-2 nachinstalliert (Blindspots!), 32 Targets. **LXC-Bindmount-Inode-Trap:** sed-i/In-Place-Rewrites unsichtbar für Docker bis Force-Recreate → neues Doc.
|
||||
- proxmox6: VM301 → proxmox7 (HA relocate, na-vm301 live verifiziert). Swap 6,3G→0B, RAM 8,4/15G. Nur noch CT151 auf p6. Altlast-Alerts sichtbar geworden (NodeDown .10/.20 Phantoms, proxmox3 /boot/efi 100%, ICMP 213.95.54.60) — Cleanup offen.
|
||||
- Docs: bug-fixes/2026-09-30-prometheus-lxc-bindmount-inode-trap.md (neu), INDEX.md aktualisiert.
|
||||
|
||||
## [2026-09-30] incident-fix | worker-05 Freeze: proxmox6 Doppel-OOM → Zombie-VM (PAT-010)
|
||||
- Symptom: KubeDaemonSetRolloutStuck (Traefik DS misscheduled=1), worker-05 NotReady 19h
|
||||
- Root Cause: proxmox6 RAM-Oversubscription (~47.8 GB alloc / 16 GB, 7.3/8 GB Swap) → OOM-Killer tötete kvm (VM102) 2× (29.09. 18:43 + 20:44); 2. Revival = Zombie (QEMU running, Gast inert, RSS 239MB/12GB)
|
||||
- Diagnose-Signatur: `qm status --verbose` RSS-Kollaps + tote Guest-Agent + statischer Tap-TX
|
||||
- Fix: Laya CT152 → proxmox3 (Offline-Move 2s, shared RBD) → Druck raus; qm stop/start VM102 → HA replatzierte auf ms-a2-2 (60 GB frei, GPU-fähig!); uncordon → Node Ready, Traefik-Orphan self-reconciled, Alert cleared
|
||||
- Drift-Fund: frühere node-affinity `na-vm102` (NICHT ms-a2-2) existiert live nicht mehr
|
||||
- Offen: proxmox6 strukturell eng (28 GB alloc); PSI/OOM-Alerts pro PVE-Node fehlen komplett; GPU(renderD128)-Verifikation auf ms-a2-2 nach Return
|
||||
- Docs: docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md, patterns/pve-oom-frozen-guest.md (PAT-010)
|
||||
|
||||
## [2026-09-30] deployment | Sarah-Hermes VM107 — zweite Hermes-Instanz live
|
||||
- VM107 (n5pro, 10.0.30.66) via Tofu epic-8 deployed; Docker+UFW via Ansible (epic-7-Stil)
|
||||
- hermes-webui Single-Container :8787, LAN-only, Password-Auth; Secrets in 1P (sarah-hermes-webui, sarah-hermes-noris-key)
|
||||
- E2E verifiziert: Login 200, Agent-Antwort via vllm/release/glm-5-2 @ ai.noris.de
|
||||
- PITFALL: hermes-agent pyproject pinnt Core-Deps hinter python_version>='3.14'-Markers → auf Python 3.12 installiert `pip install -e .` NULL Deps ("AIAgent not available"). Fix: manuelle Pin-Installation + Missing-Import-Loop bis `import run_agent`
|
||||
- Backup: täglich 23:00 Job backup-2e8a34e3-66cb (all=1) deckt VM107; manueller Verify TASK OK 48s
|
||||
- Wiki: systems/sarah-hermes.md, ip-map.md erweitert; iac-homelab commits 0d5f017/1ce4816
|
||||
- OFFEN: Telegram-Bot blockiert auf BotFather-Token (Sarah/Dominik)
|
||||
|
||||
## [2026-09-29] bug-fix | KubeAPIErrorBudgetBurn — Ceph-CSI resize loop from missing controller-expand-secret
|
||||
- Root Cause: `ceph-flash` + `ceph-hdd-replica` StorageClasses created manually WITHOUT `controller-expand-secret-name/namespace` params
|
||||
- CNPG PVC resize (50→100Gi, 10→20Gi) triggered infinite CSI resizer retry loop ("provided secret is empty") → API server write pressure → etcd DeadlineExceeded → Handler timeout 5xx
|
||||
- Cordoning cp-03 amplified: CNPG switchover → operator reconcile storm (~60/min)
|
||||
- Fix: (1) Delete+recreate SCs with all secret refs, (2) Patch 6 PVs with controllerExpandSecretRef, (3) Restart CSI resizer, (4) Commit SCs to Git `clusters/main/storage/`, (5) Move Gitea off unstable worker-05
|
||||
- Worker-05 cordoned (repeated reboots, likely hypervisor issue on ms-a2-2)
|
||||
- Architectural risk documented: etcd on Ceph RBD (~20ms WAL fsync all CP nodes)
|
||||
- Solution doc: docs/solutions/bug-fixes/2026-09-29-kubeapi-error-budget-burn-ceph-csi-resize-loop.md
|
||||
|
||||
## [2026-09-27] bug-fix | Gitea CSI RBAC Fix + ArgoCD Verknüpfungs-Audit
|
||||
- Root Cause: Ceph CSI RBD `csi-attacher` fehlte `storage.k8s.io/csinodes` Berechtigung → VolumeAttachments pending → Gitea Pod 4+ Tage Init-crash
|
||||
- Fix: ClusterRole `ceph-rbd-external-attacher-runner` patched, provisioner Pods neu gestartet → alle 24 VolumeAttachments `true`
|
||||
- Gitea Pod + schoenkitchen runner durch Pod-Delete wiederhergestellt
|
||||
- ArgoCD Audit: 17/25 Apps via Gitea SSH, 20/25 Synced+Healthy
|
||||
- Known Issues: `gitea`/`authelia` Health=Progressing (Ingress-LB-IP Gap), `immich` doppelt verwaltet, `gitea-config` Deployment Drift
|
||||
- `DEFAULT_ACTIONS_URL=https://gitea.com` deprecated → Helm override auf `self` empfohlen
|
||||
- Wiki `systems/gitea.md` aktualisiert: Runner Status, Incident, ArgoCD Issues
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-09-27-gitea-csi-rbac-volumeattachment-fix.md`
|
||||
|
||||
## [2026-09-27] architecture | Memory Layer Restructuring + Laya Session-Nutzung
|
||||
- USER.md bereinigt: Infra-Fakten entfernt, nur noch User-Preferences/Safety-Rules (1.087/1.375 chars)
|
||||
- MEMORY.md ausgedünnt: 2.145→1.664 chars, alle Infra-Details zeigen auf Wiki-Seiten mit `→Wiki` Pointern
|
||||
- 4 neue Wiki-Seiten: systems/noris-ai, systems/frigate, systems/homeassistant, systems/paperless
|
||||
- Neues Concept: concepts/memory-layer-architecture — Entscheidungsbaum "was wohin gehört"
|
||||
- Hindsight Audit: massiv überladen mit veralteter Infra-Topologie. Going-Forward-Policy: nur noch semantische Pointer + Entscheidungen
|
||||
- LCM gesund: 7.590 messages, 34 DAG nodes, 21.2:1 compression ratio
|
||||
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
|
||||
|
||||
## [2026-09-27] architecture | Laya Email-Organizer Migration + Session-Nutzung
|
||||
- Rechnungen-Organizer Cron `f773f8c23230` von LLM-Agent → `no_agent` Script mit Laya migriert
|
||||
- 12 Kategorien, 3-Schichten-Safety (Confidence-Gate + Subject-Validierung + Move-Erfolg)
|
||||
- Globale Ordner (Rechnungen/Bestellungen/Gutschriften/Gutscheine) statt Monatssortierung
|
||||
- Wiki-Seite `systems/laya.md` erstellt mit Usage Guide für Session-Nutzung
|
||||
- User-Preference: Laya künftig in normalen Sessions nutzen (choice/noul/score)
|
||||
- Solution Doc: `docs/solutions/architecture/2026-09-27-laya-email-organizer-migration.md`
|
||||
|
||||
## [2026-09-17] workflow | CT108-Endausbau: Census, Ghost-Router CT99999, Alias-Repair, Stop
|
||||
- **Census (auth):** K8s=25 / CT108=31 / gemeinsam=23 — 22 Tips identisch, dominik/memory=K8s-Superset (enthält CT-Tip de97cd6d), nur-CT=8× PoC-Müll. Archiv: 29 Bare-Bundles 143 MB unter `/home/debian/git-archive/ct108-final/` (2 Failures = legitim leere Repos).
|
||||
- **Ghost-Router enttarnt:** CT99999 (Traefik-LXC auf proxmox7, 10.0.60.10) terminiert TLS für *.familie-schoen.com und forwardet plain HTTP an .203. `git.familie-schoen.com` → .105:3000 WAR der letzte Live-Konsument von CT108; `git.schoen.codes` lief längst per Double-Hop aufs K8s. Fix: gitea-service-Upstream → .203 (Backup `explicit-http.yml.bak-hermes-20260917`) + Alias-Host im K8s-Ingress (Commit `9e9b6ee`). Beide Hostnamen jetzt v1.27.0.
|
||||
- **Stop vollzogen (genehmigt):** `pct stop 108` auf ms-a2-2 (10.0.20.93) — connection-refused-Beweis, Fleet 22/25 Synced, Runner unversehrt. Wiki-Lügen korrigiert (ip-map behauptete „stopped" seit Wochen).
|
||||
- **Lessons:** 1P-SA braucht je Call `--vault`; `op read --reveal` existiert nicht (stdout=Secret); `op item get --reveal` maskiert nur Display (JSON-Captures intakt); `/repos/search` = `{ok,data}`-Envelope; blankes Token erzeugt glaubwürdig LEERE Census (Fast-Fehlentscheidung „K8s hat nur 2 Repos").
|
||||
- Docs: `docs/solutions/workflows/2026-09-17-ct108-full-decommission-census-router-topology.md` · Wiki: systems/gitea.md, reference/ip-map.md
|
||||
- Offen (je Freigabe): Zombie-Secret `argocd-repo-credentials` löschen; immich-Zwillings-App (toter rendered-Dump vom 01.08., Live gehört immich-config) entfernen.
|
||||
|
||||
## [2026-09-17] fix | Merge-Day-Kampagne abgeschlossen: Konvergenz + Autosync-Rennen + Live-State-Arbitrage
|
||||
- **Konvergenz DONE:** Merge `d76d3e8` (fork 46fa168, 24.07.) + Fixups `4987341`/`8c741c5` auf BEIDEN Remotes (CT108 + K8s-Gitea SSH 10.0.30.200). Ahead37/behind63-Narrativ endgültig begraben (Cache-Phantom). Single-Remote-Ziel erreicht: beide Tipps identisch.
|
||||
- **Autosync-Renne verarbeitet (4 Minentypen):** authelia Duplikat-Volume (union-merge) entfernt; homepage `authelia-auth`-Middleware restauriert (Jul-Entscheidung ging nie live); paperless plaintext-OIDC-Secret GELÖSCHT statt Wert-Rollback (ESO-Ownership seit 24.08., Quelle 1P); newborn-App ceph-csi-cephfs eingefroren (autosync-Block aus Git entfernt — Helm-Release 3.17.0 wartet auf Adoption; rbd-chart 3.10.1 weiterhin ungoverned, Backlog).
|
||||
- **3 Sync-Failures via Live-State-Arbitrage geheilt (alle Synced/Healthy @ 8c741c5):** (1) backups: VSC-CRD-Flavor-Falle — RKE2-Addon-CRD ist FLAT (driver/deletionPolicy top-level, `spec:` verboten!), Jul-Files waren für Upstream-Flavor korrekt; beide Files geflattet, cephfs-snapclass erstmals LIVE ERZEUGT. (2) databases: CNPG grow-only — Git auf 100Gi/20Gi hochaligned (Shrink verboten). (3) hindsight: VCT storageClassName immutable (hdd→flash aligniert), Live-Hotfixes gespiegelt (Node-Pin cp-01, ReadinessProbe draußen, secretKeyRef statt Klartext-PW). hindsight-postgres-0 rotierte sauber, PVC 47d Bound, API pollt.
|
||||
- **Push-Learned:** canonical-Push braucht EXPLIZITEN Key (`GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o IdentitiesOnly=yes"`) — kein ~/.ssh/config vorhanden, Default-Key lehnt ab.
|
||||
- **Chronisch (prä-merge, offen):** kube-prometheus-stack Synced/FAILED (CRD-Annotation >256kB); residual OutOfSync gitea-config (Deployment/gitea-runner) + immich-config (SA/CM-Reste) = Alt-Backlog, keine Regression.
|
||||
- **Finale Ordnung (nächste Schritte):** ① ArgoCD-Sources auf ssh://git@10.0.30.200:22 flippen (incl. Secret argocd-repo-credentials) ② CT108 final stoppen (explizite Freigabe Dominik) ③ CSI-Adoption ④ kpstack-CRD-Fix.
|
||||
- Docs: `docs/solutions/workflows/2026-09-17-argocd-autosync-race-four-mine-types.md` + `docs/solutions/bug-fixes/2026-09-17-live-state-arbitration-crd-flavors-hotfix-mirroring.md` · Morgen-Doc (.202-Empfehlung) korrigiert auf .200.
|
||||
|
||||
## [2026-09-17] bug-fix | Ghost-Instance-Regression: CT108-Gitea als ArgoCD-Source + gitea-backup RCA-Quality
|
||||
- gitea-backup-29826930 (03:30Z) failed: BackoffLimitExceeded, 3 Instant-Crashes in 73s. Zwei Auto-RCAs attribuierten auf 1P/ESO-Rate-Limit — STRUKTURELL widerlegt (crashing init-container gitea-files konsumiert keine Secrets; mounted Secrets intakt).
|
||||
- Echter Fund: ArgoCD-Apps (root/proxy/paperless/schoenkitchen/gitea-config) zogen von http://10.0.30.105:3000 = CT108-Ghost (nach Dekommissionierung 24.07. wieder eingeschaltet, stale Mirror ohne Hardening-Commit 2014673) → "Synced" maskierte fehlende failedJobsHistoryLimit-Felder live.
|
||||
- Sofortmassnahme: manueller Rerun gitea-backup-manual-161538 SUCCESS (201,7 MB, S3-Upload verifiziert), Failed-Job gelöscht, Alert clear.
|
||||
- Offen (awaiting owner): ArgoCD-Sources auf ssh://git@10.0.30.202:22 flippen, Repo-Divergenz ahead37/behind63 + tote HTTPS-Auth forensisch, CT108 final stoppen, ESO-Nachtsättigung (00:00Z-Fenster, cf. PAT-003) analysieren.
|
||||
- Doc: `docs/solutions/bug-fixes/2026-09-17-gitops-ghost-instance-regression-masked-hardening.md` · Wiki: systems/gitea (CT108-Status), concepts/gitops-workflow (Single-Remote-Regel)
|
||||
- **Abend-Phase:** SSH-Deny-Rootcause = keine Keys/Tokens im K8s-Gitea-DB registriert (Opfer der 01.08.-Migration) → via 1P-Token (hermes-gitops) re-registriert: User-Key + ArgoCD-Deploy-Key (beide end-to-end verifiziert, push dry-run OK). Echter Branch-Split am 24.07. entdeckt: K8s-Gitea-main=29.07.-Stand (b9d7441, 70 Commits incl. mariadb:11.4-Fix für gitea-backup), CT108/local=38 Commits ab 04.09. Hardening TTL=86400 + Exit-42-Guard via ArgoCD gelanded (a0c9b6b). Heutiger DB-Dump validiert (116 Tables, kompletter Trailer). Nächste Schritte: Historien-Konvergenz → Source-Flip → CT108-Stop (Freigabe).
|
||||
|
||||
## [2026-08-30] retro | Compound Learning Retrospective (Last 30 Days)
|
||||
- Reviewed sessions from Jul 31 – Aug 30, 2026
|
||||
- **4 new solution docs** written by subagents:
|
||||
- `bug-fixes/2026-08-05-ceph-squid-ec-pool-mark-complete-bug.md` — EC pool mark-complete fails in Squid
|
||||
- `bug-fixes/2026-08-06-traefik-cross-namespace-routing-pitfall.md` — Two Traefik 404 incidents
|
||||
- `architecture/2026-08-01-k8s-full-cluster-rebuild-procedure.md` — Full RKE2 rebuild sequence
|
||||
- `architecture/2026-08-01-immich-data-loss-no-backup.md` — Ceph redundancy ≠ backup
|
||||
- **2 new patterns** extracted:
|
||||
- PAT-008: Ansible default_ipv6 fact missing on fresh VMs
|
||||
- PAT-009: Stale NBD devices after RBD volume swap
|
||||
- **4 Hindsight entries** indexed with solution summaries
|
||||
- Key themes: K8s cluster disaster recovery, Ceph EC pool unrecoverability, Traefik routing complexity, backup gap identification
|
||||
|
||||
## [2026-08-30] feat | WikiSkill Patterns Directory + Skill-Impact Tracker
|
||||
- Analysed arXiv:2608.27454 (WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution)
|
||||
- **New `patterns/` directory** in LLM Wiki — structured failure-mode patterns inspired by WikiSkill's Wiki Layer
|
||||
- Created 7 initial pattern pages from existing MEMORY.md entries + solution docs:
|
||||
- PAT-001: Galera DDL TOI Deadlock
|
||||
- PAT-002: Traefik reload unreliable
|
||||
- PAT-003: 1Password account-level rate-limit
|
||||
- PAT-004: VFIO GPU passthrough race condition
|
||||
- PAT-005: Finanzblick sync WAF-blocked
|
||||
- PAT-006: LinkedIn React nativeInputSetter
|
||||
- PAT-007: Ceph EC pool + SSD wear-level
|
||||
- **Skill-Impact Tracker** (`patterns/skill-impact.md`) — audit trail for skill modifications (accept/reject history)
|
||||
- **Template** (`patterns/_template.md`) for future pattern creation
|
||||
- **compound-learning skill patched** — added Phase 4.8 (Pattern Extraction) + Phase 4.9 (Skill-Impact Tracking)
|
||||
- Updated index.md with Patterns section
|
||||
- Hindsight: indexed with tags architecture, wikiskill, patterns, skill-evolution
|
||||
|
||||
## [2026-08-13] feat | Memory Architecture Enhancement (arxiv 2602.06052v4)
|
||||
- Implemented 3 new automated memory capabilities from survey paper analysis:
|
||||
- **Decay & Importance Scoring** (`hindsight_decay_scoring.py`): Monthly cron (1st 03:30). Score = log(1+access)/log(51) × 0.5^(age/90d). Archives score<0.15 with 0 accesses. First run: 200 evaluated, 50 archived.
|
||||
- **User Drift Detection** (`user_drift_detection.py`): Weekly cron (Mon 04:00). Compares 14d vs 90d baseline for message length, frustration, corrections, topic shifts, style changes. First run: detected 3 drifts (41% longer msgs, new focus gitops, declining ai_ml).
|
||||
- **Skill Health Check** (`skill_health_check.py`): Weekly cron (Mon 04:30). Scans 187 active SKILL.md files for stubs, broken refs, missing pitfalls, staleness, duplicates. First run: 70 healthy, 117 warnings, 0 critical.
|
||||
- Cron jobs: 112c106c0954, 280458a2b035, 761b6694d99b (all no_agent, deliver=origin)
|
||||
- Wiki updated: systems/hindsight.md (meta-memory automation table expanded)
|
||||
- Hindsight: indexed with tags architecture, memory-system, cron, arxiv-2602.06052
|
||||
|
||||
## [2026-08-13] fix | Seafile Recovery + Paperless Upgrade + Authelia Ingress
|
||||
- **Gitea SSH access**: No SSH key on Hermes VM was authorized for Gitea. HTTP port 3000 has no external IngressRoute. Generated dedicated ED25519 key (`id_ed25519_gitea-hermes-push`), stored in 1Password (ID: lqaebdtewj5xatvpzfrkag73v4), registered in Gitea as key ID 4 for user dominik. SSH via `10.0.30.202:22` (LoadBalancer) is the reliable push path.
|
||||
- **Paperless v3 IngressRoute**: Host was `dokumente.familie-schoen.com` instead of `dokumente-neu.familie-schoen.com`. Two-track fix: kubectl patch (immediate) + Git commit `fa4184b` (permanent via ArgoCD self-heal). Backtick escaping in Traefik Host() match requires `--patch-file` not inline `--patch`.
|
||||
- Wiki updated: systems/gitea.md (SSH push key section), reference/ssh-keys.md (new key entry)
|
||||
- Solution docs: workflows/2026-07-26-gitea-ssh-access-for-hermes.md, bug-fixes/2026-07-26-paperless-ingressroute-hostname-fix.md
|
||||
- Hindsight: both solutions indexed with tags
|
||||
|
||||
## [2026-07-25] fix | Loki 500 Error + CNPG Leader Election + Stale Pods Cleanup
|
||||
- **Loki HTTP 500**: `replication_factor: 3` in hash ring with only 1 SingleBinary instance → "too many unhealthy instances in the ring". Chart v6.42.0 ignores `loki.common.replication_factor` — correct path is `loki.commonConfig.replication_factor`. Fix: commit `cb70d36`
|
||||
- **Memcached caches disabled**: `chunksCache.enabled: false`, `resultsCache.enabled: false` (SingleBinary doesn't need them). Commit `f8852e8`
|
||||
- **Fluent Bit**: cascading failure from Loki 500s — fixed automatically once Loki accepted pushes
|
||||
- **CNPG 28+129 restarts**: Leader election lease renewal failed during API server latency spikes (Ceph recovery I/O). Default 15s/10s too short. Fix: `--leader-lease-duration=60 --leader-renew-deadline=40` via `additionalArgs`. Commit `6ed4a53`
|
||||
- **17 stale node-debugger pods** deleted from default namespace
|
||||
- **OSDs 0+2 destroyed+purged** (proxmox2, SSDs with 92% wear + slow ops). CRUSH host proxmox2 removed. 13 OSDs remaining on 8 hosts.
|
||||
- Wiki updated: ceph-cluster.md, loki-fluentbit.md
|
||||
|
||||
## [2026-07-25] fix | Memory Sync Broken — HTTP→HTTPS + Ceph Duplicate
|
||||
- Git push failed: remote URL used `http://` but Gitea redirects to `https://` — git doesn't follow auth redirects
|
||||
- Token itself was valid (same as ArgoCD `argocd-repo-credentials`), just wrong protocol
|
||||
- Fixed: `git remote set-url` to `https://`
|
||||
- Eliminated duplicate: `systems/ceph.md` (82 lines, no frontmatter) merged into `systems/ceph-cluster.md` (canonical, referenced in index.md)
|
||||
- Fixed sync script: removed `--allow-empty` flag, improved change detection
|
||||
|
||||
## [2026-07-24] fix | Velero CSI Volume Snapshots Three-Layer Fix
|
||||
- Velero backups PartiallyFailed for 121 days — all PVCs skipped
|
||||
- Fix 1: Created VolumeSnapshotClass `ceph-rbd-snapclass` (rbd.csi.ceph.com)
|
||||
- Fix 2: Migrated ArgoCD repoURLs from dead Gitea (10.0.30.105) to new (ssh://git@10.0.30.202:22)
|
||||
- Gitea SSH user is `git` not `gitea`; git.schoen.codes → Traefik (10.0.30.208), SSH on 10.0.30.202
|
||||
- New SSH deploy key generated, added to Gitea repo
|
||||
- Fix 3: `features: EnableCSI` must be under `configuration:` in Velero Helm values (not top-level)
|
||||
- Must be string, not array — array form breaks Helm template
|
||||
- Verified: test backup created VolumeSnapshot + VolumeSnapshotContent, uploaded to S3 ✅
|
||||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-velero-csi-snapshots-three-layer-fix.md
|
||||
- Commits: 5ebfa30, 19f35bc, cd18c58, baf85f5, f652bfb
|
||||
|
||||
## [2026-07-24] fix | VFIO Module Loading Race Condition RCA + Fix
|
||||
- RCA: GPU passthrough failed on ms-a2-1 due to missing modprobe config (NOT kernel version)
|
||||
- Root cause: Missing `softdep amdgpu pre: vfio-pci` + incomplete DRM blacklist → race condition (302s vs 2.4s bind time)
|
||||
- Fix applied to ms-a2-1: Added `blacklist drm`, `blacklist drm_kms_helper`, `softdep amdgpu pre: vfio-pci`, rebuilt initramfs
|
||||
- Verification pending (reboot required, 4 VMs + OSD 13 on ms-a2-1)
|
||||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-vfio-pci-module-loading-race-condition.md
|
||||
- Also documented: K8s persistent storage architecture (all PVCs on Ceph RBD, 3x replication)
|
||||
- Solution doc: docs/solutions/architecture/2026-07-24-k8s-persistent-storage-ceph-rbd.md
|
||||
|
||||
## [2026-07-24] fix | worker-05 GPU Passthrough — Move to ms-a2-2
|
||||
- Problem: worker-05 (VM 102) on ms-a2-1 had kernel BUG with 1002:13c0 GPU — /dev/dri/renderD128 missing
|
||||
- ms-a2-1 and ms-a2-2 have identical hardware (AMD Ryzen 9 9955HX, GPU 1002:13c0)
|
||||
- Solution: Moved VM 102 from ms-a2-1 to ms-a2-2 (offline migration, Ceph RBD shared storage)
|
||||
- Result: renderD128 ✅ visible in guest, amdgpu driver loaded, all pods running
|
||||
- IaC: main.tf cleaned up — single unified rke2_worker block, worker-05 node=ms-a2-2, worker-06 removed
|
||||
- PCI mapping: amd-gpu now includes n5pro + ms-a2-1 + ms-a2-2
|
||||
- Commit: 21bd335
|
||||
- Also: ms-a2-2 upgraded PVE 9.1.1→9.2.5, kernel 7.0.14-6-pve, VFIO persistent after reboot, HA integrated
|
||||
|
||||
## [2026-07-24] init | ms-a2-2 Node Initialization
|
||||
- New Proxmox node ms-a2-2 (10.0.20.93, nodeid 1) joined cluster
|
||||
- Hardware: AMD Ryzen 9 9955HX (32 threads), 91GB RAM, 1.8TB NVMe
|
||||
- GPU: AMD Radeon 1002:13c0 (identical to ms-a2-1) — VFIO passthrough configured
|
||||
- PCI mapping: amd-gpu-ms-a2-2 created, added to generic amd-gpu mapping
|
||||
- Ceph OSD 14: created on nvme0n1 (1.8TB SSD), class ssd, weight 1.82
|
||||
- Fluent-bit: installed + configured (hostname adapted to ms-a2-2)
|
||||
- APT sources: fixed from enterprise to no-subscription (ceph + pve)
|
||||
- LLM Wiki: ip-map.md, ceph.md updated; AGENTS.md updated (9 nodes)
|
||||
- Note: PVE 9.1.1 on ms-a2-2 (rest of cluster is 9.2.3) — upgrade pending
|
||||
|
||||
## [2026-07-24] cleanup | proxmox1 Permanent Removal + Ceph PG Fixes
|
||||
- Removed proxmox1 from Ceph CRUSH (empty host bucket, weight 0)
|
||||
- Also removed stale empty buckets: proxmox, px-tmp20
|
||||
- Updated corosync.conf: removed proxmox1 node entry, config_version 14→15, expected_votes 9→8
|
||||
- Removed stale /etc/pve/nodes/{proxmox1,proxmox,pve,px-tmp20}
|
||||
- Updated IaC: proxmox_api_url 10.0.20.10→10.0.20.91, template_node proxmox1→n5pro, target_nodes list updated
|
||||
- Updated AGENTS.md topology (9→8 nodes), LLM Wiki ip-map.md + ceph.md
|
||||
- Commit: 469d29d
|
||||
- Additional: Manual pg-upmap for stuck PGs 5.13→[1,6,7], 6.6c→[11,8,7] — all clean+remapped eliminated
|
||||
|
||||
## [2026-07-24] fix | Ceph Remapped PGs — Weight Imbalance + pg_num Mismatch
|
||||
- RCA: 11 active+clean+remapped PGs caused by CRUSH placement failure
|
||||
- Root cause 1: Pool 6 (hdd_disk) pg_num=120 ≠ pgp_num=112 (autoscaler mid-merge)
|
||||
- Root cause 2: Extreme HDD host weight imbalance (n5pro=10TB vs proxmox6=0.3TB)
|
||||
- Fix: Equalized pg_num→112, set nopgchange=true, reweighted osd.7 0.80→1.0
|
||||
- Result: 9/11 PGs recovering (backfilling at 36MiB/s), 2 cosmetic clean+remapped remain
|
||||
- Created systems/ceph.md with full OSD/pool/CRUSH documentation
|
||||
|
||||
## [2026-07-24] update | Gitea Actions K8s Runner Bug + DinD Pitfalls
|
||||
- Documented Gitea 1.27.0 bug: actions_ready_job queue doesn't assign tasks to K8s-based runners
|
||||
- Updated systems/gitea.md with known issue, DinD pitfalls, runner management via DB
|
||||
- Solution doc: docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md
|
||||
- IaC committed: runner-deployment.yaml + runner-config.yaml (DinD TCP sidecar pattern)
|
||||
|
||||
## [2026-04-28] init | Memory System Created
|
||||
- Created memory directory structure at ~/.hermes/memory
|
||||
- Installed qmd 2.1.0 (Query Markup Documents)
|
||||
- Created initial index.md with entities, concepts, and sources
|
||||
- Created Entity pages: Infrastructure, Email-System, Health-Fitness, Team-Structure, Memory-System
|
||||
- Created Concept pages: Network-Architecture, Email-Organization, Monitoring-System, Proxmox-Cluster, qmd-Knowledge-Base
|
||||
- Initialized git repo, pushed to origin/main
|
||||
|
||||
## [2026-04-29] fix | Memory Process Established
|
||||
- Corrected stale memory-entry-001.md
|
||||
- Established protocol: memory update + git sync on every session
|
||||
|
||||
## [2026-04-30] ingest | cloud.familie-schoen.com
|
||||
- Full port scan, DNS, SSL, HTTP headers, API analysis
|
||||
- Identified: Seafile 13.0.19 on nginx, Let's Encrypt SSL
|
||||
|
||||
## [2026-07-24] restructure | Full Wiki Restructuring
|
||||
- Deleted 5 root-duplicate files (dominik-schoen, email-organization, team-structure, llm-wiki-pattern, embedding-model)
|
||||
- Deleted obsolete Entities/Memory-System.md, Concepts/qmd-Knowledge-Base.md
|
||||
- Deleted raw/articles/ and memory-entry-001/002.md (stale)
|
||||
- Renamed Entities/ → entities/, Concepts/ → concepts/ (lowercase)
|
||||
- Created new directories: systems/, reference/
|
||||
- Moved Proxmox-Cluster, Monitoring-System, seafile to systems/
|
||||
- Updated all existing pages with current data (April → July 2026):
|
||||
- Infrastructure: 2 Nodes → 9 Nodes, added Ceph/RKE2/Galera/Loki
|
||||
- Proxmox-Cluster: PVE 9.2.3, 9 Nodes, Fluent Bit details, PVE Tasks, Ceph Audit
|
||||
- Network-Architecture: cleaned up, links to reference pages
|
||||
- Monitoring: Prometheus/Grafana/Loki/HolmesGPT (was just "weekly network scans")
|
||||
- Created 6 new system pages: ceph-cluster, rke2-kubernetes, galera-maxscale, loki-fluentbit, gitea, hindsight
|
||||
- Created 3 reference pages: ip-map, ssh-keys, ports
|
||||
- Created 2 concept pages: gitops-workflow, credential-policy
|
||||
- Rewrote index.md with new structure + Memory Layer Architecture table
|
||||
- Total: 18 pages (was 21 with dupes, now 18 clean unique pages)
|
||||
|
||||
## [2026-09-29] update | VM302 Zombie-Recovery nach Migration
|
||||
- VM302 (Galera db3) reagierte nach Migration auf ms-a2-2 nicht: QEMU "running", aber SSH/MariaDB/QGA tot
|
||||
- Root Cause: Post-Migration-Zombie; -incoming/-S in QEMU-Cmdline ist Artefakt, kein Beweis für Pause
|
||||
- Fix: qm stop/start trotz HA-Guard, SST-Rejoin ~2-3min
|
||||
- Endstand: 3/3 Synced, Primary, MaxScale alle Server Running
|
||||
- Solution Doc: docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md
|
||||
- Zusätzlich: Home Assistant Core Restart via REST API erfolgreich (Version 2026.9.3, RUNNING)
|
||||
|
||||
## 2026-10-08 — NUT-Shutdown-Kaskade clusterweit (epic-9 Finale)
|
||||
- GO: NAS-Treiber entfernen + nut-monitor-Kaskade aktivieren
|
||||
- Master ms-a2-1: upsmon MASTER + upssched (ONBATT>60s → FSD, LOWBATT → Sofort-FSD, HOSTSYNC 45)
|
||||
- 7 PVE-Slaves + NAS als NETCLIENTS, NAS-Altlast gepurged (Crashloop tot)
|
||||
- FSWEEP: 9/9 nut-monitor active+enabled; HA-NUT-Entry bleibt loaded
|
||||
- Commits adb4dcc/beee480; Neue Wikiseite systems/nut.md + Index
|
||||
- Nebenfunde: n5pro pgdg-Repo kaputt (braucht GO); Hermes-Root-FS war 100% voll (Backups → NAS)
|
||||
- Quality-Gate-Lektion: Syntax-Check fing 2 korrupte Writes (Volldisk-Ursache)
|
||||
|
||||
## 2026-10-08 — Disk-Audit hermes-agent-01 + Offsite-Backup-RCA
|
||||
- Root-FS 96%→72% (21,7G frei): 10x hermes-backup Tarballs (18,9G) nach SHA256-Verifikation (10/10 identisch) auf NAS geloescht
|
||||
- RCA Offsite-Backup: hermes-backup.service Exit 127 'aws: command not found' (systemd-PATH ohne ~/.local/bin) seit >=27.09. TA EGLICH; Offsite war TOOT
|
||||
- Fix: Skript (AWS_BIN absolut + trap EXIT-Cleanup), systemd-Drop-in (PATH + TimeoutStartSec 3600); Prod-Lauf SUCCESS, S3-Objekt 2.284.533.218B verifiziert
|
||||
- n5pro pgdg.list disabled (syntaktisch defekt, nie genutzt) -> apt update gruenn
|
||||
- NUT-Watchdog-Cron 4cbf03ccb4de (1/min, rohes NUT-Proto, quiet-if-ok, 10min-Throttle) 7/7 Tests
|
||||
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
|
||||
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
|
||||
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
|
||||
Binary file not shown.
|
After Width: | Height: | Size: 94 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 787 KiB |
@@ -0,0 +1,151 @@
|
||||
---
|
||||
title: "BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses: Fakten, Reaktionen und Argumente"
|
||||
category: concepts
|
||||
tags: [baykibig, kita, elternbeitrag, elternbeirat, kommunalpolitik, freystadt, neumarkt]
|
||||
created: "2026-11-11"
|
||||
modified: "2026-11-11"
|
||||
---
|
||||
|
||||
# BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses
|
||||
|
||||
> Recherche-Grundlage für den gemeinsamen Brief der Freystädter Elternbeiräte an
|
||||
> Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (Landratsamt Neumarkt i.d.OPf.).
|
||||
> Stand: 11.11.2026. Rechtsgrundlage: BayKiBiG-Änderungsgesetz vom 30.07.2026 (GVBl. 2026 S. 401), in Kraft ab 01.01.2027.
|
||||
|
||||
## Ausgangslage
|
||||
|
||||
- **Bisher (Art. 23 Abs. 3 BayKiBiG a.F.):** 100 €/Monat je Kindergartenkind, ab 1. September des Kalenderjahres des 3. Geburtstags bis Schuleintritt. Auszahlung lief über kindbezogene Förderung an die Gemeinden → Träger; Träger waren **gesetzlich verpflichtet**, die Elternbeiträge um 100 € zu ermäßigen. Galt für kommunale, freie und kirchliche Kitas.
|
||||
- **Reform:** Landtagsbeschluss 22.07.2026, Verkündung 30.07.2026, Inkrafttreten 01.01.2027. Der Beitragszuschuss wird als eigene Förderkomponente abgeschafft; die Mittel fließen in den **Qualitätsbonus** (Betriebskostenförderung). Die Pflicht zur Abzugsstaffelung entfällt – die Gesetzesbegründung enthält nur noch die „Erwartung", dass Träger die Beiträge „nur in entsprechend reduziertem Umfang" erheben (SZ: „entfällt formal die förderrechtliche Vorgabe").
|
||||
- **Staatsregierung/StMAS-Position:** Der Zuschuss werde „nur formell" abgeschafft; das Mittelvolumen bleibe in voller Höhe im System; „kein einziger Cent verloren". Der Wegfall als eigener Posten sei „für sich genommen kein Anlass für höhere Elternbeiträge". Kinderbetreuung sei kommunale Pflichtaufgabe – die Beitragshöhe legen Träger und Kommunen fest (§ 90 Abs. 1 SGB VIII, Wunsch- und Wahlrecht § 5 SGB VIII).
|
||||
- **Förderzahlen:** Qualitätsbonus je Kind/Jahr 268,01 € (2026) → vorläufig 693,28 € (2027), 852,36 € (2028), 857,87 € (2029); neu: **Teamkräftepauschale** (2027 ca. 284 Mio. €, ab 2028 ca. 400 Mio. €/Jahr) und **Funktionsstellenpauschale** (ca. 29,4 Mio. €/Jahr). Betriebskostenförderung im Endausbau +25 % (knapp 800 Mio. €/Jahr mehr); 2026 bereits +280 Mio. € (>10 %).
|
||||
- **Kontext Leistungskürzungen:** Familiengeld und Krippengeld fielen für ab 2025 Geborene weg; das geplante Kinderstartgeld (3.000 €) kippte das Kabinett im November 2025. Mit dem Beitragszuschuss endet 2027 die letzte direkte Eltern-Entlastung kleiner Kinder.
|
||||
|
||||
## Wirkung auf Eltern
|
||||
|
||||
- Ohne kommunalen/trägerseitigen Ausgleich zahlen Kindergarten-Eltern ab 01.01.2027 **100 €/Monat = 1.200 €/Jahr je Kind** mehr (Beispiel Bayreuth: 160 € → 260 € bei 6–7 h; Regensburg: 20 € → 120 € bei 6–7 h).
|
||||
- Krippen- und Hortkinder hatten den Zuschuss nie; für sie fielen stattdessen Krippengeld/Familiengeld weg (Lohr: auch Krippen-Eltern „quasi 100 € mehr").
|
||||
- Betroffen sind vor allem **Selbstzahler-Familien**: Kein Anspruch auf § 90 Abs. 4 SGB VIII (Jugendamt-Übernahme bei Unzumutbarkeit), aber zugleich keine Arbeitgeber- oder Sozial-Leistungen.
|
||||
- Landeselternbeirat-Vorsitzende Monika Golling (LEB): Kita werde für viele Familien „zum unbezahlbaren Luxus", LEB spricht von „sozialer Ausgrenzung".
|
||||
|
||||
## Stellungnahmen der Verbände (Verbändeanhörung 2026)
|
||||
|
||||
| Verband | Kernaussage |
|
||||
|---|---|
|
||||
| **Landeselternbeirat (LEB)** | Umstellung muss „kostenneutral und transparent" erfolgen, keine indirekten Beitragserhöhungen; 100 € müssen „verpflichtend, unmittelbar und nachweisbar beitragsmindernd" überführt werden; Elternbeiträge im ersten Jahr stabil halten |
|
||||
| **LAG Ö|F (17.04.2026)** | Reform behebt strukturelle Unterfinanzierung nicht; ohne Dynamisierung des Qualitätsbonus sind Beitragserhöhungen „unumgänglich"; warnt vor Erwartungen, die das System nicht erfüllen kann |
|
||||
| **Verband kath. Kindertageseinrichtungen** | 100 € zweckgebunden beibehalten (Entlastung vor Ort, Planungssicherheit); spricht sich angesichts der Defizite für „Aussetzung der Stabilisierung" aus – Träger werden Beiträge anpassen; Geschäftsführerin Glawogger-Feucht: „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen" |
|
||||
| **KEG Bayern** | Transparente Gegenüberstellung von Mehrkosten und zusätzlichen Fördermitteln; Beiträge nach Möglichkeit stabil halten; gezielte Entlastung z. B. Mittagessen |
|
||||
| **GEW Bayern / evang. Kita-Verband / LAG Elterninitiativen** | befürchten steigende Beiträge; Wegfall wird sich „deutlich bemerkbar machen"; Familien „doppelt belastet" |
|
||||
| **Bayerischer Städtetag** | Gesetzentwurf erreicht „keine dauerhaft kostendeckende Finanzierung der Betriebskosten und springt daher leider zu kurz"; angemessene Elternbeiträge dringend nötig |
|
||||
| **BRK (Träger)** | Beiträge werden „laut Ordnung" berechnet, nur ohne die 100 € Entlastung; Weitergabe sei angesichts der Kosten „nicht realistisch"; wirtschaftliches Risiko liege bei den Trägern |
|
||||
|
||||
## Kommunale Entscheidungen (Auswahl, Stand Nov. 2026)
|
||||
|
||||
| Kommune | Entscheidung 2027 | Quelle |
|
||||
|---|---|---|
|
||||
| **München** | Übergangsregelung: bisherige Ermäßigungen für anspruchsberechtigte Kinder werden 01.01.–31.08.2027 fortgeführt; Beiträge bleiben bis Ende des Kitajahres unverändert; Gebührenanpassung erst ab Sept. 2027 | stadt.muenchen.de |
|
||||
| **Ingolstadt** | gibt den Zuschuss für städtische Einrichtungen weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Hollfeld (Lkr. Bayreuth)** | gibt 60 von 100 € an Eltern weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Augsburg** | +100 €/Monat; verzichtet dafür auf die geplante 3-%-Erhöhung 2027 | augsburg.de/kitakosten2027 |
|
||||
| **Nürnberg** | Elternbeitrag wieder in voller Höhe; reguläre Erhöhung auf Jan. 2028 verschoben; auch Krippen-Entlastung (einkommensabhängig) entfällt | nordbayern.de |
|
||||
| **Regensburg** | Keine Änderung der städtischen Gebührensatzung → Zahlbetrag +100 €; Übernahme des Zuschusses würde ca. 5,04 Mio. €/Jahr kosten (4.200 Kinder); freie Träger passen vereinzelt an | regensburg.de |
|
||||
| **Kaufbeuren** | Gebühren unverändert, **kein kommunaler Ausgleich** → +100 €; Begründung: Defizit ~15 Mio. €/Jahr, ~8.000 € Eigenanteil je Platz; Stadtrat 27.10.2026 mit großer Mehrheit, vollem Saal | kaufbeuren.de |
|
||||
| **Erlangen** | Stadtrat 29.10.2026: kein Ausgleich; freie Träger signalisieren Weitergabe des Wegfalls an Eltern (~3.500 Kinder betroffen); § 90-4-Übernahme bleibt | ratsinfo.erlangen.de |
|
||||
| **Raubling** | Gemeinderat beschließt: kein Ausgleich, reguläre Gebührensatzung → +100 €; Beiträge 2027/28 nicht erhöht; freiwilliger Ausgleich hätte ~370.000 €/Jahr gekostet | raubling.de |
|
||||
| **Feldkirchen-Westerham** | Gebühren stabil, verzichtet auf Sept.-2027-Erhöhung; Ersatz des staatlichen Zuschusses „angesichts der Haushaltslage" nicht möglich | feldkirchen-westerham.de |
|
||||
| **Lohr a. Main** | 4. Änderungssatzung: Abzugs-Passage gestrichen, Gebührentabelle unverändert → Zahlbetrag +100 €; Elternanteil an Gesamtfinanzierung 9,4 % (2026) → 15,3 % (2027, Planung) | lohr.de |
|
||||
| **Coburg** | informiert; Übernahme wäre „neue freiwillige Leistung", keine Verpflichtung; Beispiel: 150 € → bisher 50 € effective → künftig 150 € | coburg.de |
|
||||
| **Egling** | Träger prüfen Beitragsstruktur; Gemeinderatsentscheid Sept. 2026; entfallener Zuschuss musste wegen Gebührenbescheiden bereits vorab eingerechnet werden | egling.de |
|
||||
| **Bayreuth** | Trägerversammlung 09.10.2026: **kein Weitergeben**; „Stadt kann es sich nicht leisten"; GEB protestiert öffentlich | bayreuther-tagblatt.de |
|
||||
|
||||
## Eltern-Initiativen und Petitionen
|
||||
|
||||
- **Gesamtelternbeirat Bayreuth (GEB):** Pressemitteilung gegen den Trägerbeschluss – „versteckte de facto Erhöhung der Elternbeiträge um 100 Euro pro Kind pro Monat … für die selbstzahlenden Eltern"; „Staatsregierung und Träger bestätigen, dass nun mehr Geld im System sei – dennoch werden die Eltern zur Kasse gebeten." Rechnet vor: Qualitätsbonus 268 → 693 € **plus** Teamkräfte-Pauschale (~500 €/Kind/Jahr). Befürchtet: mehr Jugendamts-Anträge, leer bleibende Plätze, Kürzertreten vor allem von Müttern. Forderung: Stadt und Träger sollen sich bei Staatsregierung, Landtagsabgeordneten und Städte-/Gemeindetag für gerechtere Finanzierung einsetzen.
|
||||
- **Illertissen (Elternbeiräte):** Gemeinsamer Appell der Elternbeiräte aus (nach Auskunft des Artikels) sieben Kitas an den Stadtrat mit knapp **400 Unterschriften**. Kern: „Bitte setzen Sie sich für uns ein, dass die durch die Reform entstehenden finanziellen Belastungen nicht unmittelbar und unkompensiert auf die Eltern abgewälzt werden." Vor einer Entscheidung über Anpassungen sollen die konkreten finanziellen Auswirkungen auf die Familien offengelegt und kommunale Ausgleichsmaßnahmen geprüft werden. Argumente: Erwerbstätigkeit/Teilzeit (v. a. Mütter, Rentenansprüche), Fachkräftebedarf, „Korridorkinder" (Juli–September-Geborene), Bildungschancen und soziale Teilhabe; Verständnis für kommunale Herausforderungen wird ausdrücklich bekundet.
|
||||
- **Ernsgaden (openpetition, seit 15.09.2026):** Petition an Bürgermeister und Gemeinderat: Dialog suchen, bevor finale Beschlüsse gefasst werden; prüfen, wie die 100 € ganz oder teilweise weitergegeben werden; „familienfreundliche Gemeinde aktiv mit Leben füllen".
|
||||
- **Kolbermoor (WeAct/Campact):** „Kinderbetreuung muss bezahlbar bleiben – Nein zur Erhöhung der Kita-Beiträge"; Beiträge so gestalten, dass der Wegfall des Zuschusses ausgeglichen wird.
|
||||
- **change.org (landesweit):** „100-Euro-Kita-Zuschuss für Familien auch nach 2027 verbindlich sichern" – an Bayerische Staatsregierung und Landtag; Initiatorkreis um Laura Weidinger (Landeselternbeirat-Umfeld): „Zwei-Klassen-System", Teilzeit rechne sich nicht mehr.
|
||||
|
||||
## Politische Debatte
|
||||
|
||||
- **Scharf (CSU-Familienministerin) vs. Krause (München, Grüne):** OB Krause: Freistaat „streicht" den Zuschuss, „das können wir nicht abfedern"; Scharf nennt das „Fake News" – die Finanzierung werde „lediglich umgestellt". (SZ, Nov. 2026)
|
||||
- **SPD (Doris Rauscher):** „die Elterngebühren werden steigen"; vergeblicher Landtags-Antrag, den Eltern-Zuschuss zu erhalten.
|
||||
- **CSU (Thomas Huber):** „Wir kürzen nicht, sondern investieren dauerhaft deutlich mehr"; keine automatische Mehrbelastung; Mittel des Beitragszuschusses per Änderungsantrag „vollständig im Qualitätsbonus gesetzlich abgesichert".
|
||||
- **Landtagsanhörung:** Träger und Verbände begrüßen die Reform, kritisieren Details; Glawogger-Feucht: kein Zwang zur Weitergabe mehr – „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen."
|
||||
|
||||
## Argumente für den gemeinsamen Brief der Freystädter Elternbeiräte
|
||||
|
||||
1. **Zahlen nachvollziehbar machen (auch nach der Trägerentscheidung):** Öffentliche, prüfbare Gegenüberstellung je Einrichtung – zusätzliche Fördermittel (Qualitätsbonus 693 €/Kind/Jahr, Teamkräfte- und Funktionsstellenpauschale) versus tatsächliche Mehrkosten. So fordern es KEG Bayern und die Illertisser Elternbeiräte; das StMAS selbst sagt, der Wegfall sei „kein Anlass für höhere Elternbeiträge" – die Eltern sollen die Entscheidung der Träger einordnen können.
|
||||
2. **Ausgleich ist machbar:** München (fortgeführte Ermäßigungen bis 31.08.2027), Ingolstadt (städtische Einrichtungen), Hollfeld (60 €) zeigen: Ganz oder teilweise weitergeben geht. Augsburg und Nürnberg begrenzen (keine/verschobene Erhöhung). Für eine kleine Großgemeinde mit ~500 Kita-Kindern ist auch eine **Teilkompensation** ein glaubhafter Mittelweg.
|
||||
3. **Wer wirklich zahlt:** Die Betroffenen sind Selbstzahler-Familien ohne Förderanspruch. § 90 Abs. 4 SGB VIII fängt Geringverdiener auf – nicht die Mittelschicht. Der GEB Bayreuth warnt: Anträge verlagern die Kosten zur klammen Kommune zurück.
|
||||
4. **Erwerbs- und Bildungsargument:** Ohne Entlastung lohnt Teilzeit vor allem für Mütter nicht mehr (Altersvorsorge!), Kindergartenplätze könnten leer bleiben, „Korridorkinder" verlieren ein Förderjahr – mit Folgen für Schulfähigkeit, Fachkräftebedarf und demografische Entwicklung im ländlichen Raum (Illertisser Argumentation).
|
||||
5. **Dialog und kommunale Entlastung:** Ernsgaden und Illertissen zeigen den Weg: Unterschriften, Appell, Gesprächsangebot – konfrontativ ist niemand aufgetreten. Nach der Trägerentscheidung liegt der Hebel bei der Kommune: Übergangsleistung (München-Modell), Teilkompensation (Hollfeld: 60 €), Anhebung Geschwisterermäßigung oder Übernahme des Verpflegungsgeldes (KEG-Empfehlung).
|
||||
6. **Hebel nach oben:** Städtetag („springt zu kurz"), LAG Ö|F, kath. Kitaverband und KEG fordern Dynamisierung des Qualitätsbonus und ehrliche Kommunikation. Bürgermeister und Landrat können das Thema über Städtetag/Landtagsabgeordnete nach München tragen.
|
||||
|
||||
## Kontext Freystadt / Neumarkt (Großgemeinde)
|
||||
|
||||
- **Fünf Kitas, ~500 Kinder:** Kath. Kita Peter und Paul (Freystadt, Bistum Eichstätt), Evang. Kindergarten Freystadt (ELKB), **Kinderhaus St. Anton (Möning, Kath. Kirchenstiftung)**, Evang. Kita Sulzkirchen (ELKB), Kita St. Stephanus (Thannhausen). Zentrale Online-Bedarfsanmeldung über die Stadt Freystadt (01.02.–15.03. fürs Folgejahr).
|
||||
- **Ansprechpartner:** Bürgermeister Tobias Maget, Stadt Freystadt, Marktplatz 1, 92342 Freystadt, Tel. 09179 9490-0, E-Mail info@freystadt.de · Landrat Martin Meier, Landratsamt Neumarkt i.d.OPf., Nürnberger Straße 1, 92318 Neumarkt i.d.OPf., Tel. 09181 470-0.
|
||||
- **Haushalt 2026 (Stadt Freystadt):** Verwaltungshaushalt 24.903.750 € + Vermögenshaushalt 11.549.250 € = **Gesamthaushalt ≈ 36,45 Mio €** (Haushaltssatzung beschlossen 13.01.2026, Mitteilungsblatt 06/2026); Breitband 2026: 395.000 € (Mittelbayerische, 17.12.2025); SPD-Stadtrat Großhauser attestiert hohe Schuldenlast, steigende Kreisumlage und in Projekte gebundene Mittel. **Brief-Argument:** Volle Kompensation ≈ 420.000 €/Jahr (≈350 Kindergartenkinder × 100 € × 12) ≈ 1,2 % des Gesamthaushalts; Teilkompensation 50 € ≈ 210.000 € ≈ 0,6 % – im Gesamtvolumen eine Frage der Prioritäten, nicht der Größenordnung. (Kinderzahl ~350 = Schätzung aus ~500 Kita-Kindern; vor Versand mit realer Zahl prüfen.)
|
||||
- **Status Träger-Entscheidungen Freystadt:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 € ab 01.01.2027 **von den Eltern getragen werden** (Kenntnisstand Elternbeiräte, 11.11.2026; keine öffentliche Bekanntmachung einer kommunalen Ausgleichsleistung). Der Brief-Aufhänger ist entsprechend angepasst: nicht „Transparenz vor Beschluss", sondern **kommunale Entlastung nach der Trägerentscheidung** – Übergangsleistung, Teilkompensation, Entlastung Verpflegungsgeld, § 90-4-Information.
|
||||
- **Eigene Vorarbeit:** Elterninfo „Der 100-Euro-Kita-Zuschuss ändert sich ab 2027 – Möglichkeiten zur finanziellen Entlastung" (2 Seiten A4, Fassung 2, inkl. Arbeitgeberzuschuss § 3 Nr. 33 EStG, Musteranschreiben, Quellen) – als **Anlage** zum Brief geeignet.
|
||||
- Die Stadt Freystadt ist umliegender Jugendhilfe-/Zuschussebene via Defizitverträgen mit den kirchlichen Trägern verbunden; das Landratsamt ist Jugendamt (§ 90-4-Übernahmen) und überörtliche Fürsprecher-Ebene.
|
||||
|
||||
## Neue Belege (11.11.2026): IfKM-Fördermittelrechnung + Landkreis-Vorlage
|
||||
|
||||
### IfKM „Vergleich der Gesamtförderung 2026–2029" (via Möning zugeleitet)
|
||||
|
||||
- Ersteller: IfKM Institut für KiTa-Management GmbH (Lerchenstraße 10, 83129 Hoslwang). Einrichtung auf dem Blatt **nicht benannt** — Zuschusssumme 71.300 € ≈ 59–60 Kindergartenkinder, vermutlich Kinderhaus St. Anton (vor jeder Zitierung bestätigen!). Rechnerische Orientierung ohne Gewähr; Beträge unter Haushaltsvorbehalt (Bewilligungsverfahren).
|
||||
- **Tabelle (2026 → 2027/2028/2029):** Buchungsstellen 517.227 € (konstant) · Qualitätsbonus 44.320 → 114.645 → 140.952 → 141.869 € · Vorkurse 2.153 € (konstant) · Zusatzförderung U3 9.227 → 0 € · U3-Bundesmittel 10.306 → 0 € · Assistentenkräfte 41.063 → 0 € · Personalbonus 25.000 → 0 € · Teamkräftepauschale 0 → 29.023 → 40.817 € · Elternbeitragszuschuss 71.300 → 0 € · **Gesamtförderung 720.596 → 663.048 → 701.149 → 702.060 €.**
|
||||
- Beige-Box (IfKM-Wortlaut): „Elternbeitragszuschuss ab 2027: Ersatz durch die Eltern. Ohne Ersatz entfällt der Zuschuss ab 2027 ersatzlos; die Elternbeiträge bleiben unverändert." → Gebührentabelle unangetastet, Zahlbetrag +100 €/Monat ohne formalen Erhöhungsbeschluss („Erhöhung durch die Hintertür", GEB-Bayreuth-Kritik bestätigt).
|
||||
- **Kernrechnung (entscheidend):** Öffentliche Förderung *ohne* Zuschuss steigt 2027 um **+13.752 €** (649.296 → 663.048 €); einzige wegfallende Linie ist der Zuschuss (71.300 €), den die Eltern 1:1 ersetzen. Einkommensposition der Einrichtung bei voller Elternbelastung: **2027 +13.752 €, 2028 +51.853 €, 2029 +52.764 € über dem Niveau 2026.** Von den 71.300 € der Eltern sind nur 57.548 € (2027) bzw. 19.447 €/18.536 € (2028/29) echte Lückendeckung — der Rest ist Überschuss. Äquivalent: statt +100 € hätte eine Erhöhung um 80,71 €/Kind/Monat (2027; 2028/29: 26–27 €) gereicht, um die Einrichtung exakt auf 2026-Niveau zu halten.
|
||||
- **Stadt-Kosten für Vollarrogation (Eltern + Einrichtung komplett):** nur die Förderlücke — hochgerechnet auf ~420.000 € Nominalbelastung: **~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %)**. Extrapolation indikativ (Häuser-Struktur je nach U3-Anteil/Buchungszeiten/Personalhistorie verschieden); belastbar ist das Verhältnis nur für die untersuchte Einrichtung.
|
||||
|
||||
### Landkreis-Vorlage „Zusammensetzung der Fördermittel für Kitas" (23.10.2026, Fuß „[32] - [Maget]")
|
||||
|
||||
- Landkreis Neumarkt; Ziele der Reform: Entbürokratisierung + **„finanzielle Entlastung der Gemeinden"**; Ausgaben Kinderbetreuung Bayern 1,57 Mrd. € (2008) → 7,36 Mrd. € (2025) = **+369 %**.
|
||||
- Mittelfluss: Freistaat (Landratsämter) → **Kommune** → Träger; Förderformel (Basiswert + Qualitätsbonus) × Gewichtungsfaktor × Buchungszeitfaktor, „zzgl. kommunaler Anteil" — die Stadt ist bereits Finanzierungskanal und Co-Finanzierer (stärkt das Defizitvertrag-Argument gegen die Einordnung als „neue freiwillige Maßnahme").
|
||||
- Grafiken bisher vs. ab 2027 (Konsolidierung auf Betriebskostenförderung + Qualitätsbonus + Teamkräfte), Callout „+25 %", „mehr Flexibilität", „weniger bürokratische Anträge".
|
||||
- **Bedeutung:** Spätestens seit 23.10.2026 ist die Stadt (Vermerk „Maget") offiziell mit der „+25 %/Geld bleibt im System"-Darstellung versorgt — die „kein Budget"-Aussage fiel mit dieser Kenntnis. Vor öffentlichem Zitieren prüfen, ob die Vorlage über das Ratsinformationssystem öffentlich ist.
|
||||
|
||||
### Gemeinsames Träger- und Stadt-Schreiben an die Eltern (November 2026, via Elternbeirat zugeleitet)
|
||||
|
||||
- Die Träger aller fünf Kitas **und die Stadt Freystadt** haben die Eltern gemeinsam informiert: Abzug des 100-€-Zuschusses entfällt ab 01.01.2027 (im Schreiben wörtlich eingeräumt: „zusätzliche finanzielle Belastung von 100 € pro Monat und Kind"); reguläre Elternbeiträge bis Ende des Kindergartenjahres 2027/28 (31.08.2028) unverändert; keine Personalkürzungen; Träger „auf die Zahlung der regulären Beiträge in voller Höhe angewiesen"; kindbezogene Grundförderung steige, aber Gesamtsumme der Fördergelder verringere sich „spürbar"; Hinweis auf § 90 Abs. 4 SGB VIII (wirtschaftliche Jugendhilfe, Amt für Jugend und Familie des Landratsamts).
|
||||
- **Konsequenz:** Die +100-€-Belastung der Eltern ist von den Trägern UND der Stadt offiziell mitunterzeichnet; „kein Budget" (Stadtrat, intern) ist damit eine gemeinsam geteilte öffentliche Position. Frontale Haushalts-Kritik im Erstschreiben hätte auf eine geschlossene Front getroffen.
|
||||
- **Strategie umgestellt (Nutzerentscheid 13.11.2026):** **Dialogbrief zuerst** — deeskalierendes Schreiben an Stadt UND Träger, Fokus auf Reform-Auswirkungen, Nachvollziehbarkeit der Erhöhungen, Entlastungsprüfung und soziale Verträglichkeit; zentrale Bitte um gemeinsames Gespräch noch im November 2026. Alternativ-Entwurf von Yvonne Regnet wortgetreu übernommen und normkonform gesetzt (DIN 5008:2020-03 Form A).
|
||||
|
||||
### Neue Dokumente (13.11.2026)
|
||||
|
||||
- **`brief-stadt-traeger.html/.md/.pdf`** — Dialogbrief nach DIN 5008 Form A: Anrede an Bürgermeister Maget, Vertreter der Stadt Freystadt und Vertreter der Einrichtungsträger; fünf Punkte (Transparenz der Finanzierung, Nachvollziehbarkeit der Beitragserhöhungen, Prüfung von Entlastungsmöglichkeiten, soziale Verträglichkeit, zeitnaher gemeinsamer Austausch — Gespräch idealerweise noch im November 2026); Unterschriftentabelle der fünf Vorsitzenden; bewusst OHNE Haushaltszahlen, Kommunen-Vergleiche und IfKM-Argumente.
|
||||
- **`gespraechsagenda-elternbeiraete.html/.pdf`** — internes Arbeitspapier („Nicht versenden"): Ausgangslage inkl. Träger-Stadt-Schreiben, IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 € = 1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6 Fragen fürs Gespräch, Verhaltensregeln (ruhig fordernd, Zahlen erst auf Nachfrage, IfKM intern), Notizfeld.
|
||||
- **`brief.html/.pdf`** (fordernde DIN-5008-Fassung mit Haushaltsabsatz, Defizitdeckung, Hollfeld-Vergleich, vier-Wochen-Frist) und **`brief-gestaltet.html/.pdf`** bleiben als Material für ein Folge-/Nachschreiben archiviert.
|
||||
|
||||
## Quellen (Auswahl, abgerufen 11.11.2026)
|
||||
|
||||
- StMAS, Beitragszuschuss-FAQ: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/beitragszuschuss.php
|
||||
- StMAS, Finanzierung/BayKiBiG-Reform: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/
|
||||
- LEB-Stellungnahme (Verbändeanhörung): https://www.landeselternbeirat.bayern.de/imperia/md/content/stmas/landeselternbeirat/stellungnahme_leb_baykibig-reform.pdf
|
||||
- LAG Ö|F-Stellungnahme 17.04.2026: https://www.lagoefw.de/wp-content/uploads/2026/04/2026-04-17_LAGOeF_SN_BayKiBiG.pdf
|
||||
- Verband kath. Kitas, Stellungnahme April 2026: https://www.kath-kita-bayern.de/fileadmin/Kita-Verband/XFooter_Presse_Medien/XDokumente_Newsletter/2026-04-Stellungnahme_Verband_zur_BayKiBiG-Reform_.pdf
|
||||
- Landtag, Sozialausschuss-Anhörung: https://www.bayern.landtag.de/aktuelles/aus-den-ausschuessen/sozialausschuss-anhoerung-zum-baykibig/
|
||||
- CSU-Landtagsfraktion: https://csu-landtag.de/presse/lokal/2485/…
|
||||
- KEG Bayern: https://www.keg-bayern.de/news/presse/kinder-sind-unsere-zukunft-sie-duerfen-nicht-zur-haushaltssache-werden
|
||||
- SZ „Es geht um 100 Euro": https://www.sueddeutsche.de/bayern/bayern-kindergarten-gesetz-reform-zuschuss-scharf-kritik-krause-muenchen-li.3485741
|
||||
- BR24 „Kein 100-Euro-Zuschuss mehr": https://br.de/nachrichten/bayern/kein-100-euro-zuschuss-mehr-kita-eltern-fordern-entlastung,VKAbnnS
|
||||
- Bayreuther Tagblatt „100 Euro mehr ab 2027" (GEB): https://bayreuther-tagblatt.de/nachrichten-meldungen-news/kita-in-bayreuth-100-euro-mehr-ab-2027/
|
||||
- München „BayKiBiG-Reform: Umsetzung in Münchner Kitas": https://stadt.muenchen.de/news/baykibig_reform_muenchner_kitas.html
|
||||
- Illertisser Elternbeiräte-Appell: https://de.headtopics.com/news/bitte-setzen-sie-sich-fur-uns-ein-elternbeirate-aus-89763692
|
||||
- Ernsgaden-Petition: https://www.openpetition.de/petition/online/ernsgadener-familien-entlasten-kita-beitragszuschuss-erhalten
|
||||
- Kolbermoor-Petition: https://weact.campact.de/petitions/kinderbetreuung-muss-bezahlbar-bleiben-nein-zur-erhohung-der-kita-beitrage
|
||||
- change.org-Petition: https://change.org/p/100-euro-kita-zuschuss-f%C3%BCr-familien-auch-nach-2027-verbindlich-sichern
|
||||
- Kommunale Seiten: augsburg.de (kitakosten2027) · regensburg.de (nachgefragt) · kaufbeuren.de · ratsinfo.erlangen.de (V/516) · raubling.de · feldkirchen-westerham.de · lohr.de (4. Änderungssatzung) · coburg.de (Elternzuschuss) · egling.de
|
||||
- kitazentrale.de, BayKiBiG einfach erklärt: https://kitazentrale.de/wissen/baykibig/
|
||||
- Stadt Freystadt, Kindergärten-Übersicht: https://freystadt.de/freystadt/bildung-soziales/kindergaerten/
|
||||
- Bürgerservice Freystadt, Elternbeitragszuschuss: https://buergerservice.freystadt.de/verwaltung/stadtverwaltung/leistungen/kommunale-kindertageseinrichtung-zahlung-der-benutzungsgebuehren-elternbeitraege-748
|
||||
- Landkreis Neumarkt (Landrat Martin Meier): https://www.landkreis-neumarkt.de/
|
||||
|
||||
## Related
|
||||
|
||||
- Solution Doc `docs/solutions/workflows/2026-11-08-elterninfo-kindergartenzuschuss.md` — Elterninfo (§ 3 Nr. 33 EStG) als Brief-Anlage
|
||||
- Arbeitsverzeichnis `~/workspace/elterninfo-kita-zuschuss/` — Elterninfo-Dateien (Anlage)
|
||||
- [[entities/team-structure]] — Nutzerkontext Elternbeirat Kinderhaus St. Anton
|
||||
@@ -10,11 +10,16 @@ modified: "2026-07-24"
|
||||
|
||||
## IP-Adressierung (10.0.X.Y)
|
||||
- 10.0.10.x = Gateway
|
||||
- 10.0.20.x = Hypervisoren (Proxmox Cluster, 9 Nodes)
|
||||
- 10.0.20.x = Hypervisoren (Proxmox Cluster, 8 Nodes)
|
||||
- 10.0.30.x = Container/VMs (Services)
|
||||
- 10.0.40.x = Clients
|
||||
- 10.0.50.x = Smart Home (26 hosts)
|
||||
- 10.0.60.x = DMZ/Reverse Proxies
|
||||
- Legacy: 192.168.100.0/22 = Alt-Authelia-Segment (Admin-UI 502 / :9092 tot, kein Forward-Auth auf Prod-Traefik → decommission-safe)
|
||||
|
||||
## Known Issues (Hardware)
|
||||
- **Zyxel GS1900-24E @10.0.40.2:** CVE-2026-7273 (LAN RCE); Fix V2.90 (Jun 2026 versprochen) — **Deployment UNVERIFIZIERT, prüfen!** Vendor shippt uralt-OpenSSH-Banner → SSH-Alarms nach KEX beurteilen, nicht nach Banner.
|
||||
- Omada Cloud, TP-Link Gateway 10.0.30.1.
|
||||
|
||||
## VLAN-Struktur
|
||||
- Jedes Segment hat eigenes VLAN
|
||||
|
||||
@@ -1,23 +1,23 @@
|
||||
# User Drift Report — 2026-09-28
|
||||
# User Drift Report — 2026-11-16
|
||||
|
||||
**Recent window:** Last 14 days (1884 msgs)
|
||||
**Baseline:** Previous 90 days (6185 msgs)
|
||||
**Recent window:** Last 14 days (1346 msgs)
|
||||
**Baseline:** Previous 90 days (5482 msgs)
|
||||
|
||||
## Detected Drifts
|
||||
|
||||
- **message_length**: Messages 98% longer (baseline: 1192 chars → recent: 2361)
|
||||
- **new_focus**: New dominant topics: security
|
||||
- **declining_focus**: Topics fading from focus: gitops
|
||||
- **message_length**: Messages 130% longer (baseline: 3198 chars → recent: 7352)
|
||||
- **new_focus**: New dominant topics: k8s, ai_ml
|
||||
- **declining_focus**: Topics fading from focus: monitoring, security
|
||||
|
||||
## Signal Summary
|
||||
|
||||
| Metric | Baseline | Recent |
|
||||
|---|---|---|
|
||||
| Avg msg length | 1192 | 2361 |
|
||||
| Frustration rate | 4.2% | 6.6% |
|
||||
| Correction rate | 7.1% | 8.8% |
|
||||
| Action-first | 1.5% | 0.5% |
|
||||
| Top topics | ceph, proxmox, k8s | security, backup, ceph |
|
||||
| Avg msg length | 3198 | 7352 |
|
||||
| Frustration rate | 12.4% | 14.2% |
|
||||
| Correction rate | 19.7% | 19.7% |
|
||||
| Action-first | 1.6% | 2.6% |
|
||||
| Top topics | proxmox, security, ceph | ai_ml, ceph, k8s |
|
||||
|
||||
## Recommendations
|
||||
|
||||
|
||||
@@ -0,0 +1,41 @@
|
||||
---
|
||||
title: Finanzen & Immobilien
|
||||
category: entities
|
||||
tags: [finanzen, immobilien, baufinanzierung, mintos, lbs]
|
||||
created: "2026-10-11"
|
||||
modified: "2026-10-11"
|
||||
---
|
||||
|
||||
# Finanzen & Immobilien (Dominik)
|
||||
|
||||
> Ausgelagert aus L0 MEMORY.md (Audit 11.10.2026) — L0 hält nur den Pointer auf diese Seite.
|
||||
|
||||
## Immobilie Rohr (selbst bewohnt, finanziert)
|
||||
- Kaufpreis-Brutto: 400.000 €
|
||||
- Darlehen: 400k + 89,5k **à 1,62 %** Sollzins
|
||||
- LBS-X30-Darlehen: **ablöst die 89,5k im Dez 2028** (Zinsbindung Hauptdarlehen endet ebenso 31.12.2028 → Refinanzierungs-/Gap-Analyse-Termin)
|
||||
- LBS-X30 Stand lt. Profil dynamic-coach (Sep 2026): 124.944 €
|
||||
- Sonderzahlungskapazität: 11.750 €/Jahr
|
||||
|
||||
## Immobilie Tegernheim (vermietet, darlehensfrei)
|
||||
- Kaltmiete: 1.625 €/Monat
|
||||
- Hausgeld: −428 €/Monat → **Cashflow ≈ 1.197 €/Monat**
|
||||
- Zurückgelegte 38.404 € (2026) waren **brutto inkl. NK-Durchleitung** — nicht als Ertrag deuten
|
||||
|
||||
## Mintos (P2P)
|
||||
- Stand Okt 2026: **33,5 k€** (Sep 2026 noch 44 k€ @ Ø 8,28 % — Abbau läuft)
|
||||
- Zahlen divergieren zwischen Profilen; Okt-Wert (33,5k) ist aktueller
|
||||
|
||||
## Monero (recovered 2026-10-12)
|
||||
- Haupt-Wallet 44EYUD…: **0.446785648368 XMR** (Sync 10/2026, keine Bewegung seit 06/2021, ~215 €)
|
||||
- Passwort + SEED (deutsches Mnemonic!) + Adresse → 1P Vault „Hermes", Item „Monero Wallet 44EYUD (Haupt-Wallet)"
|
||||
- PITFALL: alter dokumentierter Seed in Monero_Recover.txt war englische Transkription → leitet LEERE Zweit-Wallet (49PKAh) ab. Nicht mehr verwenden!
|
||||
- 2017er Keys-Datei (Finanzen-Backup) hat ein anderes, unbekanntes Passwort (obsolet — Seed verifiziert verfügbar)
|
||||
- Solution Doc: docs/solutions/crypto-recovery/2026-10-12-monero-wallet-recovery-seed-mismatch.md
|
||||
|
||||
## Steuer/Kontext
|
||||
- Todesfall-Leistungsberechtigte: § 10 Abs 1 Nr 2 b EStG (hinterbliebenenschutzrelevant)
|
||||
|
||||
## Related
|
||||
- [[entities/dominik-schoen]] *(angepasst)* → [[entities/team-structure]]
|
||||
- Vorsorge-Analyse: `~/docs/vorsorge-analyse-fragebogen.md`
|
||||
@@ -0,0 +1,23 @@
|
||||
# Haus — Grundrisse EG/OG
|
||||
|
||||
**Quelle:** Fotos vom Owner, hochgeladen 2026-11-01 (Originale in `assets/haus/`).
|
||||
|
||||
| Datei | Geschoss |
|
||||
|---|---|
|
||||
| `assets/haus/grundriss-eg.jpg` | Erdgeschoss |
|
||||
| `assets/haus/grundriss-og.jpg` | Obergeschoss |
|
||||
|
||||
## Raum-Nutzung (Owner-Angabe 2026-11-01, gilt für OG)
|
||||
|
||||
| Raum laut Plan | Tatsächliche Nutzung |
|
||||
|---|---|
|
||||
| Schlafen | **Büro Sarah** |
|
||||
| Kind 2 | **Schlafzimmer** (Eltern) |
|
||||
| Kind 1 | **Cleos Kinderzimmer** |
|
||||
|
||||
EG: Nutzung noch nicht benannt.
|
||||
|
||||
## Status
|
||||
|
||||
- Automatische Bildauswertung (Räume/Maße aus Plans) am 2026-11-01 **fehlgeschlagen** — Vision-Backend 502/WASM-Error. Bei nächster Gelegenheit nachziehen.
|
||||
- Kontext: Grundrisse dienen als Basis für Raum-/Möbelplanung (siehe Skills `furniture-selfbuild-design`, `diy-furniture-design`).
|
||||
+31
-30
@@ -1,44 +1,45 @@
|
||||
---
|
||||
title: Gesundheit & Fitness
|
||||
category: Personal
|
||||
tags: [health, fitness, weight-loss, nutrition]
|
||||
tags: [health, fitness, weight-loss, nutrition, oura]
|
||||
created: "2026-04-28"
|
||||
modified: "2026-04-28"
|
||||
modified: "2026-10-20"
|
||||
---
|
||||
|
||||
# Gesundheit & Fitness
|
||||
|
||||
> Refresh 11.10.2026 (Memory-Audit): Telemetrie aus personal-coach L0 hierher konsolidiert.
|
||||
|
||||
## Ziele
|
||||
- **Gewichtsverlust:** -15kg (aktuell 95kg, 1.75m)
|
||||
- **Zielgewicht:** 80kg
|
||||
- **BMI:** 31.0 → 26.1 (Normalbereich)
|
||||
- **Stil:** Fast & Healthy (schnell und gesund)
|
||||
- **Gewichtsverlust:** Start 96,5 kg (03.09.2026) → Ziel 82 kg (−14,5 kg)
|
||||
- **Verlauf:** 96,5 (03.09.) → 93,2 (19.09.) → 93,5 (02.10.) → 92,4 (10.10.) → 92,7 (15.10.) → **93,1 kg (19.10., 22:11 Abendmessung)**
|
||||
- Fortschritt: **−3,4 kg = 23 % des Wegs**, noch 11,4 kg offen
|
||||
- Größe 1,75 m; BMI 30,8 (bei 93,1); Körperfett 30,5 %, Muskel 61,2 kg (19.10.)
|
||||
|
||||
## Ernährung
|
||||
- **Bevorzugt:** Asiatische Küche
|
||||
- **Allergien:** Keine
|
||||
- **Lieblingsessen:** Asian Food
|
||||
## Wearables & Geräte (autoritativ: personal-coach)
|
||||
- **Oura Ring** = einziges Wearable. **KEINE Apple Watch** → Apple-Watch-Apps (Livity, Athlytic etc.) sind IRRELEVANT
|
||||
- Xiaomi S400 (BLE + BodyMiScale): devID `97ecd177b6aeafeaf7a12b339107fa5a`, 20 Sensoren `sensor.dominik_*`; Sarah als Profil 2 **OFFEN**
|
||||
- Waage-BLE-Übertragung zeitweise broken (Flag 10.10.)
|
||||
- HA-Kalorien-Tracker: goal 1890, burn_baseline 2682 — Dominik kontrolliert Settings selbst („lass das wie es ist")
|
||||
|
||||
## Arbeitsrhythmus
|
||||
- **Mon/Wed/Fri:** Home Office
|
||||
- **Tue/Thu:** Büro (Meal Prep)
|
||||
- **Fri:** Aldi Einkauf (Freitag)
|
||||
- **Wochenende:** 2 warme Mahlzeiten
|
||||
## Oura-Telemetrie (Snapshot 10.10., dd10)
|
||||
- Sleep 83 (+11 vs AM), Readiness 83, HRV-Balance 78, Sleep-Reg 93, CV-Age 36, PWV 6.88, SpO2 95,5, TempDev +0,14
|
||||
- Resilience solid, Stress normal; Bedtime 21:13→05:28 (~7,05 h), Deep 24 %, REM 26,1 %
|
||||
- Steps 5.253 (Fr: 5.815), Activity Score 54, Act-Cal 321, Sedentary 449 min
|
||||
- **Warnzeichen:** HRV-Sleep 20 ms (low!), Low-Sleep-HR 62, Avg-Sleep-HR 65,9
|
||||
|
||||
## Family Meals
|
||||
- **Sarah (Wife):** Liebt Kohlenhydrate (Carbs)
|
||||
- **Cleo (4y):** Liebt Pasta
|
||||
- **Täglich:** Abendessen für die ganze Familie
|
||||
- **Tue/Thu:** Meal Prep für die Woche
|
||||
- **Wochenende:** 2 warme Mahlzeiten
|
||||
## Verhalten & Ernährung
|
||||
- **FOOD-LOGGING LAPSED** (7-Day-Avg = 0, Stand 10.10.) → Re-Activation ist Priority № 1
|
||||
- Häufig auswärts: Indisch (Butter Chicken), Asiatisch (Gong Po Rind), Italienisch (L'Osteria — bestellt bewusst halbe Portionen), Japanisch (Sushi, große Portion)
|
||||
- **„Große Portion" = wirklich groß** → Restaurant-kcal eher HÖHER ansetzen, nie zu niedrig schätzen
|
||||
- Bevorzugt asiatische Küche; hoher Protein-Konsum, viel Gemüse, moderat Carbs (Details: Profil nutrition-coach)
|
||||
- Vormittags oft schon Walks — Briefings flexibel daran orientieren, kein pauschales „mittags Walk"
|
||||
|
||||
## Shopping
|
||||
- **Aldi:** Freitag (Wocheneinkauf)
|
||||
- **HelloFresh:** Gelegentlich (Abwechslung)
|
||||
- **Cleo Kitabox:** Mo-Do (für Cleo)
|
||||
## Tracking-Regeln (aus personal-coach L0)
|
||||
- Datumsverwechslungs-Gefahr: nach JEDEM Food-Log und vor JEDEM Tagessaldo `TZ=Europe/Berlin date`
|
||||
- Tagessaldo NUR aus `fetch_calorie_data.py` (consumed_today) — nie Kopfrechnung über Logs
|
||||
- `log_food_text.py` kann nicht löschen/korrigieren — Duplikate nur via HA UI entfernbar
|
||||
|
||||
## Ernährungsrichtlinien
|
||||
- Hoher Proteinkonsum für Muskelaufbau
|
||||
- Geringe Kohlenhydrate für Gewichtsverlust
|
||||
- Viel Gemüse und Salate
|
||||
- Asia-inspirierte Rezepte (low-carb Varianten)
|
||||
## Related
|
||||
- [[entities/team-structure]] — Familie
|
||||
- Profil `personal-coach` (Crons: Oura-Pull vor jedem Briefing, UTC↔Berlin-Umstellung Ende Okt 2026)
|
||||
|
||||
@@ -0,0 +1,41 @@
|
||||
# Samsung QN90A (Wohnzimmer-TV)
|
||||
|
||||
**Modell:** GQ65QN90AATXZG · Tizen · EU · DUID uuid:6499ad2f-1417-432a-868c-26b2404c47ba
|
||||
**Netz:** 10.0.40.104 (WLAN, MAC 10:2b:41:55:7e:5e; DHCP-Reservation offen) · res/uid wechselnde IP!
|
||||
**Stand:** 2026-11-01 — gerootet + persistent gehärtet via Vetro v0.3.5
|
||||
|
||||
## Security-Status
|
||||
- **Vetro v0.3.5** installiert (Partner-Zertifikat: `~/.config/Apps2Samsung/Certificate/` auf hermes-agent-01)
|
||||
- Vetro-Service rootet den TV **bei jedem Boot selbst** (agent uid=0) → kein manueller Root mehr nötig
|
||||
- Dashboard: `http://10.0.40.104:8099` — **unauthentifiziertes HTTP**, nur trusted LAN, nie exponen
|
||||
- Developer Mode: Host-IP steht auf **127.0.0.1** → SDB 26101 von außen bewusst geschlossen
|
||||
|
||||
## Privacy-Härtung (verified 2026-11-01)
|
||||
- DNS-Filter: 21 Telemetrie-Domains (samsungads/samsungacr/samsungqbe/atlas) → 0.0.0.0, Vetro restauriert bei jedem Boot
|
||||
- Voice-Stack komplett aus: `voice-all` (31 Apps) + `tracking-all`/ACR (18 Apps), Boot-Flags false
|
||||
- HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0 — schützt die Root-Route!)
|
||||
- Boot-Flag-Backup: `~/workspace/tv-privacy-backup-20261101.csv` (431 Flags, Host + TV)
|
||||
|
||||
## Nie anfassen
|
||||
- `org.tizen.ambientapp` (Boot-Loop-Gefahr)
|
||||
- `com.samsung.tv.coba.adagent` (Smart-Hub-Abhängigkeit)
|
||||
- Vetro-Service-Flags (`vetrotvapp.svc` onboot/autorestart müssen true bleiben)
|
||||
|
||||
## App-Installation (Fladder-Playbook, verifiziert 2026-11-01)
|
||||
DevMode „Host PC IP" = vconf-Key **`db/sdk/develop/ip`** (Buxton-DB `/var/lib/buxton2/system.db`) — ohne TV-Menü umschaltbar via Vetro-Root:
|
||||
1. `curl -X POST http://10.0.40.104:8099/exec -d '{"cmd":"vconftool set -f -t string db/sdk/develop/ip 10.0.30.230"}'`
|
||||
2. `sdb kill-server && sdb start-server && sdb connect 10.0.40.104:26101`
|
||||
3. `a2s/apps2samsung-cli install "<App>" --tv 10.0.40.104 --local-ip 10.0.30.230 --yes --partner` (Partner-Zertifikat lokal, kein Login)
|
||||
4. **Zurück auf 127.0.0.1** (`vconftool set … 127.0.0.1`) + `sdb kill-server` → SDB extern wieder zu
|
||||
Pitfalls: ohne `--partner` wartet A2S 5 min auf Samsung-Login; `pkgcmd -i` direkt auf dem TV scheitert an fehlender Signatur (error -12); A2S hält während des Laufs den SDB-Slot.
|
||||
Installiert: **Fladder v0.8.1** (`nl.jknaapen.fladder`, Jellyfin-Client) — Server-URL im ersten App-Start konfigurieren.
|
||||
|
||||
## Known Issues
|
||||
- IP volatil (.100→.104 nach Power-Cycle) — Reservation am Router offen
|
||||
- QN90A bootet nach Stromtrennung in Standby mit WLAN getrennt (rote LED)
|
||||
- sdbd-Client-Slot exklusiv: Während Apps2Samsung-Installer läuft, keine Root-Sessions möglich
|
||||
|
||||
## Related
|
||||
- Skill: samsung-tizen-tv-administration, security-exposure-audit
|
||||
- Solution Doc: ~/docs/solutions/integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md
|
||||
- Offen: Debloat-Menü, individueller lokaler Hintergrund (Ambient)
|
||||
@@ -0,0 +1,68 @@
|
||||
# Snapmaker U1 (3D-Drucker)
|
||||
|
||||
**Modell:** Snapmaker U1 (4-Toolhead, Klipper/Moonraker) · **Netz:** 10.0.40.98 (WLAN, VLAN 40)
|
||||
**Stand:** 2026-11-20 — Kamera in Home Assistant eingebunden
|
||||
|
||||
## Zugänge
|
||||
- **Web-UI (Fluidd):** `http://10.0.40.98` (nginx)
|
||||
- **Moonraker-API:** `http://10.0.40.98:7125` — **kein Token nötig**: `[authorization] trusted_clients` enthält `10.0.0.0/8`
|
||||
- **moonraker.conf:** lesbar über `GET /server/files/config/moonraker.conf` (kein `[webcam]`-Block — Webcam liegt in der Moonraker-DB, `source: database`)
|
||||
- **Stock-Firmware:** kein SSH. Erweiterte Firmware (paxx12, WebRTC/SSH) existiert, ist aber **nicht** installiert (Firmware-Eingriff nur mit Owner-GO).
|
||||
|
||||
## Kamera — Verhalten (wichtig)
|
||||
- Einziges funktionierendes Bild: **`GET /server/files/camera/monitor.jpg`** (1920×1080 JPEG, ~80 KB, ~3 fps)
|
||||
- `/webcam/?action=stream` und `?action=snapshot` → **502** (kein mjpegstreamer auf dem Printer; die Moonraker-Webcam `cam` zeigt deshalb auf tote URLs)
|
||||
- **Die Kamera schläft ein**: ohne aktives Monitoring bleibt `monitor.jpg` eingefroren (mtime steht). Aufwecken nur per Moonraker-WebSocket:
|
||||
`{"jsonrpc":"2.0","method":"camera.start_monitor","params":{"domain":"lan","interval":0}}` — alle ~5 s wiederholen, sonst fällt sie nach kurzer Zeit zurück.
|
||||
- Antwort-Notify: `notify_camera_status_change {monitoring: true|false}`
|
||||
|
||||
## Bridge auf hermes-agent-01 (10.0.30.230)
|
||||
- **Datei:** `/home/debian/scripts/snapmaker_u1_cam.py` · **Service:** `snapmaker-u1-cam.service` (systemd, `enabled`, `Restart=always`)
|
||||
- **Zweck:** hält die WS-Keepalive-Verbindung (5 s) und liest `monitor.jpg` mit 3 fps, solange ein Client schaut (sonst 1 Frame / 5 s); re-served als MJPEG + Snapshot.
|
||||
- **Endpoints** (Port 8099, unauthentifiziert, nur VLAN 30/40):
|
||||
- `GET /stream.mjpg` — multipart MJPEG, ~2–3 fps
|
||||
- `GET /snapshot.jpg` — JPEG on demand (`X-Frame-Age`-Header)
|
||||
- `GET /health` — JSON: `ok`, `frame_age_s`, `frames_received`, `stream_clients`, `ws_connected`, `last_error`
|
||||
- Logs: `journalctl -u snapmaker-u1-cam.service -f`
|
||||
|
||||
## Home Assistant
|
||||
- **Integration:** MJPEG IP Camera (Core), Entry-Titel „Snapmaker U1"
|
||||
`mjpeg_url=http://10.0.30.230:8099/stream.mjpg`, `still_image_url=http://10.0.30.230:8099/snapshot.jpg`
|
||||
- **Entity:** `camera.snapmaker_u1` (State `idle` = normal für MJPEG; Live-View über `camera_proxy_stream`)
|
||||
- **Dashboard:** View **3D-Drucker** (`/dashboard-haus/drucker`) in `dashboard_haus` — Live-Kamera, Fortschritt/Düse/Bett-Gauges, ETA/Datei/Speed/Filament, Pause/Weiter/Abbruch/Licht. Backup: `lovelace.dashboard_haus.hermesbak-20261120`
|
||||
- **iOS Live Activity:** Automation `snapmaker_u1_live_activity` — Tag `snapmaker_u1_print`, 5-%-Schritte, Tap öffnet `/dashboard-haus/drucker`, `progress_bar_direction: increasing`, `relevance_score: 1.0` beim Drucken; Completion bleibt, Abbruch cleart.
|
||||
- **Watchdog:** Hermes-Cron `c97b168a5230` (`check_snapmaker_cam_health.sh`, `*/10 * * * *`, no_agent) — still bei gesund; Alarm nach 15 min (Push an `mobile_app_iphone_dominik`), aber **kein Alarm, wenn der Drucker aus ist** (TCP :7125 unerreichbar ≠ Bridge-Fehler). State: `~/.local/state/snapmaker-cam/watchdog.state`
|
||||
- **Deaktiviert** (Registry `disabled_by: user`, jederzeit in der UI reaktivierbar):
|
||||
- `camera.snapmaker_u1_cam` — Moonraker-Webcam `cam` (502, tote mjpegstreamer-URLs)
|
||||
- `camera.snapmaker_u1_webcam` — Ghost der alten hardcoded Webcam (`restored`, unavailable)
|
||||
- `camera.snapmaker_u1_thumbnail` bleibt (GCode-Vorschau der Moonraker-Integration)
|
||||
|
||||
## Verifikation
|
||||
```bash
|
||||
curl -s http://10.0.30.230:8099/health # ok:true, frame_age_s < 5
|
||||
curl -s -o /tmp/a.jpg http://10.0.30.230:8099/snapshot.jpg && file /tmp/a.jpg
|
||||
# HA-Sicht:
|
||||
curl -s -H "Authorization: Bearer $HA_TOKEN" \
|
||||
http://10.0.30.10:8123/api/camera_proxy/camera.snapmaker_u1 -o /tmp/ha.jpg
|
||||
```
|
||||
|
||||
## Pitfalls
|
||||
- **HA-Camera-Proxy cached Stills** (~10 s) — zwei `camera_proxy`-Aufrufe kurz hintereinander liefern dasselbe Bild, obwohl die Bridge live ist. Live-Nachweis über `/health` + direkte Relay-Snapshots.
|
||||
- `monitor.jpg`-mtime ist der einzige Staleness-Indikator (Datei wird bei aktivem Monitor fortlaufend neu geschrieben); nach einem Bridge-Restart kann sie kurz 5–10 s alt sein → `STALE_AFTER=10 s`.
|
||||
- Der Printer hängt im WLAN (wlan0) — 3 fps × 80 KB ≈ 2 Mbit/s nur während jemand schaut; Idle-Poll ist 1 Frame/5 s.
|
||||
- Kein Torrent/Cloud-Zugriff nötig; Kamera bleibt im LAN.
|
||||
|
||||
## Related
|
||||
- Wiki: [[systems/homeassistant]]
|
||||
- Solution Doc: `~/docs/solutions/integrations/2026-11-20-snapmaker-u1-kamera-homeassistant.md`
|
||||
- Skill: `smart-home-automation` → `references/snapmaker-u1-camera.md`
|
||||
|
||||
## Drucker-UI (Fluidd) — Kamera
|
||||
Die Fluidd-Oberfläche auf `http://10.0.40.98/` hat ein eigenes Cameras-Panel. Es liest dieMoonraker-Webcam aus der **Datenbank** (`source: database`), nicht aus `moonraker.conf`.
|
||||
|
||||
- **Eintrag `cam` (aktuell):** `service: mjpegstreamer-adaptive`, `stream_url: http://10.0.30.230:8099/stream.mjpg`,
|
||||
`snapshot_url: http://10.0.30.230:8099/snapshot.jpg`, `aspect_ratio: 16:9`, `target_fps: 5`, `target_fps_idle: 2`
|
||||
- **Gesetzt via** `POST http://10.0.40.98:7125/server/webcams/item` (vollständiges Objekt, `uid`/`source` weglassen). Backup des Originals: `~/.hermes/cache/scratch/u1_webcam_backup.json`; Original-URLs `/webcam/?action=stream|snapshot` (502, weil kein mjpegstreamer läuft).
|
||||
- **Wichtig — CORS:** Fluidd setzt `crossorigin` am `<img>`; die Bridge muss `Access-Control-Allow-Origin: *` senden (seit 20.11. umgesetzt, inkl. OPTIONS 204).
|
||||
- **Kein Fehler trotz „cam (error)":** Fluidd stoppt die Wiedergabe bei `document.hidden` und leert `src`; das leere `src` lädt die Seiten-URL → `error`. Sobald der Tab sichtbar ist, Status `connected`, `naturalWidth 1920`.
|
||||
- **Last:** Fluidd pollt `snapshot.jpg` mit `target_fps` (5/s) — die Bridge liefert ~3 fps; `target_fps_idle: 2` wenn das Fenster den Fokus verliert.
|
||||
@@ -15,14 +15,18 @@
|
||||
| `patterns/` | Rekurrente Failure-Mode Patterns + Skill-Impact Tracker |
|
||||
|
||||
## Entities
|
||||
- [[entities/samsung-qn90a]] — Wohnzimmer-TV, gerootet, Vetro v0.3.5, Privacy-Stack (11/2026)
|
||||
- [[entities/snapmaker-u1]] — 3D-Drucker 10.0.40.98, Moonraker 7125, Kamera-Bridge hermes-agent-01:8099 → `camera.snapmaker_u1` (11/2026)
|
||||
- [[entities/infrastructure]] — Physikalische Hardware, Cluster-Übersicht
|
||||
- [[entities/team-structure]] — CEO + Agents Modell
|
||||
- [[entities/dominik-schoen]] — Nutzerprofil
|
||||
- [[entities/team-structure]] — CEO + Agents Modell (Nutzerprofil Dominik integriert)
|
||||
- [[entities/finanzen-immobilien]] — Baufinanzierung, Tegernheim, Mintos (aus L0 ausgelagert 10/2026)
|
||||
- [[entities/email-system]] — Himalaya, iCloud, 12 Domains
|
||||
- [[entities/health-fitness]] — Gesundheits-Ziele, Ernährung
|
||||
- [[entities/health-fitness]] — Abnehm-Journey, Oura-Telemetrie, Wearables
|
||||
- [[entities/haus-grundrisse]] — Grundrisse EG/OG, Raum-Nutzung (Büro Sarah, Schlafzimmer, Cleo)
|
||||
|
||||
## Systems
|
||||
- [[systems/proxmox-cluster]] — PVE 9.2.20, 8 Nodes, Fluent Bit
|
||||
- [[systems/mgmt-runner]] — VM 200 (10.0.30.124): Ops-VM, Root-Disk auf HDD-Pool, keine Builds
|
||||
- [[systems/ceph-cluster]] — 17 OSDs, v20.2.4, 4 MONs, bekannte Probleme
|
||||
- [[systems/rke2-kubernetes]] — 6 Nodes, ArgoCD, CNPG, Workloads
|
||||
- [[systems/galera-maxscale]] — 3 Galera + 2 MaxScale, VIP .70
|
||||
@@ -35,19 +39,40 @@
|
||||
- [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen
|
||||
- [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation
|
||||
- [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify
|
||||
- [[systems/heizung-viessmann]] — WP CU401B S, Heizkurve 0,4/−7, 11 free@home-Zonen, Sollwerte 24/23/21, WW-Peak-Automationen (11/2026)
|
||||
- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64
|
||||
- [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026
|
||||
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
|
||||
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
|
||||
- [[systems/hermes-webui]] — Hermex-iOS-Backend auf hermes-agent-01 (:8790, native, LAN-only)
|
||||
- [[systems/notfallbuch]] — eol-dr-Playbook für Sarah, Triage-Labels, Monats-Cron, Print im Büro
|
||||
- [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG)
|
||||
- [[systems/immich]] — K8s-Immich v3.3.1 PROD (86.316 Assets, Stand 10.10.), Legacy CT111 stillgelegt
|
||||
- [[systems/recipe-scraper]] — v8.1 Frontier-Fix 12.10., 18 Quellen → Galera-Recipe-DB (200k-Ziel), Failure-Memory + Cursor
|
||||
- [[systems/nut]] — NUT/UPS Shutdown-Kaskade, APC ES 700G @ ms-a2-1, FSD-Cluster-Shutdown
|
||||
- [[systems/hermes-agent-01]] — lokaler Hermes-Runner: Storage-Governance, Backup-Pipeline (RCA 08.10.), Watchdogs
|
||||
- [[systems/schoenkitchen]] — Essensplanungs-App: FastAPI:8420, CT99999-Traefik, Jinja2-Pitfall (aus nutri-L0 ausgelagert 10/2026)
|
||||
- [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026)
|
||||
- [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen)
|
||||
- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026)
|
||||
- [[systems/technitium-dns]] — LAN-Resolver + Adblock: CT150/CT153 Cluster, VIP .149 (keepalived), DHCP-DNS via Omada (11/2026)
|
||||
- [[systems/influxdb]] — drei Instanzen: hot .109 (90 d), Archiv .110 (5 y), K8s .204 leer; HA schreibt .109 (11/2026)
|
||||
- [[systems/hauswacht]] — read-only Haus-/Fundament-Analyst als Hermes-Profil, Weltmodell+Journal+Wächter-Entwurf (11/2026)
|
||||
|
||||
## Concepts
|
||||
- [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs
|
||||
- [[concepts/gitops-workflow]] — IaC → Git → ArgoCD → Verify
|
||||
- [[concepts/credential-policy]] — 1Password, ESO, keine Secrets in Git
|
||||
- [[concepts/email-organization]] — Rechnungs-Organizer, Himalaya
|
||||
- [[concepts/baykibig-reform-2027]] — Wegfall 100-€-Beitragszuschuss 2027: Reaktionen, Kommunen-Übersicht, Brief-Basis Freystadt
|
||||
- [[concepts/memory-layer-architecture]] — 7-Schichten Memory Trennungsregeln
|
||||
- [[concepts/user-drift-report]] — Monatlicher Drift-Report (Kommunikationsanalyse)
|
||||
|
||||
## Reference
|
||||
- [[reference/ip-map]] — IP → Host → Service Mapping
|
||||
- [[reference/ssh-keys]] — Key → Zweck → Fingerprint
|
||||
- [[reference/ports]] — Port → Service → Host
|
||||
- [[reference/emhass-cascade-automation-architecture]] — EMHASS/Kaskaden Batteriesteuerung, Config, Pitfalls
|
||||
|
||||
## Patterns
|
||||
- [[patterns/_README]] — Konzept und Nutzung des Patterns-Verzeichnisses
|
||||
@@ -60,6 +85,16 @@
|
||||
- [[patterns/ceph-ssd-wear-ec-pool]] — EC Pool unusable + SSD Wear-Level (PAT-007)
|
||||
- [[patterns/ansible-default-ipv6]] — lablabs.rke2 role fails on IPv6-less VMs (PAT-008)
|
||||
- [[patterns/k8s-stale-nbd-devices]] — RBD swap leaves stale NBD mappings (PAT-009)
|
||||
- [[patterns/pve-oom-frozen-guest]] — Host-OOM friert Gast als Zombie ein, RSS-Kollaps-Signatur (PAT-010)
|
||||
- [[patterns/pve-notification-webhook]] — PVE Webhook→Telegram: Endpoint-Drift, Base64-Trap, Handlebars-Escape (PAT-011)
|
||||
- [[patterns/placement-guardrails]] — 70% RAM-Deckel + Swap-Verbot als Prometheus-Rules (PAT-012)
|
||||
- [[patterns/prometheus-config-rescue]] — grep -vn Gift/Crashloop, LXC-Rootfs-Direct-Mount-Rescue (PAT-013)
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] — PCI-Reset→lvchange→chown-Falle, Weight-Management bei Reintegration (PAT-014)
|
||||
- [[patterns/systemd-path-blindness]] — Exit-127-Klasse: ~/.local/bin unsichtbar im systemd-PATH, trap-EXIT-Cleanup (PAT-016)
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015)
|
||||
- [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018)
|
||||
- [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019)
|
||||
- [[patterns/pbs-datastore-full-root-reserve]] — PBS meldet ENOSPC bei <100 %: ext4-Reserve (5 %) für den `backup`-User unerreichbar + Dedup lässt „erfolgreiche" Backups ohne neue Chunks durch (PAT-020)
|
||||
- [[patterns/skill-impact]] — Skill Modification Audit Trail
|
||||
|
||||
## Memory Layer Architektur
|
||||
@@ -69,6 +104,6 @@
|
||||
| L1 Curated | LLM Wiki | `~/.hermes/memory/` | Browsbares Wissen (this) |
|
||||
| L2 Semantic | Hindsight | K8s PostgreSQL | Vektor-Suche |
|
||||
| L3 Procedural | Skills | `~/.hermes/skills/` | Wie-geht-es Prozeduren |
|
||||
| L4 Episodic | session_search | SQLite | Gesprächsverläufe |
|
||||
| L4 Episodic | LCM + session_search | lcm.db + state.db | Verlustfreie Kompaktion + rohe Verläufe |
|
||||
| L5 Solutions | Solution Docs | `~/docs/solutions/` | Problem-Lösungs-Paare |
|
||||
| L6 Project | AGENTS.md | pro Repo | Repo-Konventionen |
|
||||
|
||||
@@ -43,9 +43,13 @@ Hermes automation.
|
||||
- Limit the number of SecretStores that reference 1Password
|
||||
- Consider caching secrets locally to reduce API pressure
|
||||
- Never run `op` in tight loops — always add delays for batch operations
|
||||
- **Nie `op read` pro Watchdog-Tick:** statische Secrets (HA-Long-Lived-Token, API-Keys) in einen lokalen 0600-Cache legen, `op` nur on-miss/401. Ein 15-Minuten-Watchdog macht sonst 96 Reads/Tag und wird bei jedem Limit blind (2026-11-06: free@home-Watchdog meldete „BLIND (RuntimeError)").
|
||||
- **Bei anhaltendem Limit (>10 min ohne lokalen Verursacher) zuerst ESO prüfen:** `kubectl logs -n external-secrets deploy/external-secrets --since=10m | grep -c "rate limit exceeded"`. Fehlschlagende ExternalSecrets mit kurzem `refreshInterval` erzeugen einen Retry-Sturm, der die Quote dauerhaft verbraucht.
|
||||
- 5 ES mit `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret) sind die üblichen Verdächtigen — Rest steht auf 12h.
|
||||
|
||||
## Evidence
|
||||
|
||||
- Hit twice: Jul 2026 (initial discovery) and during token corruption investigation
|
||||
- Solution doc: `docs/solutions/architecture/2026-07-24-1password-account-level-rate-limit.md`
|
||||
- MEMORY.md entry: "1P CLI:3 vaults R/W. Rate-limit=acct-level. Stop ESO, wait 1hr, no polling."
|
||||
- **2026-11-06:** free@home-Watchdog (Cron `43612c6d52b6`) täglich „BLIND: kann HA-Status nicht prüfen (RuntimeError)" — Ursache `op read` pro 15-min-Tick. Parallel: ESO (`onepasswordSDK`, ClusterSecretStore `onepassword-store`) im Retry-Sturm — 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h`. HA selbst gesund (Entry `freeathome` = `loaded`, SysAP HTTP 200). Fix Watchdog: Cache-first-Token + dynamischer PVE-Node (VM 106 war von ms-a2-2 auf proxmox3 gewandert, hardcodierter Node → Rettungs-Reboot unmöglich). SolDoc `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
|
||||
@@ -0,0 +1,84 @@
|
||||
---
|
||||
pattern_id: PAT-018
|
||||
title: "Erfolgsmeldung einer Automatik ist kein Zustellbeweis — dateibasierte Queues validieren zweimal"
|
||||
category: integration
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-10
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-spool, board-service, spool-watcher, submit_task]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md
|
||||
- bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
related_skills: [devops/agent-fleet-operations]
|
||||
---
|
||||
|
||||
# Erfolgsmeldung einer Automatik ist kein Zustellbeweis
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein Automatik-Dienst meldet Erfolg (Log-Zeile, `rc=0`, `{"result":"OK","task_id":…}`,
|
||||
MCP-`OK_*`) — aber der erzeugte Auftrag existiert nirgends:
|
||||
|
||||
- `grep` nach dem Sender findet **0** Dateien im Spool,
|
||||
- die Zielgröße bleibt unverändert (Karte `Neu`, Dead-Letter-Eintrag weg),
|
||||
- im Journal stehen **zwei** Events zur selben `task_id`: `accepted` **und**
|
||||
`quarantined`.
|
||||
|
||||
Der Dienst läuft stundenlang „grün" und arbeitet nichts ab.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Der Spool hat **zwei unabhängige Validierungsschichten**:
|
||||
|
||||
| Schicht | Datei | Zeitpunkt | Sichtbar für den Einleger? |
|
||||
|---|---|---|---|
|
||||
| Einleger | `spool/submit_task.py` (`VALID_SYSTEM_SENDERS`, `VALID_SYSTEM_SENDER_TYPES`) | beim Schreiben | ja (Rückgabewert) |
|
||||
| Watcher | `spool/watcher/watcher_main.py` (`SUBMIT_SYSTEM_SENDERS`, `SUBMIT_SYSTEM_SENDER_TYPES`, `validate_schema_loose`) | beim Scan, Sekunden später | **nein** |
|
||||
|
||||
Der Watcher-Pod hat `submit_task.py` nicht im Image und hält eine **Hardcode-Kopie**
|
||||
derselben Konstanten. Wer nur eine Seite pflegt, erzeugt Drift: Der Einleger
|
||||
akzeptiert, der Watcher quarantäniert (`_invalid/`), und `accepted` wird **vor**
|
||||
der Quarantäne geschrieben — der Aufrufer sieht nur den Erfolg.
|
||||
|
||||
Zweite Ausprägung derselben Klasse: Der Watcher prüft das Envelope-Schema
|
||||
strikt (uuid4-`task_id`, Status-Enum, Feld-Whitelist). Ein Erzeuger, der eigene
|
||||
IDs oder Zusatzstatus schreibt, wird erst beim Scan abgewiesen.
|
||||
|
||||
## Mitigation
|
||||
|
||||
1. **Zustell-Indikator prüfen, nicht den Rückgabewert:**
|
||||
`grep -l "^from: <sender>" <spool>/*.yaml | wc -l` → muss > 0 sein.
|
||||
2. **Journal nach der `task_id` fragen:** `accepted` + `quarantined` in
|
||||
derselben Sekunde beweist Einleger-schuld-frei / Watcher-schuld-tragend.
|
||||
3. **`_invalid/*quar-<id>.yaml` prüfen** — der Envelope ist meist inhaltlich
|
||||
korrekt und kann nach dem Fix unverändert zurück in den Spool
|
||||
(`mv` statt Neuerzeugung, IDs/Bodies bleiben).
|
||||
4. **Beide Konstanten-Dateien patchen**, dann Sync-Test laufen lassen
|
||||
(`spool/test_sender_sync.py`, AST-Vergleich beider Dateien).
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Sync-Test für Duplikate:** Wo eine Konstante bewusst doppelt liegt, muss ein
|
||||
Test die Gleichheit erzwingen (`test_sender_sync.py`: Sendermengen,
|
||||
Typ-Mapping je Sender, keine Kollision System-Sender/Org-Agent).
|
||||
- **Erfolg erst behaupten, wenn zugestellt:** Automatik-Trigger loggen „ok"
|
||||
erst bei `task_claimed` / Datei im Spool nach dem Scan — nicht bei `accepted`.
|
||||
- **Typen sind Format, nicht Absicht:** Dedupe/Filter nie auf einen Typ stützen,
|
||||
den auch Menschen benutzen (`review` = fachliche Abnahme **und** Sweep-Auftrag).
|
||||
Diskriminator ist der Sender (`from`).
|
||||
- **Automatik-Tasks nicht mit `karte_id` versehen**, wenn sie nur aktivieren
|
||||
sollen — sonst koppelt `complete_task` die Karte blind auf `Fertig`.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-10-30** — Re-Dispatch verletzte den Envelope-Vertrag (synthetische
|
||||
`task_id`, `status: re-dispatched`, Zusatzfelder) → zwei `quarantined`-Events,
|
||||
Dead-Letter-Eintrag weg. SolDoc
|
||||
`bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md`.
|
||||
- **2026-11-01** — Karten-Bewertungs-Sweep: `board-service` fehlte in der
|
||||
Watcher-Kopie der Sender-Allowlist; 4 Tasks quarantäniert, 12 Karten blieben
|
||||
unbewertet, Sweep meldete `cards=5` als Erfolg. Zusätzlich sperrte ein
|
||||
fachlicher `review`-Task (`Abnahme: deadman-rezidiv-research-4`, `working`)
|
||||
den Value Stream `vs-fleet-rebuild` mit 40 fälligen Karten. SolDoc
|
||||
`bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md`.
|
||||
@@ -0,0 +1,44 @@
|
||||
# PAT-014 — Dead-NVMe-Resurrection für Ceph-OSD
|
||||
|
||||
## Trigger
|
||||
Ceph-OSD auf externem/non-Corosync-Host startet nicht: KernelDevice errno-5 I/O-Errors beim
|
||||
Label-Lesen, Symlink `/var/lib/ceph/osd/ceph-*/block` ins Leere, VG „verschwindet".
|
||||
|
||||
## Root Cause
|
||||
NVMe-Controller im PCIe-Fabric gestorben (state=dead, Namespace 0B) — NICHT das Medium selbst.
|
||||
Nach PCI-reset kehrt der Controller oft unter NEUER Nummer zurück (nvme0 → nvme2!), alte
|
||||
Device-Mapper-Tabelle bleibt stale.
|
||||
|
||||
## Resurrection-Sequence (verifizierte Reihenfolge)
|
||||
1. **Korrekte PCI-Addr finden**: über sysfs-Pfad des Namespaces (`/sys/class/block/nvmeXnY/device`),
|
||||
NICHT raten — erster Versuch traf den falschen (gesunden!) Controller.
|
||||
2. `echo 1 > /sys/bus/pci/devices/<ADDR>/remove && echo 1 > /sys/bus/pci/rescan`
|
||||
→ Controller kommt als neue Instanz zurück, Namespaces wieder da.
|
||||
3. `pvscan --cache` → VG/LV wieder sichtbar.
|
||||
4. **Stale DM-Table**: `lvchange -an <vg>/<lv> && lvchange -ay -K <vg>/<lv>`
|
||||
5. **Lesetest**: `dd if=/dev/<vg>/<lv> bs=4M count=8 of=/dev/null` — bei weiteren errno-5:
|
||||
NAND/Media defekt → OSD out lassen, Drive tauschen.
|
||||
6. **Permissions-Falle nach lvchange**: udev setzt Owner root →
|
||||
`chown ceph:ceph /dev/mapper/<dm-name>; chmod 660` (sonst `bdev open: (13) Permission denied`).
|
||||
7. `systemctl reset-failed ceph-osd@<id> && systemctl start ceph-osd@<id>`
|
||||
8. `ceph osd in osd.<id>` + Weight restaurieren.
|
||||
|
||||
## Begleitregeln
|
||||
- Klein/niedergewichtetes OSD niemals mit Weight 1.0 reintegrieren, solange Pools an
|
||||
Full-Ratios kratzen → sonst `backfillfull`/`backfill_toofull`-Blockade (Fall osd.3:
|
||||
re-in@1.0 → 96 % voll instant → 13 PGs blocked; Fix: `crush reweight osd.3 0.05`).
|
||||
- Externe Non-Corosync-Hosts in `/etc/hosts` ALLER PVE-Nodes pflegen (GUI-500
|
||||
„hostname lookup failed"), oder echter DNS-Record.
|
||||
|
||||
## Verified
|
||||
2026-09-30: osd.2 revived (Kingston SFYRDK2000G, PCI 03:00.0, → nvme2), 495 GiB, Weight 1.0;
|
||||
Cluster 17/17 up/in; Degraded 0,78 % fallend. osd.3 stabilized @ weight 0.05.
|
||||
|
||||
## Smart-Log-Abgleich 2026-09-30 (korrigiert frühere Alters-These)
|
||||
Kingston SFYRDK2000G (nvme0n2, trägt osd.2): percentage_used **6 %**, media_errors **0**,
|
||||
available_spare 100 %, unsafe_shutdowns 2, power_on_hours 1469, power_cycles 3.
|
||||
Geschwisterplatte nvme1n1 identisches Profil (6 % wear, 0 media errors).
|
||||
⇒ Drive ist MEDIZINISCH GESUND — der Vorfall war rein Controller-(PCI)-Ebene, kein
|
||||
Media-Verschleiß. **Kein Austausch nötig.** Einziges Beobachtungsfeld: Temperatur 70 °C /
|
||||
Sensor2 78 °C (thermisches Throttling T1 3× aktiviert) — Kühlung prüfen wäre sinnvoll,
|
||||
aber keine Akutgefahr.
|
||||
@@ -0,0 +1,50 @@
|
||||
---
|
||||
pattern_id: PAT-016
|
||||
title: "Ceph OSD-Keyring-Rotation: Reboot macht stale lokale Keyrings zur Zeitbombe"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-10-10
|
||||
related_systems: [ceph, proxmox, n5pro, ubuntu-host]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md
|
||||
related_skills: [proxmox-ve-administration]
|
||||
---
|
||||
|
||||
# Ceph OSD-Keyring-Rotation: Stale lokale Keyrings detonieren beim Reboot
|
||||
|
||||
## Symptom
|
||||
Nach einem Node-Reboot crashloopen einzelne/alle OSDs eines Hosts:
|
||||
```
|
||||
monclient(hunting): handle_auth_bad_method failed to auth with my available methods: (13) Permission denied
|
||||
failed to fetch mon config
|
||||
```
|
||||
Innerhalb ~10 Minuten markiert der MON sie `down`+`out` → PGs inactive/degraded, Recovery-Churn. Betrifft typischerweise ganze Host-Gruppen, deren OSDs seit der Rotation liefen.
|
||||
|
||||
## Root Cause
|
||||
Rotation der MON-Auth-DB auf aes256k (23.09.2026) ändert die Keys **in der DB**, aber `ceph auth get`-Ergebnisse werden NICHT automatisch in die lokalen `/var/lib/ceph/osd/ceph-<id>/keyring`-Files propagiert. Laufende OSDs merken nichts (Session-Tickets bleiben gültig); erst der Neustart erzwingt die Neu-Auth — und scheitert am alten Key. Erkennungsmerkmal: lokaler Key-String beginnt mit `AQ…` (alt) vs. DB-Key `Ag…` (rotiert).
|
||||
|
||||
## Mitigation
|
||||
```bash
|
||||
# Auf MON: frisches Keyring je betroffenem OSD erzeugen und verteilen
|
||||
ceph auth get osd.<id> > /tmp/osd.<id>.keyring # scp → OSD-Host
|
||||
cp -a /var/lib/ceph/osd/ceph-<id>/keyring{,.bak} # Backup!
|
||||
mv /tmp/osd.<id>.keyring /var/lib/ceph/osd/ceph-<id>/keyring
|
||||
chown ceph:ceph $_; chmod 600 $_
|
||||
systemctl reset-failed ceph-osd@<id>; systemctl start ceph-osd@<id>
|
||||
```
|
||||
**Pitfall 1:** Direkter `systemctl restart` nach Crashloop → Startratelimit („Start request repeated too quickly"). IMMER `reset-failed` zuerst.
|
||||
**Pitfall 2:** Währenddessen setzen MONs die OSDs evtl. `out` → nach Fix prüfen: `ceph osd in osd.<id>` falls nötig (hier automatisch re-in gegangen).
|
||||
**Pitfall 3:** `ceph-authtool <file> --print-key` benötigt `-p`-Syntax je Version; robuster Key-Extraktionsweg: `awk '$1=="key"{print $3}' keyring`.
|
||||
|
||||
## Prevention
|
||||
- **Vor JEDEM Node-Reboot**: Konsistenz-Sweep aller lokalen Keyrings gegen `ceph auth get-key` (Script: `~/workspace/osd-keyring-fix-2026-10-10/ksweep_local.sh`, getestet 10.10.: 17/17 MATCH).
|
||||
- Nach jeder Key-Rotation: Sweep als Abschluss-Kriterium, nicht „betroffene Daemons neugestartet".
|
||||
- Monitoring-Idee: Cron/Watcher, der Prefix-Differenzen (AQ vs Ag) alarmiert (<60s-Alert-Pflicht).
|
||||
|
||||
## Evidence
|
||||
- 2026-09-28: 5 OSDs auf n5pro + osd.5 (proxmox5) nach Reboot — manueller Keyring-Refresh (erste Detonation)
|
||||
- 2026-10-03: osd.17 (ubuntu) — „clusterweit gelöst", aber nur laufende OSDs gepatcht
|
||||
- 2026-10-10: osd.7 (proxmox7) + osd.10 (proxmox6) beim ersten Reboot seit Rotation — selbes Fehlerbild, Bestätigung des systemischen Charakters; danach Voll-Sweep 17/17 MATCH
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-10-10-proxmox67-reboot-osd-keyring-ct151-orphan.md`
|
||||
@@ -0,0 +1,118 @@
|
||||
---
|
||||
title: "LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden"
|
||||
pattern_id: PAT-015
|
||||
category: patterns
|
||||
tags: [llm, timeout, diagnosis, noris, hermes, debugging]
|
||||
created: "2026-10-02"
|
||||
severity: high
|
||||
---
|
||||
|
||||
# PAT-015: LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden
|
||||
|
||||
## Symptom
|
||||
|
||||
Agent-Turns laufen in Timeouts. Logs zeigen:
|
||||
```
|
||||
httpx.ReadError: [Errno 32] Broken pipe
|
||||
→ openai.APIConnectionError: Connection error.
|
||||
→ 3 Retries mit Backoff
|
||||
→ "Provider has been unresponsive (no response received) for
|
||||
5 consecutive stale attempts — aborting this call"
|
||||
```
|
||||
|
||||
Der Instinkt sagt "Netzwerk" oder "VM überlastet". **Meist falsch.**
|
||||
|
||||
## Signatur des Modell-Defekts
|
||||
|
||||
| Beobachtung | Bedeutung |
|
||||
|-------------|-----------|
|
||||
| TCP-Connect **erfolgreich** (`time_connect` < 1s) | Netzwerk ist in Ordnung |
|
||||
| TLS-Handshake OK (`time_appconnect` gesetzt) | Proxy/Ingress funktioniert |
|
||||
| **`ttfb = 0.000000`**, Timeout mit *0 bytes received* | Backend nimmt an, antwortet nie |
|
||||
| Trifft stream **und** non-stream gleich | Kein Streaming-Bug — Modell-Server hängt |
|
||||
| **Andere Modelle am selben Endpoint: 200** | Key, Netz, Infra alle gesund |
|
||||
|
||||
**Kernpunkt:** `code=000` bei erfolgreichem Connect = der Upstream-Backend-Prozess
|
||||
für *dieses eine Modell* ist tot/hängt. Nicht das Netz.
|
||||
|
||||
## Diagnose-Rezept (5 Minuten)
|
||||
|
||||
Identischer Key, identischer Host, **Modell-Matrix** gegentesten:
|
||||
|
||||
```bash
|
||||
KEY=<from running process>
|
||||
for m in <broken-model> <candidate-a> <candidate-b>; do
|
||||
curl -s -o /tmp/r.json -w "%{http_code}" --max-time 20 \
|
||||
https://<endpoint>/v1/chat/completions \
|
||||
-H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
|
||||
-d "{\"model\":\"$m\",\"messages\":[{\"role\":\"user\",\"content\":\"say OK\"}],\"max_tokens\":8}"
|
||||
done
|
||||
```
|
||||
|
||||
**Ein einziges Modell 000 + Rest 200 ⇒ Modell-Defekt, kein Infra-Defekt.**
|
||||
|
||||
Gegenprobe von einem **zweiten Host** ausschließen, dass es host-spezifisch ist.
|
||||
|
||||
## Pitfalls bei der Diagnose
|
||||
|
||||
1. **Key aus `~/.hermes/.env` greppen schlägt fehl**, wenn der Key im systemd-Unit
|
||||
als `Environment=` steht. → Aus dem laufenden Prozess lesen, nicht aus `.env`:
|
||||
`sudo tr '\0' '\n' < /proc/<PID>/environ`
|
||||
Die PID rotiert bei jedem Restart — nicht cachen.
|
||||
2. **401/403/400 nicht mit 000 verwechseln.** Key-Scope-Fehler antworten sofort
|
||||
mit Body. `code=000` ist der einzige echte Hang.
|
||||
3. **`/v1/models` listet auch Modelle, die der Key nicht darf** (`403 model_blocked`).
|
||||
Auflisten ≠ nutzbar.
|
||||
4. **Veraltete Response-Datei:** bei `code=000` schreibt curl keine Datei →
|
||||
`head` zeigt die *vorherige* Antwort. Sieht aus wie Erfolg. Immer `-w %{http_code}`
|
||||
als Wahrheit nehmen, nicht den Body.
|
||||
|
||||
## Amplifier: fehlender Fallback
|
||||
|
||||
```yaml
|
||||
fallback_providers: [] # ← kein Fallback
|
||||
agent:
|
||||
api_max_retries: 3
|
||||
mcp_servers:
|
||||
playwright:
|
||||
timeout: 120
|
||||
connect_timeout: 60
|
||||
```
|
||||
|
||||
Ohne Fallback hängt jeder Turn bis `timeout` × Retries. Ein defektes Modell
|
||||
legt dann die **ganze** Instanz lahm statt einen degradierten Betrieb zu erzeugen.
|
||||
|
||||
## Fix
|
||||
|
||||
Default-Modell auf ein verifiziert funktionierendes umstellen, **dann E2E testen** —
|
||||
nicht nur Config-Write verifizieren:
|
||||
|
||||
```bash
|
||||
# 1. Backup
|
||||
cp -a config.yaml config.yaml.bak.$(date +%Y%m%d_%H%M%S)
|
||||
# 2. Beide Modell-Referenzen patchen (model.default + providers.<p>.model)
|
||||
sed -i 's|<old>|<new>|g' config.yaml
|
||||
# 3. YAML validieren
|
||||
python3 -c "import yaml;yaml.safe_load(open('config.yaml'))"
|
||||
# 4. mtime(config) MUSS < Prozessstart sein
|
||||
stat -c '%y' config.yaml; systemctl show <svc> -p ActiveEnterTimestamp
|
||||
# 5. Restart + E2E-Turn
|
||||
```
|
||||
|
||||
**Verifikationskette, die zählt:**
|
||||
- Neue Session meldet das neue Modell (`session.model`)
|
||||
- Ein echter Turn läuft durch (`terminal_state: completed`)
|
||||
- Transcript enthält die Assistant-Antwort
|
||||
|
||||
## Referenz-Vorfall
|
||||
|
||||
2026-10-02, sarah-hermes VM107: `vllm/release/glm-5-2` hing bei `ai.noris.de`
|
||||
(0 Bytes, stream + non-stream, von 2 Hosts). Derselbe Key lieferte mit
|
||||
`qsu/deepseek-v41-flash`, `release/gpt-oss-120b`, `qsu/qwen3.8-27b`,
|
||||
`release/qwen3.6-27b` jeweils 200. Fix: Default → `qsu/deepseek-v41-flash`,
|
||||
E2E-Turn in 15s.
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/sarah-hermes]] — Vorfall VM107
|
||||
- [[systems/noris-ai]] — Endpoint, Modell-Katalog
|
||||
@@ -0,0 +1,57 @@
|
||||
---
|
||||
pattern_id: PAT-020
|
||||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-11-15
|
||||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||||
---
|
||||
|
||||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||||
|
||||
## Symptom
|
||||
|
||||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||||
zusätzlich `backup ended but finished flag is not set`.
|
||||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||||
|
||||
## Root Cause
|
||||
|
||||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||||
|
||||
## Mitigation
|
||||
|
||||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||||
|
||||
## Prevention
|
||||
|
||||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||||
|
||||
## Evidence
|
||||
|
||||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|
||||
@@ -0,0 +1,23 @@
|
||||
# PAT-012 — Placement Guardrails (RAM-Deckel + Swap-Verbot)
|
||||
|
||||
**Trigger**: Neue Gastplatzierung oder Kapazitätsfrage auf einem PVE-Node.
|
||||
|
||||
**Policy**:
|
||||
- Committed RAM pro Hypervisor ≤ 70 % physikalisch. Über Deckel = "voll",
|
||||
Guests redistribuieren BEVOR neue Last kommt.
|
||||
- Resident Swap > 100 MiB für >10 min = Politikverstoß → Placements prüfen,
|
||||
nie als Normalzustand akzeptieren.
|
||||
|
||||
**Enforcement (live)**: Gruppe `placement_guardrails` in CT141
|
||||
(`/opt/monitoring/prometheus/rules/alerting_rules.yml`):
|
||||
- `PVEPlacementCeilingBreached` (ratio > 0.70, for 15m, warning)
|
||||
- `HVResidentSwapNonzero` (SwapTotal-Free > 100MiB, for 10m, warning)
|
||||
|
||||
**Vor jeder Platzierung**: Ratio-Query ziehen
|
||||
(`pve_memory_usage_bytes{id=~"node/.*"} / pve_memory_size_bytes{id=~"node/.*"}`)
|
||||
— >70 %-Nodes meiden, Headroom liegt primär auf ms-a2-1/ms-a2-2.
|
||||
|
||||
Baseline-Rollout 30.09.: proxmox3 80,6 / p4 79,3 / p5 75,5 / p6 72,6 %
|
||||
über Deckel (Warnburst erwartet = Rebalancing-Backlog, kein Emergency).
|
||||
|
||||
Ref: docs/solutions/architecture/2026-09-30-placement-guardrails-ram-ceiling.md
|
||||
@@ -0,0 +1,28 @@
|
||||
# PAT-013 — Prometheus Config Rescue (Crashloop + LXC Rootfs Channel)
|
||||
|
||||
**Trigger**: Prometheus crashloop nach Config-Rewrite, oder pct exec unbrauchbar.
|
||||
|
||||
**Iron Rules**:
|
||||
1. NIEMALS `grep -n`-Ausgabe als Rewrite-Source — Nummernpräfixe verseuchen die Datei.
|
||||
Nutze `grep -v` (ohne -n) oder Python/awk.
|
||||
2. YAML validieren BEVOR Container recreate (sonst Crashloop = totale Blindheit).
|
||||
3. Beim Löschen von Targets/IPs ALLE Locations sweeppen — Dubletten leben gern in
|
||||
mehreren Jobs derselben Datei (node_exporter-Liste ≠ blackbox-Liste).
|
||||
|
||||
**Rescue-Kanal (universell für LXC auf RBD)**:
|
||||
```bash
|
||||
# Auf dem Hyper visor, der den CT hostet:
|
||||
lsblk # rbdX finden (size matchen)
|
||||
mount /dev/rbdX /mnt/rescue
|
||||
# Dateien direkt editieren unter /mnt/rescue/opt/...
|
||||
umount /mnt/refuge
|
||||
# im CT: docker compose up -d --force-recreate <svc>
|
||||
```
|
||||
|
||||
**Symptom-Signature Crashloop**: `docker logs prometheus` → "yaml: line N: mapping
|
||||
values are not allowed in this context" = klassisches NN:-Präfix-Gift.
|
||||
|
||||
**Stale-Series-Note**: gelöschte Targets erscheinen sekundenweise weiter in Queries —
|
||||
erst nach Scrape-Zyklus-Gap re-checken, dann Erfolg erklären.
|
||||
|
||||
Ref: docs/solutions/bug-fixes/2026-09-30-prometheus-yaml-prefix-crashloop.md
|
||||
@@ -0,0 +1,22 @@
|
||||
# PAT-011 — PVE Webhook Notifications Pipeline Repair
|
||||
|
||||
**Trigger**: PVE notifications (esp. vzdump) reach Telegram not / test returns 500.
|
||||
|
||||
**Signature diagnosis ladder**:
|
||||
1. `pvesh create /cluster/notifications/targets/<name>/test` — error taxonomy:
|
||||
- `Connection refused` → transport/down (check URL target alive)
|
||||
- `failed to render webhook body` → template broken (syntax/base64)
|
||||
- `http status: 400` → bridge rejected payload (escaping!)
|
||||
2. Listener-Sweep über VLAN: `for ip in .xx…; do /dev/tcp/$ip/port probe; done`
|
||||
3. Byte-Level-Truth via temp mini-sniffer (redirect URL, capture, restore!).
|
||||
|
||||
**Hard rules**:
|
||||
- Mutations an `/etc/pve/notifications.cfg` NUR via `pvesh set` (hand-edits poison
|
||||
global deserialization!). Vorher Snapshot.
|
||||
- `body`/header-values/secrets = **base64 blobs**: `printf '%s' tpl | base64 -w0`.
|
||||
- Handlebars helpers: `{{escape title}}` (Space!), NICHT `{{escape:title}}`.
|
||||
- Immer `{{escape title}}`/`{{escape message}}` verwenden — rohe Interpolation bricht
|
||||
bei Apostrophen/Multiline (Backup-Reports!).
|
||||
- Sniffer-Redirect URL IMMER restaurieren.
|
||||
|
||||
Reference: `docs/solutions/bug-fixes/2026-09-30-pve-webhook-notifications-drift-base64-escape.md`
|
||||
@@ -0,0 +1,49 @@
|
||||
---
|
||||
pattern_id: PAT-010
|
||||
title: "PVE host OOM-kill freezes guest VM as zombie (RSS collapse signature)"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-09-30
|
||||
related_systems: [proxmox-cluster, rke2-kubernetes]
|
||||
related_solution_docs: [docs/solutions/bug-fixes/2026-09-30-proxmox6-oom-frozen-vm102-worker05.md]
|
||||
related_skills: [rke2-cluster-administration, systematic-debugging]
|
||||
---
|
||||
|
||||
# PAT-010: PVE host OOM-kill freezes guest VM as zombie
|
||||
|
||||
## Symptom
|
||||
- K8s node NotReady, kubelet heartbeat stops abruptly
|
||||
- PVE shows VM `running`, but: no ping, no SSH, qemu-guest-agent dead,
|
||||
tap-interface TX counters static
|
||||
- **Signature:** `qm status <vmid> --verbose` → kvm RSS collapses to a
|
||||
tiny fraction (<5%) of assigned RAM — guest kernel no longer touches
|
||||
its memory
|
||||
- Downstream alerts (DS misscheduled, workload CrashLoops) fire, but
|
||||
NOTHING alarms on the actual OOM
|
||||
|
||||
## Root Cause
|
||||
Host RAM oversubscription (allocations >> physical RAM). OOM-killer picks
|
||||
the largest anon-RSS process = biggest kvm. After TWO consecutive kills of
|
||||
the same guest (HA auto-restarts in between), the revived QEMU comes up
|
||||
but the guest kernel stays inert → zombie VM.
|
||||
|
||||
## Mitigation
|
||||
1. Relieve host pressure FIRST (move movable tenants away) — otherwise
|
||||
the unfreeze re-boots the guest into the same thrash.
|
||||
2. Hard cycle the VM: `qm stop` + `qm start` (respect HA guards).
|
||||
3. Re-query `ha-manager status` afterwards — HA may relocate the VM.
|
||||
4. Uncordon the K8s node; orphan DS pods self-reconcile.
|
||||
|
||||
## Prevention
|
||||
- Allocation ceiling per PVE host (≤ ~70% of RAM) enforced in placement/
|
||||
IaC; swap is a buffer, not capacity.
|
||||
- PSI/OOM alerting per PVE node in Prometheus — OOM kills are currently
|
||||
invisible to alerting (noticed only via downstream K8s symptoms).
|
||||
|
||||
## Evidence
|
||||
- 2026-09-30: proxmox6 (16 GB, ~47.8 GB allocated): OOM-killed
|
||||
rke2-worker-05 kvm twice (18:43:38, 20:44:12 UTC on 29.09.), second
|
||||
revival = zombie (RSS 239 MB / 12 GB). Fixed via Laya-CT migration +
|
||||
hard recycle; HA relocated VM to ms-a2-2. Full RCA in related doc.
|
||||
@@ -14,6 +14,7 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
```
|
||||
| Date | Skill | Change Type | Description | Validation | Outcome | Ref |
|
||||
```
|
||||
| 2026-10-08 | smart-home-automation | adopted | EMHASS-References erweitert: Status-Block in defect-analysis (Pointer-Datei) + neue Sektion "CSV Laws & Shadow Testing" in api-and-config | tested | accepted | docs/solutions/workflows/2026-10-08-emhass-phase2-shadow-methodology.md |
|
||||
|
||||
- **Change Type**: `created` | `patched` | `deleted` | `adopted`
|
||||
- **Validation**: How was success measured? (`manual` | `tested` | `benchmark` | `n/a`)
|
||||
@@ -38,3 +39,15 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
`validation: manual` — they may enable future improvements.
|
||||
- **Rollbacks** are explicitly tracked — if a skill patch caused regressions and was
|
||||
reverted, the entry stays with `outcome: rolled-back`.
|
||||
| 2026-10-08 | smart-home | patched | NUT-Absatz ergänzt: Kaskade, Master/slaves, roh-Proto-Details, Watchdog-Cron 4cbf03ccb4de | tested | accepted | docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md |
|
||||
| 2026-10-08 | (none) | adopted | PAT-016 systemd-path-blindness erstellt (Exit-127-Klasse: ~/.local/bin unsichtbar im Service-PATH; trap-EXIT-Cleanup-Pflicht) | tested | accepted | docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md |
|
||||
| 2026-10-11 | devops/seafile-api | patched | references/seafile-bulk-migration.md um Welle-2-Guardrails erweitert: synchronized-as-Gate (Trim-Parser), Status-Tabellen-Truncation unter Last, Heal-Pass, --from0-Exclude-Engineering, Byte-Verification statt du, mv-across-ZFS-Datasets, pkill-in-eigener-Shell-Falle, Locale-abhängige rsync-stats; Disk-Stand 285G/46G aktualisiert | tested | accepted | docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md |
|
||||
| 2026-10-17 | productivity/imap-file-delivery | patched | Pitfall-Tabelle +2: verschachtelte FETCH-Tupel (rekursiv flattening statt dat[0].decode) und RFC2047-q-kodierte Subjects (decode_header+Klartext-Vergleich statt Rohmatch) — sonst FALSE NEGATIVE trotz APPENDUID-OK | tested | accepted | docs/solutions/integrations/2026-10-17-imap-append-verification-rfc2047-tuple-pitfalls.md |
|
||||
| 2026-10-19 | devops/rke2-cluster-administration | patched | Neue Reference `references/cilium-networkpolicy-traps-2026-10-19.md` (4 stumme CNP-Fallen: Selektion⇒Default-Deny, `[{}]`=Null-Allow, service.name≠Identity-Label, VIP-SNAT⇒world) + Description-Link; L3 deckte Cilium-NP zuvor nicht ab (nur LB-Pool) | tested | accepted | docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md |
|
||||
| 2026-11-02 | devops/ai-noris-inference-api | patched | Context-Fenster-Pitfall ergänzt: Bifrost liefert max_context_length verschachtelt; Hermes-Fallback 128k/1.31M/256k; Fix via model.context_length + providers.noris.models.<id>.context_length | tested | accepted | docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md |
|
||||
| 2026-11-05 | security/security-exposure-audit | patched | Auth-Bypass-Regel ergänzt: sshd-libc per `ldd` prüfen (musl-Loader ≠ musl-sshd), fünf AND-Bedingungen für sshhole.com | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md |
|
||||
| 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md |
|
||||
| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md |
|
||||
| 2026-11-20 | devops/hermes-profile-setup | patched | Step 0 „Gateway-Topologie prüfen" ergänzt: `profile create` legt keinen Gateway an → `profile_parked`; Fix `gateway.standalone: true` + eigener Dienst (oder `gateway migrate --multiplex`), webhook/api_server-Ports vorher abschalten. Pitfall-Zeile ergänzt. | tested | accepted | docs/solutions/bug-fixes/2026-11-20-hermes-neues-profil-profile-parked.md |
|
||||
|
||||
@@ -0,0 +1,42 @@
|
||||
# Skill Impact Tracker
|
||||
|
||||
> Inspired by WikiSkill (arXiv:2608.27454) — tracks skill modifications, their validation
|
||||
> outcomes, and acceptance decisions. Prevents repeating failed modifications and provides
|
||||
> an audit trail of skill evolution.
|
||||
|
||||
## How to Use
|
||||
|
||||
When a skill is patched, created, or deleted, append an entry to the table below.
|
||||
The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
|
||||
### Entry Format
|
||||
|
||||
```
|
||||
| Date | Skill | Change Type | Description | Validation | Outcome | Ref |
|
||||
```
|
||||
|
||||
- **Change Type**: `created` | `patched` | `deleted` | `adopted`
|
||||
- **Validation**: How was success measured? (`manual` | `tested` | `benchmark` | `n/a`)
|
||||
- **Outcome**: `accepted` | `rejected` | `rolled-back` | `pending`
|
||||
- **Ref**: Session ID or solution doc path
|
||||
|
||||
## Audit Trail
|
||||
|
||||
| Date | Skill | Change Type | Description | Validation | Outcome | Ref |
|
||||
|------|-------|-------------|-------------|------------|---------|-----|
|
||||
| 2026-08-30 | compound-learning | patched | Added WikiMaintainer phase + patterns/ guidance from WikiSkill paper analysis | tested | accepted | this session |
|
||||
| 2026-08-30 | (retrospective) | created | 4 solution docs + 2 new patterns (PAT-008, PAT-009) from 30-day retrospective | tested | accepted | this session |
|
||||
| 2026-08-13 | hindsight | patched | Expanded meta-memory automation table (decay scoring, drift detection, skill health) | tested | accepted | session 2026-08-13 |
|
||||
| 2026-08-13 | (3 cron jobs) | created | Decay scoring, drift detection, skill health check — no_agent cron jobs | tested | accepted | session 2026-08-13 |
|
||||
|
||||
## Notes
|
||||
|
||||
- **Rejected proposals persist here** — they are NOT deleted. Future skill updates can
|
||||
consult this log to avoid repeating failed approaches (the WikiSkill paper showed this
|
||||
is critical for effective evolution).
|
||||
- **Neutral changes** (no improvement, no regression) are recorded as `accepted` with
|
||||
`validation: manual` — they may enable future improvements.
|
||||
- **Rollbacks** are explicitly tracked — if a skill patch caused regressions and was
|
||||
reverted, the entry stays with `outcome: rolled-back`.
|
||||
| 2026-10-08 | smart-home | patched | NUT-Absatz ergänzt: Kaskade, Master/slaves, roh-Proto-Details, Watchdog-Cron 4cbf03ccb4de | tested | accepted | docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md |
|
||||
| 2026-10-08 | (none) | adopted | PAT-015 systemd-path-blindness erstellt (Exit-127-Klasse: ~/.local/bin unsichtbar im Service-PATH; trap-EXIT-Cleanup-Pflicht) | tested | accepted | docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md |
|
||||
@@ -0,0 +1,49 @@
|
||||
---
|
||||
pattern_id: PAT-016
|
||||
title: "systemd-PATH-Blindness: binaries aus ~/.local/bin verschwinden im Service-Kontext"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-10
|
||||
last_updated: 2026-10-08
|
||||
related_systems: [hermes-agent-01, systemd]
|
||||
related_solution_docs: [docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md]
|
||||
related_skills: []
|
||||
---
|
||||
|
||||
# PAT-016 — systemd-PATH-Blindness
|
||||
|
||||
**Trigger**: Ein Skript, das interaktiv/per SSH fehlerfrei läuft, stirbt als systemd-Service mit
|
||||
`command not found` (Exit 127) — typischerweise bei pip-user-installierten CLIs (`aws`, `uv`),
|
||||
Node/npm-Tools oder allem unter `$HOME/.local/bin`, `$HOME/.cargo/bin`, `/opt/*`.
|
||||
|
||||
## Symptom
|
||||
- Journal: `<script>: line NN: aws: command not found` → `status=127`
|
||||
- Dieselbe Binary funktioniert problemlos in der interaktiven Shell desselben Users.
|
||||
- Bei `set -e`-Skripten mit Cleanup AM ENDE: sekundär Müll-Akkumulation, weil der Exit
|
||||
vor dem Aufräumschritt liegt.
|
||||
|
||||
## Root Cause
|
||||
systemd startet Units mit definiertem Minimal-PATH (`/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin`),
|
||||
OHNE die User-Shell-Profile zu sourcen. Pip `--user`-Installationen landen in `~/.local/bin`,
|
||||
das nur via `~/.profile`/shell-Init in PATH kommt. Interaktiv≠Serviceland.
|
||||
|
||||
## Mitigation
|
||||
1. **Robuste Variante (im Skript):** Absolutpfad mit Fallback-Kette:
|
||||
`BIN="$(command -v foo || true)"; [ -z "$BIN" ] && BIN="/home/user/.local/bin/foo"; [ -x "$BIN" ] || exit 1`
|
||||
2. **Unit-seitig:** Drop-in `Environment="PATH=/home/user/.local/bin:$PFAD"` — macht ALLE
|
||||
Scripts der Unit robust, auch solche Dritter.
|
||||
3. **Cleanup-Traps:** `trap 'rm -f "$TMPFILE"' EXIT` — garantiert Aufräumen bei JEDEM Exit,
|
||||
egal wo `set -e` zuschlägt.
|
||||
|
||||
## Prevention
|
||||
- Beim Schreiben neuer systemd-Units mit User-Skripten: PATH-Annahme niemals erben lassen.
|
||||
- Watchdog-Muster: Backup-Jobs brauchen Alter-des-letzten-Erfolgs-Monitoring (still sterbende
|
||||
Jobs bleiben sonst Wochen unsichtbar — hier 10+ Tage TOOT).
|
||||
- Bei Exit-127 im Journal zuerst PATH-Differenz interaktiv vs. Service prüfen (`systemctl show -p Environment`).
|
||||
|
||||
## Evidence
|
||||
- 2026-10-08: hermes-backup.service (backup-to-s3.sh, täglich 04:00 UTC) Exit 127 seit ≥27.09.,
|
||||
10× ~2G-Tarballs in /tmp bis Root-FS 100 %. Fix: Skript-AWS_BIN + Drop-in-PATH + trap.
|
||||
Verifikation: Produktionslauf SUCCESS + S3-Readback 2.284.533.218 B.
|
||||
→ docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md
|
||||
@@ -0,0 +1,51 @@
|
||||
---
|
||||
pattern_id: PAT-017
|
||||
title: "Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert (404 ohne Log)"
|
||||
category: networking
|
||||
severity: medium
|
||||
status: active
|
||||
first_observed: 2026-10-23
|
||||
last_updated: 2026-10-27
|
||||
related_systems: [rke2-kubernetes, traefik, agent-fleet]
|
||||
related_solution_docs: [integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md]
|
||||
related_skills: []
|
||||
---
|
||||
|
||||
# Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert
|
||||
|
||||
## Symptom
|
||||
IngressRoute (oder andere Traefik-CRD) mit korrektem Host/Path/TLS-Setup liefert
|
||||
404 (Traefik-Default), obwohl LoadBalancer, entryPoint und Backend alle
|
||||
funktionsfähig sind. Kein Fehler im Traefik-Log, Objekt ist per kubectl sichtbar.
|
||||
|
||||
## Root Cause
|
||||
Traefik läuft mit Provider-Filter
|
||||
`--providers.kubernetescrd.ingressClass=traefik`. Objekte ohne die Annotations
|
||||
`kubernetes.io/ingress.class: traefik` UND `traefik.io/ingress.class: traefik`
|
||||
werden vom CRD-Provider komplett verworfen — still, ohne Log-Eintrag.
|
||||
|
||||
## Mitigation
|
||||
Beide Annotations am CRD setzen:
|
||||
```yaml
|
||||
metadata:
|
||||
annotations:
|
||||
kubernetes.io/ingress.class: traefik
|
||||
traefik.io/ingress.class: traefik
|
||||
```
|
||||
Wirkung sofort (Router matcht). Nebenerkenntnis 27.10.: Für ipAllowList-Zwang
|
||||
am VIP-LB braucht es `externalTrafficPolicy: Local` am LB-Service — bei
|
||||
`Cluster` SNATet Cilium die Client-IP weg und die ACL blockt fälschlich alles.
|
||||
|
||||
## Prevention
|
||||
- Vor Deploy einer neuen Traefik-CRD: gegen eine bereits funktionierende
|
||||
Route diffen und die ingressClass-Annotations kopieren.
|
||||
- Review-Checkliste für Exposure-PRs: ingressClass-Annotations? eTP Local bei
|
||||
ACL? EntryPoint-Länge ≤15 Z. (Chart kürzt)?
|
||||
|
||||
## Evidence
|
||||
- 2026-10-23: fleet-webui (VIP .212) — Original-Incident, 404 → Fix
|
||||
Commit-Kette 37f40ec…1d35b1f; Solution-Doc integrations/2026-10-23.
|
||||
- 2026-10-27: Fleet Control Tower (VIP .213) — **zweite Inkarnation**,
|
||||
identisches Bild, Fix Commit 8d201bf (8d201bf..0ddad265-Kette). DOM-Smoke
|
||||
23/23 PASS danach. Evidence-Update im Solution-Doc.
|
||||
- MEMORY.md-Pointer ergänzt.
|
||||
@@ -0,0 +1,93 @@
|
||||
---
|
||||
pattern_id: PAT-019
|
||||
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-11
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
|
||||
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
|
||||
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
|
||||
---
|
||||
|
||||
# Watchdog-Alarm an das ausgefallene Ziel
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
|
||||
der Watchdog messbar korrekt gearbeitet hat:
|
||||
|
||||
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
|
||||
- im Spool liegt ein P1-Task mit korrektem Text
|
||||
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
|
||||
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
|
||||
|
||||
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
|
||||
Funktion), nicht durch die eigene Überwachung.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
|
||||
ergeben:
|
||||
|
||||
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
|
||||
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
|
||||
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
|
||||
keinen vom Ziel unabhängigen Empfänger.
|
||||
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
|
||||
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
|
||||
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
|
||||
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
|
||||
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
|
||||
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
|
||||
wird damit permanent, statt sich selbst zu reparieren.
|
||||
|
||||
## Mitigation
|
||||
|
||||
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
|
||||
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
|
||||
kein Agent, eigenes Deployment):
|
||||
|
||||
```python
|
||||
def alarm_recipient(self, source_key):
|
||||
if source_key == f"agent:{ALARM_TARGET}":
|
||||
return OWNER_TARGET
|
||||
return ALARM_TARGET
|
||||
```
|
||||
|
||||
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
|
||||
inkl. Vorbedingungen (Login).
|
||||
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
|
||||
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
|
||||
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
|
||||
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
|
||||
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
|
||||
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
|
||||
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
|
||||
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
|
||||
ein Logbuch.
|
||||
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
|
||||
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
|
||||
nicht selbst.
|
||||
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
|
||||
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
|
||||
wenn sie gebraucht wird.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
|
||||
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
|
||||
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
|
||||
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
|
||||
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
|
||||
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
|
||||
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
|
||||
Klasse: Fehlerzustand ohne Reconcile. SolDoc
|
||||
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
|
||||
@@ -0,0 +1,212 @@
|
||||
---
|
||||
title: "EMHASS Kaskaden-Automations-Architektur"
|
||||
category: reference
|
||||
tags: [emhass, battery, cascade, homeassistant, byd, marstek]
|
||||
created: "2026-10-02"
|
||||
modified: "2026-10-08"
|
||||
---
|
||||
|
||||
# EMHASS Kaskaden-Automations-Architektur
|
||||
|
||||
> Steuerung der dualen Batterie-Systems (BYD 11kWh + Marstek 5kWh) via EMHASS Optimizer + HA Kaskaden-Automation.
|
||||
|
||||
## Architektur-Übersicht
|
||||
|
||||
```
|
||||
EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
↓
|
||||
┌───────────────────┴──────────────────┐
|
||||
│ Kaskaden-Automation (jede 2 Min) │
|
||||
├───────────────────────────────────────┤
|
||||
│ BYD/SMA: 803 Auto (default) │
|
||||
│ 802 Manual (bei target≤0) │
|
||||
│ Marstek: force_mode via │
|
||||
│ sensor.marstek_target_power │
|
||||
│ (= smart_target − BYD_actual)│
|
||||
└───────────────────────────────────────┘
|
||||
```
|
||||
|
||||
## EMHASS Configuration (12,32 kWh Virtual Battery)
|
||||
|
||||
> **Korrigiert 03.11.2026:** Kapazität war mit 16000 Wh angesetzt (Annahme BYD 11 kWh),
|
||||
> real nutzbar sind 7,2 kWh (SMA SBS, aus 10 T Lade-/Entladehistorie gemessen) + 5,12 kWh
|
||||
> (Marstek) = **12320 Wh**. `sensor.total_soc` rechnet seit dem Fix mit demselben Nenner,
|
||||
> sonst wäre die SOC-Kurve inkonsistent zur Modellkapazität.
|
||||
|
||||
| Parameter | Value | Hinweis |
|
||||
|-----------|-------|---------|
|
||||
| `battery_nominal_energy_capacity` | 12320 | SMA 7,2 kWh nutzbar + Marstek 5,12 kWh |
|
||||
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
|
||||
| `battery_discharge_power_max` | 6700 | dto. |
|
||||
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
|
||||
| `battery_discharge_efficiency` | 0.9 | dto. |
|
||||
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
|
||||
| `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) |
|
||||
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
|
||||
| `battery_maximum_state_of_charge` | 1.0 | 100% |
|
||||
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
|
||||
| `set_use_battery` | True | Batterie aktiv |
|
||||
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
|
||||
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
|
||||
| `use_websocket` | True | |
|
||||
| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h |
|
||||
| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP |
|
||||
| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet |
|
||||
|
||||
## Preise & Gate (neu 12.11.2026)
|
||||
|
||||
`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers:
|
||||
1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min)
|
||||
2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares
|
||||
auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional,
|
||||
429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht).
|
||||
3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der
|
||||
Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30.
|
||||
|
||||
**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % →
|
||||
sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`.
|
||||
Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die
|
||||
Phantom-Nachtpreise, nicht ein Fehler).
|
||||
|
||||
**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`;
|
||||
die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch.
|
||||
|
||||
## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026)
|
||||
|
||||
Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die
|
||||
Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 /
|
||||
**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k
|
||||
Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %.
|
||||
|
||||
Konsequenzen, umgesetzt:
|
||||
- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich
|
||||
aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus.
|
||||
- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet
|
||||
eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird
|
||||
das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag.
|
||||
- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil
|
||||
enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt.
|
||||
|
||||
## ⚠️ Known Pitfall: set-config Full Overwrite
|
||||
|
||||
`POST /set-config` ersetzt die **gesamte** Konfiguration, nicht nur gesendete Felder.
|
||||
Nicht angegebene Parameter fallen auf Defaults zurück (capacity→5000, power→1000, etc.).
|
||||
|
||||
**Regel:** Immer ALLE Parameter zusammen senden. Nach jedem Write mit `GET /get-config` verifizieren.
|
||||
|
||||
Siehe Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||||
|
||||
## Kaskaden-Automation
|
||||
|
||||
**Automation ID:** `1774430238377` (ON)
|
||||
**Schedule:** Alle 2 Minuten
|
||||
**File:** `/mnt/data/supervisor/homeassistant/automations.yaml`
|
||||
|
||||
### BYD/SMA Steuerung
|
||||
|
||||
| EMHASS target | PV | BYD Modus | Bedeutung |
|
||||
|--------------|-----|-----------|-----------|
|
||||
| `> 0` (Entladung) | egal | **803 Auto** | BYD self-managed, Marstek kriegt Rest |
|
||||
| `≤ 0` (Hold/Ladung) | `< 100W` | **802 Manual** | BYD hält/zwingt Ladung, EVCC hold |
|
||||
| `< 0` (Ladung) | `≥ 100W` | **803 Auto** | PV reicht, BYD lädt selbst |
|
||||
|
||||
- BYD läuft permanent in Auto/Normal — nur bei EMHASS-Hold/Zwangsladung auf 802
|
||||
- Modbus Register: 44425 (Mode), 44427 (Power)
|
||||
- BYD IP: `10.0.50.202:502`
|
||||
|
||||
### Marstek Steuerung
|
||||
|
||||
- `sensor.marstek_target_power` = `smart_battery_target − actual_BYD_discharge + actual_BYD_charge`
|
||||
- Cap: ±2500W
|
||||
- Force modes: `charge`, `discharge`, `standby`
|
||||
- Writable entities: `select.marstek_venus_modbus_force_mode`,
|
||||
`number.marstek_venus_modbus_ladeleistung_einstellen`,
|
||||
`number.marstek_venus_modbus_entladeleistung_einstellen`
|
||||
- Marstek IP: `10.0.50.113`
|
||||
|
||||
### Gelöste Bugs
|
||||
|
||||
1. **Double-Counting (behoben 2026-10-01):** `sensor.sma_target_power` nahm volle EMHASS-Target,
|
||||
ließ Marstek 0W. Fix: `sma_target_power` gelöscht, `marstek_target_power` nutzt jetzt
|
||||
echte BYD-Werte (discharge - charge) statt Forecast-Split.
|
||||
2. **Overnight Hold Too High (behoben 2026-10-02):** EMHASS hielt bei 65% weil
|
||||
`target_state_of_charge=0.30`. Geändert auf 0.15.
|
||||
3. **BYD ignoriert Hold (behoben 2026-10-02):** 802-Bedingung war `target < 0`,
|
||||
jetzt `target <= 0` (Hold bei target=0 eingeschlossen).
|
||||
|
||||
## Template Sensoren (configuration.yaml)
|
||||
|
||||
- `sensor.smart_battery_target` — EMHASS p_batt_forecast, gerundet
|
||||
- `sensor.marstek_target_power` — Plan A: smart_target − actual_BYD_net_discharge
|
||||
- Guards: SoC-Checks, ±2500W cap
|
||||
- `sensor.sma_target_power` — **ENTFERNT** (war Double-Counting Source)
|
||||
|
||||
## Cron Jobs
|
||||
|
||||
| Job ID | Schedule | Typ | Funktion |
|
||||
|--------|----------|-----|----------|
|
||||
| `a32005d62226` | every 15m | no_agent script | Ruft EMHASS Optimization auf, published Plan zu HA |
|
||||
| `d046e808f543` | */15m | LLM-Agent (silent-on-healthy) | Shadow-Dual-Solve A/B + Ledger |
|
||||
| `19aef2351273` | hourly :35 | no_agent script | Shadow-Staleness-Watchdog (>45 min -> Alert) |
|
||||
|
||||
Runner: `/home/debian/.hermes/scripts/emhass-optimizer-runner.sh`
|
||||
Optimizer: `/home/debian/scripts/emhass_optimizer.py`
|
||||
Shadow: `/home/debian/scripts/emhass_optimizer_v2.py --shadow` - Ledger `~/shadow_phase2/ledger.jsonl` - Report `~/scripts/report_phase2.py`
|
||||
|
||||
## Shadow Phase-2 (live seit 2026-10-08)
|
||||
|
||||
Dual-Solve-Validierung (A=Standard, B=grid-charge erlaubt) auf IDENTISCHEN
|
||||
Inputs; Incumbent unangetastet. Bewiesene CSV-Gesetze: `+P`=Entladung,
|
||||
`P_grid` signed net import (**Export NEGATIV**), Deferrable-Spalten =
|
||||
Phantom-Last (+12 kWh Summeninvarianz, KEINE Consumer) ->
|
||||
**produktiv entfernt 2026-10-08** (`number_of_deferrable_loads: 2->0`,
|
||||
Direct-File-Edit + Addon-Restart im :50-Fenster, Backup
|
||||
`config.json.hermesbak-20261008`; Beweis: Incumbent-CSV faellt auf 17
|
||||
Spalten). Auswertung: `python3 ~/scripts/report_phase2.py`.
|
||||
|
||||
## Deaktivierte Komponenten
|
||||
|
||||
| Component | Status | Grund |
|
||||
|-----------|--------|-------|
|
||||
| Tibber Smart Charging Bridge | OFF | EMHASS ist sole optimizer |
|
||||
| Marstek Kaskaden-Steuerung (Modbus) | OFF | Alte PV-only Kaskade, ersetzt durch EMHASS-Kaskade |
|
||||
|
||||
## Hardware Referenz
|
||||
|
||||
| Device | IP | Capacity | Max Power | Interface |
|
||||
|--------|----|----------|-----------|-----------|
|
||||
| BYD/SMA SBS | 10.0.50.202:502 | 11 kWh | 4.2 kW | Modbus 44425/44427 |
|
||||
| Marstek Venus E | 10.0.50.113 | 5 kWh | 2.5 kW | HA Entities (Modbus) |
|
||||
| SMA SB #1 | 10.0.50.201:502 | — | — | PV Wechselrichter |
|
||||
| SMA SB #2 | 10.0.50.203:502 | — | — | PV Wechselrichter |
|
||||
| Hoymiles | 10.0.40.55 | — | — | OpenDTU |
|
||||
|
||||
## Known Issues (2026-10-11)
|
||||
|
||||
1. **TZ-Bug in v2 build_pv_series — GEFIXT 11.10. 18:29**: `norm_key()` erzeugt Berlin-Wallclock-Keys,
|
||||
Zurückparsen war als `tzinfo=timezone.utc` → +2h-Versatz im gesamten PV-Plan. Fix deployed:
|
||||
`stamps = [datetime.strptime(k, "%Y%m%d%H%M").replace(tzinfo=BERLIN) for k in keys]`.
|
||||
Backup: `emhass_optimizer_v2.py.bak-20261011-tzfix`. Live-Tick 18:28: korrekte Sunset-Kurve.
|
||||
2. **Solcast-Kontamination (GEFIXT 11.10.)**: Demo-Site "Ogdak Netherlands" trug ~9,6 kWh/Tag
|
||||
Phantom-PV bei; via Options-Flow `exclude_sites=["59c8-caae-52f5-1686"]` entfernt.
|
||||
Optimizer-Tick danach: PV-Summe 59,0→36,3 kWh/24h, Peak 10,0→5,7 kW.
|
||||
3. **Reload-Race-Crash (GEHÄRTET 11.10. 18:47)**: Solcast-Options-Reload → Sensoren ~16 s
|
||||
`unavailable` → 18:43-Tick crashte. Fix: `collect_solcast_pools()` 3×10s-Retry, loud.
|
||||
4. Solcast läuft mit EINER gemittelten Site ("Schön Rohr", 16 kW, -132,6°/19°); seit 11.10.
|
||||
kalibriert via `auto_dampen=True` + `get_actuals=True` + `sensor.pv_production` als
|
||||
Generationsquelle (Validator-Kopplung: auto_dampen erfordert get_actuals).
|
||||
|
||||
## Zugriff
|
||||
|
||||
- EMHASS API: `http://10.0.30.10:5000`
|
||||
- HA intern: `http://10.0.30.10:8123`
|
||||
- HA extern: `https://homeassistant.familie-schoen.com`
|
||||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox -p 22222 root@10.0.30.10`
|
||||
- HA Token: `/tmp/ha_token.txt`
|
||||
- HA Config: `/mnt/data/supervisor/homeassistant/`
|
||||
- Backups: `.bak.20261001_175804` (configuration.yaml + automations.yaml)
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/homeassistant]] — HA System Seite
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||||
@@ -0,0 +1,141 @@
|
||||
---
|
||||
title: "EMHASS Kaskaden-Automations-Architektur"
|
||||
category: reference
|
||||
tags: [emhass, battery, cascade, homeassistant, byd, marstek]
|
||||
created: "2026-10-02"
|
||||
modified: "2026-10-02"
|
||||
---
|
||||
|
||||
# EMHASS Kaskaden-Automations-Architektur
|
||||
|
||||
> Steuerung der dualen Batterie-Systems (BYD 11kWh + Marstek 5kWh) via EMHASS Optimizer + HA Kaskaden-Automation.
|
||||
|
||||
## Architektur-Übersicht
|
||||
|
||||
```
|
||||
EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
↓
|
||||
┌───────────────────┴──────────────────┐
|
||||
│ Kaskaden-Automation (jede 2 Min) │
|
||||
├───────────────────────────────────────┤
|
||||
│ BYD/SMA: 803 Auto (default) │
|
||||
│ 802 Manual (bei target≤0) │
|
||||
│ Marstek: force_mode via │
|
||||
│ sensor.marstek_target_power │
|
||||
│ (= smart_target − BYD_actual)│
|
||||
└───────────────────────────────────────┘
|
||||
```
|
||||
|
||||
## EMHASS Configuration (16 kWh Virtual Battery)
|
||||
|
||||
| Parameter | Value | Hinweis |
|
||||
|-----------|-------|---------|
|
||||
| `battery_nominal_energy_capacity` | 16000 | BYD 11k + Marstek 5k kombiniert |
|
||||
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
|
||||
| `battery_discharge_power_max` | 6700 | dto. |
|
||||
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
|
||||
| `battery_discharge_efficiency` | 0.9 | dto. |
|
||||
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
|
||||
| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung |
|
||||
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
|
||||
| `battery_maximum_state_of_charge` | 1.0 | 100% |
|
||||
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
|
||||
| `set_use_battery` | True | Batterie aktiv |
|
||||
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
|
||||
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
|
||||
| `use_websocket` | True | |
|
||||
|
||||
## ⚠️ Known Pitfall: set-config Full Overwrite
|
||||
|
||||
`POST /set-config` ersetzt die **gesamte** Konfiguration, nicht nur gesendete Felder.
|
||||
Nicht angegebene Parameter fallen auf Defaults zurück (capacity→5000, power→1000, etc.).
|
||||
|
||||
**Regel:** Immer ALLE Parameter zusammen senden. Nach jedem Write mit `GET /get-config` verifizieren.
|
||||
|
||||
Siehe Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||||
|
||||
## Kaskaden-Automation
|
||||
|
||||
**Automation ID:** `1774430238377` (ON)
|
||||
**Schedule:** Alle 2 Minuten
|
||||
**File:** `/mnt/data/supervisor/homeassistant/automations.yaml`
|
||||
|
||||
### BYD/SMA Steuerung
|
||||
|
||||
| EMHASS target | PV | BYD Modus | Bedeutung |
|
||||
|--------------|-----|-----------|-----------|
|
||||
| `> 0` (Entladung) | egal | **803 Auto** | BYD self-managed, Marstek kriegt Rest |
|
||||
| `≤ 0` (Hold/Ladung) | `< 100W` | **802 Manual** | BYD hält/zwingt Ladung, EVCC hold |
|
||||
| `< 0` (Ladung) | `≥ 100W` | **803 Auto** | PV reicht, BYD lädt selbst |
|
||||
|
||||
- BYD läuft permanent in Auto/Normal — nur bei EMHASS-Hold/Zwangsladung auf 802
|
||||
- Modbus Register: 44425 (Mode), 44427 (Power)
|
||||
- BYD IP: `10.0.50.202:502`
|
||||
|
||||
### Marstek Steuerung
|
||||
|
||||
- `sensor.marstek_target_power` = `smart_battery_target − actual_BYD_discharge + actual_BYD_charge`
|
||||
- Cap: ±2500W
|
||||
- Force modes: `charge`, `discharge`, `standby`
|
||||
- Writable entities: `select.marstek_venus_modbus_force_mode`,
|
||||
`number.marstek_venus_modbus_ladeleistung_einstellen`,
|
||||
`number.marstek_venus_modbus_entladeleistung_einstellen`
|
||||
- Marstek IP: `10.0.50.113`
|
||||
|
||||
### Gelöste Bugs
|
||||
|
||||
1. **Double-Counting (behoben 2026-10-01):** `sensor.sma_target_power` nahm volle EMHASS-Target,
|
||||
ließ Marstek 0W. Fix: `sma_target_power` gelöscht, `marstek_target_power` nutzt jetzt
|
||||
echte BYD-Werte (discharge - charge) statt Forecast-Split.
|
||||
2. **Overnight Hold Too High (behoben 2026-10-02):** EMHASS hielt bei 65% weil
|
||||
`target_state_of_charge=0.30`. Geändert auf 0.15.
|
||||
3. **BYD ignoriert Hold (behoben 2026-10-02):** 802-Bedingung war `target < 0`,
|
||||
jetzt `target <= 0` (Hold bei target=0 eingeschlossen).
|
||||
|
||||
## Template Sensoren (configuration.yaml)
|
||||
|
||||
- `sensor.smart_battery_target` — EMHASS p_batt_forecast, gerundet
|
||||
- `sensor.marstek_target_power` — Plan A: smart_target − actual_BYD_net_discharge
|
||||
- Guards: SoC-Checks, ±2500W cap
|
||||
- `sensor.sma_target_power` — **ENTFERNT** (war Double-Counting Source)
|
||||
|
||||
## Cron Jobs
|
||||
|
||||
| Job ID | Schedule | Typ | Funktion |
|
||||
|--------|----------|-----|----------|
|
||||
| `a32005d62226` | every 15m | no_agent script | Ruft EMHASS Optimization auf, published Plan zu HA |
|
||||
|
||||
Runner: `/home/debian/.hermes/scripts/emhass-optimizer-runner.sh`
|
||||
Optimizer: `/home/debian/scripts/emhass_optimizer.py`
|
||||
|
||||
## Deaktivierte Komponenten
|
||||
|
||||
| Component | Status | Grund |
|
||||
|-----------|--------|-------|
|
||||
| Tibber Smart Charging Bridge | OFF | EMHASS ist sole optimizer |
|
||||
| Marstek Kaskaden-Steuerung (Modbus) | OFF | Alte PV-only Kaskade, ersetzt durch EMHASS-Kaskade |
|
||||
|
||||
## Hardware Referenz
|
||||
|
||||
| Device | IP | Capacity | Max Power | Interface |
|
||||
|--------|----|----------|-----------|-----------|
|
||||
| BYD/SMA SBS | 10.0.50.202:502 | 11 kWh | 4.2 kW | Modbus 44425/44427 |
|
||||
| Marstek Venus E | 10.0.50.113 | 5 kWh | 2.5 kW | HA Entities (Modbus) |
|
||||
| SMA SB #1 | 10.0.50.201:502 | — | — | PV Wechselrichter |
|
||||
| SMA SB #2 | 10.0.50.203:502 | — | — | PV Wechselrichter |
|
||||
| Hoymiles | 10.0.40.55 | — | — | OpenDTU |
|
||||
|
||||
## Zugriff
|
||||
|
||||
- EMHASS API: `http://10.0.30.10:5000`
|
||||
- HA intern: `http://10.0.30.10:8123`
|
||||
- HA extern: `https://homeassistant.familie-schoen.com`
|
||||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox -p 22222 root@10.0.30.10`
|
||||
- HA Token: `/tmp/ha_token.txt`
|
||||
- HA Config: `/mnt/data/supervisor/homeassistant/`
|
||||
- Backups: `.bak.20261001_175804` (configuration.yaml + automations.yaml)
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/homeassistant]] — HA System Seite
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`
|
||||
+14
-5
@@ -3,7 +3,7 @@ title: IP-Map (Quick Reference)
|
||||
category: reference
|
||||
tags: [ip, network, reference, quick-lookup]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-09-26"
|
||||
modified: "2026-09-30"
|
||||
---
|
||||
|
||||
# IP-Map
|
||||
@@ -17,8 +17,8 @@ modified: "2026-09-26"
|
||||
| 10.0.20.60 | proxmox6 | 6 | |
|
||||
| 10.0.20.70 | proxmox7 | 7 | MON, Traefik CT99999 |
|
||||
| 10.0.20.91 | n5pro | 8 | Templates 9000/9001/9002, MON, MGR (active) |
|
||||
| 10.0.20.92 | ms-a2-1 | 9 | OSD 13 (SSD 1.8TB), GPU 1002:13c0, MON |
|
||||
| 10.0.20.93 | ms-a2-2 | 1 | OSD 14 (SSD 1.8TB), GPU 1002:13c0 |
|
||||
| 10.0.20.92 | ms-a2-1 | 9 | OSD 13 (SSD 1.8TB), GPU 1002:13c0, MON, **NUT-Master (APC UPS USB, upsd :3493, Shutdown-Kaskade)** |
|
||||
| 10.0.20.93 | ms-a2-2 | 1 | OSD 14 (SSD 1.8TB), GPU 1002:13c0, NUT-Slave |
|
||||
|
||||
> ⚠️ n5pro (10.0.20.91, nodeid 8) ≠ proxmox7 (10.0.20.70, nodeid 7) — separate Nodes!
|
||||
> proxmox1 (10.0.20.10) und proxmox2 (10.0.20.20) wurden dauerhaft entfernt.
|
||||
@@ -47,8 +47,12 @@ modified: "2026-09-26"
|
||||
## Infrastructure VMs (10.0.30.x)
|
||||
| IP | Host | Service |
|
||||
|----|------|---------|
|
||||
| 10.0.30.149 | — | **Technitium DNS VIP** (keepalived/VRRP 51, floatet zwischen .150/.153) |
|
||||
| 10.0.30.150 | CT150 technitium-dns-01 (proxmox6) | DNS-Cluster-Primary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.153 | CT153 technitium-dns-02 (n5pro) | DNS-Cluster-Secondary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.66 | sarah-hermes (VM107, n5pro) | Sarahs Hermes: WebUI :8787 (LAN-only, pw) + TG-Bot (geplant) |
|
||||
| 10.0.30.99 | CT111 | Immich (n5pro), Migration zu K8s geplant |
|
||||
| 10.0.30.100 | ubuntu | Physischer Ubuntu-Node (Ceph OSDs, ZFS pool01_n2_redundant) |
|
||||
| 10.0.30.100 | ubuntu | **ZURÜCK (15.11. verifiziert):** SSH 9.6p1 Ubuntu-13.20 antwortet wieder; Host-Keys (RSA/ECDSA/Ed25519) identisch mit 10.0.20.100 → derselbe NAS-Host, VLAN-30-IP wieder aktiv. Ob beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten). Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
|
||||
| 10.0.30.105 | — | ~~Gitea~~ CT108 GESTOPPT 2026-09-17 (Archive: /home/debian/git-archive/ct108-final/) |
|
||||
| 10.0.30.124 | VM200 | IaC Runner (DHCP), SSH `debian` |
|
||||
| 10.0.30.141 | CT141 | Monitoring (Prometheus/Grafana) |
|
||||
@@ -61,9 +65,14 @@ modified: "2026-09-26"
|
||||
| 10.0.30.201 | Grafana | monitoring | 3000 |
|
||||
| 10.0.30.202 | Prometheus | monitoring | 9090 |
|
||||
| 10.0.30.203 | Traefik (K8s Ingress) | kube-system | 80/443 |
|
||||
| 10.0.30.204 | InfluxDB | influxdb | 8086 |
|
||||
| 10.0.30.204 | InfluxDB (K8s, **leer** — Migration unfertig) | influxdb | 8086 |
|
||||
| 10.0.30.109 | InfluxDB **hot** (HA schreibt, 90 d) | LXC 109 auf proxmox6 | 8086 |
|
||||
| 10.0.30.110 | InfluxDB **Archiv** (5 y, 5-Min) | LXC 134 auf proxmox6 | 8086 |
|
||||
| 10.0.30.205 | PostgreSQL (CNPG rw LB) | postgres | 5432 |
|
||||
| 10.0.30.206 | SABnzbd (Web+SMB) | sabnzbd | 8080/445 |
|
||||
| 10.0.30.207 | Loki Gateway | loki | 3100 |
|
||||
| 10.0.30.208 | Hindsight API | hindsight | 9177 |
|
||||
| 10.0.30.209 | Jellyfin | sabnzbd | 8096 |
|
||||
|
||||
## External CTs (10.0.30.xxx)
|
||||
| IP | CT/VM | Service | Notes |
|
||||
|
||||
+4
-2
@@ -18,9 +18,11 @@ modified: "2026-07-24"
|
||||
| 3306 | MariaDB (MaxScale VIP) | 10.0.30.70 | Galera HA |
|
||||
| 5432 | PostgreSQL (CNPG) | postgres-main-rw.postgres.svc | K8s internal |
|
||||
| 8000 | Paperless-ngx | paperless.svc | K8s internal |
|
||||
| 8086 | InfluxDB | 10.0.30.204 | LB |
|
||||
| 8086 | InfluxDB **hot** (HA schreibt) | 10.0.30.109 | LXC 109 proxmox6, 90 d |
|
||||
| 8086 | InfluxDB **Archiv** | 10.0.30.110 | LXC 134 proxmox6, 5 y, 5-Min-Mittel |
|
||||
| 8086 | InfluxDB K8s (**leer**) | 10.0.30.204 | LB, unfertige Migration |
|
||||
| 8989 | MaxScale Admin | 10.0.30.81 | admin:mariadb |
|
||||
| 9090 | Prometheus | 10.0.30.206 | LB |
|
||||
| 9090 | Prometheus | 10.0.30.202 | LB `monitoring-kube-prometheus-prometheus` (10.10. live verifiziert; ~~.206~~ stale) |
|
||||
| 9093 | Alertmanager | K8s internal | |
|
||||
| 9095 | HolmesGPT Adapter | K8s internal | Alertmgr → HolmesGPT |
|
||||
| 9177 | Hindsight API | 10.0.30.208 | LB, NOT localhost |
|
||||
|
||||
File diff suppressed because it is too large
Load Diff
+61
-23
@@ -3,18 +3,18 @@ title: Ceph Cluster
|
||||
category: systems
|
||||
tags: [ceph, storage, rbd, ec-pool, osd]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-09-26"
|
||||
modified: "2026-11-15"
|
||||
---
|
||||
|
||||
# Ceph Cluster
|
||||
|
||||
## Overview
|
||||
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
|
||||
- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed)
|
||||
- **Version**: 20.2.4 (tentacle) — all 17 OSDs
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1)
|
||||
- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
|
||||
- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
|
||||
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in
|
||||
- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail
|
||||
- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
|
||||
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
|
||||
|
||||
## OSD Layout
|
||||
@@ -23,39 +23,43 @@ modified: "2026-09-26"
|
||||
|-----|-------|------|------|----------|-------|
|
||||
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
|
||||
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
|
||||
| 3 | ssd | 233 GB | proxmox4 | 1.0 | |
|
||||
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
|
||||
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
|
||||
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
|
||||
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
|
||||
| 7 | hdd | 931 GB | proxmox7 | 0.95 | |
|
||||
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
|
||||
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
|
||||
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 10 | hdd | 931 GB | proxmox6 | 0.95 | |
|
||||
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
|
||||
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
|
||||
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
|
||||
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
|
||||
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
|
||||
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
|
||||
|
||||
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
|
||||
> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded).
|
||||
> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
|
||||
|
||||
## Pools
|
||||
|
||||
| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes |
|
||||
|------|------|------|------|-----|------------|-----|-------|
|
||||
| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off |
|
||||
| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off |
|
||||
| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on |
|
||||
| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | |
|
||||
| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on |
|
||||
| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true |
|
||||
| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB |
|
||||
| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites |
|
||||
| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | |
|
||||
| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | |
|
||||
| Pool | Name | PGs | Stored | %USED | Notes |
|
||||
|------|------|-----|--------|-------|-------|
|
||||
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
|
||||
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
|
||||
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
|
||||
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
|
||||
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
|
||||
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
|
||||
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
|
||||
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
|
||||
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
|
||||
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
|
||||
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
|
||||
|
||||
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
|
||||
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
|
||||
|
||||
## CRUSH Rules
|
||||
- **Rule 0** (replicated_rule): default root, host-level placement
|
||||
@@ -65,6 +69,19 @@ modified: "2026-09-26"
|
||||
|
||||
## Known Issues
|
||||
|
||||
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
|
||||
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
|
||||
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
|
||||
|
||||
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
|
||||
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
|
||||
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
|
||||
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
|
||||
|
||||
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
|
||||
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
|
||||
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
|
||||
|
||||
### HEALTH_WARN: Insecure Key Types (2026-09-26)
|
||||
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
|
||||
Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set).
|
||||
@@ -73,6 +90,27 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al
|
||||
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
|
||||
Consider removing from CRUSH or replacing with larger drives.
|
||||
|
||||
### Full-Ratios angehoben (Stand 2026-11-15)
|
||||
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
|
||||
|
||||
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
|
||||
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
|
||||
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
|
||||
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
|
||||
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill `ceph-cluster-administration` → planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
|
||||
|
||||
### NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
|
||||
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out.
|
||||
Revived via PCI remove/rescan + lvchange -ay -K + chown-Falle am mapper-device.
|
||||
Details: patterns/ceph-dead-nvme-resurrection (PAT-014). **Update 2026-09-30 (Abend): SMART-
|
||||
Audit spricht FREI — percentage_used 6 %, media_errors 0, spare 100 %, PoH 1469. Vorfall war
|
||||
rein Controller-Ebene, kein Media-Verschleiß, KEIN Austausch nötig. Beobachten: Temps 70/78 °C,
|
||||
thermal throttle T1 3×.**
|
||||
|
||||
### ubuntu-Host in /etc/hosts aller PVE-Nodes (2026-09-30)
|
||||
Ohne DNS-Record wirft die PVE-GUI `hostname lookup 'ubuntu' failed (500)`.
|
||||
Fix: hosts-Eintrag `10.0.20.100 ubuntu` fleetweit auf allen 8 Nodes.
|
||||
|
||||
### worker-04 (VM 139) NotReady in K8s
|
||||
Node offline — not a Ceph issue but affects Ceph CSI attachments.
|
||||
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
---
|
||||
title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik"
|
||||
category: reference
|
||||
tags: [earnie, hems, emhass, milp, vergleich, homeassistant]
|
||||
created: "2026-11-12"
|
||||
modified: "2026-11-12"
|
||||
---
|
||||
|
||||
# Earnie HEMS vs. eigene EMHASS-Kaskade
|
||||
|
||||
Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source:
|
||||
privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an
|
||||
den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests.
|
||||
|
||||
## Architektur-Vergleich
|
||||
|
||||
| | Earnie | Unsere Kaskade |
|
||||
|---|---|---|
|
||||
| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) |
|
||||
| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h |
|
||||
| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` |
|
||||
| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) |
|
||||
| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) |
|
||||
| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild |
|
||||
| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC |
|
||||
| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual |
|
||||
| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) |
|
||||
|
||||
## Wo Earnie voraus ist
|
||||
Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität
|
||||
(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein
|
||||
**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit
|
||||
Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall.
|
||||
|
||||
## Wo unsere Lösung vorn bleibt
|
||||
~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im
|
||||
Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode)
|
||||
existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität,
|
||||
Gate) ist methodisch sauber.
|
||||
|
||||
## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts
|
||||
|
||||
```
|
||||
MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW
|
||||
MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s
|
||||
```
|
||||
- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf):
|
||||
`/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und**
|
||||
`.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json`
|
||||
(`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`,
|
||||
ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE,
|
||||
49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct,
|
||||
Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs).
|
||||
- **Bindings müssen kanonisch sein**: `ess.<id>.sens_ess_soc`, `inv.<id>.sens_inv_power_pv`;
|
||||
nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler.
|
||||
- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*).
|
||||
`scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach.
|
||||
- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart),
|
||||
sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host
|
||||
(systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus
|
||||
`sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung
|
||||
signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`.
|
||||
- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade
|
||||
bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427,
|
||||
Marstek force_mode) **und** EMHASS-Kaskade abschalten.
|
||||
- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`.
|
||||
|
||||
## Stand des Parallelbetriebs (B)
|
||||
- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert
|
||||
(`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped`
|
||||
→ schreibt nichts.
|
||||
- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie,
|
||||
sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 /
|
||||
pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2`
|
||||
kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft
|
||||
mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM.
|
||||
**Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben
|
||||
die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen).
|
||||
Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min.
|
||||
Danach: Earnie `state: started`, Container `healthy`, 0 Restarts.
|
||||
- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`.
|
||||
Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt
|
||||
`options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401.
|
||||
→ einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine
|
||||
Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings).
|
||||
- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an
|
||||
Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1,
|
||||
Marstek = ESS 2, EVCC = Wallbox.
|
||||
|
||||
## Vergleichs-Ergebnis (12.11.)
|
||||
Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster,
|
||||
Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU.
|
||||
@@ -0,0 +1,43 @@
|
||||
# evcc + SMA Wallbox
|
||||
|
||||
> Energy Charge Controller (evcc 0.317.x) als HAOS-Addon auf VM106, steuert SMA EV Charger via HA-Template-Bridge.
|
||||
> Angelegt 2026-10-21 (Compound-Learning nach alwaysCharge-Rootcause).
|
||||
|
||||
## Topologie
|
||||
| Komponente | Detail |
|
||||
|---|---|
|
||||
| evcc Addon | HAOS VM106 (ms-a2-2), Slug `49686a9f_evcc`, Version 0.317.2, Port 7070 |
|
||||
| Config | Host-Pfad `/mnt/data/supervisor/homeassistant/evcc.yaml` (Container-Sicht `/homeassistant/evcc.yaml`) |
|
||||
| Session-DB | SQLite `/data/evcc_*.db` im Addon; lesbar via evcc-API |
|
||||
| Charger | SMA EV Charger "SChön", via custom-Template auf HA-Entities (REST 10.0.30.10:8123) |
|
||||
| Ladepunkt | "Wallbox", mode smart, min/max 6/16 A (UI-DB, seit 21.10. nicht mehr in YAML), limitSoc 80 % |
|
||||
| Vehicle | Hyundai Kona via Hyundai-API (vehicle db:1) |
|
||||
| Meters | Grid+SBS via Modbus 10.0.50.201/.202, PV .201/.203 + Hoymiles OpenDTU 10.0.40.55, Marstek via HA-REST |
|
||||
| Tarif | Tibber (Token in evcc.yaml), residualPower 100 |
|
||||
|
||||
## Bekannte Issues / Geschichte
|
||||
- **2026-10-21 (behoben):** `alwaysCharge=on` (versehentlich 14.10. 19:53 in evcc-UI gesetzt) lud nachts dauerhaft Netzstrom — 2 Fehlnächte à ~31/43 kWh, ~24 € Schaden. Fix: `select.evcc_wallbox_always_charge` → off. alwaysCharge ist ein STILLER Override: Log nennt nie den Grund, smart-Modus rechnet parallel PV-Überschuss. → Solution Doc bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md
|
||||
- **2026-10-21 (bereinigt):** Deprecated `minCurrent`/`maxCurrent` aus evcc.yaml entfernt (Backup `evcc.yaml.bak.20261021_depkeys`), Addon-Restart clean, effektive Limits 6/16 A unverändert aus UI-DB.
|
||||
- **Architektur-Risiko (offen):** Dual-Master — Sunny Home Manager 2.0 (10.0.50.204:4712, Serial 3011478040) aktiv, von evcc via EEBus/mdns entdeckt; Box-Phasensteller auf `boost_charging` (SHM-Lademanagement umgangen). Langfristig: Migration auf native SMA/EEBus-Integration (nicht terminiert).
|
||||
- HA-Template-Charger pollt 2×/Min mit `uncached request repeated within 1s` (bekanntes HA-Upstream-Verhalten, kosmetisch).
|
||||
|
||||
## Guardrail (seit 2026-10-21)
|
||||
- HA-Automation `automation.wallbox_alarm_bei_netzladen_ohne_pv_ueberschuss` (id `evcc_wallbox_grid_charge_alarm_20261021`): Trigger `sensor.evcc_wallbox_charge_power > 1 kW` (10 Min) + Condition `sensor.netzfluss_saldo > 1 kW` (positiv = Bezug, empirisch verifiziert) + `smart_cost_active != on` → Push `notify.mobile_app_iphone_dominik` mit Ist-Werten. Backup: `automations.yaml.bak.20261021_gridalarm`. Manuell getriggert und verifiziert.
|
||||
|
||||
## Native SMA-Integration (Recon 2026-10-21, Migration noch nicht ausgeführt)
|
||||
- Charger: SMA EV Charger klassisch, IP **10.0.50.205**, Serial 3010510346, lokale Web-API (HA-Integration `smaev`, User „Domi").
|
||||
- Option A: evcc `type: smaevcharger` (direkt auf lokale Web-API, identisch zur HA-Integration) — **Sponsor-Token nötig**, im evcc-Source als deprecated markiert, aus Docs entfernt.
|
||||
- Option B (offiziell): evcc `type: template, template: semp-sma` (SEMP, URI `http://10.0.50.205/SEMP`) — **Sponsor-Token nötig**; Voraussetzungen lt. Docs: Drehschalter auf PV/Eco, Abmelden aus Sunny Portal, „Betrieb mit Netzanschlusspunktzähler=Ja"+Zähler konfigurieren (freigibt SEMP), Ladefreigabe über App=Nein, Geräteneustart. Verbietet explizit parallele SHM-Registrierung (Dual-Master!). Features: mA-Regelung, 1P/3P-Umschaltung, integrierter Zähler.
|
||||
- Option C: evcc SHM-2.0-HEMS-Integration (evcc-Ladepunkte erscheinen im Sunny Portal, SHM steuert) — Gegenrichtung, nicht gewünscht.
|
||||
- Bei Migration: HA-`smaev`-Integration deaktivieren (sonst neuer Dual-Master), evcc.yaml-Backup + Rollback via Restore.
|
||||
|
||||
## Zugriffswege (Cheatsheet)
|
||||
- evcc API: `http://10.0.30.10:7070/api/state` (FLACHE Struktur) und `/api/sessions?lang=de` (Liste, neueste zuerst).
|
||||
- Config-Edit ohne SSH: PVE Guest-Agent-Exec auf VM106 → siehe Solution Doc workflows/2026-10-21-haos-qemu-guest-agent-file-access.md (incl. `ha addons restart 49686a9f_evcc`).
|
||||
- HA-Entities der SMA-Seite: `switch.ev_charger_schon_manuelle_ladefreigabe`, `number.ev_charger_schon_ac_strom_begrenzung` (6–32 A), `select.ev_charger_schon_betriebsart`, `sensor.ev_charger_schon_zahlerstand_ladestation`.
|
||||
- evcc-exponiert: `select.evcc_wallbox_always_charge`, `number.evcc_wallbox_limit_soc`, `binary_sensor.evcc_wallbox_*`, `sensor.evcc_wallbox_charge_power`.
|
||||
|
||||
## Related Solution Docs
|
||||
- `docs/solutions/bug-fixes/2026-10-21-evcc-alwayscharge-overnight-grid-charging.md`
|
||||
- `docs/solutions/workflows/2026-10-21-haos-qemu-guest-agent-file-access.md`
|
||||
- Verwandte Wikis: [[systems/homeassistant]], [[entities/infrastructure]]
|
||||
+14
-6
@@ -42,11 +42,13 @@ modified: "2026-09-27"
|
||||
|
||||
## HA Automation
|
||||
- **ID:** `1714065780832` in `/config/automations.yaml`
|
||||
- **Mode:** `single`, cooldown 600s
|
||||
- **Dedup:** `input_text.frigate_last_event_id` speichert letzten Event
|
||||
- **Flow:** MQTT trigger → 10s delay → snapshot → notify → LLM Vision (optional)
|
||||
- **Labels:** person, car, license_plate, face, dog, cat, amazon, ups, package
|
||||
- **Sublabel-Extraktion:** `sub[0]` (Jinja, Array-Leck-Fix)
|
||||
- **v3 (2026-10-10):** Trigger = `frigate/reviews` (severity alert, OHNE Zonen), KI-Gate (noris gemma) VOR Push, bekannte Gesichter (Sarah/Dominik) unterdrückt, 300s Kamera-Cooldown + Review-ID-Dedup, GENAU EIN kombinierter Push. Fail-safe: KI-Fehler oder nachts Person → Push trotzdem.
|
||||
- **Dedup:** `input_text.frigate_last_event_id` = `cam;epoch;review_id;KI-Verdict` (auch diagnostisch lesbar)
|
||||
- **Flow:** MQTT review-alert → 12s delay → snapshot → llmvision.image_analyzer (KRITISCH/NORMAL) → Push-Gate → 1 Push
|
||||
- **Push-Policy:** KRITISCH ∨ KI-Fail ∨ **Person (24/7)**. Sonst Stille. (v3.1: Person-Push nicht mehr auf 23–5h begrenzt)
|
||||
- **Lesson:** `frigate/events` = Raw-Feed (Spam), `frigate/reviews` = kuratiert. Nie wieder auf Raw triggern.
|
||||
- **Zombies:** `frigate_garten`, `ai_event_summary`, `ai_event_summary_v1_4_1` sind Registry-Ghosts (bereits aus yaml entfernt, `unavailable`)
|
||||
- **Old (v2):** Mode `single`, cooldown 600s, Dedup camera_label (Ping-Pong-Lücke), 2 Pushes/Event, KI nach Push
|
||||
|
||||
## Bekannte Issues
|
||||
- Stationäre Autos triggerten wiederholt "new" Events → Flood → gefixt mit cooldown+dedup
|
||||
@@ -54,9 +56,15 @@ modified: "2026-09-27"
|
||||
- v0.18 Breaking Changes: `clean_copy` entfernt, `license_plate.mask` Format geändert (list→dict)
|
||||
|
||||
## Old Container
|
||||
- CT120 (frigate): gestoppt, wartet auf Deletion
|
||||
- CT120 (frigate): **zerstört ~02.10.** — ACHTUNG: `vzdestroy:120` löschte `hdd_disk:vm-120-disk-1`, das CT151s mp0 noch referenzierte (Shared-Volume-Falle!). CT151 lief blind weiter, crashte erst beim Reboot 10.10. → mp0 neu als `hdd_disk:vm-151-disk-1` (50G, leer, mkfs.ext4). Historische Sept.-Aufnahmen im PBS-Backup 30.09. (mp0 enthalten). Aufnahmen laufen auf das ROOTFS `/media/frigate` (69% belegt — Wachstum beobachten), nicht aufs mp0.
|
||||
|
||||
## Reboot-Recovery 2026-10-10
|
||||
- osd.7 (p7) + osd.10 (p6): stale Keyrings nach Rotation → Permission-denied-Crashloop beim Reboot, kurzzeitig `out` (105 inactive PGs). Gefixt via `ceph auth get` + Keyring-Replace + `systemctl reset-failed` (Startratelimit-Pitfall!). Danach 17/17 up+in, 533 PGs clean. Voll-Sweep: alle 17 Keyrings MATCH. Siehe PAT-016.
|
||||
- CT117 (immich-postgresql): stale vzdump-Lock (04.08.) entfernt; Inhalt LEER (kein Postgres — Prod über CNPG) → gestoppt, onboot=0. Kandidat für Dekommission.
|
||||
- HA-Failover während Downtime: VM301→proxmox5, VM310→proxmox4 (affinity-konform, belassen).
|
||||
|
||||
## Related
|
||||
- [[systems/homeassistant]] — MQTT, Automations, Notifications
|
||||
- [[systems/noris-ai]] — LLM Vision für Event-Klassifizierung
|
||||
- [[entities/infrastructure]] — CT151 auf proxmox6
|
||||
- [[patterns/ceph-osd-keyring-rotation-reboot]] — PAT-016
|
||||
|
||||
+39
-11
@@ -3,27 +3,38 @@ title: MariaDB Galera + MaxScale
|
||||
category: systems
|
||||
tags: [mariadb, galera, maxscale, database, ha]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-07-24"
|
||||
modified: "2026-11-19"
|
||||
---
|
||||
|
||||
# MariaDB Galera + MaxScale
|
||||
|
||||
## Galera Cluster (3/3 Synced)
|
||||
| Node | VM | IP | Role |
|
||||
|------|----|----|------|
|
||||
| db1 | VM300 (ms-a2-1) | 10.0.30.71 | Slave |
|
||||
| db2 | VM301 (proxmox3) | 10.0.30.72 | Slave |
|
||||
| db3 | VM302 (proxmox6) | 10.0.30.73 | Master |
|
||||
**Version (2026-11-01, nach Welle 4): MariaDB 11.8.9 (`-deb13`), `galera-4 26.4.27-deb13`,
|
||||
OS Debian 13 trixie, Kernel `6.12.113+deb13-amd64`** auf allen 3 Nodes. Rolling: 11.4.12/13 → 11.8.9
|
||||
(Runbook `docs/solutions/migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md`), danach OS-Suite
|
||||
bookworm → trixie (`docs/solutions/migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md`).
|
||||
Nebeneffekt: Kernel 6.12.113 schließt **CVE-2026-98432** für diese Tier.
|
||||
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| db1 | VM300 | proxmox4 | n5pro, proxmox3, proxmox4 | 10.0.30.71 |
|
||||
| db2 | VM301 | proxmox7 | proxmox5, proxmox6, proxmox7 | 10.0.30.72 |
|
||||
| db3 | VM302 | ms-a2-2 | ms-a2-1, ms-a2-2 | 10.0.30.73 |
|
||||
|
||||
Rollen (Master/Slave) dynamisch — 10.10. war db2 Master. Anti-Collocation-Rules: 300⊥301, 300⊥302, 301⊥302.
|
||||
|
||||
- **Root Credentials:** `/root/.my.cnf` auf VM300 (via `qm guest exec`)
|
||||
- **1Password `mariadb-root` Item:** PASSWORT IST FALSCH — stimmt nicht mit `/root/.my.cnf` überein
|
||||
|
||||
## MaxScale Proxy (HA)
|
||||
| Node | VM | IP | Port |
|
||||
|------|----|----|------|
|
||||
| MaxScale-01 | VM310 (proxmox1) | 10.0.30.81 | Admin :8989 |
|
||||
| MaxScale-02 | VM311 (ms-a2-1) | 10.0.30.82 | Standby |
|
||||
| **VIP** | — | **10.0.30.70** | :3306 (keepalived) |
|
||||
**Stand 2026-11-01 (Welle 4): beide Nodes Debian 13 trixie, Kernel `6.12.113`, MaxScale `24.02.9~trixie-1`** — Upgrade .82 zuerst, dann .81; VIP blieb durchgehend erreichbar.
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| MaxScale-01 | VM310 | proxmox7 | proxmox4, proxmox5, proxmox7 | 10.0.30.81 (:8989 Admin) |
|
||||
| MaxScale-02 | VM311 | ms-a2-1 | ms-a2-1, ms-a2-2 | 10.0.30.82 |
|
||||
| **VIP** | — | — | — | **10.0.30.70** :3306 (keepalived) |
|
||||
|
||||
Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live auf p7 zurückmigriert (`ha-manager migrate`), verifiziert via MaxCtrl: db2 Master/Synced/Running, 3/3 Synced, VIP .70:3306 offen, maxscale+keepalived active.
|
||||
|
||||
- **Admin:** `admin:mariadb` auf :8989
|
||||
|
||||
@@ -36,6 +47,15 @@ modified: "2026-07-24"
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **2026-11-19 (6. Tag — 06:00-Fenster wieder da, Retry-Schema hält):** Recipe-Scraper-Crash in `db_count()` (06:00:28, pymysql 2013, read_timeout 60 s) — 2. Rezidiv nach der 4-Tage-Lücke (11-14 bis 11-17). Retry 06:02:07 instant (<1 s): Fenster wieder kurz wie 11-18 (nicht wie 11-13 mit >122 s bis ~06:05). TCP .70:3306 offen; Schwere variabel, Grundmuster stabil — Root-Cause (DB-Infra-Job ~05:45–06:05 UTC) weiter offen. Fix weiter offen (Owner-GO): Scraper `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. SolDoc-Nachtrag 11-19 im 11-13-Doc.
|
||||
- **2026-11-13 (3. Tag — 06:00-Fenster externally verursacht, Morgen-Briefing entlastet):** Recipe-Scraper-Crash in `db_count()` zum 3. Tag in Folge (06:00:28, pymysql 2013). Neu heute: COUNT hing **>122 s** im Fenster 06:01–06:04 (PROCESSLIST "Sending data"), ab 06:05 **4× 0,0 s** instant — die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Galera selbst gesund (3/3 Synced, wsrep_ready=ON, Flow Control aus, Uptime 4,5 d). **Morgen-Briefing (parallel 06:00) als Verursacher widerlegt** — dessen Scripts greifen nicht auf recipes-DB zu; am 10.11. lief COUNT während des Briefings durch. Ursache des Fensters offen: Backup-Jobs/Cron auf DB-VMs prüfen (neben Ceph osd slow-ops seit 08.11.). SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` + Nachtrag im 11-12-Doc.
|
||||
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
|
||||
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
- **2026-10-04 (GROSSER VORFALL): Ext4-Volume-Label `MARIADB_DATA` auf allen 3 Galera-Datadisks verlor sich** (Ursache ungeklärt, Symptome ab 04.10. ~07:58 MESZ). fstab montiert per `LABEL=MARIADB_DATA` mit `nofail` → Boot ging durch, aber `/var/lib/mysql` blieb LEER → mariadb crashte im Loop (Permission denied auf leeres Dir). Reparatur: `e2label <dev> MARIADB_DATA` je Disk (VM300 im Gast, VM301/302 offline via `rbd map` + mount auf Hypervisor) → Reboot. **Pattern: bei leerem /var/lib/mysql trotz intakter fstab IMMER `tune2fs -l` → "volume name" prüfen.** Galera-Recovery: Bootstrap-Kandidat per gvwmstate/grastate-Mtimes bestimmt (VM301, letzte View 38={301,300}), `safe_to_bootstrap: 1` offline in grastate geschrieben → 301 startete als PC, 300 jointe sofort, 302 folgte (IST 570871→570923, Delta nur 52 Tx). Ende: 3/3 Synced, MaxScale beide aktiv, VIP offen.
|
||||
- **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md`
|
||||
- **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <vmid> <<< 'info status'` prüfen.
|
||||
- **HA-Guard:** `ha-manager disable` existiert nicht. Bei Resource-State `request_stop` geht `qm stop` trotzdem durch.
|
||||
@@ -46,3 +66,11 @@ modified: "2026-07-24"
|
||||
## Related
|
||||
- [[systems/proxmox-cluster]]
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Totalausfall-Recovery (08.11.2026) — MERKEN
|
||||
**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: <uuid>:<seqno>`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available").
|
||||
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
|
||||
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
|
||||
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
|
||||
**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
|
||||
+34
-1
@@ -43,6 +43,30 @@ modified: "2026-09-27"
|
||||
- **DinD Pitfalls:** docker:27-dind creates docker.sock as directory → use TCP mode (--host=tcp://, --tls=false). act_runner:0.2.13 has no docker CLI → use nc for port check. act_runner:0.2.13 doesn't auto-register → wrapper script needed.
|
||||
- **Solution Doc:** `docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md`
|
||||
|
||||
## Container Registry (OCI, seit 25.10.2026 verifiziert push+pull-fähig)
|
||||
|
||||
- **Repos:** `git.schoen.codes/v2/dominik/hermes-agent` (Fleet-Agent-Image, digest-gepinnt
|
||||
`sha256:32eda413…` = Tag `fleet-v1`, 1,07 GB) und `dominik/beacon` (Iteration 1).
|
||||
- **Zertifikat:** Internes Wildcard `*.schoen.codes` via ESO/1P (`git-schoen-codes-tls`,
|
||||
template `b64dec`, Commit e8b006b) — Traefik serviert es per SNI. Push/CI NUR gegen
|
||||
`git.schoen.codes`; `git.familie-schoen.com` terminiert am externen Proxy mit
|
||||
LE-Cert (deckt familie-schoen.com, nicht *.schoen.codes) und erzeugt den
|
||||
http-Realm-Bug.
|
||||
- **KNOWN BUG (Gitea 1.27.0):** Token-Realm-URL wird per
|
||||
`GuessCurrentHostURL` aus Request-Headern gebaut, nicht aus ROOT_URL. Ohne
|
||||
`X-Forwarded-Proto` (öffentlicher Pfad) → `realm="http://…/v2/token"` → Docker
|
||||
stript Auth beim 301→https-Redirect → anonymes Token → **Push 401** (Pull
|
||||
klappt, wenn Repo public). Intern hinter Traefik: Header vorhanden, Realm https.
|
||||
- **Push-Runbook:** (1) `docker login git.schoen.codes` VOR dem Push; (2) bei
|
||||
HTTP 499 am Manifest-PUT NICHT neu anfangen — Blobs sind idempotent drin,
|
||||
einfach erneut pushen; (3) kubectl port-forward überlebt keine SSH-Session und
|
||||
ist für Bulk-Pushes zu langsam; (4) tags/list zeigt nur Tags mit eigener
|
||||
Manifest-Revision — Beweis via `GET /v2/…/manifests/<tag>` (200).
|
||||
- **Kubelet-Pull:** Node-DNS löst git.schoen.codes auf; Pull-Secret
|
||||
`agent-fleet-registry-pull` (NS fleet, default-SA imagePullSecrets, out-of-band,
|
||||
nicht im Git). E2E: 1,07 GB in 34,6 s auf rke2-cp-01.
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-25-gitea-oci-registry-push-chain.md`
|
||||
|
||||
## IaC Remotes
|
||||
- iac-homelab hat EINEN remote: `origin` = K8s Gitea (git.schoen.codes)
|
||||
- Alter CT108 remote wurde entfernt (CT108 decommissioned)
|
||||
@@ -51,8 +75,9 @@ modified: "2026-09-27"
|
||||
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
|
||||
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
|
||||
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.202:22/dominik/iac-homelab.git HEAD:main`
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.200:22/dominik/iac-homelab.git HEAD:main` (SSH-LB-IP ist **10.0.30.200** — NICHT .202; .202 = alte/andere Adresse, Verbindung timed out. Beweis 28.10.: Port-22-Check von .124 und .213 OK auf .200, BLOCKED auf .202.)
|
||||
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
|
||||
- **Anti-Pattern „Gitea ist down" (01.11.2026):** Ein Fleet meldete wochenlang „Gitea :3000/:80 unerreichbar, Merge-Pipeline blockiert" — **alles Fehlschlüsse**. (a) `10.0.30.200` hat nie :3000/:80 (nur SSH-LB 22→31441; :80 = Traefik .203; `gitea-http` ist headless ClusterIP, nur in-cluster). (b) ICMP auf Cilium-LB-VIPs schlägt **immer** fehl → `ping` 100 % Loss ist kein Ausfallindiz; Erreichbarkeit per TCP-Connect je Port messen. (c) Der echte Blocker war Auth: Pod `1/1 Running`, 0 Restarts, Log `services/auth/basic.go:145 UserSignIn: user's password is invalid [uid: 1, name: dominik]` — das HTTPS-Token in `origin`/`k8s` war tot. **Lehre: bevor „down" gemeldet wird, `kubectl -n gitea get svc,pods` + `kubectl -n gitea logs deploy/gitea` lesen; Push-Recht per `git push --dry-run <remote> <branch>` testen (zeigt `* [new branch]` ohne etwas zu übertragen — `ls-remote` beweist nur Leserecht).**
|
||||
|
||||
## Known ArgoCD Issues (Sep 2026)
|
||||
- **`gitea` app:** Sync=Succeeded, Health=Progressing — Ingress hat keine LoadBalancer IP (Traefik reporting gap). Kosmetisch, Funktionalität OK.
|
||||
@@ -67,6 +92,14 @@ modified: "2026-09-27"
|
||||
- Nach Fix: Alle 24 VolumeAttachments `true`, Gitea Pod Running nach Pod-Delete.
|
||||
- **Lesson:** Bei CSI-basierten PVs immer zuerst VolumeAttachment Status prüfen, nicht nur PVC Phase.
|
||||
|
||||
## API-Quirks (Gitea 1.27.0, verifiziert 2026-10-10)
|
||||
|
||||
- **`PUT /repos/{owner}/{repo}/collaborators/{user}` antwortet 204** und listet den User danach in `GET /collaborators` — ABER: `permissions.pull/push/admin` kommen dort als `null` zurück (Anzeige-Artefakt). Wirksamkeit stattdessen per `ls-remote`-Test oder `GET /repos/{owner}/{repo}/collaborators/{user}/permission` prüfen.
|
||||
- **`GET /admin/users/{username}` → 405 Method Not Allowed.** Admin-Info via `POST /admins/users/search`-Variante oder `GET /users/{username}` (öffentlich, ohne admin-Felder).
|
||||
- **Basic-Auth-Login eines Users mit `must_change_password=true` → 403** mit klarer Meldung („You must change your password"), statt 200. Erwartetes Gate-Verhalten, kein Defekt.
|
||||
- **`must_change_password=true` blockiert Web/API, aber NICHT Git-over-HTTPS** — der Account kann sofort klonen. Wer volles Web/UI braucht, muss erst das PW wechseln.
|
||||
- **`DELETE /repos/{owner}/{repo}/collaborators/{user}` → 204 unabhängig davon, ob je eine Collaboration existierte** — kein brauchbarer Existenz-Check.
|
||||
|
||||
## Related
|
||||
- [[systems/rke2-kubernetes]]
|
||||
- [[concepts/gitops-workflow]]
|
||||
|
||||
@@ -0,0 +1,58 @@
|
||||
---
|
||||
title: "Hauswacht — read-only Haus- & Fundament-Analyst (Hermes-Profil)"
|
||||
category: systems
|
||||
tags: [hermes, profile, hauswacht, observability, homeassistant, persona]
|
||||
created: "2026-11-20"
|
||||
modified: "2026-11-20"
|
||||
---
|
||||
|
||||
# Hauswacht
|
||||
|
||||
Read-only Analyst für **Haus und Fundament**: versteht Zusammenhänge statt Schwellen zu melden, führt ein eigenes Weltmodell/Journal und baut sich billige Wächter — die erst nach Owner-GO scharf werden. Adaption eines OpenClaw-Persona-Pakets eines Kollegen (SOUL/AGENTS/IDENTITY/USER) auf unsere Umgebung.
|
||||
|
||||
## Ort & Zustand
|
||||
|
||||
| Punkt | Wert |
|
||||
|---|---|
|
||||
| Profil | `/home/debian/.hermes/profiles/hauswacht/` (5. Profil auf hermes-agent-01) |
|
||||
| Identität | `SOUL.md` (wird je Session geladen) + `MANDAT.md` (Arbeitsregeln) |
|
||||
| Weltmodell | `workspace/WELTMODELL.md`, `BEWOHNER-RAEUME.md`, `ZUGRIFF.md`, `KENNTNIS.md` |
|
||||
| Gedächtnis | `workspace/JOURNAL.md`, `VORSCHLAEGE.md` |
|
||||
| Wächter | `workspace/watchers/entwurf/stille_kanaele.py` — **Entwurf**, kein Cron, `aktiv/` leer |
|
||||
| Gateway | `gateway.standalone: true` in config.yaml; Dienst **nicht installiert** → Profil derzeit gestoppt |
|
||||
| Modell | `vllm/release/glm-5-3-flash`, Fallback `deepseek-v41-flash` / `qwen3.8-27b` |
|
||||
|
||||
## Datenquellen (bewusst anders als die Vorlage)
|
||||
|
||||
Die Vorlage las InfluxDB (z2m → NodeRed → Influx). **Bei uns gibt es InfluxDB — aber dreifach:** hot `.109` (90 d, HA schreibt hierher), Archiv `.110` (5 Jahre, 5-Min-Mittel), K8s `.204` (**leer**, unfertige Migration). Das Weltmodell wurde auf die echten Pfade übersetzt:
|
||||
|
||||
- **Haus:** Home Assistant `10.0.30.10:8123` (2.819 Entities; Recorder SQLite), MQTT/Zigbee2MQTT, free@home über XMPP, ESPHome, Shelly, ViCare-Cloud. **Historie:** InfluxDB `.109` (90 d) + Archiv `.110` (5 y, 5-Min).
|
||||
- **Fundament:** Prometheus `10.0.30.202:9090` (103 Targets), Loki `10.0.30.207:3100` (`job=fluent-bit*`), PVE via `pvesh get`, Ceph via `ceph status --format json` (MON/MGR `10.0.20.92`).
|
||||
|
||||
## Kern der Adaption
|
||||
|
||||
1. **Die Naht ist das Revier:** Haus und Cluster sind ein Körper — am 08.11. fror HA ein, weil Galera-SST/Ceph-slow-ops im Keller liefen. Diese Kopplung überwacht sonst niemand (infra-sre = Security/SLA, Prometheus = Schwellen).
|
||||
2. **Read-only ist absolut:** keine HA-Service-Calls, kein `qm`/`pct`/`kubectl`-Write, kein `systemctl`; Schreiben nur im Profil-Workspace. Anders als infra-sre hat Hauswacht **keine** Aktionsrechte, auch nicht mit Freigabe.
|
||||
3. **Wächter-Lebenszyklus mit Schattenlauf:** Entwurf → ≥7 Tage Dry-Run (nur Log) → Owner-GO → aktiv (silent-on-healthy, `NO_REPLY`) → Rückbau bei Bedeutungslosigkeit. Grund: Heuristik-Veto des Owners.
|
||||
4. **Kein Alert-Manager:** baut keine Schwellen-Wächter, die Prometheus/Alertmanager bereits abdecken.
|
||||
|
||||
## Verifikation (20.11.2026)
|
||||
|
||||
- `stille_kanaele.py --selftest` → SELFTEST OK (Treffer-Pfad für „still" + „unavailable").
|
||||
- Scharfer Lauf → `NO_REPLY` (alle 7 curierten Kanäle frisch).
|
||||
- Oneshot-Chat: Persona lud SOUL/MANDAT/KENNTNIS und beantwortete `count(up==0)` korrekt mit 0 (inkl. Gegenprobe auf leeren Vektor).
|
||||
|
||||
## Aktivieren
|
||||
|
||||
```bash
|
||||
hauswacht gateway install # systemd-Dienst (nötig, sonst profile_parked)
|
||||
hauswacht chat # Chat
|
||||
```
|
||||
|
||||
Berichte/Vorschläge: `workspace/reports/`, `workspace/VORSCHLAEGE.md`. Kein Telegram, kein Push, kein Cron.
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/homeassistant]] · [[systems/monitoring]] · [[systems/proxmox-cluster]] · [[systems/ceph-cluster]]
|
||||
- Solution: `docs/solutions/bug-fixes/2026-11-20-hermes-neues-profil-profile-parked.md`
|
||||
- Skill: `devops/hermes-profile-setup`
|
||||
@@ -0,0 +1,96 @@
|
||||
# Heizung — Viessmann CU401B S + free@home-Zonen
|
||||
|
||||
Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus).
|
||||
|
||||
## Anlage
|
||||
|
||||
| Komponente | Detail |
|
||||
|---|---|
|
||||
| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) |
|
||||
| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt |
|
||||
| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) |
|
||||
| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) |
|
||||
| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` |
|
||||
| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) |
|
||||
| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h |
|
||||
| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C |
|
||||
|
||||
## Messwerte (7 Tage, 08.–15.11.2026)
|
||||
|
||||
- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH)
|
||||
- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW)
|
||||
- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC
|
||||
- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL
|
||||
|
||||
## Raum-Sollwerte (seit 15.11.2026)
|
||||
|
||||
Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 ·
|
||||
Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5
|
||||
|
||||
Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken,
|
||||
Windfang hingen dadurch dauerhaft auf 100 % Ventilhub.
|
||||
|
||||
## Automationen
|
||||
|
||||
| Entity | Status | Funktion |
|
||||
|---|---|---|
|
||||
| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % |
|
||||
| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW |
|
||||
| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` |
|
||||
| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) |
|
||||
| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert |
|
||||
| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft |
|
||||
| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 |
|
||||
| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 |
|
||||
| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 |
|
||||
| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) |
|
||||
|
||||
**Wichtig (korrigiert 20.11.2026):** `POST /api/config/automation/config/{id}` legt die
|
||||
Automation nur **flüchtig** an — nach dem nächsten HA-Neustart sind Entität und Config weg
|
||||
(`unavailable` + 404). Am 20.11. 09:59 sind so alle fünf per API erzeugten Automationen
|
||||
verschwunden, inkl. der WW-Peak-Blockade (WW-Soll blieb dadurch zwei Tage auf 44 °C).
|
||||
Dauerhaft nur über die UI, YAML oder einen Hermes-Cronjob.
|
||||
|
||||
## WW-Preislogik (Cronjob, dauerhaft)
|
||||
|
||||
`hermes cron` Job **85b678fdd885** „WW-Preislogik (Viessmann)", `no_agent`, Cron
|
||||
`4,19,34,49 * * * *` (alle 15 min), Script `~/.hermes/scripts/ww_preislogik.py`.
|
||||
Läuft außerhalb von HA und übersteht HA-Neustarts (die per API angelegten HA-Automationen
|
||||
tun das nicht, siehe oben).
|
||||
|
||||
Regeln: „teuer" = EPEX-Preis > Tagesmedian + 1,5 ct → WW-Soll auf **44 °C**; „billig" =
|
||||
< Median + 0,5 ct (Hysterese) → **vorheriger Wert** wird exakt zurückgeschrieben (kein
|
||||
hartkodierter Normalwert). Guards: keine Blockade während einer laufenden WW-Ladung,
|
||||
Freigabe bei Speicher < 41 °C, **Failsafe 8 h** maximale Blockade.
|
||||
Zustand: `~/.hermes/state/ww_preislogik.json`. Token: `~/.hermes/secrets/ha_token` (0600,
|
||||
`op`-Fallback), LAN-Fallback auf 10.0.30.10:8123 wenn Traefik 502 liefert.
|
||||
Ausgabe nur bei Fehlern (verifiziert: Lauf 20.11. 10:31 → „silent (empty output)").
|
||||
|
||||
## Preisbild / Lastverschiebung
|
||||
|
||||
EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots):
|
||||
09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %).
|
||||
Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins
|
||||
billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start).
|
||||
|
||||
## Morgen-Profil (Owner-Wunsch 15.11.)
|
||||
|
||||
Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %,
|
||||
Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve.
|
||||
Bad überschoss danach auf **24,3 °C (07–09 Uhr)**.
|
||||
|
||||
Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00):
|
||||
Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis.
|
||||
**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %.
|
||||
Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin;
|
||||
28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche
|
||||
dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises
|
||||
oder Zusatzheizung (Handtuchheizkörper/IR).
|
||||
|
||||
## Offene Punkte
|
||||
|
||||
- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme.
|
||||
- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt.
|
||||
- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden.
|
||||
- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C).
|
||||
- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s).
|
||||
@@ -0,0 +1,44 @@
|
||||
---
|
||||
category: systems
|
||||
tags: [hermes-host, runner, systemd, backup, housekeeping, watchdog]
|
||||
updated: 2026-10-08
|
||||
---
|
||||
|
||||
# systems/hermes-agent-01 — Lokaler Hermes-Runner
|
||||
|
||||
## Identity
|
||||
- Debian 12, Kernel 6.1.0-53-amd64, Root-FS **79G ext4 (/dev/sda1)** — historisch knappe Resource!
|
||||
- Rolle: Hermes-Agent-Host (Telegram-Gateway, Crond, Playwright, avahi `hermes-agent-01.local`);
|
||||
Arbeitstiers laufen aus `~/hermes-agent` Worktree (`venv/bin/python -m hermes-cli main`).
|
||||
|
||||
## Storage-Governance (Stand 08.10., nach Krisenwoche)
|
||||
- **Worst Case erlebt:** 96–100 % volles Root-FS (10./08.10.) → korrupte write_file-Writes (mid-stream truncation); Syntax-Checker fing 2× korrupte Dateien.
|
||||
- Aktuell: **59 % belegt, 32 G frei** (von 96 % morgens).
|
||||
- **Permanenter Guards:**
|
||||
- journald: Drop-in `/etc/systemd/journald.conf.d/sizecap.conf` → `SystemMaxUse=200M` (1017M→199M)
|
||||
- uv-Cache: Guard-Cron `624a2f98fb10` (So 09:00, no_agent, Skript `clean_uv_cache.sh`, Threshold 3 GiB, leise wenn drunter)
|
||||
- **Podman bereinigt (08.10.):** 160 → 15 Images, ~23 G freigegeben (Inventory: `~/podman_inventory_2026-10-08.txt`). `schoenkitchen:latest` wurde versehentlich mitgeprünt (Namensregel-Fehler beim Pin-Container) → aus Git-Quelle rebuildet (`8c439711ceef`, 168 MB).
|
||||
- Producer der alten Krise: siehe Backup unten (tarballs in /tmp ohne Limit).
|
||||
|
||||
## Backup-Pipeline (produzierend seit 08.10.)
|
||||
- systemd `hermes-backup.timer` 04:00 UTC → `hermes-backup.service` (User debian) → `~/.hermes/scripts/backup-to-s3.sh`
|
||||
- Ziel: Norris S3 `rgw.nbg.nsc.noris.cloud`, Bucket `homelab-hermes-backup`, Retention 14 Tage; Creds via 1P Item `postgres-s3-backup` (Vault Kubernetes ESO).
|
||||
- **RCA 08.10.:** Exit 127 `aws: command not found` seit ≥27.09. (systemd-PATH ohne `~/.local/bin`) → Offsite TOOT + /tmp-Vollauf. Fix: Skript (absoluter AWS_BIN + `trap ... EXIT`-Cleanup) + Drop-in `/etc/systemd/system/hermes-backup.service.d/override.conf` (PATH + TimeoutStartSec 3600). Produktionslauf verifiziert (SUCCESS, S3-Readback 2.284.533.218 B). → PAT-016.
|
||||
- Belt-and-braces: manuelle Tarballs liegen zusätzlich auf NAS `10.0.20.100:/pool01_n2_redundant/backups/hermes-host/` (10 Stück, SHA256-verifiziert).
|
||||
|
||||
## Watchdogs (lokal registriert)
|
||||
- **NUT UPS Watchdog** Cron `4cbf03ccb4de` (1/min): rohes NUT-Proto gegen 10.0.20.92:3493, quiet-if-OK → Wiki systems/nut.
|
||||
- **uv Cache Guard** Cron `624a2f98fb10` (So 09:00).
|
||||
- HA-Backup-Alter Checker `2006a91fba21` (tägl. 12:00, Schwelle 30 h).
|
||||
|
||||
## Gotchas dieses Hosts
|
||||
- systemd/cron kennen `~/.local/bin` NICHT (aws, uv!) → Absolutpfade oder Drop-ins. PAT-016.
|
||||
- Root-FS-Volllauf = Korruptionsquelle Nr. 1 (write_file mid-stream truncation) — vor großen Writes Platz checken.
|
||||
- Terminal-Foreground verbietet `&`-Konstrukte; Async nur via `background=true`.
|
||||
- PDF-Generation via `/home/debian/.venvs/pdfkit/bin/python3` (PEP-668 sperrt System-pip).
|
||||
- `~/.hermes/state.db` 1,84 G + Snapshots 507 M — größte Nicht-Container-Posten.
|
||||
|
||||
## Related
|
||||
- [[systems/nut]] — UPS-Watchdog-Detail
|
||||
- [[reference/emhass-cascade]], [[systems/homeassistant]]
|
||||
- docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md
|
||||
@@ -0,0 +1,54 @@
|
||||
---
|
||||
title: Hermes WebUI (Hermex-Backend)
|
||||
category: systems
|
||||
tags: [hermes, hermex, ios, webui, systemd, mobile]
|
||||
created: "2026-10-10"
|
||||
modified: "2026-10-10"
|
||||
related: [systems/hermes-agent-01, systems/sarah-hermes, reference/ip-map]
|
||||
---
|
||||
|
||||
# Hermes WebUI (Hermex-Backend auf hermes-agent-01)
|
||||
|
||||
Third-Party-Server **hermes-webui** (github.com/nesquena/hermes-webui) als Backend für
|
||||
die iOS-App **Hermex**. NIEMALS verwechseln: Hermex spricht NICHT mit dem offiziellen
|
||||
`hermes dashboard` (:9119) — das ist ein anderes Protokoll.
|
||||
|
||||
## Stack
|
||||
|
||||
| Komponente | Wert |
|
||||
|---|---|
|
||||
| Service | systemd `hermes-webui-dominik.service` (system-weit, enabled) |
|
||||
| Binary | `/opt/hermes-webui/server.py` unter `/home/debian/hermes-agent/venv/bin/python3` (Agent-Venv = Superset; Server importiert Agent-Module in-process) |
|
||||
| Listen | `0.0.0.0:8790` (LAN-only; Runner 10.0.30.230) |
|
||||
| Auth | `HERMES_WEBUI_PASSWORD` (1P Vault Hermes → Item `dominik-hermes-webui`, bgjgnoe57n2uteyqzqvoodgtqq); Signed-Cookie, Key auto-gen in `~/.hermes/webui/.signing_key` |
|
||||
| Agent-Integration | `HERMES_HOME=/home/debian/.hermes`, `HERMES_WEBUI_AGENT_DIR=/home/debian/hermes-agent` (Checkout liegt NICHT unter ~/.hermes/hermes-agent!) |
|
||||
| Cron | KEIN Scheduler-Thread im WebUI-Prozess — Scheduler bleibt allein im Gateway, WebUI nur API-Zugriff auf jobs.json (Doppel-Feuer ausgeschlossen) |
|
||||
| State | WebUI-eigene Sessions in `~/.hermes/webui/`; CLI/Telegram-Sessions via state.db-Bridge sichtbar (read-only für alte, materialisierbar) |
|
||||
| Logs | `/var/log/hermes-webui/dominik.log`, logrotate daily×7 (`/etc/logrotate.d/hermes-webui`; logrotate musste auf dem Runner nachinstalliert werden) |
|
||||
|
||||
## Hermex-Verbindungswerte (iOS-App)
|
||||
|
||||
- **Server-URL**: `http://10.0.30.230:8790`
|
||||
- **Passwort**: 1Password Vault „Hermes" → `dominik-hermes-webui`
|
||||
|
||||
Unterwegs nur via VPN (WireGuard) erreichbar — bewusst kein Internet-Exposure.
|
||||
|
||||
## API-Spickzettel
|
||||
|
||||
- `GET /health`, `GET /api/auth/status` (password_auth_enabled)
|
||||
- `POST /api/auth/login` `{password}` → Cookie; falsches PW → 401
|
||||
- `GET /api/sessions` — Cold-Start 34–70 s (state.db-Scan), warm 0,2 s
|
||||
- `POST /api/session/new` → eigene hex-ID (mitgegebenes session_id-Feld wird IGNORIERT)
|
||||
- `POST /api/chat` `{session_id, message}` → `{status:"done", answer}` (Agent-Subprocess)
|
||||
- Chat auf fremde CLI/TG-Session-ID → KeyError/500 (read-only)
|
||||
|
||||
## Pitfalls
|
||||
|
||||
- `op item view <id> --vault <v>` existiert nicht → `op read "op://Hermes/<id>/password"`
|
||||
- Unit-Templating per sed-%-Format zerstört Unit (static, Garbage-PW) → Python-Substitution
|
||||
- Gateway-Self-Guard blockiert kombinierte Terminal-Commands mit `state.db`-Strings nearby (False-Positive) → aufteilen
|
||||
|
||||
## Verwandt
|
||||
|
||||
- Sarahs Instanz: [[systems/sarah-hermes]] (VM107, Docker-Variante :8787)
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-10-hermex-ios-hermes-webui-backend.md`
|
||||
+270
-13
@@ -3,7 +3,7 @@ title: "Home Assistant"
|
||||
category: systems
|
||||
tags: [homeassistant, smart-home, mqtt, automation]
|
||||
created: "2026-09-27"
|
||||
modified: "2026-09-27"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# Home Assistant
|
||||
@@ -11,10 +11,17 @@ modified: "2026-09-27"
|
||||
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
|
||||
|
||||
## Infrastruktur
|
||||
- **Host:** `10.0.30.10` (HAOS VM)
|
||||
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes")
|
||||
- **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf)
|
||||
- **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup
|
||||
`/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der
|
||||
Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26,
|
||||
manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können
|
||||
das, `host` wäre nicht migrationssicher.
|
||||
- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root`
|
||||
- **URL:** `https://homeassistant.familie-schoen.com`
|
||||
- **Container:** `homeassistant` (Docker)
|
||||
- **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet
|
||||
(`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon,
|
||||
EMHASS, evcc und Earnie wieder laufen.
|
||||
|
||||
## MQTT
|
||||
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
|
||||
@@ -22,28 +29,70 @@ modified: "2026-09-27"
|
||||
- **ACL:** `/etc/mosquitto/acl` definiert `user homeassistant` + `user addons`
|
||||
- **Auth Plugin:** `go-auth.so` (files,http backends)
|
||||
|
||||
## MQTT Retained-Command-Falle (20.11.2026)
|
||||
- **Symptom:** Schlafzimmerlicht (5 TRADFRI + free@home-Template) ging „ohne Grund" an, gehäuft bei HA-Neustarts.
|
||||
- **Ursache:** Discovery von `light.schlafzimmer` (`schlafzimmer_dimmer_v3`) hatte `retain: true` → HA publizierte jedes Kommando retained auf `schlafzimmer/dimmer/set`; Automation `sz_dimmer_cmd` lauscht auf diesem Topic und replayte beim jedem HA-Start/MQTT-Reconnect `{"state":"ON","brightness":59}` → `sz_dimmer_apply` → Bulbs an (immer Brightness 147). 20.11.: 9 Restarts 09:58–11:10 lokal (Supervisor killte Core, weil `freeathome`, `alexa_devices`, `ld2410_ble` den Start blockierten: „Waiting for integrations to complete setup") → 9 Einschaltungen.
|
||||
- **Fix:** Retained Command mit leerem retained Payload gelöscht + Discovery mit `"retain": false` neu publiziert (State-Persistenz bleibt, weil `sz_dimmer_apply` den State-Topic selbst retained publiziert). Verifikation: Start 11:10 erzeugte keine `zigbee2mqtt/schlafzimmer_lampe_*/set`-Kommandos mehr.
|
||||
- **Regel:** Retained nie auf Command-Topics, die eine lokale Automation konsumiert. Bei „Licht geht ohne Grund an" zuerst Event-Zeiten gegen `homeassistant/status offline` / Supervisor-Restarts korrelieren. Details: `docs/solutions/bug-fixes/2026-11-20-schlafzimmerlicht-retained-mqtt-restart-replay.md`
|
||||
|
||||
## Automations
|
||||
- **File:** `/config/automations.yaml` (35 Automations)
|
||||
- **Schreibmethode:** SSH → `docker exec homeassistant chmod 666`, danach restore 644
|
||||
- **Reload:** REST API mit JWT (HS256, signed from `/config/.storage/auth`)
|
||||
|
||||
### Frigate Einfahrt Notification (ID 1714065780832)
|
||||
- MQTT trigger `frigate/events` → filter `type=='new'` + cameras [Einfahrt,Terrasse] + labels [person,car,...]
|
||||
- Mode: `single`, cooldown 600s
|
||||
- Dedup: `input_text.frigate_last_event_id`
|
||||
- Flow: delay 10s → snapshot → notify iPhone → optional LLM Vision
|
||||
- Siehe [[systems/frigate]]
|
||||
### Frigate AI Notification v3 (ID 1714065780832)
|
||||
- **Trigger:** MQTT `frigate/reviews` (severity=alert, Kameras Einfahrt/Terrasse) — NICHT `frigate/events` (Raw=Spam)
|
||||
- **Gate:** llmvision.image_analyzer (noris gemma-4-31b-it) VOR Push, binär KRITISCH/NORMAL
|
||||
- **Suppress:** sub_labels Sarah/Dominik; 300s Kamera-Cooldown; Review-ID-Dedup
|
||||
- **Push:** GENAU EIN kombinierter (Titel+Verdict+Objekte+Bild) nur bei KRITISCH ∨ KI-Fail ∨ Person (24/7, v3.1)
|
||||
- Siehe [[systems/frigate]] + Solution Doc `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`
|
||||
|
||||
### Büro EG: Licht nach Präsenz (ID `buero_eg_licht_praesenz_nachlauf`, seit 02.11.2026, Stand 14.11.)
|
||||
- **Trigger:** `binary_sensor.esp32_c3_buero_eg_presence` → `on` schaltet `switch.licht_buro` an — **nur wenn dunkel**; `off` für **2 min** schaltet aus (Nachlauf; Nutzer-Historie: 15 → 5 → 2 min am 14.11.)
|
||||
- **Helligkeits-Gate:** `sensor.wetterstation_illuminance` (Wetterstation Beleuchtungsstärke, outdoor) **< 7000 lx** = Licht erlaubt. Schwellen-Historie (jeweils Nutzer-Vorgabe „ab der aktuellen Helligkeit"): 500 → 1.500 lx (14.11., 1.300 lx) → **7.000 lx (16.11., 6.400 lx)**. Outdoor-Lux ist nur ein **Proxy** für die Büro-Helligkeit (Nordseite/trüb ≠ Outdoor-Wert). Sensor `unavailable`/`unknown` → Licht wird eingeschaltet (Fail-safe Richtung Licht). Zusätzlicher Trigger `numeric_state below 7000 for 3 min` → bei Dämmerung einschalten, wenn Präsenz schon an ist (sonst käme nie eine neue Präsenzflanke)
|
||||
- **Bewusst KEIN Ausschalten bei Helligkeit** (Heuristik-Veto: würde manuelles Einschalten überfahren); „Sonne raus → Licht aus" wäre ein separater Trigger mit Bestätigungszeit
|
||||
- **Sweep:** `time_pattern /2` (Nutzer-Wert) — nur Restart-Recovery: Licht an + Präsenz ≥2 min aus → aus. Kein Re-Assert auf `on` — manuelles Ausschalten bei Anwesenheit bleibt respektiert
|
||||
- **Sensor-Verhalten:** ESP32-C3 (10.0.50.147, Büro EG) meldet Präsenz in 20–60-s-Bursts mit Lücken von 15 s bis 6 min (Log 16.11. 08:00–09:00) → mit 2-min-Nachlauf fällt das Licht in längeren Lücken aus. Lux-Tagesgang 16.11.: 06:00 35 lx → 07:15 ~6.400 → 08:15–08:45 13.000–20.000 → 09:15 ~5.900 lx. **Offene Verbesserungen:** (a) Indoor-Lux (BH1750 am Büro-ESP32) statt Outdoor-Proxy, (b) LD2410-Hold/Absence-Timeout im ESPHome prüfen, (c) Nachlauf ggf. zurück auf 5 min
|
||||
- **E2E verifiziert 14.11. (nach Umbau):** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Präsenzflanke → Licht an; echter 5-min-Nachlauf (Presence off 09:01:26 → Licht aus 09:06:28, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. **Schwellen-A/B (14.11., gleiche Helligkeit ~1.280–1.300 lx):** Flanke 15:23:13 mit 500 lx → bleibt aus (`choose/3/conditions/0`), Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`). **16.11. gleiches Muster bei ~6.000 lx:** Flanke 09:11:26 mit 1500 lx → bleibt aus, Flanke 09:15:49 mit 7000 lx → Licht an 09:15:50 (`choose/0/sequence/0`). **2-min-Nachlauf (nach Umstellung):** Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10, Trace `choose/2`
|
||||
- **Pitfall:** Nutzer hatte die Automation zwischenzeitlich selbst editiert (5 min, Sweep /2) — blindes `POST` überschreibt das. Alte Config war aus dem Automation-Trace (`ws trace/get`) rekonstruierbar; seither gilt: vor Overwrite `GET` + Diff
|
||||
- Entity-ID nach Anlegen via WS-Entity-Registry umbenannt (Alias-Slugify verschluckt Umlaute: „Büro"→`buro`, „Präsenz"→`prasenz`)
|
||||
|
||||
## Beschattungsautomatik Wohnzimmer (15.11.2026)
|
||||
|
||||
**Fassaden (Owner-Angabe):** Wohnzimmertüre (`ABB240561F51/ch0000`) + Wohnzimmerfenster 1 (`ch0001`) = **143° Südost**; Wohnzimmerfenster 2 (`ch0002`) = **233° Südwest** (90° versetzt). Alle drei sind free@home-Jalousien (Pos + Lamellen, Features 143).
|
||||
|
||||
**Entscheidung (Fassung 16.11.2026, Owner: „kein temperaturbasiertes Beschatten, kurze Helligkeits-Peaks ignorieren"):**
|
||||
- **Helligkeit geglättet:** `sensor.helligkeit_geglaettet` (trigger-basiertes Template, **Median der letzten 7 Messwerte** — ein einzelner Peak kann den Wert nicht bewegen; ~3,5 min bei 30-s-Report). Roh bleibt `sensor.wetterstation_illuminance`.
|
||||
- **Beschattet, wenn** `elev >= beschattung_sonnenhoehe_min (5°)` **und** `Einfallswinkel <= beschattung_einfall_max (25°)` **und** `Median-Lux >= beschattung_lux_min (8.000)`. Kein Temperatur-Gate, kein kt-Gate mehr (kt nur noch Diagnose-Attribut).
|
||||
- **Ausfahren:** Sensor `off` **10 min**, nur bei Sonnenhöhe > 0 (der Sensor ist das einzige Abbild der Wahrheit — keine separaten Ausfahr-Schwellen).
|
||||
- Attribute: `einfallswinkel`, `helligkeit_gefiltert`/`helligkeit_roh`, `klarheit_kt`, `sonnenhoehe`.
|
||||
- Fassaden: Suedost 143° (Tür + Fenster 1) / Suedwest 233° (Fenster 2).
|
||||
|
||||
**Aktorik (automations.yaml, 4 Stück):** `beschattung_wz_so_sonne_einfahren` / `_sonne_raus`, `beschattung_wz_sw_sonne_einfahren` / `_sonne_raus`
|
||||
- Einfahren: Sensor `on` **4 min** (`for`) → `cover.set_cover_position` (Öffnungsgrad, Default **20** — Owner-Korrektur 15.11.: „ein bisschen weiter runter") → warten bis Position ±6 → `cover.set_cover_tilt_position` (Lamellen, Default 25) → 20 s später Verifikation, bei Abweichung >8 % `persistent_notification`
|
||||
- Ausfahren (Stand 15.11. 12:00 UTC): **eigener Template-Trigger 5 min** — `elev > 0` und (`elev < 8` **oder** `inc > 88°` **oder** `kt < input_number.beschattung_klarbeit_aus` 0.45) → 100/100, **nur wenn die Rollläden noch auf der Beschattungsposition stehen** (Manuell-Schutz, kein Überschreiben von Handeingriffen). Kein Re-Assert während aktiver Beschattung. Die Ausfahr-Schwelle liegt **0,07 kt unter** der Einfahr-Schwelle (Hysterese-Band) — nicht gleich setzen, sonst flattert es bei jeder Wolke. Nachts (`elev <= 0`) kein Öffnen (Privatsphäre) — das macht die Abend-Szene.
|
||||
- Kein Zeit-Gate: nur Sonnenstand + Helligkeit.
|
||||
|
||||
**Tuning:** Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer" (1 `input_boolean` + 10 `input_number` + Raumtemperatur).
|
||||
|
||||
**Pitfalls (live erlebt):**
|
||||
- `homeassistant.reload_core_config` legt **neue** YAML-Helper NICHT an — dafür `input_number.reload` / `input_boolean.reload` (danach sind sie sofort da).
|
||||
- HA-Templates: **kein** `radians()`/`degrees()`; `sin/cos/acos` rechnen im Bogenmaß, `pi`/`e` sind vorhanden → `R = pi/180` selbst multiplizieren. `sin(30,'deg')` ignoriert die Einheit (Ergebnis = sin(30 rad)).
|
||||
- free@home-Cover invertieren intern (`100 - position` / `100 - tilt`): HA-Position 0 = zu, 100 = offen; HA-Tilt 100 = Lamellen offen.
|
||||
- Entity-IDs aus Namen mit Umlauten/Klammern werden unbrauchbar → Sensornamen bewusst „Suedost"/„Suedwest".
|
||||
|
||||
## Notify Services
|
||||
| Service | Status |
|
||||
|---------|--------|
|
||||
| `notify.mobile_app_iphone_dominik` | ✅ aktiv |
|
||||
| `notify.mobile_app_iphone_dominik` | ✅ aktiv (DER Service für iPhone-Pushes) |
|
||||
| `notify.mobile_app_sarahs_iphone_app` | verfügbar |
|
||||
| `notify.mobile_app_ipad_2` | verfügbar |
|
||||
| `notify.mobile_app_sm_x205` | verfügbar |
|
||||
| `notify.mobile_app_ipad_2` / `notify.mobile_app_sm_x205` | verfügbar |
|
||||
|
||||
⚠️ **SERVICE ≠ ENTITY (Falle, 12.10.2026 live erlebt):** mobile_app registriert zusätzlich notify-ENTITIES mit anderem Namen (z.B. Entity `notify.iphone_dominik`). Diese Entities existieren in `get_states`, sind aber KEINE Service-Targets. Als action-Target in Automations ist IMMER `notify.mobile_app_*` zu verwenden; Verifikation ausschließlich via `get_services` (nicht `get_states`!). Verwechslung führte am 12.10. zu einem fehlgeleiteten 14-fachen-Rename, der via Backup sofort revertiert wurde.
|
||||
|
||||
## Entitäten
|
||||
- Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration)
|
||||
- 3D-Drucker: `camera.snapmaker_u1` (MJPEG via Bridge 10.0.30.230:8099 — siehe [[entities/snapmaker-u1]])
|
||||
- Motion: `binary_sensor.einfahrt_motion_2`, `binary_sensor.terrasse_motion_2`
|
||||
- Input Text: `input_text.frigate_last_event_id` (dedup storage, max 255 chars)
|
||||
|
||||
@@ -62,9 +111,217 @@ modified: "2026-09-27"
|
||||
- LLM Vision (noris AI `gemma-4-31b-it`)
|
||||
- Tibber (Strom)
|
||||
- Marstek Speicher (VENUS-E, IP 10.0.50.113)
|
||||
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
|
||||
- Various sensors (Xiaomi BLE, etc.)
|
||||
|
||||
## Zigbee / Zigbee2MQTT (Stand 10.11.2026)
|
||||
- **Stack:** Z2M Add-on `45df7312_zigbee2mqtt` **2.14.3-1**, zigbee-herdsman 11.2.0, **ZHC 26.125.0**; Addon-Zugriff nur über HA-Ingress-WS (Details: Skill-Ref `smart-home-automation/references/zigbee2mqtt-remote-diagnosis.md`)
|
||||
- **Coordinator:** SONOFF Dongle-M, EmberZNet 7.4.5 [GA], EZSP 13, **TCP** `tcp://10.0.50.145:6638`
|
||||
- **Netz:** Kanal **25**, PAN 33072; 8 Geräte (5× Schlafzimmer-Lampen, Esszimmertür, Garagentor-Neigungssensor, Wetterstation)
|
||||
- **permit_join:** nur via `switch.zigbee2mqtt_bridge_permit_join` (254-s-Fenster, Refresher-Loop beim echten Pairing); `mqtt.publish` auf `zigbee2mqtt/bridge/request/permit_join` wird von der Broker-ACL **still verworfen**
|
||||
- HA-MQTT-Entry-Titel `192.168.100.27` ist kosmetisch/veraltet — Discovery läuft normal
|
||||
|
||||
### Shelly/Ecowitt WS90 (gekoppelt 10.11.2026, Zigbee-Variante)
|
||||
- **IEEE `0xc02cedfffe774579`**, `EndDevice`, interview complete, FW `251015/v1.1.6@62`, Manufacturer Shelly, Model-ID `WS90`
|
||||
- **22 Entities** `sensor.wetterstation_*` / `binary_sensor.wetterstation_rain_status` / `button.wetterstation_identify` (Auto-Discovery, keine Handarbeit)
|
||||
- Alle 12 Reportings + 7 Bindings von ZHC selbst provisioniert (inkl. `precipitation`); **keine** manuellen Reporting-Fixes nötig
|
||||
- **Einheiten real:** pressure **hPa** (nicht kPa wie Z2M-Doku), Wind **km/h** (nicht m/s), precipitation mm `total_increasing`
|
||||
- Live-Nachweis: humidity 51→42 % / Wind + Richtung / Gust innerhalb 95 s
|
||||
- Battery **73 %** (0 %-Anfangsproblem nach Sonnenlicht aufgelöst); `capacitor_voltage` lädt mit Sonne; `voltage` unknown
|
||||
- **Kein** `weather.`-Entity von Z2M — Wetterzustand nur als `sensor.wetterstation_weather_condition` (z. B. „cloudy")
|
||||
|
||||
### DWD-Integration hg1337/homeassistant-dwd (installiert 15.11.2026)
|
||||
- **HACS** (`hg1337/homeassistant-dwd` v2026.10.0, Category `integration`), Core-Restart nötig zum Laden; Setup via Config-Flow: Station **P339 „Freystadt-Oberndorf"** (14 km, Messdaten+Forecast), `current_weather: hybrid`, `forecast: true` → `weather.freystadt_oberndorf`
|
||||
- **`weather.get_forecasts` hourly: 244 Einträge MIT `precipitation_probability`** (met.no kann das nicht!) + precipitation, cloud_coverage, dew_point, pressure, wind_gust_speed
|
||||
- DWD-Config-Flow-Falle: **max. EIN aktiver Flow pro Integration** — halbfertige Flows blockieren mit Abort `already_in_progress`; erst den hängenden Flow zu Ende führen (flow_id behalten!), nicht neue starten
|
||||
- `sensor.regenwahrscheinlichkeit_6h_dwd` (trigger-basiertes Template, /30 min, DWD hourly, **max** `precipitation_probability` der nächsten 6 h) — 2. Block-Item in configuration.yaml `template:`-Liste
|
||||
|
||||
## Wetter-Dashboard (gebaut 15.11.2026)
|
||||
- **View „Wetter"** im Default-Dashboard (Tabs: Home/Jalousien/Licht/**Wetter**) — via `lovelace/config/save` gebaut, View-Path `wetter`
|
||||
- **HACS-Karten (installiert 15.11.):** `clock-weather-card` (pkissling), `lovelace-hourly-weather` (decompil3d), `weather-radar-card` (jpettitt, DWD-Quelle), `lovelace-windrose-card` (aukedejong), `MeteoalarmCard` (MrBartusek) — alle via HACS-WS (`hacs/repositories/add` + `hacs/repository/download`, Category `plugin`), Ressourcen verifiziert (HTTP 200)
|
||||
- **Aufbau:** Meteoalarm-Card (DWD-Warnstufe) → Grid 2-spaltig: Clock-Weather (Forecast met.no + Ist-Temperatur vom WS90 via `additional_sensors`), Hourly-Weather (12 h), DWD-Regenradar (2 h), Windrose (WS90 Wind), ApexCharts Luftdruck (absolut, 48 h) + ApexCharts Regen 7 Tage (`precipitation` mit `group_by: delta/1h`) → Entitäten-Liste „Regen & Bewässerungs-Gates" (Warnstufen, regen_heute/monat/7_tage/regenprognose_6h, beide Gates)
|
||||
- **Konventionen:** Mushroom/native Cards erlaubt, Bubble Card verboten (Skill `home-assistant-dashboard-conventions`); die 5 Custom-Cards sind Wetter-spezifische Ausnahmen nach Nutzer-Freigabe
|
||||
- **Offen:** „go DWD" — hg1337/homeassistant-dwd via HACS installieren, `regenwahrscheinlichkeit_6h` (DWD `precipitation_probability` hourly) als zweites Gate-Kriterium; DWD-Vorhersage könnte auch `clock-weather-card`/`hourly-weather` füttern
|
||||
|
||||
## WS90-Regen-Automationen (gebaut 15.11.2026)
|
||||
- **A — Regen-Sperre:** `binary_sensor.bewaesserung_regen_sperre` (Template-Config-Flow) = `rain_status` on ∨ `sensor.regen_heute` ≥ 3 mm ∨ `sensor.regenprognose_6h` ≥ 0,5 mm (met.no-Mengensumme) ∨ `sensor.regenwahrscheinlichkeit_6h_dwd` ≥ 60 % (DWD-Wahrscheinlichkeit). Fail-open (unbekannte Werte = 0 = nicht sperren). **Zwei unabhängige Vorhersage-Quellen** — das Gate sperrt, wenn eine von beiden Regen meldet.
|
||||
- **B — Statistik:** `sensor.regen_heute`/`sensor.regen_monat` (utility_meter daily/monthly auf `sensor.wetterstation_precipitation`), `sensor.regen_7_tage` (statistics `change`, 168 h), `sensor.regenprognose_6h` (trigger-basiertes Template in configuration.yaml, /30 min + Start, `weather.get_forecasts` hourly, **Summe** `precipitation` der nächsten 6 h — met.no hourly hat **keine** `precipitation_probability`, Wahrscheinlichkeits-Gate daher unmöglich).
|
||||
- **C — Frost/Sturm:** `binary_sensor.bewaesserung_frost_sturm_sperre` = Temp < 3 °C ∨ Böen > 40 km/h ∨ Sensoren unavailable (**fail-closed, bewusst: tote Station = keine Bewässerung**).
|
||||
- **D — DWD-Push:** `automation.dwd_warnung_freystadt_push_ab_stufe_3` (automations.yaml, id `dwd_warnung_freystadt_push_20261115`): `numeric_state` above 2 auf `sensor.stadt_freystadt_aktuelle_warnstufe` → Push `notify.mobile_app_iphone_dominik` mit `warning_1_headline`/`warning_1_description` (+ Hinweis bei warning_count > 1).
|
||||
- **E2E:** Gates mit echtem Wetter (−1,3 °C, rain_status on → beide `on`); DWD-Push via State-Override 1→3 mit TEST-Attributen (`last_triggered` 06:56:48Z), danach State+Attribute restoriert; `check_config` grün (nur bekannter Dimmer-Schlafzimmerlicht-Fehler).
|
||||
- **Files:** configuration.yaml (Template-Block als Item in bestehendem `template:`-Block eingefügt), automations.yaml (Append); Backups `*.hermesbak-20261115` im selben Ordner. Rollback: Backup zurückkopieren + `template.reload` + `automation/reload`.
|
||||
- **Verwaltung:** Gates/Statistik-Entities via Config-Flow-Options (GUI) änderbar; `regenprognose_6h` via configuration.yaml; verwaiste Entität `sensor.regenwahrscheinlichkeit_6h` (erste Version, Wahrscheinlichkeits-Ansatz) ist per Registry `disabled_by: user` versteckt — endgültiges Löschen nur via UI (WS-Delete-Command fehlt in 2026.10).
|
||||
- **Pumpe noch offen:** `switch.bewaesserungspumpe` trägt die Gates noch nicht als Bedingung — Klärung „wie wird die Pumpe heute geschaltet?" steht aus. Gate-Bedingungs-Snippet: Skill `irrigation-rain-gates`.
|
||||
|
||||
## Xenia Kaffeemaschine (Stand 11.10.2026)
|
||||
- ESP32 FW 3.9, IP 10.0.50.128 (VLAN 50, SSID IoT), REST `/api/v2/overview` (enthält MA_CUR_PWR in A!), `/api/v2/machine/data|status|control`
|
||||
- **WARNUNG: MA_CUR_PWR ist AMPERE** — Power (W) = MA_CUR_PWR × Spannung L1 (`sensor.sn_3007105790_metering_voltage_l1` ≈ 234 V)
|
||||
- Sensoren: `sensor.xenia_machine_data` (REST, scan_interval 1s, attr-basiert robust), `sensor.xenia_current_power_2` (GUI-Template, W), `sensor.xenia_total_energy_2` (Integration daraus), `sensor.xenia_status`, `switch.xenia_power` (Alexa-Pfad, rest_command control), Wrapper `sensor.xenia_active_power` (Disagg)
|
||||
- **Fix 11.10.:** `xenia_current_power_2` war seit ~Aug tot (Entity-Rename `xenia_current_power`→`current_power_consumption` brach GUI-Template-String) → neu: `state_attr('sensor.xenia_machine_data','MA_CUR_PWR')|float(0) × voltage_l1|float(0)`; Metadaten (W/power/measurement) via Options-Flow komplett erhalten. Lesson: GUI-Template-Strings überleben Entity-Renames NICHT; REST-Sensoren feuern nur bei Wertänderung (idle = wenige History-Punkte ≠ offline); ESP32-Ping-Jitter (bis 550 ms) ist Power-Save, HTTP ist schnell (12–50 ms)
|
||||
- **OFFEN (manuell, Setter defekt):** Web-UI http://10.0.50.128: `MA_MAX_AMPERE` 0→10, `MA_SET_TIMER_ECO_MA` 0→5 restaurieren (Fehlschrieb 05.10.)
|
||||
- 4 Leichen im HA-Config-Dir: xenia_fix/modern/patch/remove_di.py (Alt-Sessions, ignorieren)
|
||||
|
||||
## EMHASS Batteriesteuerung
|
||||
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle Batterie **12,32 kWh** (SMA SBS 7,2 kWh nutzbar + Marstek 5,12 kWh). Bis 03.11.2026 stand hier fälschlich 16 kWh (11k + 5k) — gemessen aus 10 Tagen Lade-/Entladehistorie, siehe unten.
|
||||
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
|
||||
- **Aktuelle Config (2026-11-03):**
|
||||
- Capacity **12320 Wh**, Charge/Discharge 6700 W, Efficiency 0.9 (Backup: `/config/config.json.bak-20261103` im Add-on-Container)
|
||||
- ⚠️ `config.json` liegt im Add-on unter `/config/config.json`, NICHT über die Add-on-Options (dort nur Solcast-Keys). Änderung = Datei editieren + `docker restart app_5b918bf2_emhass`.
|
||||
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
|
||||
- `set_battery_dynamic: True`, `set_use_battery: True`
|
||||
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
||||
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
||||
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
||||
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
|
||||
- **Cutover 2 (2026-11-02 16:19): Produzent lebt jetzt IN Home Assistant.** AppDaemon-Add-on `a0d7b954_appdaemon` (v0.19.3, `boot: auto`), App `emhass_optimizer` unter `/mnt/data/supervisor/app_configs/a0d7b954_appdaemon/apps/` (Quelle: `~/scripts/emhass_app/`: `emhass_core.py` = per AST verbatim aus v2 extrahierte Mathematik, `emhass_cycle.py` = Input-Phase, `emhass_app.py` = Trigger/POST/Verify/Ledger). Trigger `:04/:19/:34/:49`, Ledger `/share/emhass/ledger.jsonl`, Fehler → `persistent_notification`. **Kein Long-Lived-Token mehr im Produktionspfad** (AppDaemon bekommt HA-URL+Token automatisch vom Supervisor); EMHASS-Add-on bleibt unangetastet (nur `/action/dayahead-optim` + `/action/publish-data`). Hermes-Cron `a32005d62226` **pausiert = Rollback** (`cronjob_manage resume`, Token-Symlink existiert weiter). Parity-Nachweis: 19/19 Unit-Tests Kern↔v2 + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs. Shadow, 48 Slots, 0 Warnungen). E2E 16:04 (Cutover) und 16:19 (erster Einzelproduzent, CSV synchron 16:19:00). SolDoc `architecture/2026-11-02-emhass-producer-appdaemon-cutover.md`
|
||||
- **Publish-Pfadbruch 11.10. (GEFIXT ~20:30 UTC):** Nach HA-Core-Restart (Recorder-Incident) DEADLOCK: `p_batt_forecast`/`soc_batt_forecast`/`plan_*` sind set_state-Entities (überleben Restart NICHT), v2 liest sie hart → jeder Tick FATAL → nichts publizierte je wieder. Zweiter RC: `rest_command`-URLs `localhost:5000` — HA läuft im HOST-Netz, Addon in HassIO-Bridge; nach Restart connection-reset (10.0.30.10:5000 ging stets). Fix: beide URLs → `http://10.0.30.10:5000` (Backup `configuration.yaml.bak-20261011-restcmd`) + `rest_command/reload`. Heal-Pattern: `POST :5000/action/publish-data` direkt ans Addon. Verifikation: v2-Tick 20:32 komplett, plan_* 48 Slots, Kaskade folgt. ⚠️ Legacy-Automation „Trigger EMHASS" (*\/15): dayahead-call 400 (Payload ohne pv/load-Arrays) — funktional durch v2-Cron abgedeckt, disable/fix offen. Solution Doc `integrations/2026-10-11-emhass-publish-path-break-after-restart.md`
|
||||
- **Token-Pfad (seit 02.11.2026):** HA-Token kanonisch `~/.hermes/secrets/ha_token.txt` (0600, aus 1P `op://Hermes/ewviwqhnpcpd2tg2gh5jbv76xm/password`), `/tmp/ha_token.txt` nur Symlink; `~/.hermes/scripts/ha-token-ensure.sh` heilt fehlenden Symlink/Token bei jedem v2-Lauf. Grund: /tmp wurde beim Boot 30.10. geleert → v2-Cron starb 3 Tage still (`FATAL: token file missing`), während `automation.trigger_emhass` per `/action/publish-data` weiter die **letzte Zeile** des alten Plans postete (frische Zeitstempel, eingefrorene Werte).
|
||||
- **Cron-Schedule (seit 02.11.2026):** `a32005d62226` nicht mehr `every 15m` (Anker driftet in den Race-Guard → dauerhaft `REFUSED rc=2`), sondern `4,19,34,49 * * * *` Europe/Berlin.
|
||||
- **Watchdog:** `3a99e3837250` `check_emhass_plan_freshness.sh`, stündlich :12, silent-on-healthy, Alarm wenn die **Result-CSV-Mtime** >40 min alt ist oder der Plan-Horizont <10 h (Telegram). ⚠️ **Keine Sensor-Zeitstempel als Liveness nutzen:** `automation.trigger_emhass` ruft alle 15 min `rest_command.emhass_publish_data` und frischt `p_batt_forecast`/`soc_batt_forecast` bei eingefrorenem Plan auf (dieselbe Maske wie beim 3-Tage-Ausfall); der Display-Publisher tut dasselbe für `plan_*`. Nur `opt_res_latest.csv` schreibt ein echter `dayahead-optim`. Test-Overrides `EMHASS_MAX_AGE_MIN` / `EMHASS_CSV_PATH`. Der alte Kaskaden-Watchdog `a2a1b429bc2e` ist seit 25.09.2026 pausiert (und enthält ein SSH-Klartextpasswort in `cron/jobs.json`).
|
||||
- **`automation.trigger_emhass` (1774260225020) ist seit 03.11.2026 06:40 OFF** (`initial_state: false`, Backup `automations.yaml.bak-20261103-0620`). Sie rief nur alle 15 min `rest_command.emhass_publish_data` und hat damit einen eingefrorenen Plan mit frischen Zeitstempeln übermalt — die zentrale Maske beider EMHASS-Ausfälle. Der Produzent publiziert selbst; die Automation ist nicht mehr nötig.
|
||||
- **Incident 03.11. 01:04–05:49 (5 h still):** Idempotenz-Bug in der App — `_slot_key` war `%Y%m%d_{minute//15}` → nur 4 Marker/Tag, danach `already ran … skip` für jeden weiteren Tick (Optimierung lief nur 4×/Tag um 00:xx). Fix: Key `%Y%m%d_%H%M`; App-Arg `run_on_start` als Ops-Hebel für Sofort-Zyklus nach Deploy. Warum unbemerkt: Watchdog maß `p_batt_forecast`, das die Publish-Automation alle 15 min auffrischte → jetzt CSV-Mtime. Verifiziert: Zwangszyklus 05:49:45 + planmäßiger Tick 06:04 nach dem Fix.
|
||||
- **Display-Publisher (seit 02.11.):** Cron `4bc13a052329` (`:05/:20/:35/:50`, `no_agent`) → `emhass-extra-publisher-runner.sh` → `emhass_extra_publisher.py`. Spiegelt die EMHASS-CSV (per SSH, read-only) in `sensor.plan_pv_forecast` / `plan_netz_forecast` / `plan_last_forecast` fürs Akku-Dashboard. Optimiert **nie**; braucht den HA-Token nur zum Schreiben dieser drei Anzeige-Sensoren.
|
||||
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
|
||||
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
||||
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
||||
|
||||
## PV-Anlage & Forecasts (Stand 11.10.2026)
|
||||
|
||||
**Arrays/WR:**
|
||||
|
||||
| Array | WR | Strings | kWp/Real | Forecast-Lage |
|
||||
|---|---|---|---|---|
|
||||
| Dach Teil 1 | SMA SB SN 3006252807 (10.0.50.201) | 2 (A+B, je String Ausrichtung unklar, SO/SW-Mix) | ~5,7 kWp; 6,7 kWh/11.10. | nur via FS-Site "Dach Südwest" (225°/23°/5760 W) — Zuordnung zu WR unbelegt |
|
||||
| Dach Teil 2 | SMA SB SN 3006252817 (10.0.50.203) | 2 (dto.) | ~4,0 kWp; 6,7 kWh/11.10. | FS-Site "Dach Südost" (145°/24°/4000 W) — Zuordnung unbelegt |
|
||||
| Speicher | SMA SBS SN 3007105790 (10.0.50.202, BYD) | keine PV-Strings | — | n/a |
|
||||
| Zelt | Hoymiles HM-1500 (OpenDTU 10.0.40.55) | 2 Module zeltartig SW/NE aneinandergelehnt | 1,5 kWp; 2,1 kWh | ✅ FS-Sites "Zelt Südwest"+"Zelt Nordost" (65°/225°+65°/45°, je 750 W) seit 11.10. |
|
||||
| Schuppen 1 | Hoymiles HMS (Limit 2250 W) | SW, ~5° flach | 2,2 kWp; 2,9 kWh | FS-Site ✓ (225°/5°/2200) |
|
||||
| Schuppen 2 | Hoymiles HMS (Limit 2250 W) | SW, ~5° flach | 2,64 kWp; 3,5 kWh | FS-Site ✓ (225°/5°/2640) |
|
||||
|
||||
Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_power + 3×Hoymiles) ✓ korrekt.
|
||||
⚠️ `sensor.pv_daily_energy_total` = SUMME der 3 SMA daily_yields OHNE Hoymiles (−11%) und inkl. SBS-Batteriedurchsatz — nicht als PV-Tagesertrag verwenden!
|
||||
|
||||
**Forecast-Systeme (3 parallel):**
|
||||
1. **Solcast** (Custom, Entry `01KKTKEN0VAWQTQCS4WWCQJWPT`) = PV-Input für EMHASS-v2-Optimizer (pooled aus `*_prognose_heute/morgen/tag_3` detailedHourly). Sites: "Schön Rohr" (043e-b831-88bf-b087, 16 kW, Azimut -132,6°/Tilt 19°, Freystadt = gemittelte Gesamtanlage) AKTIV; "Ogdak Netherlands" (59c8-caae-52f5-1686, Solcast-DEMO-Site Apeldoorn/NL) seit 11.10. **excludiert** (war ~9,6/23,4 kWh Phantom-PV!). API-Quota 30/Tag (Site-getrieben), hard_limit 100.
|
||||
2. **forecast.solar** (Core, 4 Subentries): Dach SW/SO, Schuppen 1/2 — Dashboard-only, kein Optimizer-Input. Nutzer-Beschluss 11.10.: **komplett neu bauen** (war unbedacht eingerichtet). Achtung: API liefert lokale Timestamps; HA-Sensoren zeigten +2h-versetzte Werte (physikalisch unmögliche "Resttag"-Energie nach Sonnenuntergang) — beim Rebuild prüfen.
|
||||
3. **EMHASS-Addon intern** (open-meteo + pvlib, generisches Fronius/CSUN-Modell) — irrelevant, v2-Optimizer published eigene Pläne.
|
||||
|
||||
**Bekannte Issues (11.10.):**
|
||||
- ✅ TZ-Bug `emhass_optimizer_v2.py::build_pv_series` **GEFIXT 18:29** (`tzinfo=BERLIN` statt utc, Backup `.bak-20261011-tzfix`): Live-Tick 18:28 zeigte erstmals korrekte Abendkurve (36 W/18:30, 0 W nach Sunset statt ~1750 W Phantom).
|
||||
- ✅ Reload-Race-Gefahr **GEHÄRTET 18:47**: `collect_solcast_pools()` mit 3×10s-Retry (Solcast-Options-Reload setzt Sensoren ~16s `unavailable`; 18:43-Tick crashte laut doctrine-konform).
|
||||
- ✅ forecast.solar: **Zelt-Sites ergänzt** — "Zelt Südwest" (65°/225°/750 W) + "Zelt Nordost" (65°/45°/750 W), Area Photovoltaik. Dach/Schuppen-Entries validiert (SW/SE-Split ~62/38 ↔ 5,76/4,0 kWp passt zu Messdaten). HA-Parser ist KORREKT (Bibliothek fordert `time=utc` an; früherer +2h-Verdacht war Eigen-Parse-Artefakt).
|
||||
- ✅ Solcast: `auto_dampen=True` + `get_actuals=True` + Kalibrierquelle `sensor.pv_production` (Validator-Kopplung "dampen_without_actuals" beachtet). Dämpfung lernt ab jetzt.
|
||||
- ✅ `sensor.pv_daily_energy_total` repariert: Hoymiles REIN, SBS-Batteriedurchsatz RAUS (19,44→22,03 kWh, real ~22,4).
|
||||
- 🟡 Solcast-Single-Site "Schön Rohr" = Mittelung (1 Azimut/Tilt für 6 Arrays) — Struktur grob, aber jetzt kalibrierend gedämpft; Feintuning über auto_dampen-Daten (Tage) beobachten.
|
||||
- ✅ **Sauna-Shelly misst NETTO** (HM-1500 speist auf dem Sauna-Stromkreis rück): Shelly = Kreislast − Zelt-PV (validiert 11.10.: Steigung −0.983, r=−0.9985; Integrale 2,07 vs. 2,13 kWh). Template `Sauna Active Power` GEFIXT 19:39: `max(0, ΣPhasen + hm_1500_power)` mit float(0)-Guards — liefert jederzeit die wahre Sauna-Last, "Rest"-Helfer korrekt.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-11-solcast-sample-site-contamination-and-tz-shift.md`
|
||||
|
||||
## Garagentor (free@home ch0003) — Trigger-Kanal (FID 0x45), Stand 20.11.2026
|
||||
- **Kanal:** `ABB20C351F51/ch0003` ist seit der Umparametrierung **kein Schaltaktor/Treppenlicht mehr**, sondern **Trigger** (`functionID 0x45` = FID_TRIGGER; `par0032=10` = PID_TRIGGER_DURATION/„Wisch-Impuls"). Inputs: `idp0001` = AL_TIMED_START_STOP (pairing 2), `idp0003` = AL_SCENE_CONTROL (pairing 4); **keine Outputs** → keine Statusrückmeldung. `idp0001` bleibt nach dem Impuls auf `1` stehen (Latch, kein Live-Signal).
|
||||
- **Impuls:** EIN Schreibvorgang `1` auf `idp0001` = EIN Trigger-Impuls; der SysAP beendet ihn nach `par0032` selbst. Kein `turn_off`-Präludium, keine Haltephase. Wandtaster `ABB700C8097D/ch0001`+`ch0002` sind auf ch0003 gepairt (`/pairings`).
|
||||
- **Motor bleibt Toggle:** Puls auf geschlossenes Tor → öffnet; Puls auf offenes, ruhendes Tor → schließt; zwei schnelle Pulse = Start-Stopp (Tor bleibt offen). Regel: **ein Impuls pro Fahrt.**
|
||||
- **HA-Abbildung:** Das alte `switch.garagentor` ist tot (gleiche unique_id, wird für FID 0x45 nicht mehr erzeugt) → `unavailable`, in der Registry **deaktiviert**. Die Integration legt `button.garagentor_impuls` an (`button.press` schreibt `1` auf AL_TIMED_START_STOP, `custom_components/freeathome/fah/devices/fah_trigger.py`).
|
||||
- **`cover.garagentor`** (Template über Neigungssensor): `open_cover` nur bei Sensor `off`, `close_cover` nur bei `on`, jeweils + letzter Impuls >100 s (Button-State = Zeitstempel); sonst `persistent_notification` mit Grund. Availability = Sensor nicht unavailable/unknown.
|
||||
- **Automations:** `warn_offen_beim_verlassen` unverändert (Push mit CLOSE_GARAGE). `garagentor_push_close` **v9**: Guards (Sensor on, Cover >90 s unverändert, Impuls >100 s her) → EIN `button.press` → 120 s warten (Fahrzeit ~90 s) → Verifikation; **kein automatischer zweiter Impuls** (v8 prüfte nach 45 s und feuerte 8 min später blind — auf ein dann geschlossenes Tor = Öffnen). Der alte `garagentor_schalter_auto_aus` ist **deaktiviert** (Auto-Off war nur für den Schaltaktor nötig).
|
||||
- **E2E verifiziert (20.11.2026):** 12:14:34 `cover.open_cover` → `button.garagentor_impuls` → Neigungssensor `on` nach 5,3 s (12:14:39), stabil. Negativpfad (geschlossen → Guard, kein Impuls) ebenfalls live. Einheit von `par0032` ist nicht dokumentiert.
|
||||
- Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte.
|
||||
- Lösungshistorie: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md` (altes Treppenlicht-Modell, durch FID-0x45-Umbau überholt)
|
||||
|
||||
## free@home SysAP XMPP-Wedge & Remote-Reboot (Stand 12.10.2026)
|
||||
- **Chronik:** 05.10. IqTimeout-Massenausfall (22 Entities, Fix: 120s-getAll-Timeout+300s-Keepalive, ephemeral in Container). **11.10. 19:56 erneuter Totalausfall** — diesmal trotz Patch: XMPP-RPC-Dispatcher lebte (echoTest/HW 0,1s), aber `getAll` hing serverseitig (>280s, REST liefert dieselben Daten instantan). HA-Restart wirkungslos (Fehler kam direkt nach frischem HA-Start 19:53).
|
||||
- **HEBEL: `RemoteInterface.reboot(0)` via XMPP** — derselbe RPC, den die SysAP-Web-UI nutzt (Qt-WASM, kein REST-Endpoint). Funktioniert AUCH im Wedge (ACK 7,6s, ~4min Downtime, Konfig unversehrt). Param: RestartEraseCode 0=simpleRestart, 1=factoryReset(!), 2=resetUsingFlags, 3=factoryResetWithoutIA — **nur 0**. Danach `homeassistant/reload_config_entry`.
|
||||
- **Recovery ist push-gestaffelt (Normverhalten, kein Defekt):** Steuerplane (Switch/Light/Cover-Pos) sofort aus getAll-Seed; Sense-Plane (Panel-Temp odp0010, Climate, BinSens, Locks) erst beim ersten Bus-Push (Min–Std). Identisch nach 05.10.-Vorfall (Recorder-History belegt).
|
||||
- **Garagentor-switch BUG bleibt:** ch0003-Status weiterhin `unknown` (Status-Datapoint seit 05.10. tot, auch nach SysAP-Reboot 12.10.). Befehlspfad funktioniert. → dauerhafte Lösung nur via Local-API-Migration.
|
||||
- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen.
|
||||
- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.**
|
||||
- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only).
|
||||
- **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
|
||||
|
||||
## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026)
|
||||
- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt).
|
||||
- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft).
|
||||
- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün.
|
||||
- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten).
|
||||
|
||||
|
||||
## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026)
|
||||
- **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.**
|
||||
- **Display:** `ABB6BC5495EA` „free@homeTouch 7\"" (deviceId 1038), Raum Essbereich (EG) — **nur ein Display im SysAP** (die drei HA-HomeKit-Einträge sind Bridge-Accessories, keine Panels).
|
||||
- **Widgets = Panel-Kanäle `ch0000`–`ch000f` + `/pairings`:** 9 belegt, 7 frei; leere Slots auto-benannt `" 1,<row>,<col>"` (4×4-Raster, Kanalindex zeilenweise). Kanäle `ch0010`–`ch001c` = Türsprech-Funktionen.
|
||||
- **Live-Status** nur über Ziel-Aktor-`odp` lesen — Panel-Kanäle sind eigene, nicht gespiegelte Datapoints.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-11-03-freeathome-panel-widgets.md` · Skill-Ref: `smart-home-automation/references/freeathome-local-api.md`
|
||||
|
||||
## BLE-Proxies / Trilateration (Stand 01.11.2026)
|
||||
|
||||
**Bermuda** (Entry `01M1CF5AT5FAKMBHTMVCX0DRBS`) = Trilateration. HA hat KEINEN lokalen BT-Adapter (VM, `manager.adapters = {}`), alles läuft über Remote-Scanner.
|
||||
|
||||
| Proxy | Typ | Area | connectable |
|
||||
|---|---|---|---|
|
||||
| shellypro3em-08f9e0e98b9c ("Stromverbrauch Heizung") | Shelly | Heizraum | ❌ |
|
||||
| shellypro3em-08f9e0e952e0 ("Strommessung Sauna") | Shelly | **Garage (EG)** — Gerät sitzt in der Garage, nur die Sauna steht auf dem Garagendach (Dachterrasse OG) | ❌ |
|
||||
| shellyplus1-d0ef76d91930 ("Bewässerungskreis vorne") | Shelly | Garten | ❌ |
|
||||
| 6× shellyplus1 (Beete/Hochbeete/hinten/mitte/Pumpe/Licht Terrasse Gartenhaus) | Shelly | Garten | ❌ |
|
||||
| shellyplus1-a0a3b3c396e4 ("LED Streifen Windfang") | Shelly | Windfang | ❌ |
|
||||
| shellypro4pm-841fe89726d0 | Shelly | Garten (gesetzt 01.11.) | ❌ |
|
||||
| ble-proxy (10.0.50.206) | ESPHome **2026.10.2** | Wäscheraum | ✅ |
|
||||
| esp32c3-supermini-buero-eg (10.0.50.147) | ESPHome | Büro EG | ✅ |
|
||||
| esp32c3-supermini (90:DA:72:88:EB:42) | ESPHome | System | OFFLINE |
|
||||
|
||||
→ 13/13 aktive Proxies (`sensor.bermuda_global_active_proxy_count`), alle Mode **auto**; jede Shelly liefert 5–21 distinkte Geräte/Minute (Diagnostics `data.devices[*].stamps`, 45-s-Fenster).
|
||||
|
||||
**Area-Zuordnung der Scanner (Falle 01.11.):** Bermuda nimmt die Area NICHT vom Shelly-Gerät, sondern vom **Bluetooth-Geräte-Record** (`"<Name> (<MAC>)"`, angelegt von der bluetooth-Integration). Beide Records müssen dieselbe Area haben, sonst gewinnt der BT-Record. Beispiel Sauna: Shelly-Gerät + 3 Phasen-Kinder auf `garage` gesetzt → Bermuda zeigte weiter „Dachterrasse (OG)", bis auch der BT-Record `Strommessung Sauna (08:F9:E0:E9:52:E2)` auf `garage` stand. Danach: `area_name=Garage`, `floor_name=EG`. Area `garage` hatte floor=None → auf `eg` gesetzt.
|
||||
|
||||
**Shelly als BLE-Scanner freischalten (der einzige Weg, 01.11. verifiziert):** nicht per RPC (`BLE.SetConfig enable=true` reicht NICHT, `BLE.GetStatus` bleibt `{}`), sondern HA-Options-Flow der Shelly-Integration:
|
||||
1. `POST /api/config/config_entries/options/flow` `{"handler": <shelly entry_id>}` → Formular mit **einem** Feld `ble_scanner_mode`: `disabled | auto | active | passive`, **Default `auto`**
|
||||
2. `POST /api/config/config_entries/options/flow/<flow_id>` `{"ble_scanner_mode":"auto"}` → `create_entry` (löst Reload des Shelly-Entry aus)
|
||||
3. Verify: Shelly-Scanner erscheint im BT-Manager (`scanning=true`, `last_detection` frisch) — Device-seitig bleibt `BLE.GetStatus` leer, das ist normal.
|
||||
4. Beweis (A/B, 01.11.): `disabled` → Scanner weg (13→12), `auto` → wieder da (12→13). Die Option ist die Steuerung; der Wert selbst ist im REST-/WS-Entry-Listing NICHT sichtbar (`options={}`) — nicht als Statusquelle nutzen, sondern die Scanner-Liste prüfen.
|
||||
|
||||
**Wichtig:**
|
||||
- Shelly-Scanner sind **passiv** (`connectable=False`) → GATT-Geräte (LD2410-Presence, Schlösser, aktive Sensoren) brauchen ESPHome-Proxies.
|
||||
- 13 Scanner > 3 Slots → HA `bluetooth.auto_scheduler` teilt Scan-Fenster (15 s) im Round-Robin zu; nicht auf `always` stellen (2,4-GHz-Kollision).
|
||||
- Bermuda cached Scanner-Areas beim Setup → nach Area-Änderung Config-Entry reloaden (REST `POST /api/config/config_entries/entry/<id>/reload`; WS `config_entries/reload` existiert NICHT). Repair-Issue `scanner_without_area` verschwindet danach.
|
||||
- Neue Distanz-Sensoren (`sensor.*_ble_distance_to_<scanner>`) entstehen erst beim Bermuda-Reload; Werte `None` = Scanner hört das Gerät aktuell nicht.
|
||||
- Distanzen sind unkalibriert (Default `ref_power=-55`, attenuation 3). **Korrektur 01.11.: `ref_power` ist PRO GETRACKTEM GERÄT** (iPhone/Tag/Schlüssel), NICHT pro Scanner — Bermuda-Entity `number.<device>_ble_calibration_ref_power_at_1m_0_for_default`, `0` = Default. Pro Scanner gibt es nur `attenuation` (Pfadverlust-Exponent, `options.attenuation=3`). Kalibrierung = Gerät auf 1 m neben einen Scanner legen, `sensor.<device>_ble_nearest_rssi` (Default deaktiviert → `config/entity_registry/update disabled_by=null` + Bermuda-Reload) samplen, Median als `ref_power` setzen. Werkzeug: `~/workspace/bermuda_calib.py {status,sample,apply,geometry}`.
|
||||
- **Geometrie ist der eigentliche Engpass, nicht die Kalibrierung** (Messung 01.11., 30-s-Fenster): 18 von 27 BLE-Geräten werden von ≥3 Scannern gleichzeitig gesehen (Top: 11) — aber **nur im/am Garten**, weil 9 der 13 Scanner dort hängen. Indoor (iPhone Dominik) sieht genau **2** Scanner (`BLE Proxy`, `Büro EG`), beide ESPHome → Area-Ausgabe fürs iPhone unbrauchbar (`Wäscheraum` bei 8,3 m). Vor weiterer Kalibrierung: mehr ESPHome-Proxies indoor (Wohnen/Schlafen/Essen).
|
||||
- `sensor.<device>_ble_nearest_rssi` / `_nearest_scanner` sind per Default **disabled**; nach dem Aktivieren braucht es einen Bermuda-Entry-Reload, sonst 404 im State-Machine.
|
||||
- Config-Entry-**Titel** umbenennen geht per WS `config_entries/update {"entry_id":..,"title":..}` (existiert, im UI nicht dokumentiert); `config_entries/reload` existiert dagegen nicht (nur REST).
|
||||
- **`$HA_TOKEN` in der Host-Env ist veraltet (401)** — funktionierender Token liegt in `/tmp/ha_token`. Skripte müssen die Datei bevorzugen, sonst 401 auf jedem API-Call.
|
||||
- Shelly-Devices haben Kind-Geräte (Pro3EM `Phase A/B/C`, Pro4PM `Output 0..3`); Area-Zuweisung nur am Eltern-Gerät reicht nicht — Kinder können vereinzelt ohne Area bleiben (Fix 01.11.: `Output 0`/„Brunnenstein" → Garten via `config/device_registry/update`).
|
||||
|
||||
## BLE-Proxy Wäscheraum: OS-Update + WLAN-Starvation-Fix (15.11.2026)
|
||||
- **Ist → Soll:** ESPHome **2026.8.2** (Build 09.09.) → **2026.10.2** per OTA (Upload 7,2 s, Commit 0,72 s). Gerät: `ble-proxy`, MAC C8:C9:A3:C8:65:2C, Board `esp32dev` (klassischer ESP32, 4 MB).
|
||||
- **Symptom:** sporadische 1–3-s-Aussetzer auf der API (36 Requests/6 min → 2× 1,0 s und 2,9 s), Ping-RTT bis 317 ms, ein TCP-RST auf 6053 bei lebendem ICMP, Handshake-Abbrüche nach mehreren Connect-Zyklen → „hängt sich auf".
|
||||
- **RCA:** `esp32_ble_tracker` lief mit **interval 1100 ms / window 1100 ms** (Vollduty). ESPHome 2026.10 warnt selbst: *„BLE scan window of 1100ms with wifi on the same radio starves wifi… keep the window at or below 600ms"*. BLE-Scan und WLAN teilen sich den Funk → WLAN wird periodisch ausgehungert.
|
||||
- **Fix:** `interval: 320ms / window: 300ms` + `debug`-Sensoren. **Beweis nach Flash:** 18/18 API-Requests in 3 min, **0 slow / 0 fail, worst 0,15 s**; Ping 10/10, max 35 ms; Heap free 114,9 KB, Fragmentation 25 %.
|
||||
- **Neue Entities** (Namen mit Area-Präfix `wascheraum_ble_proxy_*`): `uptime`, `wifi_signal` (−52 dBm), `heap_free`, `heap_max_block`, `heap_fragmentation`, `reset_reason`, `esphome_version`, `button.restart`.
|
||||
- **Warum vorher kein Update möglich war:** HA legte keine `update`-Entity an (Config ohne `project:`-Metadaten), und im ESPHome Device Builder auf HA lag **keine YAML** — `/config/esphome` wurde erst am 30.10. frisch initialisiert, im Juli-Vollbackup existiert kein `esphome/`-Ordner. Geflasht worden war das Gerät am 09.09. vom **MacBook** (dort lag das OTA-Passwort).
|
||||
- **Quelle der Wahrheit jetzt:** `/config/esphome/ble-proxy.yaml` + `/config/esphome/secrets.yaml` (Key `ble_proxy_api_key`, `iot_wifi_password`, `ota_password`). OTA-Passwort (aus dem Mac-secrets) bleibt in der neuen Firmware gesetzt und liegt jetzt in 1Password: Item **`ESPHome OTA ble-proxy`** (Vault Hermes). Der IoT-WLAN-PSK liegt in 1P-Item **`WLAN IoT`**.
|
||||
- **Pitfalls:** (1) `esphome upload --password` ist der **MQTT**-Parameter — OTA-Passwort kommt ausschließlich aus `ota: password:` im YAML. (2) Falsches OTA-Passwort bricht vor jedem Schreibzugriff ab (risikolos). (3) `qm guest exec` killt den Prozessbaum, wenn der Agent-Timeout greift — Compile nur mit `--timeout 1500` fahren. (4) IoT-WLAN-PSK steht **nicht** in 1Password und ist in der Omada-Cloud-UI nicht lesbar; per API `GET /{omadacId}/api/v2/sites/{siteId}/setting/wlans/{gid}/ssids` → `pskSetting.securityKey` (Csrf-Token aus einem echten SPA-Request nötig).
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — NVR Integration
|
||||
- [[systems/noris-ai]] — LLM Vision Provider
|
||||
- [[reference/ip-map]] — IP Assignments
|
||||
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
|
||||
|
||||
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
|
||||
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
|
||||
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
|
||||
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
|
||||
|
||||
## free@home setup_error 12./13.11.2026 — SysAP-Reboot wirkungslos, Core-Restart = Fix
|
||||
- **Verlauf:** 12.11. 16:18 UTC Entry `setup_error` (28/29 Entities `unavailable`), Log `IqTimeout` auf `RemoteInterface.getAll`. Watchdog feuerte 13.11. 05:11 den SysAP-Reboot (`REBOOT_ACKED`, SysAP-HTTP nach ~3 min wieder da), `reload_config_entry` blieb `setup_error`; HA-Retry um 06:13 weiter `IqTimeout`, danach Retry-Backoff erschöpft (letzte Logzeile 06:17 — **Stille ≠ gesund**).
|
||||
- **Diskriminator:** SysAP-REST `/configuration` = 200 in 3 s (62 Geräte), `/sysap` 200, TCP 5222 offen ⇒ kein Server-Wedge, sondern **clientseitiger slixmpp-Desync**.
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec @ proxmox3) 07:10 → `not_loaded` → `setup_in_progress` 07:14:18 → `loaded` 07:14:48. Alle 28 ABB-Entities available (nur `button.garagentor` = `unknown`, bekannter ch0003-Status-Bug), Temperatursensoren pushen wieder (07:15:41).
|
||||
- **E2E:** `light.schaltaktor_4_fach_16a_reg_abb208351f51_ankleidelicht` turn_on → `on` (07:15:03), turn_off → `off` (07:15:05), beide HTTP 200.
|
||||
- **Watchdog Stufe 2 (13.11. ergänzt):** Wird nach `reboot(0)` + reload der Entry nicht `loaded` UND liefert SysAP-REST `/configuration` 200 → automatischer `docker restart homeassistant` (State `last_core_restart`, 6-h-Cooldown, 1 Throttle-Meldung/Tag, Boot-Wait 6 min). Ohne REST-200 gibt es **keinen** Core-Restart (dann ist der SysAP das Problem) — nur Alert. Verifiziert: `--selftest` grün, Tick bei gesundem Entry still + State-Reset.
|
||||
- **Pitfall:** `rescue.py probe` meldet `GETALL_TIMEOUT_OR_FAIL 45.0s` auch bei gesunder Integration (zweite Installer-Session parallel zu HA + 45-s-Hardtimeout) → nicht als Health-Oracle nutzen; Entscheidung über Entry-State + REST.
|
||||
|
||||
@@ -0,0 +1,87 @@
|
||||
---
|
||||
title: "Home Assistant"
|
||||
category: systems
|
||||
tags: [homeassistant, smart-home, mqtt, automation]
|
||||
created: "2026-09-27"
|
||||
modified: "2026-09-27"
|
||||
---
|
||||
|
||||
# Home Assistant
|
||||
|
||||
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
|
||||
|
||||
## Infrastruktur
|
||||
- **Host:** `10.0.30.10` (HAOS VM)
|
||||
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes")
|
||||
- **URL:** `https://homeassistant.familie-schoen.com`
|
||||
- **Container:** `homeassistant` (Docker)
|
||||
|
||||
## MQTT
|
||||
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
|
||||
- **HA MQTT User:** ehemals `opendtu` (BROKEN — ACL blockiert), gefixt
|
||||
- **ACL:** `/etc/mosquitto/acl` definiert `user homeassistant` + `user addons`
|
||||
- **Auth Plugin:** `go-auth.so` (files,http backends)
|
||||
|
||||
## Automations
|
||||
- **File:** `/config/automations.yaml` (35 Automations)
|
||||
- **Schreibmethode:** SSH → `docker exec homeassistant chmod 666`, danach restore 644
|
||||
- **Reload:** REST API mit JWT (HS256, signed from `/config/.storage/auth`)
|
||||
|
||||
### Frigate Einfahrt Notification (ID 1714065780832)
|
||||
- MQTT trigger `frigate/events` → filter `type=='new'` + cameras [Einfahrt,Terrasse] + labels [person,car,...]
|
||||
- Mode: `single`, cooldown 600s
|
||||
- Dedup: `input_text.frigate_last_event_id`
|
||||
- Flow: delay 10s → snapshot → notify iPhone → optional LLM Vision
|
||||
- Siehe [[systems/frigate]]
|
||||
|
||||
## Notify Services
|
||||
| Service | Status |
|
||||
|---------|--------|
|
||||
| `notify.mobile_app_iphone_dominik` | ✅ aktiv |
|
||||
| `notify.mobile_app_sarahs_iphone_app` | verfügbar |
|
||||
| `notify.mobile_app_ipad_2` | verfügbar |
|
||||
| `notify.mobile_app_sm_x205` | verfügbar |
|
||||
|
||||
## Entitäten
|
||||
- Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration)
|
||||
- Motion: `binary_sensor.einfahrt_motion_2`, `binary_sensor.terrasse_motion_2`
|
||||
- Input Text: `input_text.frigate_last_event_id` (dedup storage, max 255 chars)
|
||||
|
||||
## Snapshots
|
||||
- Gespeichert: `/config/www/snapshots/{camera}_latest.jpg`
|
||||
- URL: `/local/snapshots/` (HTTP 200, keine Auth)
|
||||
|
||||
## JWT Auth
|
||||
1. `jwt_key` aus `/config/.storage/auth` lesen
|
||||
2. Client `Hermes_202606` (token id `1444b2c6757b4d66a6f8f8e5899b4e6a`)
|
||||
3. HS256 signieren, Bearer Header
|
||||
4. `?return_response=true` für Service-Call Responses
|
||||
|
||||
## Integrations
|
||||
- Frigate (MQTT)
|
||||
- LLM Vision (noris AI `gemma-4-31b-it`)
|
||||
- Tibber (Strom)
|
||||
- Marstek Speicher (VENUS-E, IP 10.0.50.113)
|
||||
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
|
||||
- Various sensors (Xiaomi BLE, etc.)
|
||||
|
||||
## EMHASS Batteriesteuerung
|
||||
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle 16 kWh Batterie (BYD 11k + Marstek 5k).
|
||||
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
|
||||
- **Akuelle Config (2026-10-02):**
|
||||
- Capacity 16000Wh, Charge/Discharge 6700W, Efficiency 0.9
|
||||
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
|
||||
- `set_battery_dynamic: True`, `set_use_battery: True`
|
||||
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
||||
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
||||
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
||||
- **Cron:** `a32005d62226` (no_agent, every 15m, runner script) ruft EMHASS Optimization auf.
|
||||
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
||||
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — NVR Integration
|
||||
- [[systems/noris-ai]] — LLM Vision Provider
|
||||
- [[reference/ip-map]] — IP Assignments
|
||||
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
|
||||
@@ -0,0 +1,72 @@
|
||||
# Immich — Foto/Video-Management
|
||||
|
||||
> **Status 2026-10-10:** K8s-Immich (v3.3.1) ist **alleinige Produktion** für `photos.familie-schoen.com`. Legacy-Immich auf CT111 (v2.6.3) nach Reconciliation **stillgelegt** (Container gestoppt, Autostart aus, Daten unangetastet). **NAS-Foto-Ingest 09./10.10. KOMPLETT:** 29.423 neue Files (78,2 GB) via API-Upload, Reconciliation 0 fehlend.
|
||||
|
||||
## Produktion: K8s-Immich (v3.3.1)
|
||||
|
||||
| Eigenschaft | Wert |
|
||||
|---|---|
|
||||
| URL | `https://photos.familie-schoen.com` → WAN-Traefik CT99999 `photos`-Router → **10.0.30.203** (K8s `traefik-lb`) → IngressRoute `immich/immich` → `immich-server:2283` |
|
||||
| Alt-Host | `immich.familie-schoen.com` → **301-Redirect** auf photos (WAN-Middleware `immich-to-photos`, 30.10.26). Legacy-Route auf CT111 `.99:2283` damit entfallen |
|
||||
| Namespace | `immich` |
|
||||
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
|
||||
| Assets | **86.316** (85.960 unique Checksums) — Stand 10.10. nach NAS-Ingest |
|
||||
| Storage | **`pv-fuse-immich-library`** (500Gi CephFS, statisches PV mit `mounter: fuse`, seit 31.10.26) + `pv-fuse-immich-thumbs` (100Gi); Subvolume `csi-vol-305a46d8…` unverändert. tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
|
||||
| ⚠️ CephFS-Mount | Kernel-CephFS **unbrauchbar** (aes256k 32 B vs. 16-B-Limit) → Fuse-Mounter. Details `systems/rke2-kubernetes.md`. P1-Ausfall 31.10.: Immich 503, 8 Pods blockiert → nach Fuse-Umstellung 200 |
|
||||
| ArgoCD-App | `immich`, Path `clusters/main/immich/implemented`, Repo `canonical` (HEAD) |
|
||||
| Deployments | `immich-server` (6Gi-Limit, 2Gi-Req, **pinned rke2-worker-01** — OOM-Fix 10.10., Commit `6ce2a0a`), `immich-machine-learning`, `immich-valkey` |
|
||||
| DB | `postgresql` namespace, `postgres-main-1`, DB `immich` (CNPG-managed) |
|
||||
| DB-Zugriff | `kubectl -n postgres exec postgres-main-1 -- psql -U postgres -d immich` (nicht `-U immich`!) |
|
||||
|
||||
### GitOps-Anatomie (wichtig!)
|
||||
- **ZWEI Apps teilen sich das Verzeichnis:** `immich` (path `clusters/main/immich/rendered`, Workloads) + `immich-config` (path `clusters/main/immich` OHNE recurse, Namespace/StorageClasses/PVCs/Externalsecrets/Ingress/DB)
|
||||
- **Nie wieder `recurse: true` auf immich-config** — das ließ beide Apps dieselben Workloads verwalten → Tracking-Label-Krieg (13.353+ Heals, ewiges OutOfSync; behoben 09.10. via Commits 57cfa65+497aa34)
|
||||
- Diagnose-Hebel bei OutOfSync: `argocd app diff <app>` im argocd-server-Pod (`--plaintext`, PW aus `argocd-initial-admin-secret`) — Tracking-Label-Diff = App-Kollisions-Fingerprint
|
||||
- `status.resources` kann Stale-Einträge zeigen; Wahrheit = `argocd app diff`
|
||||
- ~~Übergangs-Freeze auf immich-config~~ Aufgehoben 10.10. (Commit `3ec6327`): selfHeal+prune scharf nach bewiesenem Label-Sweep — Ownership-Krieg endgültig beendet (Commits 57cfa65+497aa34+3ec6327)
|
||||
|
||||
### GitOps-Upgrade-Rezept (bewährt)
|
||||
1. `clusters/main/immich/values.yaml`: Image-Tags patchen (3 Stellen: controllers.main + explizite Repos server/ML)
|
||||
2. `clusters/main/immich/rendered/all.yaml`: 2 Image-Zeilen (server + machine-learning) mitpatchen
|
||||
3. Commit + Push zu Remote `canonical` → ArgoCD selfHeal rollt automatisch
|
||||
4. Verifikation: `kubectl -n immich get deploy` (Images `:v3.3.1`) → Public-API `/api/server/version` erst NACH Endpoint-Wechsel aussagekräftig (alter Pod bleibt sonst im Pool)
|
||||
5. Sicherheitsnetz: Restic-Backup gleicher Tag 04:09
|
||||
|
||||
### Bekannte Mess-Pitfalls (Schema-Versionen!)
|
||||
- v3.x: Tabelle `exif`, Spalte `fileSizeByte`; v2.6.3-Legacy: Tabelle `asset_exif`, Spalte `fileSizeInByte` — Spalten-/Tabellennamen vor jeder Query erst via `information_schema` verifizieren
|
||||
- psql-Fehlerzeilen in SSH+dockexec-Pipelines sehen aus wie Datensätze — stderr nie wegmaskieren, Counts gegen Roh-Count-Queries kreuzvalidieren
|
||||
|
||||
## Legacy-Immich auf CT111 (stillgelegt 2026-10-09)
|
||||
|
||||
| Eigenschaft | Wert |
|
||||
|--- verwende ---|---|
|
||||
| Host | CT111 = 10.0.30.99 (Proxmox-CT, Root-FS /dev/rbd1 49 G) |
|
||||
| Version | v2.6.3, Docker-Compose `/opt/immich/docker-compose.yml` |
|
||||
| Assets | 53.613 (53.257 unique; 356 Dubletten) — **vollständige Teilmenge von K8s, formal bewiesen** |
|
||||
| Container | `immich_server`, `immich_machine_learning`, `immich_redis`, `immich_postgres` — alle `exited`, `restart=no` |
|
||||
| Daten | unangetastet: `/mnt/data/immich-library` (344 G, eigenes RBD), `/mnt/data/immich-postgres` (1,4 G, Root-FS) |
|
||||
| Seafile-Stack | derselbe CT, UNBERÜHRT (seafile, seafile-redis, seafile-memcached, seafile-mysql, seadoc, ideogram4-api) |
|
||||
|
||||
### Stilllegungs-Rezept (nachvollziehbar)
|
||||
1. Pre-Flight: aktive Connections auf Published Port 2283 prüfen (`ss -tn established`) — nur bei 0 stilllegen
|
||||
2. Graceful Stops in Order: server → ML → redis → postgres
|
||||
3. `docker update --restart=no` je Container (compose-file NICHT anfassen — dort stehen noch `restart: always`, ein `compose up -d` würde alles wieder hochfahren)
|
||||
4. Verify: `docker inspect` status+restart-policy je Container, `docker ps` zeigt nur noch Seafile-Stack
|
||||
|
||||
### Rollback jederzeit möglich
|
||||
`docker start immich_postgres immich_redis immich_machine_learning immich_server` (Reihenfolge!) + `docker update --restart=always …` — Daten unberührt.
|
||||
|
||||
## Offene Punkte
|
||||
- ~~fluent-bit-Journal-Flut auf CT111~~ **GEFICKT 09.10.** (Loki-LB .207 restauriert, Commit fb4d8b9; journald-Cap 200M airbag) — siehe [[systems/loki-fluentbit]]
|
||||
- ~~Foto-Ingest NAS → K8s~~ **KOMPLETT 10.10.:** 29.423 Files / 78,2 GB (d 27.966 + s 1.436), Reconciliation 0 fehlend; Artefakte `~/home-drilldown/census/`; Rest: Grayzone 559 Files bewusst draußen, 5 RAWs mit dcraw-Thumbnail-Fehlern (Originale intakt)
|
||||
- ~~**immich-config-Freeze reaktivieren**~~ **ERLEDIGT 10.10.** (Commit `3ec6327`): selfHeal+prune scharf nach bewiesenem Label-Sweep (kein Objekt trägt mehr das Tracking-Label); beide Apps Synced/Healthy, kein Ping-Pong. Präzedenz: Vor `prune:true` nach Ownership-Konsolidierung IMMER cluster-weiten Label-Sweep machen — `status.resources` der App kann stale Workload-Einträge zeigen.
|
||||
- Endgültige Dekommissionierung Legacy (Volumes/DB/Images) separat genehmigen; bis dahin bleibt alles liegen
|
||||
- CT111-Disk-Reserven: ~15,6 GB ungenutzte getaggte Images + diverse Volumes — nur mit Freigabe
|
||||
- ~~NAS-Ingest-Keys `nas-ingest-d/s`~~ Plaintext-Keys vernichtet 10.10. (NAS keys.env + lokale Kopie gelöscht); Key-Records leben in DB, Re-Mint jederzeit via decode()-Insert möglich
|
||||
|
||||
## Verweise
|
||||
- [[systems/seafile]] — Dokumente/Archive-Ziel der Home-Migration
|
||||
- [[systems/ceph-cluster]] — cephfs-PVC der K8s-Instanz
|
||||
- [[systems/rke2-kubernetes]] — Cluster-Anatomie
|
||||
- Solution-Doc: `docs/solutions/workflows/2026-10-09-immich-legacy-decommission-prep.md`
|
||||
- Solution-Doc: `docs/solutions/workflows/2026-10-10-immich-nas-ingest-api-upload.md` (Massen-Upload-Rezept: Manifest+x-immich-checksum+Checkpoint)
|
||||
@@ -0,0 +1,77 @@
|
||||
---
|
||||
title: "InfluxDB — drei Instanzen, zwei Aufgaben (hot / Archiv / tote K8s-Kopie)"
|
||||
category: systems
|
||||
tags: [influxdb, homeassistant, historie, archive, flux, k8s]
|
||||
created: "2026-11-20"
|
||||
modified: "2026-11-20"
|
||||
---
|
||||
|
||||
# InfluxDB
|
||||
|
||||
> **Kurzfassung:** HA schreibt auf `.109` (90 Tage). Ein stündlicher Flux-Task dort schreibt das ablaufende Tagesfenster als 5-Minuten-Mittel nach `.110` (5 Jahre). Eine dritte Instanz in K8s (`.204`) ist **leer** und hat 18 tote Tasks — eine begonnene, nie verdrahtete Migration.
|
||||
|
||||
## Die drei Instanzen
|
||||
|
||||
| Rolle | Adresse | Wo | Version | Bucket / Retention | Zustand 20.11.2026 |
|
||||
|---|---|---|---|---|---|
|
||||
| **Hot** | `10.0.30.109:8086` | LXC **109** `influxdb` auf proxmox6 | v2.7.11 | `ha_hot_90d`, 90 d | **schreibend**; ältester Punkt 22.08.2026; ~1.817 Entities in 30 d |
|
||||
| **Archiv** | `10.0.30.110:8086` | LXC **134** `influxdb-archive` auf proxmox6 | v2.7.11 | `ha_archive_5y_5m`, 5 Jahre | **seit 23.08.2026 gerissen**: Bestand 06.05.–23.08., **78 Tage fehlen** (24.08.–20.11.) |
|
||||
| **K8s** | `10.0.30.204:8086` | NS `influxdb`, Pod `influxdb-0`, LB | v2.7.12 | `ha_hot_90d` + `ha_archive_5y_5m` | **leer** (Engine 1,1 MB); 18 identische Tasks, die den lokalen leeren Hot-Bucket lesen; tägliche Backup-CronJobs |
|
||||
|
||||
Org überall `homelab` — aber **unterschiedliche Org- und Token-IDs**. Tokens sind nicht austauschbar.
|
||||
|
||||
## Der Datenfluss
|
||||
|
||||
```
|
||||
Home Assistant (VM106)
|
||||
│ influxdb-Integration (UI-Config-Entry, source: import — NICHT die YAML)
|
||||
▼
|
||||
10.0.30.109 : ha_hot_90d (90 Tage, rohe States)
|
||||
│ Flux-Task "archive_5m_to_hdd_90d", stündlich, offset 10m
|
||||
│ range(start:-91d, stop:-90d) → aggregateWindow(5m, mean) → to(host: .110)
|
||||
▼
|
||||
10.0.30.110 : ha_archive_5y_5m (5 Jahre, 5-Minuten-Mittel)
|
||||
```
|
||||
|
||||
Der Archiv-Token steht **im Flux-Skript** des Tasks (`GET /api/v2/tasks` auf `.109`, Feld `flux`). Er taucht in keiner YAML auf.
|
||||
|
||||
## Zwei Fallen
|
||||
|
||||
1. **YAML lügt.** `configuration.yaml` enthält weiterhin einen `influxdb:`-Block mit `host: 10.0.30.204`, `token: …`, `bucket: ha_hot_90d`. Seit HA **2026.9** sind die Verbindungs-Keys dort wirkungslos (nur `include`/`exclude`/`tags` bleiben); die Verbindung lebt im UI-Entry (`source: import`) und zeigt auf `.109`. Wer die Datei liest, konfiguriert das Falsche.
|
||||
2. **Die Archivkette riss am 23.08.2026 — und wurde am 20.11. repariert.** Der stündliche Task lief mit `range(-91d,-90d)`, also genau an der Retention-Kante; dort war bereits gelöscht, `to()` bekam null Zeilen und meldete trotzdem `success`. Hot: 23.08.–20.11. (79 Tage), Archiv: 05.05.–23.08. (91 Tage) → **78 Tage fehlten**.
|
||||
- **Fix:** Task jetzt `every: 6h`, `range(-2d,-1d)`. Ein 3-Tage-Fenster scheiterte am Remote-Timeout von `to()`; die 6-h-Kadenz gibt 4 idempotente Chancen pro Tag. Verifiziert: Lauf 20.11. 13:00 `success`, 70.472 Punkte im Fenster.
|
||||
- **Backfill:** `~/.hermes/profiles/hauswacht/workspace/scripts/backfill_archiv.py` — **abgeschlossen**: 79 Tage, 0 Fehler, Archiv 91 → **168 Tage** (05.05.–20.11.), 50 → ~105 MB.
|
||||
- **Echte Aufzeichnungslücke:** 22.09.–02.10.2026 fehlt **auch in Hot** (11 Tage) — nicht rekonstruierbar. 03.10. hatte nur einen Rest (386 Entities), nachgezogen.
|
||||
- **Pitfall:** `aggregateWindow` labelt mit dem Fenster-**Ende**; ohne `timeSrc:"_start"` ist jede Tageszählung um eins verschoben (hätte Fehlalarm erzeugt).
|
||||
- **Wächter:** `watchers/entwurf/archiv_luecke.py` — echter Lauf `NO_REPLY` (jüngster Punkt 0 h, 8 Tage, Task frisch), `--selftest` grün, **nicht scharf** (Schattenlauf).
|
||||
|
||||
## Semantik (wichtig für Flux)
|
||||
|
||||
- `default_measurement: units` → **Measurement = Einheit** (`"W"`, `"%"`, `"EUR/kWh"`, …).
|
||||
- Entität ist **Tag** `entity_id` (plus `domain`, `friendly_name`, `source=HA`).
|
||||
- Numerischer Wert: Feld **`value`**; String-Attribute als `<name>_str`.
|
||||
- Abfrage also:
|
||||
```flux
|
||||
from(bucket:"ha_hot_90d") |> range(start:-24h)
|
||||
|> filter(fn:(r)=> r.entity_id=="pv_production" and r._field=="value")
|
||||
```
|
||||
|
||||
## Betrieb
|
||||
|
||||
```bash
|
||||
# Health
|
||||
curl -s http://10.0.30.109:8086/health
|
||||
curl -s http://10.0.30.110:8086/health
|
||||
|
||||
# Tasks (inkl. Flux + Token)
|
||||
curl -s -H "Authorization: Token $TK" http://10.0.30.109:8086/api/v2/tasks
|
||||
|
||||
# Buckets/Retention
|
||||
curl -s -H "Authorization: Token $TK" "http://10.0.30.109:8086/api/v2/buckets?org=homelab"
|
||||
```
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/homeassistant]] — schreibende Integration, Recorder
|
||||
- [[systems/hauswacht]] — read-only Analyst, der diese Kette nutzt (V-006)
|
||||
- Solution: `docs/solutions/bug-fixes/2026-11-20-influxdb-drei-instanzen-yaml-luegt.md`
|
||||
@@ -0,0 +1,139 @@
|
||||
---
|
||||
title: Jellyfin Media Server
|
||||
category: systems
|
||||
tags: [jellyfin, media, kubernetes, vaapi, swiftfin]
|
||||
created: "2026-10-19"
|
||||
modified: "2026-10-19"
|
||||
---
|
||||
|
||||
# Jellyfin (Media Server)
|
||||
|
||||
## Überblick
|
||||
Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series + Erika Lust), Abspielziel AppleTV via **Swiftfin**.
|
||||
|
||||
| Fakultät | Wert |
|
||||
|---|---|
|
||||
| Version | `jellyfin/jellyfin:12.2` (Tag gepinnt, nie `latest`) |
|
||||
| Namespace | `sabnzbd` (Co-Lokation wegen RWO-Mount der sabnzbd-PVC) |
|
||||
| Node-Pin | `rke2-worker-05` (einziger iGPU-Node, `/dev/dri/renderD128`, GID 991, `privileged: true`) |
|
||||
| VIP | **10.0.30.209:8096** (Cilium LB-IPAM, Annotation `io.cilium/lb-ipam-ips`) |
|
||||
| Config-PVC | `jellyfin-config` 5Gi RWO ceph-hdd-replica |
|
||||
| Media-Mount | sabnzbd-PVC **read-only** auf `/media` (= `/config/downloads/media` im SABnzbd-Pod) |
|
||||
| Manifeste | `iac-homelab/clusters/main/jellyfin/` + App `clusters/main/apps/jellyfin.yaml` |
|
||||
| NetworkPolicy | CNP `jellyfin-lan-only` (world/host/remote-node auf 8096 — VIP-Ingress kommt durch SNAT als `world` an, s. Cilium-Traps) |
|
||||
| Admin-Login | 1P-Item **„Jellyfin Login dominik"** (Vault Kubernetes ESO), User `dominik`, IsAdministrator |
|
||||
|
||||
## Bibliothek
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`. Stand **29.10.2026: 215 Videos, 215 NFOs** in 25 Serienordnern (Jellyfin 1:1 = 215 Items, Scan verifiziert) (PureTaboo 42, Deeper 45, KinkUniversity 1, SexAndSubmission 26, TheUpperFloor 18, BratTamer 16, DeviceBondage 13, DungeonSex 13, HogTied 8, TheTrainingOfO 6, ErikaLust 5, He's in Charge 4, Lustery 3, BFTP18/NerdPervert/KinkTestShoots 2, AnalVids/BellesaFilms/BoundGangBangs/BukkakeFest/EnjoyX/GlowingDesire/MajorHotWife/SilkSub/TheLifeErotic 1).
|
||||
- **Kollaps-Falle**: Movies-Typ fasst mehrere Dateien pro Ordner zu 1 Film + unsichtbaren Extras zusammen. Szenen-Bibliotheken besser als `homevideos` oder untypisiert anlegen (zeigen jede Datei einzeln; NFO-Parsing identisch).
|
||||
- **Zombie-Items-Falle**: Alte Movie-Items auf gleichen Pfaden überleben Library-Delete+Recreate in `jellyfin.db` (pfadbasiertes Keying) und lassen jeden Scan leer laufen („Validating" ohne Enumeration). Heilung: Full-DB-Reset — ArgoCD selfHeal aus, scale 0, `mv /config/data/jellyfin.db* /config/dbbackup-<datum>/`, Wizard-Flag reset, Neu-Bootstrap. Backup: `/config/dbbackup-20261019/` auf jellyfin-config-PVC.
|
||||
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
|
||||
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
|
||||
- **Feste Pfadliste-Falle (13.11.2026)**: Die Mediathek hat **pro Serie einen Einzelpfad** (`/media/<Serie>`); neue Sorter-Ordner werden **nicht** automatisch indexiert (0 Items trotz Dateien auf Platte). `POST /Library/VirtualFolders/Paths?name=Mediathek` mit Body `{"Name":"<Serie>","Path":"/media/<Serie>"}` → **204, aber wirkungslos**, wenn `/config/root/default/<Serie>/` fehlt (Log: `Could not find a part of the path '…/<Serie>.mblink'`). Sauberer Weg: `mkdir -p /config/root/default/<Serie>` **plus** `.mblink` selbst schreiben (`printf '/media/<Serie>' > /config/root/default/Mediathek/<Serie>.mblink`, chmod 644, root:root) → **Pod-Restart** → Pfad erscheint in `Locations`, Scan indexiert. Stand 13.11.: 56 Pfade, 58 Ordner auf Platte.
|
||||
- **Collections entstehen nicht automatisch**: `POST /Collections?Name=<Serie>&Ids=<id,id,…>` (HTTP 200) je Serie mit ≥1 Item; Cover danach via `jf_collection_covers.py`.
|
||||
|
||||
## API-Fallen (12.2) — Details: Solution Doc s.u.
|
||||
1. Auth-Header heißt jetzt **`Authorization: MediaBrowser ...`** (nicht mehr `X-Emby-Authorization` → sonst 400 ArgumentNullException).
|
||||
2. `/Startup/User` nimmt `{"Name","Password"}` — Feld `Username` → täuschende 404. **Route funktioniert anonym NUR OHNE Authorization-Header** (mit MediaBrowser-Header trotz korrektem Payload ebenfalls 404!). Vorsicht: Probe-POSTs legen echte Admin-User an; Route acceptiert nur EINEN Startup-User (danach 403). `GET /Startup/User` = DTO-Sonde (zeigt Seed-User `root`).
|
||||
3. Bootstrap-Reihenfolge: Configuration → Startup/User → **erst dann** `/Startup/Complete` (sonst Lockout; Recovery via `system.xml` `IsStartupWizardCompleted=false` + Pod-Restart).
|
||||
4. Tasks: Trigger-Update `POST /ScheduledTasks/{id}/Triggers`, Ausführen `POST /ScheduledTasks/Running/{id}` (PUT/alte Route → 405; `OPTIONS` zeigt Allow).
|
||||
5. Null-Users-Boot seedet automatisch User `root` ohne Passwort (Login trotzdem 401 — ignorierbar).
|
||||
|
||||
## Swiftfin / AppleTV
|
||||
- **UDP-Autodiscovery funktioniert durch den K8s-VIP nicht** → im Client Server MANUELL eintragen: `http://10.0.30.209:8096`, User `dominik`.
|
||||
- Transcode: VAAPI auf worker-05 verfügbar (Hardware-Encoder vorhanden, Jellyfin-Transcodierung ungetestet 19.10.).
|
||||
|
||||
## Betrieb
|
||||
- Scan anstoßen: `POST /ScheduledTasks/Running/<scan-id>` (Task-Id via `GET /ScheduledTasks`, Name „Scan Media Library").
|
||||
- Neue Medien landen automatisch via SABnzbd-Sorter in `/media/<Serie>/` (Postproc-Skript, CM `sabnzbd-postproc-script`).
|
||||
- Bekannte Data-Hygiene-Aufgabe (19.10.): Alt-Salvage-MKVs (~600 MB 720p) liegen neben frischen 1080p/4K-MP4s derselben Szene (8 Paare in DeviceBondage, ~5 GB); Löschung nur nach GO.
|
||||
|
||||
## Stale MediaStreams nach In-Place-Ersetzung (30.10.2026)
|
||||
|
||||
Wird eine Mediendatei **unter gleichem Pfad** ersetzt (Transcode/Remux), behält Jellyfin den alten DB-Stand: es meldet weiter den alten Codec und die alte Dateigröße. Der Client bekommt dann DirectPlay mit falschem Codec angeboten und bricht ab (real: Datei war `hevc`, DB sagte `h264 High 4.418 GB` → QuickTime verweigerte).
|
||||
|
||||
**Fix:** genau ein `POST /Library/Refresh` (HTTP 204), Scan läuft async; danach stimmen `Size` und `MediaStreams` (`hevc Main 1920×1080 ~2.4 Mbit`). Verifikation über `GET /Items?...&Fields=Path,MediaSources,MediaStreams`.
|
||||
|
||||
**Regel:** Nach jeder In-Place-Ersetzungswelle ein Refresh — **nicht** mehrere parallel (wiederholte POSTs brechen den laufenden Scan ab). Wiederholte Refreshes während eines laufenden Batch sind unbedenklich, weil die Ersetzung atomar per `mv` passiert.
|
||||
|
||||
## Green-Artefacts auf AppleTV trotz sauberem Profil (01.11.2026)
|
||||
|
||||
Titel `TheUpperFloor - 2011-10-20 - Aiden Starr …` (HEVC Main 720p, hvc1, yuv420p, bt709) spielte in Swiftfin nicht — grüne Artefakte, Rest der Serie (H.264) problemlos. ffprobe sah **unauffällig** aus; Ursache war **echte Bitstream-Korruption**: volles `ffmpeg -i … -f null -` ergab 31 `CABAC_MAX_BIN`-Warnings. FFmpeg-Softdecoder toleriert das still, Apples HW-HEVC-Decoder artefaktet/grün.
|
||||
|
||||
**Diagnose-Praxis:** ffprobe reicht nicht — bei Playback-Problemen immer Full-Decode-Scan (`ffmpeg -v error -i FILE -f null -`), Non-CABAC-Zeilen zählen. Doppel-Editlist mit `media_time=-1` war hier Nebenschauplatz (Remux `-c copy -ignore_editlist 1` half nicht — Korruption sitzt in den Frames, nur echter Transcode löst).
|
||||
|
||||
**Repertoire (in-place Repair):** Original nach `/config/transcode-originals/<case>/` moven → Transcode nach `_hold` (`libx265 preset superfast crf19 -tag:hvc1`, ~55 min für 60-min-720p) → `chown 1000:1000` + atomic `mv` aufs Ziel → Jellyfin-Pod-Restart erzwingt Re-Inspection (Startup-Scan vergleicht Size/Date) → `_hold`-Temp löschen. Falls API-Key vorhanden: `POST /Library/Refresh` statt Restart.
|
||||
|
||||
**Fallstricke:** (1) fg-ffmpeg >300 s stirbt am Tool-Timeout → halbes MP4 ohne moov; immer `nohup … &` detachen und pollen. (2) Jellyfin-API-Tokens aus `Devices`-Tabelle können widerrufen sein (401 trotz Vorhandensein) — Restart ist der robuste Fallback.
|
||||
|
||||
## archive.org als Torrent-freie Zweitquelle (31.10.2026)
|
||||
|
||||
Usenet liefert keine Shibari-/BDSM-Tutorials (nzbindex null; Alternativ-Indizes JS-Walls), TPB nur per Torrent (Veto). **archive.org Advanced Search** (`advancedsearch.php?q=…&output=json`) + **Metadata-API** (`/metadata/<id>`) + Direktdownload (`/download/<id>/<file>`) lieferten 28 Tutorial-Videos (2,73 GB): BDSM-Skills-Serie, BDSM 101, Mistress Clarissa's Bondage 101 u. a. — alle h264-MP4, AppleTV-Direct-Play.
|
||||
|
||||
- **Ablage:** `/media/Tutorials/` (eigener Ordner, 28 Items — kein generischer Sammelordner).
|
||||
- **Throttle-Falle:** archive.org drosselt pro Verbindung auf ~130 KB/s; sequenziell unbrauchbar. Lösung: **Range-Chunking** (4-MB-Chunks, 32 parallel/Datei, 3 Dateien gleichzeitig) → 1,4 GB in ~8 min.
|
||||
- **Integration:** tar-Stream via `kubectl exec -i` in die PVC, `chown 1000:1000`, **ein** `POST /Library/Refresh`, Item-Delta +28 verifiziert. `.hevc_*`-Temps im FS zählen nicht (Jellyfin ignoriert sie absichtlich).
|
||||
- Details: `docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md`
|
||||
|
||||
## StashDB-Metadaten-Pipeline (01.11.2026)
|
||||
|
||||
Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die 475 Boilerplate-NFOs.
|
||||
**Crew:** `dschoen`; API-Key in 1Password-Vault **Hermes** (Item *StashDB API Key*), lokal `/tmp/stashdb_key`.
|
||||
|
||||
### API
|
||||
- Endpoint `https://stashdb.org/graphql`, Header **`ApiKey: <JWT>`** (kein Bearer, kein Cookie). `me{ name }` als Auth-Beweis.
|
||||
- Der Key ist ein JWT (`{"sub":"APIKey"}`) — funktioniert unabhängig vom Browser-Login.
|
||||
|
||||
### Matching-Strategie (3 Stufen, 439/506 = 87 % Trefferquote)
|
||||
1. `queryScenes` mit `studios:EQUALS` + `date:EQUALS` — eindeutig, höchster Score (Feld `release_date` ist `YYYY-MM-DD`).
|
||||
2. Studio + Titeltext.
|
||||
3. **Performer-ID** (`performers: {modifier: INCLUDES}`) für undatierte Dateien.
|
||||
|
||||
### Fallstricke (alle verifiziert)
|
||||
- **`searchStudio` ist token-basiert:** „DeviceBondage" → 0 Treffer, „Device" → *Device Bondage*. CamelCase splitten und mit Einzelwort probieren, sonst bleiben ganze Studio-Familien (Kink-Sites) ungematcht.
|
||||
- **`performers` akzeptiert kein `EQUALS`** — Serverfehler *„unsupported modifier EQUALS for scene_performers.performer_id"*. Nur **`INCLUDES`** liefert Szenen.
|
||||
- **`text` durchsucht nur Titel**, nicht Darsteller und nicht Description. Cast-Suche geht ausschließlich über `searchPerformer` → Performer-ID.
|
||||
- Score-Gate: akzeptieren nur wenn **Studio ODER Datum** passt — sonst rutschen Fremd-Studios durch (Textsuche liefert 30 Treffer über alle Studios).
|
||||
|
||||
### Schreiben
|
||||
- **Jellyfin-Update:** `POST /Items/{id}` mit **vollem DTO** (nicht PATCH): `Overview`, `Studios[{Name}]`, `Tags[]`, `PremiereDate`, `ProductionYear`, `People[{Name,Type:Actor|Director}]`, `Genres`. Antwort **204**, Read-Back bestätigt.
|
||||
- **Collections** (Kategorisierung nach Studio/Serie): `POST /Collections?name=<Brand>&ids=a,b,c` → `{Id}`; Nachfüllen via `POST /Collections/{id}/Items?ids=…`. 31 Boxsets, 439 Items.
|
||||
- **Pfad-Mapping:** Jellyfin sieht `/media/<Brand>/…`, SAB-Pod `/config/downloads/media/<Brand>/…` — Prefix normalisieren, sonst 0 Treffer trotz 504 Items.
|
||||
- **NFO:** Kodi-`<movie>`-XML mit `<uniqueid type="stashdb">`, Plot im Original-Englisch, `<actor>`, `<tag>`, `<studio>`; per `tar` + `kubectl cp` in die PVC (nicht Datei-für-Datei).
|
||||
|
||||
### Rest
|
||||
67 ohne Match: 28 Tutorials (nicht in StashDB) + undatierte Einzelfälle. 7 Matches haben leeres `details`-Feld bei StashDB (Titel/Cast/Datum gesetzt, Plot fehlt). Diese 67 sind am 01.11. mit Tag **`nosdb`** markiert (zweiter Anlauf inkl. Performer-Recovery brachte **0** weitere Treffer) — sie werden nicht mehr abgefragt, außer mit `--retry`.
|
||||
|
||||
### Automatisierung für Neuzugänge (01.11.2026)
|
||||
- **Enricher:** `~/workspace/media_meta/stashdb_enrich.py` — idempotent; nimmt Jellyfin-Items **ohne** Tag `StashDB`/`nosdb`, matcht (3 Stufen inkl. Performer-Recovery), schreibt NFO + `POST /Items/{id}`, hängt in die Brand-Collection, markiert Nicht-Treffer mit `nosdb`.
|
||||
- **Wrapper:** `~/workspace/media_meta/run_enrich.sh` — lädt `~/.hermes/secrets/media_meta.env` (JF-Token, 600) und holt den StashDB-Key via `op read 'op://Hermes/xsjfcmeo23rgleyu2xovvkb3aq/credential'`. Kein Key im Repo, kein `/tmp`-Cache nötig.
|
||||
- **Cron:** Job `7264208b70b0` (*StashDB-Metadaten für Neuzugänge*), `0 */6 * * *`, `no_agent`, Skript `~/.hermes/scripts/media_meta_nightly.sh` → stdout **leer wenn nichts passiert** (Watchdog-Muster), Log `~/workspace/media_meta/enrich.log`.
|
||||
- **Nicht** im Sorter (ConfigMap `postproc-scripts`) verankert: Sorter-Änderungen laufen über GitOps, und ein Pod-Rollout killt laufende Transcodes. Der Cron läuft host-seitig, deployt NFOs per `tar`+`kubectl cp` und braucht keinen Rollout.
|
||||
- Idle-Lauf = **0 s** (alle Items getaggt), Voll-Lauf mit 67 Kandidaten ≈ 160 s.
|
||||
|
||||
## Related Solution Docs
|
||||
- `docs/solutions/integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`
|
||||
- `docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
|
||||
|
||||
## Verwandte Wiki-Seiten
|
||||
- [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner
|
||||
- [[systems/rke2-kubernetes]] — Cluster, LB-IPAM
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026)
|
||||
**Modell: Porn hinter Passwort, Familie offen.**
|
||||
- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets).
|
||||
- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin.
|
||||
- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections].
|
||||
- `dominik`: Admin, Vollzugriff (Passwort).
|
||||
|
||||
**Pitfalls JF 12.2 (teuer gelernt):**
|
||||
1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen).
|
||||
2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen.
|
||||
3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`.
|
||||
4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig.
|
||||
5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/<Name>`), nicht an Policy.
|
||||
6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm.
|
||||
7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen.
|
||||
8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation.
|
||||
@@ -3,7 +3,7 @@ title: Loki + Fluent Bit (Logging Stack)
|
||||
category: systems
|
||||
tags: [loki, fluent-bit, logging, observability]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-07-25"
|
||||
modified: "2026-10-09"
|
||||
---
|
||||
|
||||
# Loki + Fluent Bit (Logging Stack)
|
||||
@@ -13,7 +13,12 @@ modified: "2026-07-25"
|
||||
- **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25)
|
||||
- **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps
|
||||
- **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`)
|
||||
- **External Service:** `loki-external`, LoadBalancer `10.0.30.207:3100`
|
||||
- **External Service:** `loki-lb`, LoadBalancer `10.0.30.207:3100` (restauriert 2026-10-09, Commit `fb4d8b9`, Manifest `clusters/main/logging/loki-lb.yaml`, App `logging-config`) — Vorgänger `loki-external` war MANUELL kubectl'd, nie in Git, starb unbemerkt bei Helm-Iterationen → Fleet-weiter Journal-Spam. Seit Restaurierung GitOps-gemanagt.
|
||||
|
||||
### Known Issues (Fixed 2026-10-09: LB-VIP-Totalausfall)
|
||||
| Symptom | Root Cause | Fix |
|
||||
|---------|-----------|-----|
|
||||
| fluent-bit Fleet (9 Hosts + LXCs) fluutet Journals mit „No route to host 10.0.30.207:3100" seit ~7. Okt.; CT111-Journal 4,1 GB (95 % Spam), Disk 99 % | Manueller SVC `loki-external` (LB .207) verschwand bei Loki-Helm-Iterations-Recreates — keine GitOps-Deckung | `loki-lb` Manifest in Git (Selector single-binary auf loki-0), ArgoCD-App `logging-config` synced es; VIP sofort wieder im Cilium-Pool |
|
||||
|
||||
### Known Issues (Fixed 2026-07-25)
|
||||
| Issue | Root Cause | Fix |
|
||||
|
||||
@@ -0,0 +1,52 @@
|
||||
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
|
||||
|
||||
**Stand:** 2026-10-30
|
||||
|
||||
## Zweck
|
||||
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
|
||||
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
|
||||
|
||||
## Harte Fakten
|
||||
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
|
||||
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
|
||||
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
|
||||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
|
||||
|
||||
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
|
||||
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
|
||||
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
|
||||
|
||||
| Test | Ergebnis |
|
||||
|---|---|
|
||||
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
|
||||
| `sync` | 3,5 s |
|
||||
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
|
||||
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
|
||||
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
|
||||
|
||||
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
|
||||
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
|
||||
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
|
||||
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
|
||||
|
||||
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
|
||||
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
|
||||
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
|
||||
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
|
||||
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
|
||||
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
|
||||
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
|
||||
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
|
||||
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
|
||||
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
|
||||
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
|
||||
|
||||
## Konsequenz (Betriebsregel)
|
||||
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
|
||||
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
|
||||
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
|
||||
fsync-Latenzen nicht.
|
||||
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
|
||||
langsam — nicht als „kaputt" fehldeuten.
|
||||
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
|
||||
zurückgestellt, braucht Owner-GO.
|
||||
@@ -32,3 +32,25 @@ modified: "2026-07-24"
|
||||
## Related
|
||||
- [[systems/loki-fluentbit]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
## Alerting-Reparatur 2026-11-14
|
||||
|
||||
- `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT.
|
||||
Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts:
|
||||
node (6), ceph (4), blackbox (4), galera (3).
|
||||
- **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**.
|
||||
Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt.
|
||||
- **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als
|
||||
`/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf
|
||||
alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt)
|
||||
→ Regeln für die 8 RKE2-Node-IPs ergänzt.
|
||||
- **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
|
||||
- **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
|
||||
- Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
|
||||
- **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
|
||||
(Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P
|
||||
(Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0`
|
||||
(**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien.
|
||||
- **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
|
||||
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
|
||||
`kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'`.
|
||||
|
||||
+97
-10
@@ -18,23 +18,110 @@ modified: "2026-09-29"
|
||||
## Modelle
|
||||
| Typ | Modell-ID | Hinweise |
|
||||
|-----|-----------|----------|
|
||||
| Flagship LLM | `glm-5-2` | Primary, OpenRouter-kompatibel |
|
||||
| General | `gemma-4-31b-it` | Vision-fähig, genutzt von LLM Vision |
|
||||
| Large MoE | `gpt-oss-120b` | |
|
||||
| Mid-range | `qwen3.6-27b` | |
|
||||
| Mid-range | `qwen3.8-27b` | |
|
||||
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR |
|
||||
| Embedding | `harrier` | Vektorembeddings |
|
||||
| Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. |
|
||||
| General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key |
|
||||
| Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 |
|
||||
| Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 |
|
||||
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
|
||||
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
|
||||
| Embedding | `harrier` | Vektorembettungen |
|
||||
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
|
||||
|
||||
### Deployment-Lanes
|
||||
Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** —
|
||||
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
|
||||
Bei Key-Problemen immer beide Lanes gegentesten.
|
||||
|
||||
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
|
||||
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
|
||||
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
|
||||
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
|
||||
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
|
||||
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
|
||||
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
|
||||
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
|
||||
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
|
||||
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
|
||||
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
|
||||
Consumer-Skripte nach der alten ID greppen.
|
||||
|
||||
### `/v1/models` ist KEINE Verfügbarkeitsliste
|
||||
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
|
||||
auch solche, deren Backend hängt (→ curl `code=000`).
|
||||
|
||||
## Ausfall-Log
|
||||
|
||||
| Datum | Modell | Symptom | Status |
|
||||
|-------|--------|---------|--------|
|
||||
| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen |
|
||||
|
||||
**Log-Signatur:**
|
||||
```
|
||||
httpx.ReadError: [Errno 32] Broken pipe
|
||||
→ openai.APIConnectionError: Connection error.
|
||||
→ 3 Retries → "Provider has been unresponsive (no response received)
|
||||
for 5 consecutive stale attempts"
|
||||
```
|
||||
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
|
||||
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
|
||||
|
||||
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
|
||||
|
||||
Der Katalog liefert `max_context_length` **verschachtelt**
|
||||
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
|
||||
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
|
||||
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
|
||||
Instanzen **explizit gepinnt**:
|
||||
|
||||
| Ebene | Key | Wirkung |
|
||||
|---|---|---|
|
||||
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
|
||||
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
|
||||
|
||||
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
|
||||
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
|
||||
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
|
||||
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
|
||||
|
||||
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
|
||||
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
|
||||
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
|
||||
|
||||
## Verbraucher
|
||||
- **Hermes Agent** — Primärmodell `glm-5-2` via OpenRouter
|
||||
- **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
|
||||
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
|
||||
`vllm/release/glm-5-3` (provider `noris`), Fallback-Kette
|
||||
`vllm/release/glm-5-3-flash` → `anthropic/claude-haiku-4-5-20251001`.
|
||||
Vorher: default `qsu/deepseek-v41-flash-1017`, die 4 Profile `glm-5-2`
|
||||
(infra-sre: `moonshotai/kimi-k2.6`). E2E-verifiziert (5/5 Turns „PONG").
|
||||
- **Sarah-Hermes (VM107)** — separate Instanz, weiterhin
|
||||
`qsu/deepseek-v41-flash` (nicht Teil der Profil-Umstellung)
|
||||
- **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events)
|
||||
- **Paperless** — `ds-v4-flash` für OCR/Kategorisierung
|
||||
- **Personal Coach Bot** — `glm-5-2` via noris direkt
|
||||
- **Dynamic Coach** — `glm-5-2` via noris direkt, `qwen-image-2-1` für Visualisierungen
|
||||
- **Personal Coach Bot** — via noris direkt
|
||||
- **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen
|
||||
- **HolmesGPT (K8s, ns `holmes`)** — SRE-Bot (Robusta-Helm-Chart): `noris-glm` → `openai/vllm/release/glm-5-3` seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in `iac-homelab/clusters/main/apps/holmes.yaml` (ArgoCD-App `holmes`, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + `kubectl rollout restart` (envFrom/Volume-Config wird nicht hot-reloaded).
|
||||
- **Paperless-AI (K8s, ns `paperless`)** — `PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3` seit 2026-10-20 (vorher `vllm/release/deepseek-v4-flash`); Embeddings bleiben harrier. Config in `iac-homelab/clusters/main/paperless/configmap.yaml`.
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung
|
||||
- [[systems/homeassistant]] — LLM Vision Integration
|
||||
- [[systems/paperless]] — OCR via ds-v4-flash
|
||||
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
|
||||
|
||||
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
|
||||
|
||||
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
|
||||
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
|
||||
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
|
||||
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
|
||||
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
|
||||
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
|
||||
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
|
||||
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
|
||||
(ArgoCD selfHeal verhindert `scale --replicas=0`).
|
||||
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
|
||||
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
|
||||
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
|
||||
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
|
||||
|
||||
@@ -0,0 +1,38 @@
|
||||
# Notfallbuch (eol-dr für Sarah)
|
||||
|
||||
> Persönliches End-of-Life-Playbook für Sarah, adaptiert von
|
||||
> [potatoqualitee/eol-dr](https://github.com/potatoqualitee/eol-dr).
|
||||
> **Enthält Zugangsdaten — intern only, niemals öffentlich spiegeln.**
|
||||
|
||||
## Fakten
|
||||
|
||||
| | |
|
||||
|---|---|
|
||||
| **Repo** | `dominik/notfallbuch` @ https://git.schoen.codes/dominik/notfallbuch (privat) |
|
||||
| **Lokal** | `/home/debian/notfallbuch` |
|
||||
| **Secrets** | Dürfen ins Repo/Dokument (Uservoting 2026-10-10 — intern gehostet, Präzedenz `_Recovery`) |
|
||||
| **Print-Ablage** | Ordner „Vorsorgedokumente" im Büro (bewusst KEINE Feuertasche) |
|
||||
| **Vertrauensperson** | **Stefan Meier** („Peter-Faktor"): Lab-Abruck, Restore, Verkauf; Kapitel 09; soll dormant lokalen Gitea-Account bekommen (Status: offen) |
|
||||
| **Design-Doc** | `~/docs/designs/2026-10-10-notfallbuch-sarah-design.md` |
|
||||
|
||||
## Struktur
|
||||
|
||||
- `manual/01–09*.md` — Sarah-Kapitel (Dominik pflegt halbjährlich; Reminder-Cron)
|
||||
- `generated/*.md` — Inventar aus Live-Cluster (Monats-Cron regeneriert; DO-NOT-EDIT)
|
||||
- `mapping/triage-map.md` — Join: ArgoCD-Annotation `eol.familie-schoen.com/triage: keep|reduce|retire|money` ↔ Klartext für Sarah/Stefan. **26 Apps noch ungelabelt (Stand 2026-10-10), holmes/holmes-config = KLÄREN**
|
||||
- `build.sh` — pandoc+xelatex → `dist/Notfallbuch_<datum>_<sha>.pdf|.docx` (A4; pandoc+xelatex seit 2026-10-10 auf hermes-agent installiert)
|
||||
|
||||
## Frische-Mechanik (Hybrid)
|
||||
|
||||
1. **Monatlich:** Cron `c4eb1bbe63df` („Notfallbuch Monats-Update", 1. des Monats 06:00, no_agent) → `scripts/update_and_commit.sh`: regeneriert `generated/`, diffed **ohne Timestamp-Zeile** (kein Schein-Drift), committet+pusht nur echten Drift, Digest an `telegram:-5265906503` nur bei Drift oder ungeklärten Apps (Watchdog-Stille).
|
||||
2. **Halbjährlich:** Cron `d8c6cdd5a1eb` (1.4./1.10. 09:00) erinnert an Review → `./build.sh` → Drucken → alten Druck Reißwolf → Ordner Büro.
|
||||
|
||||
## Bekannte Fallstricke
|
||||
|
||||
- **Bootstrap-Henne-Ei:** Druck ist der Anker (Sarah braucht kein Gitea); Stefans Zugang = Kapitel 02 + `_Recovery`, daher dormant Account **ohne SSO**.
|
||||
- Generator braucht `PROXMOX_URL`/`PROXMOX_TOKEN` — provisioniert via `scripts/proxmox.env` (gitignored, 600; Quell-Item: 1P Vault „Proxmox" → „PVE API Token hermes"). Nach Token-Rotation: `./scripts/refresh_proxmox_env.sh`. Failover-URLs nur Live-Nodes (proxmox1/10.0.20.10 existiert nicht mehr!).
|
||||
- Git-History behält rotierte Secrets → Repo nie öffentlich spiegeln.
|
||||
- Live-Wahrheit schlägt Annahme: Immich = `photos.familie-schoen.com` (nicht `immich.*`); dritte Domain `schoen.eu` existiert.
|
||||
|
||||
## Related Solution Docs
|
||||
- `docs/solutions/integrations/2026-10-10-gitea-api-token-header-required.md` — Gitea-API braucht Token-Header, Basic-Auth gibt 401
|
||||
@@ -0,0 +1,47 @@
|
||||
---
|
||||
title: NUT / UPS Shutdown-Kaskade
|
||||
category: systems
|
||||
tags: [nut, ups, apc, proxmox, shutdown, epic-9]
|
||||
created: "2026-10-08"
|
||||
modified: "2026-10-08"
|
||||
---
|
||||
|
||||
# NUT / UPS Shutdown-Kaskade
|
||||
|
||||
## Überblick
|
||||
APC Back-UPS ES 700G (USB 051d:0002, SN `5B1940T54935␣␣` — 2 Padding-Spaces, nie per serial matchen!) hängt an **ms-a2-1 (10.0.20.92)**. NUT-Master dort, alle übrigen 7 PVE-Nodes + NAS sind Netclient-Slaves. IaC: `iac-homelab/epic-9-ups-nut/ansible/` (Commits bis `beee480`).
|
||||
|
||||
## Topologie
|
||||
- **Master ms-a2-1:** `nut-driver@apc` (usbhid-ups, vendorid/productid) → `upsd` 0.0.0.0:3493 → `nut-monitor` (upsmon MASTER) + `upssched`
|
||||
- **Users:** `monuser` (upsmon master, für HA) + `slavemon` (upsmon slave, für Cluster-Clients) — PWs in 1P Vault „Hermes": Items „NUT upsd monuser (ms-a2-1)" + „NUT upsd slavemon (cluster)"
|
||||
- **Slaves (7 PVE + NAS):** `MODE=netclient`, upsmon `slave` auf `apc@10.0.20.92`, FSD → `/sbin/shutdown -h now`, `nut-server` absent
|
||||
|
||||
## Shutdown-Kaskade (BY DESIGN)
|
||||
1. Stromausfall → UPS meldet ONBATT → upssched startet 60s-Timer
|
||||
2. Timer läuft ab (>60 s Dauerstörung) → `upsmon -c fsd` → FSD-Broadcast
|
||||
3. Alle Slaves sehen FSD → sofortiger geordneter Shutdown (PVE fährt Gäste via Guest-Agent)
|
||||
4. Master wartet `HOSTSYNC 45`s → fährt als letzter runter
|
||||
- **LOWBATT → sofortiger FSD** (kein Warten auf Timer)
|
||||
- Kurzunterbrechungen ≤60 s: Timer wird bei ONLINE gecancelt → kein Shutdown
|
||||
|
||||
## Betrieb & Verifikation
|
||||
```bash
|
||||
upsc apc@10.0.20.92 # Telemetrie (HA: sensor.apc_*)
|
||||
systemctl is-active nut-monitor # auf ALLEN 9 Maschinen active
|
||||
ansible-playbook -i inventory.ini site.yml # konvergentes Re-Deploy
|
||||
# Rollback (Kaskade entschärfen): deploy-nut.yml (disarmiert bewusst)
|
||||
```
|
||||
|
||||
## Grenzen / offene Risiken
|
||||
- **Runtime 277 s @ 76 % Last** — knapp für Nodes mit vielen Gästen. Remediation: `qm set <vmid> --startup down=60`, zweite UPS (LB>SPOF).
|
||||
- **n5pro:** pgdg-Repo deformiert (`dists/-pgdg`) — bricht apt-update; NUT-Deploy workaround über no-update_cache. Fix braucht GO.
|
||||
- Single-UPS = Single Point of Failure für den ganzen Cluster (auch NAS mit ZFS-Pool).
|
||||
- NAS `nut-driver.target not-found` = harmloses Phantom (Unit-Referenz ohne Paket).
|
||||
|
||||
## Monitoring
|
||||
- **NUT-Watchdog** (Hermes-Cron `4cbf03ccb4de`, jede Minute, no_agent): `~/.hermes/scripts/check_ups_health.sh` fragt upsd via rohem NUT-Protokoll ab (`GET VAR apc ups.status` — anonym möglich, kein Secret). Quiet bei OL; Instant-Alert bei Statuswechsel (OB/LB/upsd down), 10-min-Reminder bei Dauerstörung, einmalige Recovery-Info. State: `~/.hermes/cache/nut_watchdog.state`.
|
||||
|
||||
## Related
|
||||
- [[systems/homeassistant]] — NUT-Integration (Entry `5e1d2138…`, sensor.apc_*)
|
||||
- [[reference/ip-map]]
|
||||
- Bugfix-Doku: `docs/solutions/bug-fixes/2026-10-07-nut-ups-ms-a2-1-deployment.md`
|
||||
@@ -21,7 +21,8 @@ modified: "2026-09-27"
|
||||
- mTLS Client Cert: CN=dominik, gültig bis Juli 2028
|
||||
|
||||
## Konfiguration
|
||||
- **AI Backend:** `ds-v4-flash@ai.noris.de` (noris AI)
|
||||
- **AI Backend:** `vllm/release/glm-5-3@ai.noris.de` (noris AI; seit 2026-10-20, davor `vllm/release/deepseek-v4-flash`)
|
||||
- **AI Embeddings:** `vllm/release/harrier-oss-v1-0.6b` (unverändert)
|
||||
- **Memory:** 4Gi (PAT-002)
|
||||
- **Mail Import:** `dokumente@familie-schoen.com` (iCloud mailbox, max 30 Tage)
|
||||
- **Owner:** dominik
|
||||
|
||||
+123
-7
@@ -3,26 +3,72 @@ title: Proxmox VE Cluster
|
||||
category: systems
|
||||
tags: [proxmox, virtualization, lxc, qemu, pve]
|
||||
created: "2026-04-28"
|
||||
modified: "2026-09-29"
|
||||
modified: "2026-10-30"
|
||||
---
|
||||
|
||||
# Proxmox VE Cluster
|
||||
|
||||
## PVE API-Tokens (Stand 2026-10-10)
|
||||
|
||||
| Token | 1P-Item (Vault „Proxmox") | Zweck |
|
||||
|---|---|---|
|
||||
| `root@pam!hermes` | „PVE API Token hermes" | Hermes-Agent-Skripte, Notfallbuch-Generator (`notfallbuch/scripts/proxmox.env`, Refresh via `refresh_proxmox_env.sh`) |
|
||||
| `root@pam!tofu` | „PVE API Token tofu" | IaC/Tofu/CI (`iac-homelab` epic-7 `destroy.env`, CI-Presets; Commit `eb039b2`) |
|
||||
| `root@pam!tofu3` | — (nur PVE) | „temp for rebuild" |
|
||||
| `root@pam!openclaw-readonly` | — (nur PVE) | Read-only, PVEAuditor auf `/` |
|
||||
| `api@pam!homepage-status`, `exporter@pve!monitoring` | — (nur PVE) | Widgets/Monitoring |
|
||||
|
||||
**⚠️ Pitfall:** 1P-Item `proxmox_root` → Feld „Anmeldedaten" ist das **Root-Passwort**, KEIN API-Token (ergibt 401 als `PROXMOX_VE_API_TOKEN`). Endpoint ist kein Secret: `https://10.0.20.30:8006` (proxmox3) hart codieren. `proxmox1`/10.0.20.10 existiert nicht mehr.
|
||||
|
||||
|
||||
## Cluster-Konfiguration
|
||||
- **Version:** PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25)
|
||||
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
|
||||
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
|
||||
- **Hypervisoren:** 10.0.20.x
|
||||
- **Guests:** ~30 LXC + ~10 QEMU VMs
|
||||
|
||||
## Storage
|
||||
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD)
|
||||
- **vm_disks:** Primärer Storage für alle VMs/CTs (SSD). **Konvention (Chef-Vorgabe):** Disk-Definitionen in `vm_disks` pflegen, nicht inline in VM-Ressourcen. CT108 ist dekommissioniert (nicht mehr referenzieren).
|
||||
- **hdd_templates:** CT Templates
|
||||
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
|
||||
|
||||
### Backup-Storage (Stand 2026-11-15)
|
||||
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
|
||||
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
|
||||
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
|
||||
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
|
||||
|
||||
|
||||
## Netzwerk
|
||||
- VLAN-basiert, Bridge vmbr0
|
||||
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
||||
|
||||
## Wake-on-LAN (eingerichtet 2026-10-30)
|
||||
|
||||
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
|
||||
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
|
||||
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
|
||||
|
||||
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|
||||
|---|---|---|---|
|
||||
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
|
||||
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
|
||||
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
|
||||
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
|
||||
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
|
||||
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
|
||||
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
|
||||
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
|
||||
|
||||
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
|
||||
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
|
||||
|
||||
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
|
||||
|
||||
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
|
||||
|
||||
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
|
||||
|
||||
## Fluent Bit (Logging)
|
||||
- Alle 9 Hosts haben Fluent Bit aktiv
|
||||
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
|
||||
@@ -50,18 +96,60 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
||||
- Benötigte modprobe.d Config:
|
||||
- `blacklist amdgpu` + `blacklist drm` + `blacklist drm_kms_helper`
|
||||
- `options vfio-pci ids=1002:13c0` + `softdep amdgpu pre: vfio-pci`
|
||||
- Worker-05 (VM 102) lief auf ms-a2-2 mit funktionierendem GPU-Passthrough. Seit 2026-09-29 auf proxmox6 (Anti-Collocation mit Worker-01). Prüfen ob GPU-Passthrough auf proxmox6 funktioniert!
|
||||
- Worker-05 (VM 102): GPU-Passthrough seit 2026-09-30 WIEDER AKTIV auf ms-a2-2 —
|
||||
`hostpci0: 0000:01:00.0,pcie=1,rombar=1` (OHNE x-vga!) → renderD128 verifiziert.
|
||||
**Kritische Lehre:** `x-vga=1` bricht moderne AMD-Karten (SeaBIOS Shadow-ROM zerstört
|
||||
VBIOS-Zugriff, amdgpu error -22 "Unable to locate a BIOS ROM"). Für Headless-
|
||||
Render-Nodes NIEMALS x-vga kombinieren. Frühere node-affinity `na-vm102` existiert
|
||||
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
|
||||
|
||||
## Bekannte Probleme
|
||||
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
|
||||
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
|
||||
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
|
||||
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
|
||||
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
|
||||
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
|
||||
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
|
||||
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
|
||||
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
|
||||
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
|
||||
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
|
||||
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
|
||||
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
|
||||
- worker-04 (VM 139) NotReady im K8s Cluster — Node offline
|
||||
- **proxmox6 RAM-Oversubscription (AKUT ENTSCHÄRFT 30.09.):** VM301 (Galera db2,
|
||||
8G) am 30.09. via `ha-manager relocate vm:301 proxmox7` migriert (na-vm301 =
|
||||
5/6/7 verifiziert; Anti-Collocs 300⊥301, 301⊥302 gewahrt). Danach: 8,4/15G RAM,
|
||||
Swap 6,3G→2,8G, per swapoff/on geleert → 0B. Verbleibt auf p6: nur CT151
|
||||
Frigate (8G) — innerhalb Ceiling. TODO bleibt: Placement-Ceiling (~70%) als
|
||||
Guardrail formalisieren. PSI/OOM-Alerts: LIVE in CT141 (Regelgruppe
|
||||
`pressure_alerts`, 5 Regeln; node_exporter nachinstalliert auf ms-a2-1/-2).
|
||||
- **Reboot 10.10. (p6+p7):** osd.7/osd.10 stale-Keyring-Crashloop (PAT-016),
|
||||
gefixt + Voll-Sweep 17/17 MATCH. CT151 mp0-Orphan (vm-120-disk-1 beim
|
||||
vzdestroy:120 gelöscht) → neues Volume vm-151-disk-1. HA-Failover VM301→p5,
|
||||
VM310→p4 wurde nach Reboot per `ha-manager migrate` retour auf p7 gebracht
|
||||
(known-good Placement, p4/p5 wieder >1,6G bzw. 8,3G available). CT117
|
||||
(leerer immich-postgresql-Remnant) 10.10. dekommissioniert: Config archiviert
|
||||
(workspace/ct117-decommission/117.conf.archived), `pct destroy 117 --purge`,
|
||||
verifiziert: Config+RBD vm-117-disk-0 weg, null Cluster-Spuren, HA/Ceph clean.
|
||||
- **PMXCFS-Modell (10.10.):** Gast-Configs liegen NUR auf dem Owner-Node und
|
||||
wandern mit dem Gast; *.bak replizieren clusterweit. Cluster-Scans MÜSSEN über
|
||||
alle 8 Nodes iterieren (Collector: workspace/xref-scan/collect.sh). Vor jedem
|
||||
destroy: Cross-Ref-Scan (CT120/151-Falle). Skill v1.38.0 patched.
|
||||
|
||||
## HA Rules (PVE 9.2 Rules System)
|
||||
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
|
||||
Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
|
||||
> ✅ **HA-Reaktivierung abgeschlossen (31.10., ~15:05):** Clusterweit `pve-ha-lrm` + `pve-ha-crm`
|
||||
> re-enabled und gestartet (8/8 Nodes). CRM-Master proxmox3, fencing armed. Alle 10 HA-Gäste
|
||||
> `started` (ct:127, vm:106/122/128/139/230/301/302/310/311); **`vm:128` (worker-01) nachgetragen**
|
||||
> mit `max_relocate=3/max_restart=2` (war beim CRM-Stop im `deleting`-Zustand hängengeblieben —
|
||||
> CRM hat den Löschvorgang beim Start sauber abgeschlossen). Der `freeze`-Status im
|
||||
> `ha-manager status` war ein Artefakt des gestoppten CRM, keine echte Freeze-Konfiguration.
|
||||
> Pitfall: `ha-manager add` während deaktiviertem CRM → service bleibt im `deleting`-Übergang
|
||||
> stecken; Auflösung = CRM starten, Abschluss abwarten, dann add.
|
||||
|
||||
**Resource-Affinity (negative = anti-collocation):**
|
||||
|
||||
*RKE2 Control Plane (etcd-Quorum braucht 2/3):*
|
||||
@@ -112,10 +200,10 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
| RKE2 CP-03 | 126 | proxmox4 |
|
||||
| RKE2 Worker-01 | 128 | proxmox5 |
|
||||
| RKE2 Worker-04 | 139 | n5pro |
|
||||
| RKE2 Worker-05 | 102 | proxmox6 |
|
||||
| RKE2 Worker-05 | 102 | ms-a2-2 (seit 30.09.; vorher proxmox6, davor ms-a2-2) |
|
||||
| Hermes-Agent-01 | 230 | n5pro |
|
||||
| Galera db1 | 300 | n5pro |
|
||||
| Galera db2 | 301 | proxmox6 |
|
||||
| Galera db2 | 301 | **proxmox7** (seit 30.09. relocate; vorher proxmox6) |
|
||||
| Galera db3 | 302 | ms-a2-2 |
|
||||
| MaxScale-01 | 310 | proxmox7 |
|
||||
| MaxScale-02 | 311 | ms-a2-1 |
|
||||
@@ -126,6 +214,34 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
|
||||
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
|
||||
|
||||
## Bekannte Probleme
|
||||
|
||||
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
|
||||
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
|
||||
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
|
||||
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
|
||||
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
|
||||
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
|
||||
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
|
||||
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
|
||||
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
|
||||
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
|
||||
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
|
||||
- **Gegenmaßnahme (aktiv, v2 seit 2026-10-31):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s). Log: `/var/log/nic-watchdog.log`.
|
||||
- **v1 war blind (Vorfall 2026-10-31):** v1 las `cat /sys/class/net/enp1s0/carrier || echo 1` — ist das Interface **administrativ** down, liefert die Datei `Invalid argument`, und `|| echo 1` machte daraus **„gesund"**. Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUT `No route to host`). Zusätzlich: `modprobe -r r8169` hätte die Bond-Mitgliedschaft zerstört.
|
||||
- **v2 (deployed + getestet 2026-10-31):** unterscheidet `carrier=1` / `carrier=0` / `carrier=-1 (unlesbar = admin-down)` und prüft zusätzlich `IFF_UP` (Flags-Bit 0x1) **und** ob `vmbr1` die MGMT-IP `10.0.20.30` trägt. Handelt in allen drei Fällen: `up` → `down/up` + `ethtool -r` → **`ifreload -a`** (Bond/Bridge/VLAN idempotent nachziehen). **Kein `modprobe`** mehr. `flock` gegen Parallel-Läufe. Backup: `nic-watchdog.sh.v1-bak`.
|
||||
- **Test-Methode (risikofrei):** Dummy-Interface `nictst0`, `IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1` — gesund ⇒ kein Log; `ip link set nictst0 down` ⇒ v2 loggt `admin=down carrier=-1` und bringt es hoch. **Kein Live-Test an `enp1s0`** (siehe Lehre unten).
|
||||
- **Lehre (2026-10-31):** Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node **nicht risikoarm**. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
|
||||
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
|
||||
|
||||
## INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
|
||||
|
||||
**Ablauf:** VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → `qm start` → **ganzer Node dunkel um 11:19:49** (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung `Inappropriate ioctl` trat direkt vorher auf).
|
||||
**Fallstrick Config-Zeile:** Kommentar `#hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,...` enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: `hostpci0: 0000:01:00.0,pcie=1,rombar=1`.
|
||||
**Workload-Rettung (GitOps-korrekt):** ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd `nodeName` + jellyfin `nodeSelector` → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
|
||||
**Ergebnis:** SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
|
||||
**OFFEN:** ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.
|
||||
|
||||
## Related
|
||||
- [[systems/ceph-cluster]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
@@ -0,0 +1,214 @@
|
||||
---
|
||||
title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-11-19"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
|
||||
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
|
||||
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
|
||||
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
|
||||
|
||||
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
|
||||
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
|
||||
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
|
||||
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
|
||||
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
|
||||
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
|
||||
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
|
||||
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
|
||||
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
|
||||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||||
Diagnose gestartet wird.**
|
||||
|
||||
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||||
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||||
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||||
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||||
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||||
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||||
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||||
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||||
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||||
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||||
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||
intermittierend crashen und nur per Retry durchlaufen.
|
||||
|
||||
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
|
||||
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
|
||||
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
|
||||
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
|
||||
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
|
||||
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
|
||||
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
|
||||
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
|
||||
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
|
||||
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
|
||||
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
|
||||
(+ Nachtrag im 11-12-Doc).
|
||||
|
||||
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
|
||||
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
|
||||
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
|
||||
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
|
||||
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
|
||||
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
|
||||
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
|
||||
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
|
||||
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
|
||||
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
|
||||
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
|
||||
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
|
||||
|
||||
## Status 2026-11-19: 6. Crash-Tag, Retry sofort — Fenster wieder kurz
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 2. Rezidiv nach der 4-Tage-Lücke (11-14 bis 11-17). Retry 06:02:07: instant
|
||||
durch (COUNT <1 s), Exit 0, No-Op (0 neue, keine Quellen, keine Pipeline;
|
||||
DB 200.000 = TARGET).
|
||||
- Fenster heute wieder kurz (COUNT ab 06:02 instant, wie 11-18) — Root-Cause
|
||||
(DB-Infra-Job ~05:45–06:05 UTC) weiter offen. Fix weiter offen (Owner-GO):
|
||||
`read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. Owner-Entscheidung
|
||||
Target/Cron-Deaktivierung weiterhin ausstehend.
|
||||
- SolDoc-Nachtrag 11-19 im 11-13-Doc.
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
|
||||
tried_counts; Backups `*.bak*` daneben)
|
||||
- **Log:** `scraper_v8.log` (append)
|
||||
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
|
||||
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
|
||||
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
|
||||
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
|
||||
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
|
||||
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
|
||||
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
|
||||
(ID = `{source}_{slug-aus-url}`)
|
||||
|
||||
## Frontier-Fix 2026-10-12 (v8.1)
|
||||
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
|
||||
~1.400 Errors/Tag). Drei Kernbugs:
|
||||
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
|
||||
403-Gescheiterte wurden täglich neu gehämmert.
|
||||
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
|
||||
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
|
||||
unberührt; remaining=2000 droselte zusätzlich).
|
||||
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
|
||||
Skips), nicht echte Fetches.
|
||||
|
||||
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
|
||||
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
|
||||
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
|
||||
next_retry, last_fail_at; Indizes auf source + source,next_retry).
|
||||
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
|
||||
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
|
||||
→ nie wieder anfassen.
|
||||
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
|
||||
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
|
||||
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
|
||||
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
|
||||
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
|
||||
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
|
||||
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
|
||||
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
|
||||
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
|
||||
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
|
||||
Floor 200/Quelle.
|
||||
|
||||
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
|
||||
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
|
||||
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
|
||||
|
||||
## Pipeline-Repair 2026-10-12 (gleicher Tag)
|
||||
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
|
||||
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
|
||||
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
|
||||
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
|
||||
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
|
||||
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
|
||||
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
|
||||
→Lost connection bei der allerersten Query.
|
||||
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
|
||||
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
|
||||
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
|
||||
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
|
||||
|
||||
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
|
||||
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
|
||||
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
|
||||
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
|
||||
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
|
||||
(dieselbe tote harrier-ID).
|
||||
|
||||
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
|
||||
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
|
||||
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
|
||||
Normalizer regelbasiert danach. Alles resumable.
|
||||
|
||||
### Bug #7 + Galera-.73-Episode (12./13.10., nachts)
|
||||
- **Gift-Scan-Klasse entdeckt:** `embedding` ist LONGTEXT **inline im Clustered
|
||||
Index** (~25 kB × 198k ≈ 5 GB). JEDE Query mit `WHERE embedding IS NULL`
|
||||
ist ein Full-Blob-Scan: initial 67,6 s, degenerierte mit fortschreitendem
|
||||
Embedding progressiv (Redo: 91/s → 2/s über 11 h → read-timeout-Tod bei
|
||||
89.216). Vierte Instanz der Frontier-Familie.
|
||||
- **Fix (dreistufig):** (1) Keyset-Cursor `id > watermark` mit persistenter
|
||||
`embedding_watermark`-Tabelle (Restart-safe) + Zwei-Pass-Logik (Watermark-
|
||||
Pass → Reset-Pass fängt neu-unter-dem-Wassermarkige); (2) **Generated
|
||||
Column + Index:** `emb_pending TINYINT VIRTUAL AS (IF(embedding IS NULL,1,NULL))`
|
||||
+ Composite `(emb_pending, id)` → NULL-Seeking = Index-Seek, Reset-Pass
|
||||
O(Index); (3) Batch-Query auf `emb_pending = 1` umgestellt; Fingerprint-
|
||||
Shortcut (recipes_total unverändert ⇒ Exit in 2,2 s ohne jeglichen Scan);
|
||||
vanity-Counts entfernt (sie killten einen fertigen Lauf mit Exit 1).
|
||||
- **Galera-.73-Kettenreaktion:** Das DDL replizierte, aber mariadb-03 (.73,
|
||||
4-GB-Bufferpool, kalt) brauchte ~35 Min für den Index-Build („reading
|
||||
clustered index", 160 reads/s) → Applier-Queue 29 gestaute Transaktionen
|
||||
→ Certification-Stalls clusterweit. KEIN Deadlock, kein Restart nötig —
|
||||
Thrashing war self-limiting, Queue drainete auf 0, Index auf allen Nodes.
|
||||
- **Lessons:** Galera-KILL ist NODE-LOKAL (Connection-IDs gelten pro Node —
|
||||
Zombie-Session via VIP-KILL traf falschen Node, überlebte 485 s; immer erst
|
||||
`SELECT @@hostname` prüfen, dann direkt killen). DDL auf großem Table =
|
||||
TOI-Sperre: jeder Node baut individuell, kalte Nodes werden zum Bremsklotz;
|
||||
Bufferpool ≥ Table-Größe oder Index über schmale Generated Column.
|
||||
Terminal-Timeouts töten Shells, NICHT Python-Kinder → Waisen-Queries
|
||||
weitermahlen; Prozesslist-Hygiene nach jedem Timeout-Debugging.
|
||||
- **Verifikation:** `emb_pending=1` = 0 auf allen Nodes (198.133/198.133
|
||||
embedded); E2E-Steady-State-Test bestanden (Fake-Insert → Embed → Cleanup);
|
||||
Fingerprint-Shortcut 2,2 s Exit 0.
|
||||
|
||||
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
|
||||
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
|
||||
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
|
||||
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
|
||||
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
|
||||
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
|
||||
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
|
||||
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
|
||||
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
|
||||
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
|
||||
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
|
||||
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
|
||||
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
|
||||
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
|
||||
kein Normalizer-Problem), Embeddings laufen.
|
||||
|
||||
## Pitfalls (gemessen)
|
||||
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
|
||||
SHA1-Hash-PK stattdessen.
|
||||
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
|
||||
Laufzeit — Quarantäne ersetzt sie.
|
||||
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
|
||||
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
|
||||
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
|
||||
|
||||
## Related
|
||||
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
|
||||
- [[systems/noris-ai]] — Translation- + Embedding-Backend
|
||||
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP
|
||||
@@ -3,15 +3,16 @@ title: RKE2 Kubernetes Cluster
|
||||
category: systems
|
||||
tags: [kubernetes, rke2, cilium, argocd, cnpg, gitops]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-09-17"
|
||||
modified: "2026-10-19"
|
||||
---
|
||||
|
||||
# RKE2 Kubernetes Cluster
|
||||
|
||||
## Übersicht
|
||||
## Überblick
|
||||
- **Version:** v1.35.6-rke2r1
|
||||
- **Nodes:** 6 (3 CP + 3 Worker), alle schedulable (keine CP Taints)
|
||||
- **CNI:** Cilium (LB IP Pool)
|
||||
- **⚠️ Cilium-NP-Fallen (2026-10-19):** (1) Selektion⇒Default-Deny je Richtung; (2) `egress: [{}]` erlaubt NICHTS (Null-Allow, kein Wildcard); (3) `io.kubernetes.service.name` ist KEIN Identity-Label → `k8s-app` + namespaceSelector nutzen; (4) VIP-Ingress kommt SNAT't als Identity `world` an → fromEntities [world, host, remote-node]. Alle 4 stumm (kein Warning) — nach jeder CNP-Änderung positiv+negativ verifizieren. Details: `~/docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
|
||||
- **Ingress:**两层 Traefik (extern CT9999 + intern K8s) + Authelia SSO
|
||||
|
||||
## Node IPs
|
||||
@@ -20,9 +21,57 @@ modified: "2026-09-17"
|
||||
| cp-01 | 10.0.30.51 | Control Plane |
|
||||
| cp-02 | 10.0.30.52 | Control Plane |
|
||||
| cp-03 | 10.0.30.53 | Control Plane |
|
||||
| worker-01 | 10.0.30.63 | Worker |
|
||||
| worker-04 | 10.0.30.64 | Worker |
|
||||
| worker-05 | 10.0.30.65 | Worker (GPU renderD128 ✅ on ms-a2-2) |
|
||||
| worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) |
|
||||
| worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) |
|
||||
| worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) |
|
||||
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
|
||||
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
|
||||
|
||||
**8 Nodes, v1.35.6+rke2r1, alle auf `6.12.113+deb13-amd64` (Stand 2026-10-31, Welle C abgeschlossen).**
|
||||
|
||||
> ✅ **CVE-2026-98432 geschlossen (31.10.)** — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste)
|
||||
> sind durch. Alle RKE2-Knoten rolling auf `6.12.113+deb13-amd64` (DSA-6568-1), jeweils per `boot_id`-Wechsel
|
||||
> bewiesen, 7.x-Backports gepurged, `GRUB_DEFAULT=0` überall, `linux-image-amd64` auf **allen 8** Nodes auf
|
||||
> `6.12.113-1` gepinnt (sonst keine automatischen Kernel-Security-Updates!).
|
||||
> SolDocs: `2026-10-31-cve-98432-wave-c-kernel-612113.md`, `2026-10-30-cve-2026-98432-fleet-exposure.md`.
|
||||
> **Pitfall:** Metapaket `linux-image-amd64` aus Backports zieht beim Purge des 7.x-Kernels **7.2.11 nach** statt
|
||||
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
|
||||
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
|
||||
|
||||
> ⚠️ **worker-05 (VM102) war 01.–02.11. offline — `onboot: 0`, nicht CVE und kein Crash.** ms-a2-2 bootete am
|
||||
> 01.11. 11:31 (Folge des 30.10.-Crashes); die VM hatte **keinen** `qmshutdown`-Task, sie fehlte nur in der
|
||||
> Autostart-Liste. `qm start 102` (ms-a2-2 = 10.0.20.93) → 6 min später `Ready`, Kernel `6.12.113+deb13`,
|
||||
> GPU-Passthrough `0000:01:00.0` (AMD Granite Ridge, amdgpu, `/dev/dri/renderD128`) ok, 13 Pods laufen.
|
||||
> `qemu-guest-agent` war im Gast **nicht installiert** → PVE zeigte dauerhaft `agent: down` bei völlig gesundem
|
||||
> Gast; nachinstalliert (static unit, `/etc/rc2.d/S01`), `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO)** —
|
||||
> sonst fehlt die GPU-Kapazität nach jedem ms-a2-2-Reboot still im Cluster.
|
||||
|
||||
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
|
||||
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
|
||||
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
|
||||
> CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist **architektonisch** tot (`crypto.c` 6.12.107/113 identisch;
|
||||
> `aes256k` erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse).
|
||||
> **Umgesetzt:** 5 Volumes auf **statische PVs mit `mounter: fuse`** auf demselben Subvolume
|
||||
> (`pv-fuse-immich-library/-thumbs`, `pv-fuse-fleet-spool/-board/-build-src`, alle `Retain` + `Prune=false`).
|
||||
> Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs `Retain`!) → neues PV+PVC → App wieder hoch.
|
||||
> Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods `Running`, Mount `ceph-fuse on /data type fuse.ceph-fuse (rw)`,
|
||||
> Schreibtest OK, Subvolume-`bytes_used` unverändert (400.283.771.738 B). Git: `fbd65c4` (PVCs mit `volumeName`,
|
||||
> PV-Manifeste unter `clusters/main/{immich,fleet}/static-fuse-pvs.yaml`), ArgoCD `Synced/Healthy`.
|
||||
> **Pitfalls:** (1) `spec.csi.volumeAttributes` + `spec.volumeName` sind immutable — nur neue PV/PVC-Objekte helfen;
|
||||
> (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren;
|
||||
> (3) ArgoCD `selfHeal` der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss
|
||||
> `volumeName` tragen, sonst Dauer-OutOfSync; (4) `find /data` über 400 GB via Fuse dauert >10 min (nicht im
|
||||
> Vordergrund laufen lassen). SolDoc `2026-10-31-cephfs-aes256k-kernel-key-blocker.md`.
|
||||
|
||||
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
|
||||
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`
|
||||
> auf cp-01 → auf cp-02 `systemctl stop rke2-server`, **kein** `mv` des Mountpoints (ext4 auf `/dev/sdb`,
|
||||
> `Device or resource busy`), stattdessen Inhalte innerhalb des Mounts nach `etcd/broken-20261030/`
|
||||
> verschieben (member, name, config) → `start rke2-server` → Rejoin als Learner, neue Member-ID
|
||||
> `16b9fcd7c4a32825`. **Verifiziert:** 3/3 Member Started, kein Learner, alle 8 Nodes Ready.
|
||||
> Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in `broken-20261030/` (Aufräumen optional).
|
||||
> Historie: cp-02 wurde schon am 03.10. so repariert (`etcd.old` vorhanden) — Wiederholungstäter-Knoten,
|
||||
> bei Welle C zuerst beobachten.
|
||||
|
||||
## Storage
|
||||
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
|
||||
@@ -31,7 +80,7 @@ modified: "2026-09-17"
|
||||
- **⚠️ StorageClass `parameters` sind IMMUTABLE** — können nicht gepatched werden, müssen gelöscht+neu erstellt werden.
|
||||
- **⚠️ Snapshot-CRD-Flavor (seit Rebuild 2026-08-01):** `volumesnapshotclasses`-CRD (RKE2-Addon `rke2-snapshot-controller-crd`) hat **FLAT-Schema** — `driver`/`deletionPolicy`/`parameters` auf TOP-LEVEL, `spec:` existiert nicht im Schema (Upstream-CRD wäre nested!). Niemals struktur-intuitiv "reparieren" — CRD-Schema lesen. Live-VSCs: `ceph-rbd-snapclass` (default) + `cephfs-snapclass`
|
||||
- **CNPG PostgreSQL**: `postgres-main` Cluster (3/3 Ready), RW Service `postgres-main-rw.postgres.svc.cluster.local:5432`; Specs **100Gi data / 20Gi WAL** (grow-only — Shrink wird von CNPG-Admission verboten, Git immer nach oben alignieren)
|
||||
- **⚠️ etcd auf Ceph RBD (~20ms WAL fsync auf allen CP-Nodes)** — architektonisches Risiko; unter API Server Write Pressure → gRPC DeadlineExceeded Cascade. Lokales NVMe für etcd data dirs empfohlen.
|
||||
- **✅ etcd auf lokalem NVMe (migriert 2026-10-04)** — Jede CP-VM hat jetzt eine zweite 10G Disk (`scsi1`, `local-lvm`) gemountet auf `/var/lib/rancher/rke2/server/db/etcd`. WAL fsync von ~20ms (Ceph RBD) auf ~5ms (NVMe) reduziert. gRPC DeadlineExceeded Cascade dauerhaft eliminiert. Monatlicher Defrag nicht mehr kritisch (aber harmlos). Vorheriges Problem: RBD-Netzwerklatenz → API Server Instabilität → Pod Churn. Siehe Solution Doc `2026-10-04-etcd-rbd-to-local-nvme.md`.
|
||||
|
||||
## GitOps
|
||||
- **ArgoCD**: SSH Deploy Keys (read-only) auf Gitea
|
||||
@@ -66,9 +115,23 @@ modified: "2026-09-17"
|
||||
- IaC: unified `amd-gpu` PCI mapping (n5pro + ms-a2-1 + ms-a2-2) + dynamic hostpci (one worker block, gpu flag)
|
||||
- ms-a2-1 has kernel BUG with 1002:13c0 (renderD128 missing) — worker-05 moved to ms-a2-2 (identical hardware)
|
||||
|
||||
## Capacity Management
|
||||
- **Descheduler** v0.30.0 deployed als ArgoCD-App (`clusters/main/descheduler/manifests.yaml`)
|
||||
- Plugin: `LowNodeUtilization` (thresholds 30/50/20, targetThresholds 70/70/60)
|
||||
- Interval: 2m (`--descheduling-interval=2m`)
|
||||
- `nodeFit: true` auf Profile-Ebene (nicht Plugin-Ebene — v0.30 Schema!)
|
||||
- RBAC: benötigt `list/watch` auf `namespaces` (fehlt in Default-Helm-Chart)
|
||||
- Raw Manifests statt Helm Chart (Chart 0.30 hat params/args-Bug, Chart 0.35 hat falsche API-Version)
|
||||
- Siehe Solution Doc `2026-09-30-k8s-cp01-relief-descheduler.md`
|
||||
- **CP-01 Relief (2026-09-30):** hindsight-api + hindsight-postgres + paperless von cp-01 → worker-05 migriert
|
||||
- cp-01 RAM: 93% → 43%; worker-05 bei ~28%
|
||||
- ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren
|
||||
- Live-only nodeSelector (hindsight-api, Sep-17-Hotfix) war nie in Git → Live-Patch nötig
|
||||
|
||||
## Known Pitfalls
|
||||
- `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`)
|
||||
- ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden
|
||||
- **1 NotReady-Node blockiert die ganze Sync-Welle:** ArgoCD (2.14) bewertet ein DaemonSet erst ab `numberReady == desiredNumberScheduled` als Healthy → App bleibt ewig `OutOfSync`/`Progressing`, kein Rollout. Fix: `resource.customizations.health.apps_DaemonSet` in `argocd-cm`, enge Toleranz (nur `fleet/fleet-agent-image-prepuller`, genau 1 fehlender Node, ab 2 wieder `Progressing`); dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`). `hard refresh` und `kubectl set image` entblocken NICHT. SolDoc `bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md`
|
||||
- CoreDNS: `hosts` configBlock nicht params
|
||||
- etcd Defrag monatlich (CronJob)
|
||||
|
||||
|
||||
@@ -0,0 +1,333 @@
|
||||
---
|
||||
title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
category: systems
|
||||
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
|
||||
created: "2026-10-19"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
|
||||
## Überblick
|
||||
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
|
||||
|
||||
## Container
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
|
||||
- **samba** (Sidecar): SMB-Share `downloads`
|
||||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||||
|
||||
## Sorter (Stand v13, 01.11.2026, Commit `a27c85e`)
|
||||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||||
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
|
||||
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
|
||||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||||
|
||||
**v13 (01.11.2026) — vier Studios ergänzt:** `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles`.
|
||||
Wichtig dabei: `*angelogodshack*` **Wildcard** (LegalPorno postet als `LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P`),
|
||||
`^legalporno[._-][0-9]{4}[._-]` im `norm_title` strippen, und Junk-Token `p0rnl0v3r` (Zahl-3-Schreibweise).
|
||||
Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (`Submissed - 2026-07-26 - Dragon Fruit.mp4`, `AngeloGodshack - Nikol Raklova.mp4`).
|
||||
|
||||
## NZB-Beschaffung (Quellen-Lage 01.11.2026)
|
||||
|
||||
| Quelle | Status |
|
||||
|---|---|
|
||||
| `nzbindex.com` | Suche (JSON-API) ok, **jeder Download-Pfad 404** → unbrauchbar |
|
||||
| `nzbking.com` | NZB-Download ok, aber für die Ziel-Posts nur **.par2** indexiert → unbrauchbar |
|
||||
| `binsearch.info` | **funktioniert**: Suche-HTML + echter NZB-Download |
|
||||
|
||||
```bash
|
||||
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
|
||||
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
|
||||
# Einreihen ohne Drop-Ordner-Race:
|
||||
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
|
||||
--data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
|
||||
--data-urlencode "apikey=$KEY" --data-urlencode "output=json"
|
||||
```
|
||||
|
||||
**Pitfall:** NZB in `nzb-drop/` legen + Harvest-Cron ist eine **Race** — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). `mode=addurl` liefert eine `nzo_id` und umgeht den Ordner.
|
||||
**Suchterm-Regel:** binsearch UND-verknüpft die Wörter eines Terms — `pascals.sub.sluts` findet nichts, `pascals` 17 Posts, `angelogodshack` 23, `submissed` 26. Immer **einen kurzen, unterscheidbaren Token ohne Punkte** nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort **gar nicht** indexiert — nicht mit ähnlichen Treffern auffüllen.
|
||||
|
||||
**Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge):** `nzb_sweep.py` (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → `nzb_plan_filter.py` (Dedupe gegen `media/` über Datum+Performer; ohne Datum nur Performer) → `queue_sweep.sh` (`mode=addurl`). `"status":true` ohne Leerzeichen — Erfolg am `nzo_ids`-Key prüfen, nicht am Status-Text.
|
||||
|
||||
SolDoc `~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md`.
|
||||
|
||||
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
|
||||
|
||||
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
|
||||
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
|
||||
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
|
||||
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
|
||||
|
||||
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
|
||||
|
||||
| Baustein | Zweck |
|
||||
|---|---|
|
||||
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
|
||||
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
|
||||
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
|
||||
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
|
||||
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
|
||||
|
||||
**Zwei Trigger:**
|
||||
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
|
||||
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
|
||||
|
||||
### Sorter-Sweep-Watchdog (seit 01.11.2026)
|
||||
|
||||
Cron `57900310b6e5` (alle 30 min, `no_agent`, `~/.hermes/scripts/sab_sorter_sweep.sh`) läuft `convert720.sh` über jede **ruhige** Unterordner von `complete/` (mtime > 20 min, keine `_UNPACK_`/`_FAILED_`/`_ADDFROM`-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei `bewegt=0`.
|
||||
|
||||
**Container-Pitfall:** Das Sorter-Skript liegt als CM-Mount nur im **`sabnzbd`**-Container (`/config/scripts/convert720.sh`), **nicht** im `converter` — dort ist nur `/config/tools/ffprobe` (PVC) erreichbar. Sweep daher mit `-c sabnzbd`; `converter` liefert `sh: /config/scripts/convert720.sh: not found`.
|
||||
|
||||
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
|
||||
|
||||
**Pitfalls:**
|
||||
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
|
||||
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
|
||||
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
|
||||
|
||||
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
|
||||
|
||||
## Provider-Störungen & Reparatur-Fehler (31.10.2026)
|
||||
|
||||
**Symptom:** Massenhaft `Failed: Reparatur fehlgeschlagen. Nicht genug Reparatur-Blöcke vorhanden` über Nacht bei 2012–2017-Releases.
|
||||
|
||||
**Ursache #1 (falsch-positiv):** **Usenet.Farm-Block leer** → Server antwortet `482 Your block account is fully used`; SAB wertet die 482-Antwort als „Artikel fehlt" und deklariert NZBs als unfixbar, obwohl PureUsenet die Artikel hat. Prüfen: `mode=warnings` zeigt die 482-Meldungen. Fix:
|
||||
```bash
|
||||
# API-Semantik: keyword=<SERVERNAME> value=<FELD> <feld>=<wert>
|
||||
curl -sk "http://10.0.30.206:8080/api?apikey=$KEY&mode=set_config§ion=servers&keyword=news.usenet.farm&value=enable&enable=0"
|
||||
# Falsch: keyword=name&value=news.usenet.farm → erzeugt Phantom-Server "name" (mit mode=del_config§ion=servers&keyword=name wieder löschen)
|
||||
```
|
||||
Danach `mode=retry&value=<nzo_id>` (**nicht** `mode=history&name=retry` — das liefert nur den History-Blob und macht nichts).
|
||||
|
||||
**Ursache #2 (echt tot):** Artikel provider-seitig gelöscht (Retention). **Beweis: identische Fehlblock-Zahl vor/nach Retry** → kein Repost auf nzbindex/nzbking vorhanden → endgültig aufgeben, kein dritter Versuch.
|
||||
|
||||
**Teilsalvage lohnt nicht:** `unrar x -kb` liefert bei kleinen Defiziten (17 Blöcke bei 848 MB) zwar 94 % der Bytes, aber **2373 Decode-Fehler** (invalid NAL units) — Video unbrauchbar. Nur bei reinen Datei-Enden (letzte Sekunden) wäre es vertretbar.
|
||||
|
||||
**NZB-QC vor Enqueue (Pflicht):** Segment-Bytes-Summe per Regex `<segment[^>]*bytes="(\d+)"` gegen Anzeige-Größe ±6 % prüfen; `.part0X`/`.rXX`/`-sample` im **Namen** sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart `mode=addfile` an `/sabnzbd/api` scheitert am HTML-Redirect — **Watchdir `nzb-drop` mit `kubectl cp` ist der zuverlässige Weg**.
|
||||
|
||||
## Provider-Fenster 430-Welle (01.11.2026)
|
||||
|
||||
**Symptom:** 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.
|
||||
|
||||
**Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket):** AUTH ok → `group` ok → `head <hotNummer>` → **430** auf allen Gruppen/Posters/Nummern, während `stat <gleicheNummer>` → **223 ok**. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.
|
||||
|
||||
**Bedien-Fallstricke:** Manual-Probes stoßen an `502 Too many connections` (SAB hält alle Slots) → vorher `set_config section=servers keyword=news.pureusenet.nl connections=6` (danach restore auf 20). History-Rows mit Status `Queued`/`Verifying` und **leerer** fail_message = Postprocessing läuft — **keine Fails**, nicht deleten!
|
||||
|
||||
**Recovery nach Fenster:** individuelles `mode=retry&value=<nzo_id>` (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.
|
||||
|
||||
## Quarantäne-Inventar (01.11.2026, 163 GB)
|
||||
|
||||
Erhoben mit `qcov2.py` (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen `media/`):
|
||||
|
||||
| Klasse | Dateien | GB | Bedeutung |
|
||||
|---|---|---|---|
|
||||
| A-safe | 62 | 91,9 | exakte Dublette (Dauer ±2 s), Gegenstück in `media/` **gleich oder höher** aufgelöst → löschbar nach GO |
|
||||
| A-master | 6 | 42,3 | 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten |
|
||||
| B | 3 | 2,6 | gleiche Szene, **andere Dauer** (2 Samples à 61 s + `NewSensations - Sage Hunter` 1982 s vs 3075 s) → Review |
|
||||
| C | 17 | 43,5 | kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p) |
|
||||
| D | 0 | 0 | nicht lesbar |
|
||||
|
||||
Summe der Dateigrößen (180 GB) > `du` (163 GB) — apparent vs. belegte Blöcke, kein Fehler.
|
||||
Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
|
||||
|
||||
## Aufräum-Workflow (nach großen Wellen)
|
||||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||||
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
|
||||
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
|
||||
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
|
||||
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
|
||||
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
|
||||
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
|
||||
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
|
||||
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
|
||||
|
||||
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
|
||||
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
|
||||
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
|
||||
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
|
||||
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
|
||||
|
||||
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
|
||||
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
|
||||
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
|
||||
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
|
||||
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
|
||||
|
||||
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
|
||||
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
|
||||
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
|
||||
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
|
||||
- **Faststart-Gate im Batch braucht ≥16 MB Fenster** (30.10. teuer): gemessen `moov`-Ende 61 min 1080p = **3,18 MB**, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein `mdat` mehr → der Job verwirft **fertige, korrekte** Encodes als `FAIL faststart` (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: `moov` muss gefunden werden, `mdat` nur prüfen *falls* im Fenster. SolDoc: `docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md`.
|
||||
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
|
||||
|
||||
## VAAPI / GPU-Encoding
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend. **Faktisch gibt es keinen Pin:** das Deployment hat keinen `nodeSelector`; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath `/dev/dri` nur `card0` enthält. `-vaapi_device /dev/dri/card0` ist **kein** Ersatz → `Failed to initialise VAAPI connection: -1` / EIO (3-s-`testsrc`-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
|
||||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||||
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
|
||||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||||
|
||||
## Converter-Pipeline (Design)
|
||||
|
||||
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
|
||||
|
||||
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
|
||||
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
|
||||
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
|
||||
- **Park-Case** `*/incomplete/*`: nur solange Quelle dort EXISTIERT (`[ -f ]`, v6-Lesson), sonst Durchfallen zum Resolver; Retry-Cap 2160 × 20 s ≈ 12 h
|
||||
- **Resolver**: Quelle nach SAB-Move in `complete/` neu suchen
|
||||
- **Skip-Guard**: Ziel-MP4 existiert und ist AppleTV-ok (MP4+h264+≤720p+AAC) → überspringen. ⚠️ ffprobe `-of csv=p=0` QUOTET Komma-Werte — Quotes strippen (v5-Lesson)!
|
||||
- Encode: VAAPI h264 → 720p, Audio → AAC 192k, `-movflags +faststart`, Temp `.converting.mp4`, Rename bei Erfolg
|
||||
3. Ausgabe neben Quelle in `complete/`; **Originale werden nie gelöscht** (House-Rule)
|
||||
|
||||
## Betrieb & Verifikation
|
||||
```bash
|
||||
kubectl -n sabnzbd logs deploy/sabnzbd -c converter --tail=50 # Daemon-Log
|
||||
kubectl -n sabnzbd exec deploy/sabnzbd -c converter -- ls /config/convert-queue/ | wc -l
|
||||
ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||||
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
|
||||
```
|
||||
|
||||
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
|
||||
|
||||
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
|
||||
|
||||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh`.
|
||||
> **Korrektur 01.11.2026:** Der CM selbst ist nach ~6 s aktuell (`Synced <rev>`), der **Pod-Mount blieb aber stale** (Symlink zeigte >5 min auf den alten `..data`-Snapshot; auch `delete cm` half nicht). Verlässlich: `kubectl -n sabnzbd rollout restart deploy/sabnzbd` → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach `script =`-Setting in der ini erneut prüfen.
|
||||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||||
|
||||
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
|
||||
|
||||
## HEVC-Bibliothekslauf (30.10.2026, laufend)
|
||||
|
||||
**Ziel:** alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript `/tmp/hevc_library2.sh` (detached via `setsid nohup` im converter-Sidecar), Manifest `/config/_hevc_manifest.jsonl` (append-only, Audit-Trail), Log `/config/_hevc_library.log`, Remux-Log `/config/_remux_hvc1.log`.
|
||||
|
||||
- **`-tag:v hvc1` ist Pflicht.** Apple/QuickTime/AVFoundation spielt HEVC nur als `hvc1`, ffmpeg-Default `hev1` wird verweigert. Bestand reparieren: `ffmpeg -c copy -tag:v hvc1 -movflags +faststart` (lossless).
|
||||
- **Manifest ist die Wahrheit**, nicht das Log. Statusfragen daraus beantworten (`rel`, `before`, `after`, `dur`, `h`).
|
||||
- Nach In-Place-Ersetzung ist Jellyfins `MediaStreams` stale (meldet alten h264 + alte Größe) → Client bricht ab; **ein** `POST /Library/Refresh` reicht (danach hevc sichtbar).
|
||||
- GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
|
||||
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
|
||||
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
|
||||
|
||||
### Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)
|
||||
|
||||
Neben `hev1`-Tag und stale Jellyfin-DB gibt es **Encoder-Ausschuss auf Slice-Ebene**: `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime, obwohl `ffprobe` (`hevc/hvc1/Main/1080p/yuv420p`) und der Box-Parser (`moov@28 < mdat`, `hvcC numOfArrays=3`) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.
|
||||
|
||||
- **Beweis:** `ffmpeg -nostdin -v error -i F -f null -` → 35 Zeilen `CABAC_MAX_BIN 26/27/28/30/31`, ~1/Minute über die Laufzeit verteilt; **`rc=0` trotzdem** (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
|
||||
- **Remux hilft nicht** (Korruption sitzt in den Frames) → Re-Encode `libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart`: 4 vCPU, 1080p30/10 Mbit ≈ **44 fps / 1,45× Echtzeit**, Ausgabe ~2,1 Mbit/s.
|
||||
- **Gates vor Swap:** `hevc,hvc1` · Dauer ±2 s · <95 % Quelle · Atom-Kette · **Volldekodierung 0 Zeilen** → Original nach `transcode-originals/` → `chown 1000:1000` → atomares `mv`.
|
||||
- **Auto-Refresh:** zweiter detached Watcher pollt auf die Markerzeile `GETAUSCHT` und schickt **genau einen** `POST /Library/Refresh` — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per `ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"'`, **nie** `pgrep -f` (matcht das eigene `bash -c` → Selbst-Kill, Exit 143).
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md` · `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
|
||||
|
||||
### Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)
|
||||
|
||||
Bei VAAPI-Ausschuss ist **Re-Fetch erste Wahl** (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.
|
||||
|
||||
1. Release per Binsearch (Einzeldatei-MP4, kein `partNNN.rar`-Set) → `publish_nzb.py` → `nzb-drop/`.
|
||||
2. **Den Tausch macht der Sorter**: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach `quarantine/dedup-sorter/<Serie>/`. Kein manuelles `mv`, keine `(2)`-Kopie.
|
||||
3. Verifizieren (Codec, Dauer ±2 s, **Volldekodierung 0 Fehlerzeilen**), dann bei Bedarf software-HEVC zurückführen (Original → `transcode-originals/`), **ein** Refresh am Ende.
|
||||
|
||||
Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → `hevc,hvc1,1080`, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.
|
||||
|
||||
- **Gate-Falle:** der Converter-Sidecar hat **kein `python3`** — ein Gate mit `python3 -c` endet 127 und meldet `GATE FAIL Dauer` bei identischen Werten. Gates + Swap gehören in den App-Container (`/lsiopy/bin/python3`, `/config/tools/ffmpeg` inkl. libx265); Dauer/Größe per `awk`.
|
||||
- **VAAPI bleibt für Reparaturen gesperrt** (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
|
||||
- `BoundGangBangs - Rebel Rhyder` hat **kein** Release (nur 10,8-GB-Rar-Set als `part0.nzb`) → dort bleibt Re-Encode aus dem korrupten File.
|
||||
- Offen (eigenes GO): `quarantine/` 171 G, `complete/` 105 G, `transcode-originals/` 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
|
||||
- Parität immer über **Stems** zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md`
|
||||
|
||||
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)
|
||||
|
||||
Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — alle korrekt `hvc1`-getaggt ✅ · **338 H.264** (263×1080p, 42×720p, 27×480p, 6 krumme Auflösungen 240–778p) · 2 WMV3 (ASF, TheUpperFloor 2012) · 3 unlesbar (2 abgebrochene `.hevc_`-Temps ~1,9 GB; 1 Tutorial-MP4 90 MB „moov atom not found" = defekt).
|
||||
|
||||
**HEVC-Lauf gestoppt:** Manifest `/config/_hevc_manifest.jsonl` 126 Einträge, letzter Schreibzugriff **30.10. 17:56**; kein ffmpeg aktiv, `convert-queue` leer. 164er-Zahl > 126 Manifest, weil frühere Wellen (30/278 am 30.10. 06:15, WMV-Swap, native HEVC) mitzählen.
|
||||
|
||||
**Blocker für Fortsetzung:** hevc_vaapi braucht GPU. worker-05 (ms-a2-2) seit 01.11. 11:19 dunkel; worker-04 hat kein renderD128 → CPU-x265 auf 4 vCPU ≈ Wochen für 343 Dateien. Fortsetzung erst nach ms-a2-2-Revival sinnvoll.
|
||||
|
||||
## Netzwerk / Sicherheit
|
||||
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
|
||||
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
|
||||
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
|
||||
|
||||
## Sorter-Stillstand 01.11.2026 — Root Cause & Fix
|
||||
|
||||
**Symptom:** Bibliothek stand stundenlang bei 506 Dateien, `complete/` wuchs auf 155 GB, `incomplete/` 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.
|
||||
|
||||
**Root Cause:** In `sabnzbd.ini` stand `script = Default` (Default-Kategorie) → **kein Post-Processing-Skript**, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in `/config/sabnzbd.ini`, PVC):
|
||||
`/api?mode=set_config§ion=categories&keyword=*&script=convert720.sh`
|
||||
(Verifikation: `grep -n "^script" /config/sabnzbd.ini` → `script = convert720.sh`.)
|
||||
|
||||
**Drei Folgefehler im Sorter-Skript** (alle GitOps, Commit `3ffe1c1`, `7527995`):
|
||||
1. **Case-sensitiv:** `case "$1"` gegen Muster wie `DungeonSex*|dungeonsex*` — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: `case "$(echo "$1" | tr 'A-Z' 'a-z')"`, alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
|
||||
2. **Markenlücken:** 15 Marken der eigenen Bibliothek fehlten in `series_of` (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + `PublicDisgrace`/`SadisticRope`. Folge: diese Marken konnten **nie** einsortieren.
|
||||
3. **Obfuskierte Ordner:** bei `_003_..._yEnc/2.1_55_HD_.mp4` steht die Marke nur im Elternordner. Fix: wenn `series_of(basename)` = OTHER → `series_of(basename(dirname))` (deterministisch, kein Raten).
|
||||
|
||||
**Retry-Automat:** `sab-retry-automaton.py` retryte **permanente** Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt `complete/_FAILED_*`-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: `PERMANENT_PATTERNS` + `is_permanent_failure()`; bei Treffer wird `attempts = MAX_RETRIES` gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: **retry=0 del=20 skip=0**.
|
||||
|
||||
**Wirkung:** Sweep über `complete/` → 11 neue Dateien in `media/`, Jellyfin 504 → **516 Items** (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben `nosdb`: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), `complete/` 155 → 105 GB.
|
||||
|
||||
**Rest in `complete/` (nicht sorter-fähig):** 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die **Dubletten** bereits sortierter Szenen sind (`.part01.rar` mit `.1`-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.
|
||||
|
||||
## Bekannte Issues / Offene Punkte
|
||||
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
|
||||
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
|
||||
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
|
||||
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
|
||||
|
||||
## Passwortgeschützte Posts & House-of-Usenet (31.10.2026)
|
||||
- `misc.password` war leer → SAB unpackt mit `-p-` (leer) und scheitert an **jedem** verschlüsselten RAR. Kandidatenliste (Board-Namen) greift beim Auto-Unpack nicht zuverlässig.
|
||||
- **House-of-Usenet-Banner** (`House-of-Usenet.com/Premium-News`, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → **ohne Board-Login nicht öffnenbar**. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
|
||||
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
|
||||
|
||||
|
||||
## Indexer-Abdeckung & Beschaffungsgrenzen (06.11.2026)
|
||||
- **binsearch.info**: beste Quelle für *aktuelle* Scene-Releases (Kink, LegalPorno, VSEX/WRB/P2P). Alte Kink-Serien (TheTrainingOfO vor 2014) und Nischen-Maledom-Studios (BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured) sind dort **nicht** indexiert.
|
||||
- **NZBKing**: einzige freie Quelle für TOO 2012/2013 (`a.b.multimedia.bdsm`). Achtung: (a) Seite ist JS-lastig → headless Chrome; (b) **HTTP 429 bei zu vielen `/nzb:<id>/`-Fetches liefert 0-Byte-NZBs** — das ist Rate-Limit, kein fehlender Post (≥20–30 s Abstand, Cookie+Referer, Header prüfen); (c) `.EXE`-geflaggte Posts (z. B. BrutalMaster-„Full Rip") liefern **keine** NZBs, dort liegen nur 89-MB-JPG-Packs.
|
||||
- **nzbindex.com**: React-SPA, ~10 Monate Retention; per curl/URL keine Treffer, nur Formular-Submit im Browser. Für Titel älter als 10 Monate wertlos.
|
||||
- **Alte Kink-RAR-Ketten**: SAB meldet „Completed", liefert aber 30–45-MB-Fragmente (`moov atom not found`). Sorter quarantäniert sie; einzelne rutschen durch → nach jedem Batch Duration prüfen (<5 min bei 40–80 min Erwartung = Fragment).
|
||||
- **Nicht beschaffbar** (alle drei Indexer geprüft): BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured. Nur bezahlter Indexer (DrunkenSlug/NZBGeek) oder Direkt-Rip.
|
||||
- **Secret-Falle**: `~/.hermes/secrets/media_meta.env` setzt Variablen ohne `export` → Python-Subprozesse sehen `JF_TOKEN` nicht (401). Immer `set -a; source …; set +a`.
|
||||
|
||||
## Related Solution Docs
|
||||
- `~/docs/solutions/integrations/2026-11-06-nzb-indexer-grenzen-rate-limit.md` (Indexer-Abdeckung, 429-Falle, Fragmente)
|
||||
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
|
||||
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
|
||||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|
||||
|
||||
## Converter v18 — einheitlich HEVC (08.11.2026)
|
||||
**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.
|
||||
- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`.
|
||||
- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg).
|
||||
- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
|
||||
- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
|
||||
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
|
||||
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
|
||||
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
|
||||
|
||||
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
|
||||
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
|
||||
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
|
||||
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
|
||||
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
|
||||
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
|
||||
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
|
||||
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
|
||||
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
|
||||
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
|
||||
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
|
||||
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
|
||||
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
|
||||
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
|
||||
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
|
||||
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
|
||||
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
|
||||
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).
|
||||
@@ -0,0 +1,118 @@
|
||||
---
|
||||
title: Sarah-Hermes (VM107)
|
||||
category: systems
|
||||
tags: [hermes, webui, vm, sarah, telegram, backup]
|
||||
created: "2026-09-30"
|
||||
modified: "2026-09-30"
|
||||
related: [systems/rke2-kubernetes, reference/ip-map, systems/noris-ai]
|
||||
---
|
||||
|
||||
# Sarah-Hermes (VM107)
|
||||
|
||||
WebUI erreichbar unter **hermes-sarah.schoen.eu** und
|
||||
**h-sarah.familie-schoen.com** (gleicher Traefik-Router `hermes-sarah`,
|
||||
SAN-Cert deckt beide; seit 14.10.2026).
|
||||
|
||||
Zweite, vollständig isolierte Hermes-Instanz für Sarah (Allround-Assistentin:
|
||||
Erinnerungen, Planung, Smalltalk). Getrennte Memories/Sessions/Skills/Keys von
|
||||
den 5 Owner-Profilen.
|
||||
|
||||
## Eckdaten
|
||||
|
||||
| Attribut | Wert |
|
||||
|----------|------|
|
||||
| VM-ID | 107 (auto-allokiert) |
|
||||
| Node | n5pro (Template 9000 debian-12-cloudinit) |
|
||||
| IP | 10.0.30.66/24 (static via DHCP reservation) |
|
||||
| Specs | 2 vCPU / 4 GB RAM / 32 GB Disk (vm_disks/RBD) |
|
||||
| Access | SSH `debian@10.0.30.66` mit `~/.ssh/id_ed25519_cloudinit` |
|
||||
| Tofu | `iac-homelab/epic-8-sarah-hermes/tofu/` |
|
||||
| Ansible | `iac-homelab/epic-8-sarah-hermes/ansible/` |
|
||||
| Plan | `iac-homelab/docs/plans/2026-09-30-sarah-hermes-vm.md` |
|
||||
|
||||
## Stack
|
||||
|
||||
- **hermes-webui** (ghcr.io/nesquena/hermes-webui:latest), Single-Container,
|
||||
Port 8787 (0.0.0.0 gebunden, UFW erlaubt nur LAN), Password-Auth.
|
||||
Compose: `/home/debian/hermes-webui/docker-compose.yml` auf der VM.
|
||||
- **Agent-Runtime:** nousresearch/hermes-agent geklont nach
|
||||
`~/.hermes/hermes-agent` auf der VM; installiert in `/app/venv` im Container
|
||||
(editable). **Wichtig:** Core-Deps im pyproject sind hinter
|
||||
`python_version >= '3.14'`-Markern gepinnt → auf Python 3.12 installiert
|
||||
`-e .` NULL Deps. Manual-Dep-Bootstrapping nötig (siehe Pitfalls).
|
||||
- **LLM:** noris-Provider (`https://ai.noris.de/v1`, Default-Modell
|
||||
`vllm/release/glm-5-2`), Key via `HERMES_CUSTOM_NORIS_API_KEY` aus
|
||||
`.env` (Compose mapped explizit in den Container).
|
||||
- **Telegram:** geplant (blockiert auf BotFather-Token von Sarah/Dominik).
|
||||
Bei Aktivierung: `gateway.telegram_enabled: true` + Token in `.env`;
|
||||
Webhook/API-Server-Ports bleiben disabled (Konfliktvermeidung).
|
||||
|
||||
## Secrets (1Password, Vault: Hermes)
|
||||
|
||||
- `sarah-hermes-webui` → HERMES_WEBUI_PASSWORD
|
||||
- `sarah-hermes-noris-key` → HERMES_CUSTOM_NORIS_API_KEY
|
||||
|
||||
## Backup
|
||||
|
||||
- Daily vzdump-Job `backup-2e8a34e3-66cb` (23:00, `all=1`, exclude 301,302,310,311,137,147,501)
|
||||
→ **deckt VM107 ab** (Storage `noris_v4` = PBS Datastore `noris` @ 10.0.30.119).
|
||||
- Manueller Verify-Lauf am 30.09.: TASK OK in 48s (inkrementell, 88% reuse).
|
||||
- Offsite: folgt dem regulären `push-offsite` Sync-Job (Pull↔Push-Korrektur
|
||||
vom 19.09.).
|
||||
|
||||
## Modell / Provider (Stand 2026-10-19)
|
||||
|
||||
- **Default-Modell:** `vllm/release/glm-5-3` (gewechselt von glm-5-2 am
|
||||
19.10.; Zwischenstand deepseek-v41-flash). E2E verifiziert: Neuer Turn
|
||||
über WebUI-API antwortet („PONG"), Session zeigt `model: vllm/release/glm-5-3`.
|
||||
- glm-5-3 ist ein Reasoning-Modell (liefert `reasoning`-Felder).
|
||||
- **Compaction/Compression:** `auxiliary.compression` = provider `auto`,
|
||||
kein explizites Model → fällt aufs Haupt-Modell zurück (= glm-5-3).
|
||||
- **Compression-Timeouts (02.11.2026):** `model.context_length: 1048576`
|
||||
(Zwischenstand 262144, vorher 131072), `compression.context_timeout_seconds: 300`,
|
||||
`compression.context_total_ceiling_seconds: 900`; Backups
|
||||
`config.yaml.bak-20261102-131314` und `config.yaml.bak-ctx-<ts>`.
|
||||
E2E 13:2x: `lcm_status` → `raw_context_length=1048576`,
|
||||
`threshold_tokens=367001`. Effektiv `resolve_context_compression_timeouts()
|
||||
→ (300.0, 900.0)`, Preflight-Threshold **131.072** statt 45.875. Ursache der
|
||||
300s-Turn-Aborts: Session bei 212k Tokens, jeder Turn startete Compression,
|
||||
Summary-Call lieferte 0 Chunks → Turn endete ohne Provider-Call.
|
||||
- **Vision:** `auxiliary.vision` = noris / `vllm/release/gemma-4-31b-it`;
|
||||
403-Block ist weg (19.10. mit Sarahs Key getestet: HTTP 200).
|
||||
- **`fallback_providers: []`** — kein Fallback konfiguriert! Bei Modellausfall hängt
|
||||
jeder Turn bis `timeout: 120` + 3 Retries. Kandidat für Redundanz-Fix.
|
||||
- Key-Scope VM107 (`sk-bf-8779…a6a7`): funktioniert mit `qsu/deepseek-v41-flash`,
|
||||
`release/gpt-oss-120b`, `qsu/qwen3.8-27b`, `release/qwen3.6-27b`.
|
||||
**Blockiert (403):** `release/gemma-4-31b-it`.
|
||||
|
||||
## Known Issues / Pitfalls
|
||||
|
||||
1. **Python-Version-Mismatch:** hermes-agent pyproject pins Core-Deps an
|
||||
`python_version >= '3.14'`; WebUI-Container läuft auf 3.12 → `-e .`
|
||||
installiert keine Deps. Fix: manuell `pip install` der gepinschten Pakete
|
||||
+ iterativer Missing-Import-Loop bis `import run_agent` klappt.
|
||||
2. **hermes update Ownership-Konflikt:** `hermes update`-Completion beschwert
|
||||
sich über uid 0 vs. uid 1000 auf `/app/venv/bin/hermes-acp`. Kosmetisch,
|
||||
Betriebsbetrieb unbeeinträchtigt. Fix-Idee: `chown` im Entry-Point.
|
||||
3. **telegram-bridge Notify-Target defekt** (seit 19.09., Connection refused):
|
||||
betrifft vzdump-Notifications clusterweit, nicht nur VM107. Separater Fix.
|
||||
4. **Upstream-Modell hängt → Turn-Timeouts** (2026-10-02): `vllm/release/glm-5-2`
|
||||
lieferte bei noris `ai.noris.de` **null Bytes** (TCP-Connect OK, TTFT ∞,
|
||||
auch non-stream). Symptom im `errors.log`:
|
||||
`httpx.ReadError: [Errno 32] Broken pipe` → `openai.APIConnectionError`
|
||||
→ 3 Retries → *"Provider has been unresponsive … 5 consecutive stale attempts"*.
|
||||
Kein VM-/Netzwerk-/Key-Problem — von VM107 **und** von extern reproduzierbar,
|
||||
während 4 andere Modelle mit demselben Key 200 lieferten.
|
||||
**Diagnose-Rezept:** identischer Key, identischer Host, Modell-Matrix
|
||||
gegentesten (nur so trennt man Modell- von Infra-Defekt).
|
||||
Fix: Default auf `vllm/qsu/deepseek-v41-flash`. Verifiziert E2E (Turn 15s, PONG).
|
||||
5. ~~**Vision-Modell 403:**~~ **Behoben/veraltet (19.10.):** `vllm/release/gemma-4-31b-it`
|
||||
liefert mit Sarahs Key jetzt HTTP 200.
|
||||
6. **Secrets im Unit-File:** `/etc/systemd/system/hermes-webui.service` ist
|
||||
`0644 root:root` und enthält `HERMES_WEBUI_PASSWORD` + `HERMES_CUSTOM_NORIS_API_KEY`
|
||||
im Klartext → für jeden lokalen User lesbar. Sollte in `.env` mit `0400`.
|
||||
|
||||
## Verification History
|
||||
|
||||
- 2026-09-30: Deploy + E2E-Test (Login 200, Agent-Antwort "HALLO" via glm-5-2).
|
||||
- 2026-09-30: Manueller vzdump → TASK OK (48s, inkrementell).
|
||||
@@ -0,0 +1,50 @@
|
||||
---
|
||||
title: SchönKitchen
|
||||
category: Systems
|
||||
tags: [schoenkitchen, recipes, fastapi, traefik, nutrition, essensplanung, value-stream]
|
||||
created: "2026-10-11"
|
||||
modified: "2026-10-31"
|
||||
---
|
||||
|
||||
# SchönKitchen (Essensplanungs-Web-App)
|
||||
|
||||
> Ausgelagert aus nutrition-coach L0 (Memory-Audit 11.10.2026): Deployment-Specs gehören ins Wiki, nicht ins hot Memory.
|
||||
|
||||
## Deployment (PROD)
|
||||
- **URL:** https://essen.familie-schoen.com
|
||||
- **App:** FastAPI (1.352 Z., 28 Endpoints, 4 Templates) auf Port 8420, NS `schoenkitchen`, **1 Replica, `strategy: Recreate`**
|
||||
- **Repo:** `dominik/schoenkitchen` auf git.schoen.codes (privat), letzter Commit `0615824` (19.07.2026)
|
||||
- **Image:** `:latest` (SHA-Tag existiert, wird nicht deployt) + **initContainer `git-overlay` klont `main` bei jedem Pod-Start** → Produktion läuft Git-HEAD, nicht Image-Code
|
||||
- **Public Traffic:** via CT 99999 Traefik (n5pro 10.0.20.70) — K8s-Ingress allein genügt NICHT, Router+Service müssen auch in der CT-99999-Config stehen (`/etc/traefik/conf.d/explicit-http.yml`, file provider, watch:true). Detail-Skill: `family-meal-planning` → `references/ct99999-traefik-proxy.md`
|
||||
- **Storage:** `plan-data` = `ceph-flash` (RBD) — vom CephFS-Kernelfenster 31.10. **nicht** betroffen
|
||||
|
||||
## Views & Datenmodell
|
||||
- `/` — Wochenplan (Startseite)
|
||||
- `/vorplanung` — Vorplanung
|
||||
- `/rezepte` — **200k-Katalog**: Multi-Level-Kategorie (12 L1/55 L2), Favoriten, Similar, Add-to-Plan
|
||||
- `/einstellungen` — Haushalt, Mitglieder, Einladungen, Küchenpräferenzen
|
||||
- **DB-Tabellen:** `recipes` (200.000 / 6,7 GB), `recipe_semantics` (200.000, 12 Achsen, Ø-Konfidenz 0,85), `recipe_ingredient_links` (2,14 M / 189.513 Rezepte), `plan_items`, `recipe_favorites`, `meal_decisions`
|
||||
|
||||
## Gemessener Stand (31.10.2026)
|
||||
- **22 Quellen**, 224.036 Sitemap-URLs entdeckt, 200.000 ingestiert (89,3 % Ausbeute); Ramp 18.06.–24.10. = Ø 1.562/Tag
|
||||
- **Seit 24.10. keine neuen Rezepte** — Daily-Cron endet nach 2 s mit `Target reached` (Ziel als Deckel, kein Fluss)
|
||||
- **%C&A 67,0 %** vollständig kochbar (133.940/200.000); 27,3 % ohne Schritte, 28,4 % ohne Kategorie, 4,6 % ohne Bild
|
||||
- **Konsum:** Wochenplan-Generator v5 (Di 19:00) liefert KW43–45; Web-UI: 18 Plan-Items (nur W30/Juli), 0 Favoriten, 1 Haushalt / 3 Mitglieder
|
||||
- **Enrichment ungenutzt:** Embeddings (≈5 GB) + Semantik werden vom Backend nicht abgefragt — Suche = Text, Similar = Heuristik
|
||||
|
||||
## Wertstrom
|
||||
- **`docs/value-stream.md`** (+ `docs/value-stream.html`) im Repo — VS-1 Content (Quelle→Teller), VS-2 Software (Änderung→Live)
|
||||
- **Kernthese:** Der Engpass ist von *Angebot* (Frontier, gelöst) zu **Verwertung + Frische** verschoben; der echte Konsum läuft am Frontend vorbei.
|
||||
|
||||
## Bekannte Pitfalls
|
||||
- **Jinja2 + Inline-JS:** NIEMALS JS mit escaped Quotes (`\"`) in Jinja2-Templates. `{% raw %}` verdoppelt Backslashes. **Lösung:** externes `.js` in `static/` (aktuell `static/rezepte.js`).
|
||||
- **CI-Gate offen:** beide Testschritte in `.gitea/workflows/build.yml` enden auf `|| true` → Build kann nicht fehlschlagen; E2E (9/9) läuft nicht in CI.
|
||||
- **Taxonomie in 3 Quellen:** `static/taxonomy.json` (genutzt), `recipes.category` (12.157 Rohwerte), `category_map`-Tabelle (**0 Zeilen**, tot).
|
||||
|
||||
## Qualitätssicherung (Stand Launch)
|
||||
- Security-Audit: 46 Checks · pytest: 51 Tests · Playwright E2E: 9 Reisen grün (nicht in CI)
|
||||
|
||||
## Related
|
||||
- Profil `nutrition-coach` (Meal-Planning-Crons, Scraper v8.1 + Enrichment-Pipeline)
|
||||
- [[systems/recipe-scraper]] — Sammler-Details (Frontier, Quellen, Pitfalls)
|
||||
- [[concepts/network-architecture]] — CT 99999 / Public-Traefik-Topologie
|
||||
@@ -47,3 +47,159 @@ Private [[Seafile 13.0.19]] file sync and collaboration server. Self-hosted alte
|
||||
- Part of [[Infrastructure]]
|
||||
- Shares domain family with [[Email-System]] (familie-schoen.com)
|
||||
- Hosted on same machine as other family services
|
||||
|
||||
## Inventory 2026-10-09 (Bestandsaufnahme nach Crash)
|
||||
|
||||
### Topologie
|
||||
- **Produktiv:** CT111 (10.0.30.99, Docker seafile-mc:13.0-latest + mariadb:10.11), Data `/opt/seafile-data` (RBD 345G, 250G used), OIDC/Authelia aktiv
|
||||
- **Altlast:** 10.0.20.100 (Ubuntu-Host) — KEIN laufender Seafile-Container mehr (Reboot 03.10.2026, nie restarted). Nur Image `seafileltd/seafile-mc:11.0-latest`.
|
||||
|
||||
### Drei Datengenerationen auf 10.0.20.100 (/var/lib/docker/volumes/)
|
||||
| Volume | Inhalt | Stand | Status |
|
||||
|--------|--------|-------|--------|
|
||||
| `seafile_custom_mariadb` + `seafile_custom_data` | **Epoch A** (Seafile 11, DB `seafile-db` m. Bindestrich) | letzter Betrieb 2025-05-16 | **231 GB Content INTAKT** in `storage/{blocks,commits,fs}` |
|
||||
| `seafile_mysql` | Stand B (MariaDB 10.7.8, DB `seafile_db` m. Unterstrich) | ibdata 2026-03-16 | nur Metadaten (14 Repos), Content gelöscht (`rm -rf seafile-data`) |
|
||||
| `seafile-mysql.crashed`, `*_2023`, SQL-Dumps 2023-01-25 | Crash-Reste 2023 | 2023 | historisch |
|
||||
|
||||
### Epoch A Ownership (autoritativ: RepoOwner der alten DB)
|
||||
- **dominik@familie-schoen.com:** Meine Bibliothek (32,8 GB), Fotos.Cleo (18 MB), Dokumente (6,6 GB), Sicherung_Fotos (10,3 GB), CodeCamp:N (47,7 GB)
|
||||
- **sarah@familie-schoen.com:** Meine Bibliothek (18,5 GB), evo-X (42,9 GB), CodeCamp:N (5,6 GB), Sparda Consult (58,3 GB)
|
||||
- Recoverable (Blocks da, nicht in DB registriert): OneDrive-CodeCampNGmbH, Presentationload, Papa, BarCamp, KEB, Richtlinien
|
||||
|
||||
### CT111-Defekt (präzise Diagnose)
|
||||
- `seahub_db.auth_user` = **LEER (0 Rows)** → nobody in Django-Table; **ABER**: Seafile 13 password-login authentifiziert NICHT über auth_user, sondern `seahub.base.accounts.AuthBackend` → `ccnet_threaded_rpc.validate_emailuser()` → **`ccnet_db.EmailUser.passwd`** (Eigenformat `PBKDF2SHA256$10000$<hex-salt>$<hex-hash>`, hex NICHT base64!)
|
||||
- Repair (2026-10-10 durchgeführt): INSERT auth_user-Rows (Django-format, für Web-UI-Konsistenz) + UPDATE ccnet_db.EmailUser.passwd mit frischen Hashes → api2/auth-token liefert Tokens für beide User. OIDC-Links (social_auth_usersocialauth) unberührt.
|
||||
- PITFALL: `$` in Hashes über SSH-inline-Shell wird gefressen → SQL-Files per scp übertragen, nie printf/inline-quoting!
|
||||
- `seafile_db.RepoOwner` OK (57/57): 40× dominik, 3× sarah, 13× Ghost `bec3ed8a...@auth.local` (alle 0 Byte = leere Hüllen), 1× System
|
||||
- Ghost-Profile: `406e2202...@auth.local` (=sarah, contact sarah@), `bec3ed8a...@auth.local` (nickname „none")
|
||||
- `social_auth_usersocialauth`: dominik+sarah korrekt an Authelia gebunden → **Repair = auth_user-Rows reinsert**, Links funktionieren weiter
|
||||
- Gruppe 1 (Familie): Steuer, Finanzen, Vorsorgedokumente, Versicherungen, Wohnung Tucherstraße, Haus Rohr
|
||||
- evo-X auf CT111: 24.704 Commits, aber 0 Blocks (Content fehlt dort!) — Epoch-A-evo-X (42,9 GB) liegt auf .100
|
||||
|
||||
### Methodik-Pitfalls
|
||||
- Seafile ≤11: Lib-Namen NICHT in DB, sondern in Commit-JSONs (`storage/commits/<id>/**`, Feld `repo_name`)
|
||||
- Alte Datadir-Volumes auditieren: `cp -a` → Wegwerf-Container `mariadb:X --skip-grant-tables` → Query gegen Kopie
|
||||
- `seafile-db` (Bindestrich, Epoch A) vs `seafile_db` (Unterstrich, später) — zwei verschiedene Installationen!
|
||||
|
||||
### Empfehlung Zielplattform K8s: **Seafile** (nicht Nextcloud)
|
||||
Block-Level-Dedupe (Foto-Bestand!), effizientes Sync-Protokoll, etabliertes OIDC-Setup + Skills vorhanden. Nextcloud nur bei Kollaborations-App-Bedarf.
|
||||
|
||||
## API-Bestandsaufnahme CT111 (2026-10-10, verifiziert)
|
||||
|
||||
### Kernbefunde (korrigieren/frühere Annahmen!)
|
||||
- **56 Repos lt. Admin-API** (RepoOwner sagte 57; 1 Diff vermutlich System-Repo „My Library Template" nicht per API gelistet — System-Owner-Repo fehlt im Listing).
|
||||
- **Admin-Statistiken (size/file_count) sind UNZUVERLÄSSIG**: viele Repos melden 0 MB obwohl großer Content vorhanden (z.B. „Bücher" 5bcdffe0: API sagt 0 MB, real 1.005 MB Blocks; „Archiv CodeCampN": API 0, real 56,5 GB!). Immer Walk + du prüfen.
|
||||
- **evo-X & Sparda Consult sind VOLL INTAKT auf CT111** (Download-Spotcheck: exakte Größe, korrekte PK/ZIP-Magic): evo-X 33,5 GB Blocks, Sparda Consult 46,5 GB Blocks. Frühere These „Content fehlt" IST WIDERLEG'T. Die .100-Epoch-A-Daten sind Redundanz, keine Rescue-Pflicht.
|
||||
- **244,2 GB Blocks** verteilt auf **37 Repos**; **19 Repos physisch leer** (0 Blocks).
|
||||
- Ghost `bec3ed8a...@auth.local`: 13 Repos, davon **10 leer**, **3 MIT Content** (Bücher 1.369 MB, Arbeit 813 MB, Auto 161 MB) — NICHT blind löschen!
|
||||
|
||||
### Duplikat-Cluster (Detailanalyse via Walk-Signaturen + Block-Intersections)
|
||||
| Cluster | Repos | Befund | Empfehlung |
|
||||
|---|---|---|---|
|
||||
| CodeCamp:N ×14 | 9 dominik-leer, 4 ghost-leer, 8cd0362a (5f/0,9MB), 60fe22e3 (15f/23,5MB) | 60fe22e3 ⊃ 8cd0362a (echtes Superset: +11 HR-Onboarding/Schulungs-Dateien); 13 weitere Leerformen | Behalten: 60fe22e3 (+ evtl. 8cd0362a bis Merge), Löschen: 13 Leerformen |
|
||||
| Wohnung Tegernheim ×2 | 0727a58c (166f/191MB) vs 2d496a7b (159f/177MB) | 152 Blöcke gemeinsam, 19 nur A, 10 nur B → divergierte Zwillinge | Beide behalten bis manuell konsolidiert; NICHT automatisch mergen |
|
||||
| _Recovery ×2 | 06892f29 (69f/34MB) vs 472572d6 (71f/35MB) | 39 Blöcke gemeinsam, B=A+2 (Monero_Recover.txt, DATEV-Wiederherstellungscode) | 472572d6 = Superset → 06892f29 löschen (nach Go) |
|
||||
| Bücher ×2 | 356985d8 (Ghost, 1.369MB) vs 5bcdffe0 (dominik, 1.005MB) | Nur 101/287 Blöcke gemeinsam → unterschiedliche Inhalte | Ghost-Version retten (transferieren), dann Ghost-Repo löschen |
|
||||
| Arbeit ×2 | 38c9a1be (dominik, 980MB, 846f) vs 515f7f35 (Ghost, 813MB, 735 Blöcke) | 703/735 Blöcke identisch → Ghost ≈ ältere Version | Ghost-Version archivieren, dann löschen |
|
||||
| Auto ×2 | 09116e0f (dominik, 161MB) vs dc62b8b5 (Ghost, 161MB) | 15/29 Blöcke gemeinsam → divergiert | Beide prüfen, keines ist Subset |
|
||||
| My Library Template ×3 | e28326f5, 35a6f96c (dominik) leer; d5c1b781 (Ghost) leer | alle leer | Alle drei löschen (nach Go) |
|
||||
| Meine Bibliothek ×5 | dominik 7bd9393a (685f/4,4GB) ≠ sarah cefb4ca1 (3.023f/6,9GB) | KEINE Duplikate — völlig unterschiedliche Inhalte (dom: Arduino/AirCard; sarah: Promotion/Bewerbungen) | Beide behalten |
|
||||
| „Arbeit" (dominik) enthält fremden Ordner | 38c9a1be | kompletter Ast `Sarah/Bewerbungen Sarah/` (Bewerbungsmappe, Zeugnisse, CV) | Gehört vermutlich zu Sarahs Daten → umbauen/umziehen (nach Absprache) |
|
||||
| „Arbeit" ∩ „Meine Bibliothek" (sarah) | 38c9a1be vs cefb4ca1 | 116 (Name,Size)-Matches, aber 0 identische Pfade | Innerhalb-Repo-Duplikate (Bewerbungen in mehreren Firmenordnern) + Cross-Ordner Sarah/Bewerbungen |
|
||||
|
||||
### Physisch leere Repos (0 Blocks) — Löschkandidaten
|
||||
10× Ghost: Arztrechnungen (ef6e1b49), CodeCamp:N ×5 (87482c2c, 97f66c90, 193081d8, 30bd2c2b, 4b11f621), Meine Bibliothek ×3 (0fe195f0, 0d63f302, b4b83dec), My Library Template (d5c1b781)
|
||||
9× dominik: CodeCamp:N ×7 (8d482d93, b85e95eb, b9a31812, cbdd4a4e, d309241b, df42746c, 07c2e7c3), My Library Template ×2 (e28326f5, 35a6f96c)
|
||||
→ Achtung: Diese Liste ist Basis für Cleanup-Go; vor jedem Delete: Block-Du gegen aktuelles Datum wiederholen.
|
||||
|
||||
### API-Fakten (Seafile 13)
|
||||
- `GET /api2/repos/{rid}/dir/?p=/` funktioniert; `/api2/repos/{rid}/dirents/` existiert NICHT (404+HTML)
|
||||
- File-Download zweistufig: `/api2/repos/{rid}/file/?p=X&dl=1` → JSON-Link → GET Link (redirect auf `/seafhttp/files/...`)
|
||||
- Admin-Token kann Ghost-Repos NICHT lesen (403 trotz Admin) — Ghost-Content nur via Storage-du/Blocks prüfbar
|
||||
- Walk-Truncation bei max_req/max_files: „Archiv CodeCampN" (5.660 req), „Sparda" (6.645), „Fotos" (6.604) etc. — Walk-Zahlen sind Untergrenzen, Block-du ist die Wahrheit
|
||||
|
||||
### Ghost-Rettung EXECUTED (2026-10-10, nach User-Vorgabe „AS-IS restore an dominik, KEIN Merge")
|
||||
- Die 3 Ghost-Content-Repos (Auto dc62b8b5, Bücher 356985d8, Arbeit 515f7f35) wurden **unverändert** (kein Rename, kein Copy) an `dominik@familie-schoen.com` übertragen.
|
||||
- **Methode (funktionierend):** `PUT /api/v2.1/admin/libraries/{rid}/` mit **Form-Feld `owner`** (= Ziel-E-Mail). Achtung: Feld `email` wird stillschweigend ignoriert (HTTP 200, kein Flip!); User-API `PUT /api2/repos/{rid}/owner/` → 403 (nur aktueller Owner darf); POST → 405.
|
||||
- Verifikation: Ghost-Rest 0, Owner-Verteilung dominik 33 / sarah 3, alle 3 Repos download-getestet (exakte Bytegröße + `%PDF`-Magic), Papierkorb unverändert 20.
|
||||
- **Offen:** 2 Ghost-Profile (`bec3ed8a…@auth.local`, `406e2202…@auth.local`) existieren weiterhin als User-Accounts → Löschung nur nach Go.
|
||||
|
||||
### Cleanup EXECUTED (2026-10-10, per Admin-API, nach GO)
|
||||
- **20 Repos soft-gedelete** → Admin-Papierkorb (restore-fähig, kein GC konfiguriert, keine Retention-Automatik): 18 Leerformen (0 Blocks frisch per du verifiziert) + 2 verifizierte Subsets (_Recovery 06892f29 ⊂ 472572d6, CodeCamp:N 8cd0362a ⊂ 60fe22e3).
|
||||
- **RESTORE-DOKTRIN (Chef-Vorgabe, 10/2026):** Restore immer AS-IS + Owner-Fix — NIEMALS Inhalts-Merge. (Aus L0 USER.md ausgelagert 11.10.2026, Memory-Audit.)
|
||||
- **Bestand danach: 36 Libraries** (dominik 30, sarah 3, Ghost 3) — Sarah sieht ihre 3 (Meine Bib, Sparda Consult, evo-X) regulär.
|
||||
- Ghost-Rest = exakt die 3 Content-Repos (Bücher 1.369 MB, Arbeit 813 MB, Auto 161 MB) — nächster Schritt: Content in dominik-Repos retten, dann Ghost-Repos löschen.
|
||||
- 35a6f96c (My Library Template) NICHT gelöscht — Admin-API 404 (erklärt vermutlich die 56-vs-57-Diskrepanz); separat klären.
|
||||
- Envelope-Pitfall v2.1-Admin-API: Listen liegen auf TOP-LEVEL (`j["repos"]`), NICHT unter `data` — mein erster Verify-Script hatte deshalb Schein-Nullen gemeldet (0 aktive/0 Trash), Raw-Dump brachte Klarheit. DELETE via `/api/v2.1/admin/libraries/{id}/` lief 200/204.
|
||||
|
||||
### Duplikat-Twin-Analyse (2026-10-10, read-only, walk-basiert)
|
||||
Blocks sind content-adressiert/global dedupliziert → `du` pro Repo auf blocks/ immer 0; repo-lokal nur fs/commits-Meta. Wahrheit = API-Walk-Signaturen (Pfad+Size), Admin-API size/file_count unzuverlässig (zeigt 0).
|
||||
- **Auto**: dc62b8b5 ≡ 09116e0f — PERFEKTES DUPLIKAT (17 Dateien, 160,2 MB, identisch). dc62b8b5 = Ghost-Rettungs-Kopie; 09116e0f behält Original-mtimes (2021).
|
||||
- **Bücher**: 5bcdffe0 ⊂ 356985d8 — ECHTES SUBSET (145⊆183; Retter 356985d8 hat 38 Extra-Bücher à 364 MB Weber/Kochbücher). Löschenkandidat: 5bcdffe0.
|
||||
- **Arbeit**: 38c9a1be (846, 1026 MB, aktiv bis 08/2026) vs 515f7f35 (745, 844 MB, Ghost-Rettung, Stand 02/2026). Gemeinsam 744; 38c9a1be hat 102 neuere Dateien (183 MB Präsentationen); 515f7f35 nur 1 Unique = `~$benslauf.docx` (Office-Lock-Junk). Kandidat: 515f7f35 löschen.
|
||||
- **CodeCamp:N**: 60fe22e3 (15) ⊂ 42d24d5f (31) ⊂ 670abe70 (1286, 8,1 GB Master). Beide Kleine sind ECHTE SUBSETS, 0 Unique. Kandidaten: 60fe22e3 + 42d24d5f löschen, 670abe70 behalten. Achtung intra-repo: 670abe70 enthält ~2,6 GB Redundanz (PST/OST-Outlook-Archive + SFConflict-Kopien: 20210629_backup.pst 710 MB ×2, Sarah.Schoen@nuernberger.de.ost 620 MB ×2, Kundenzentrierung-SFC 603 MB) — optionaler Deep-Clean, separater GO.
|
||||
- **Wohnung Tegernheim**: 0727a58c (166, hat 2025er Abrechnungen, aktiv 05/2026) vs 2d496a7b (159, Stand 02/2026, 1 Unique = `~$Zahlungsstand….xlsx` Junk). Kandidat: 2d496a7b löschen.
|
||||
- Gesamt: 6 Lösch-Kandidaten (dc62b8b5, 5bcdffe0, 515f7f35, 60fe22e3, 42d24d5f, 2d496a7b) → alles Soft-Delete in Trash; einziger Verlust = 2 Office-Temp-Dateien. Listing würde 35→29. Physischer Space-Gewinn ~0 (Block-Dedupe) bis GC — Gewinn ist Ordnung, nicht Platz.
|
||||
- Walk-Budgets: MAX_DIRS=500/MAX_FILES=4000 reichten; 670abe70 (1286 Dateien) vollständig, kein Trunc.
|
||||
|
||||
### BYTE-BEWEIS EXECUTED (2026-10-10, read-only) — PASS
|
||||
Vor jedem Delete geforderte maximale Belastbarkeit; Grundlage: `/tmp/byteproof_walks.json` (Walk-Caches aller 12 beteiligten Repos, Pfad→{id,size,mtime}).
|
||||
- **Methodik 3 Ebenen**: (1) 1051 gemeinsame Pfade mit IDENTISCHER FS-Objekt-ID (Seafile content-addressed ⇒ per Definition byte-identisch). (2) 59 strittige Pfade (ID≠, aber Size=) → alle Kategorie A: mtime-Delta durch Feb-2026-Massenrepair (Kandidaten uniformly 2026-02-05, Originale alte mtimes), 0× Kat-B (alles gleich außer ID), 0× Kat-C (Size-Diff). (3) Für alle 59: Zwei-Stufen-Download BEIDER Seiten + SHA-256-Vergleich → **59/59 identisch**. Dazu 3 Equal-ID-Kontrollen (identisch ✓).
|
||||
- **Resultat: 0 Byte-Inhalte gehen verloren** — außer 2 Office-Lock-Temp-Dateien (`~$benslauf.docx` 162 B, `~$Zahlungsstand….xlsx` 165 B), beide jetzt VALIDE gesichert in `/root/delete-candidates-unique-backup/` (vorherige Version dort war 429-Pseudo-Backup, ersetzt).
|
||||
- **Download-API-Pitfall (wichtig, korrigiert frühere These)**: „429 Throttling" war FALSCH — echtes Verhalten: `GET /api2/repos/{rid}/file/?p=…&dl=1` antwortet HTTP 200 mit **NACKTEM JSON-STRING** (die komplette Antwort ist `"https://cloud.familie-schoen.com/seafhttp/files/<uuid>/<filename>"`, ~122 B). Kein Dict, kein `token`-Feld! Richtiger Flow: String json.loads → urlparse → Netloc auf localhost (oder BASE) umbiegen → GET liefert Bytes. Wer das String-Dict parst bekommt 122-B-„Dateien" und glaubt an Throttling/Korruption.
|
||||
- Performance: warm gelesen 848 MB/s (99-MB-PDF in 0,1 s); erster Lauf wirkte langsam nur wegen kalter Reads bei Load 8+. Kein Parallelitätsbedarf.
|
||||
- Checkpoint-Resume: `/tmp/proof_final.json` (Key `seite|repo8|pfad` → {sha,bytes}); Kill+Restart verlustfrei.
|
||||
- **Transkriptionsfalle 2. Ordnung**: Diagnoseskript tippte Ordner `20_10 Hyundai Kona` — real `2020_10 Hyundai Kona` → 404. Nie Pfade/IDs aus Displays abtippen, IMMER aus Walk-Cache/Servervariablen lesen (bestätigt Regel von bec3ed8a/406e2202).
|
||||
|
||||
### _Recovery-Analyse (2026-10-10, read-only) — URTEIL: UNBEDINGT BEHALTEN
|
||||
Frischer Walk (71 Dateien, 35,3 MB) + Kreuzmatch gegen alle 43 Feb-2026-Signatur-Repos:
|
||||
- **Inhalt = digitaler Katastrophenkoffer**: Monero-Wallet m. Private Keys (34,8 MB, mtime 2021), 53 SSH-Keys (37 private, inkl. bankz-app.de/nuernberger.de-TLS-Keys 2019), GPG-Secret-Keys ×2, 1PW-Emergency-Kits ×2, DATEV-/Apple-/GitHub-/TeamViewer-Recovery-Codes, Dropbox-Wiederherstellung Sarah.
|
||||
- **69/71 Dateien existieren NIRGENDS sonst** (nur aktive Repos). 2 Ausnahmen: DATEV-Codes auch in „Meine Bibliothek" (7bd9393a), 1PW-Kit A3-BFJT4Y auch in „Vorsorgedokumente" (968cbf39).
|
||||
- **Trash-Zwilling 06892f29** (Februar-Cleanup gelöscht) = echtes Subset: 69 Dateien, 0 exclusive, _Recovery hat 2 NEUERE Extras (DATEV-Codes 2026-01-28 = jüngste Datei, Monero_Recover.txt) → Februar-Löschentscheidung retrospektiv validiert, kein Verlust.
|
||||
- Interne Redundanz: SSH-Ordner hat 25 Dubletten (flat + `ssh/`-Subfolder, size-identisch) — kosmetisch, NICHT anfassen (Rettungskoffer-Integrität, AS-IS-Vorgabe).
|
||||
- Sicherheitshinweis (offen, kein Handlungsauftrag): Plaintext-Private-Keys/Wallet/Recovery-Codes liegen unverschlüsselt im Repo; mittel-fristig Migrieren in 1Password-Vault erwägenswert.
|
||||
- **_Recovery ist KEIN Lösch-Kandidat — aus Analysis-Option 3 folgt: Behalten.**
|
||||
|
||||
### Duplikat-Soft-Delete EXECUTED (2026-10-10, GO Option 2 „+ Aufräumen")
|
||||
- **Execution**: Guards OK (35 Libs, dom 32/sarah 3, alle Kandidaten+Behälter da) → 6× `DELETE /api/v2.1/admin/libraries/{id}/` je HTTP 200 (42d24d5f, dc62b8b5, 2d496a7b, 515f7f35, 5bcdffe0, 60fe22e3) → Executor-Verify SUCCESS.
|
||||
- **Independenter Post-Verify PASS**: API 29 Libs (dom 26/sarah 3), 6/6 Kandidaten weg, 6/6 im Trash, Behälter+_Recovery alle da; SQL: RepoOwner 36→30 (dom 26, sarah 3, System 1 — Seafile räumt Owner-Rows beim Soft-Delete mit auf), RepoTrash 26 (=10 Ghost-alt +10 Feb +6 heute; 16 mit dominik-owner_id).
|
||||
- **Aufräumen DONE**: byteproof3-Zombie (PID 3063834) gekillt; 104-B-Pseudobackup entfernt (valide 162B+165B bleiben); 38 `/tmp/sea_*.py` remote gelöscht, lokal archiviert unter `~/workspace/seafile-ct111-arc/archive-2026-10-10/`; JSON-Caches (byteproof_walks, signatures, proof_final, recovery_walk, api_inventory) bleiben auf CT111.
|
||||
- **Endzustand**: 29 aktive Libraries (dom 26/sarah 3), Trash 26 revertierbar (restore via Admin-API), kein GC/Retention → nichts physikalisch gelöscht. Rollback je Repo jederzeit.
|
||||
- Pitfall nebenbei: `MYSQL_PWD` propagiert NICHT durch `docker exec` — Passwort als argv (-p'…') geben; RepoOwner-Spalte heißt `owner_id` (nicht `owner`).
|
||||
|
||||
### CodeCamp-Master-Deep-Clean — stark reduziert (Fresh-Messung 2026-10-10, read-only)
|
||||
Neuvermessung 670abe70 (1286 Dateien, 8,49 GB) korrigiert die alte „~2,6 GB"-Schätzung deutlich:
|
||||
- **ID-identische Mehrfachkopien: nur 62 Gruppen / 0,05 GB** (Spiegel in „alte Sicherungen"-Ordnern, Bürokleinkram).
|
||||
- **50 SFConflict-Kopien (3,75 GB), alle gestempelt 2026-05-04 von `e6227ae3…@auth.local`** (DRITTER Ghost-Identifier, historisch, nur in Dateinamen): **49/50 haben KEIN überlebendes Original im Repo → Sole Survivors** (vermutlich fielen die Originale dem Library/User-Mapping-Crash zum Opfer) — **Löschen VERBOTEN**. Einziger echter Kandidat: `20210629_backup.pst` 744,9 MB ×2 (size=, ID≠; mtime 2021-06-29 vs. Feb-2026-Repair → vermutlich byte-identisch, Proof ausständig).
|
||||
- Physikalischer Gewinn selbst bei voller Dedupe ≈ 0 (globale Block-Deduplizierung) — Deep-Clean weitgehend MOOT; verbleibender Wert ist Baum-Kosmetik (SFConflict-Umbenennung) bzw. Mikro-Dedup.
|
||||
|
||||
### Sanierung EXECUTED (2026-10-10, GO „Volle Sanierung")
|
||||
- Sequenz: Guards → Row-Backup (mysqldump --single-transaction, 11 INSERTs, `/root/seafile-sanitize-backup-20261010-104751/`) → API-DELETE bec3ed8a (200, GET-Verify 404) → TX-Deletes (ROW_COUNTs exakt: 82/3/2/1/1/1 + 4 Phantom-Rows) → commits-Dir in Quarantäne `/opt/seafile-data/quarantine-20261010-104751/` → Restart.
|
||||
- **Log-Spam BEENDET**: letzte „Commit is missing"-Warning 08:47:54 (Abschaltphase), danach 0/60s. Zuvor 24.230 Zeilen.
|
||||
- **Endzustand DB**: EmailUser 2, auth_user 2, profile_profile @auth.local 0, RepoOwner 36 (dominik 32, sarah 3, System 1), RepoTrash 20 (10 ghost + 10 dominik). API: **35 Libraries** (32 dominik + 3 sarah) — 36→35 ist KORREKT: das Phantom stand bislang in der Listing (404 bei Detail-GET) und fiel ersatzlos weg.
|
||||
- **Neues Verständnis 56-vs-57/36-vs-37-Diff**: nicht die System-Library, sondern jeweils das Phantom; die System-Library (3428f3b9 „My Library Template", intern) ist NIEMALS API-sichtbar. Es gab 2 My-Library-Templates: 35a6f96c (kaputt, Juli-Init-Artefakt, jetzt weg) + 3428f3b9 (System, gesund).
|
||||
- **Pitfalls dieser Runde**: (1) mysqldump mit Cross-DB-Subquery im --where braucht `--single-transaction` (sonst ERROR 1100 LOCK TABLES); (2) Phantom hatte 4. Meta-Row in `Branch` (master→fehlender Commit e1559727…) = eigentliche Spam-Quelle — Referenz-Karte VOR Delete dynamisch bauen; (3) Guard-Erwartung „Libraries 36" war falsch post-Phantom — Listing-Zahl sinkt um das Phantom.
|
||||
- Inert verbleiben: `RepoTrash.owner_id` 10× bec3ed8a (Historie der gelöschten Ghost-Repos; verschwindet mit Trash-Leerung).
|
||||
- Rollback möglich: Backup-SQL reinpipen, Quarantäne-Dir zurückschieben, Account via Admin-API neu anlegen.
|
||||
|
||||
### Diagnose Ghost-Accounts + Phantom 35a6f96c (2026-10-10, read-only)
|
||||
- **bec3ed8a…@auth.local** (Nick „none") = echter Account (ccnet_db.EmailUser id=3, aktiv, PW gesetzt, Admin-API 200) → sauber per `DELETE /api/v2.1/admin/users/{email}/` löschbar. Referenzen: UserActivity 10, UserActivityStat 1, options_useroptions 1, profile_profile 1.
|
||||
- **406e2202…@auth.local** (Nick „sarah", Kontakt sarah@…) = HALB-Ghost: kein EmailUser-Account (API 404), aber 79 Zombie-Rows in 6 Tabellen (UserActivity 72, UserActivityStat 2, options_useroptions 2, profile_profile 1, base_userlastlogin 1, sysadmin_extra_userloginlog 1) inkl. Login-Log → Identität hat real via OIDC (Missroute Sarah) existiert. Nur per SQL entfernbar.
|
||||
- **TRANSCRIPTION-TRAP (wichtig!):** Wahrer Identifier = 43 Zeichen (32 Hex + @auth.local); in Terminal-/Context-Kompressionsanzeigen ging 1 Hex-Zeichen verloren → Literal-Queries liefen ins Leere (0 Counts). REGEL: Ghost-/Repo-Identifier NIEMALS abtippen, immer serverseitig extrahieren (`SET @g := (SELECT user FROM …)`).
|
||||
- **Phantom 35a6f96c „My Library Template"** (RepoOwner id=13, owner dominik, aus Init Jul 6): Meta halb vorhanden (Repo ✓, RepoInfo ✓ status=0/version=1, RepoOwner ✓) aber RepoHead ✗, fs ✗, blocks ✗, commits-Dir nur 12K-Shard ohne den referenzierten Commit e1559727… → **23.797 WARNING-Zeilen** „Commit … is missing" im seafile.log (Dauer-Spam). Wert NULL (leere Template-Hülse). API-Delete unmöglich (404, kein Head). Remediation = 3 Meta-Rows + 12K-Dir (nur nach Go).
|
||||
- Zahlendifferenz final erklärt: RepoOwner 37 = 36 API-sichtbare + Phantom; die „System"-Owner-Row (1) ist Seafile-intern und erscheint nie in API-Listings.
|
||||
|
||||
### Multi-Session-Kollision + NÜRNBERGER-Fehlimport (2026-10-10, read-only diagnostiziert)
|
||||
**Auth-Mystery „PW geändert" aufgeklärt:** Parallele Hermes-Session („Home-Migration zu Seafile") rotierte um 16:30 dominiks Web-PW per DB-Procedure (Skill seafile-api/password-auth-recovery), restartete Container, legte 1P-Item „Seafile Web Login (dominik)" an. Krypto-Beweis: 1P-PW matcht DB-Hash exakt. Kein Eindringling — klassische Multi-Session-Kollision: Agent A rotierte Credential, das Agent B (diese Session) noch nutzte. **LESSON: Vor jeder Credential-Rotation 1Password prüfen; Agenten sollten PW nie nur im Sessionkontext halten. Persönlicher API-Token (api2_token) überlebt PW-Rotationen — Token-Auth dem PW-Login vorziehen.**
|
||||
- **Rename-Runner-Ausführung 18:45 Uhr: GATE-ABORT, 0 Mutationen** (Bestand 1840≠1286, SFConflict 74≠50). Gate tat exakt seinen Job.
|
||||
- **Ursache +554 Dateien:** seaf-daemon der Parallel-Session (Ubuntu-Host, seit 16:36) lud `/NÜRNBERGER/`-Firmensicherungen (530 Dateien mtime 2021-12-17, Outlook-PSTs/Vorlagen/Kundenzentrierung) in 670abe70 „CodeCamp:N 2" hoch + 24 SFConflict-Kopien (Import-Artefakte, Stempel 2026-05-04 von Ghost e6227ae3…@auth.local — lokal vorhandene Konfliktkopien aus Desktop-Client-Ära). Neue Lib „Unterlagen Uni" (c4677b64) angelegt (dominik 26→27 Libs).
|
||||
- **TWIST 19:00 Uhr — „Sole Survivor"-These OBSOLET:** Zweiter Runner-Lauf (dynamisches Gate: Quiescence-Doppelwalk OK, Daemon SIGSTOP-pt) fand ALLE 74 SFConflict-Kopien MIT Original nebeneinander (74× PARENT-KOLLISION, 0 planbar) → ABORT plan leer, **0 Mutationen**. Die Parallel-Session lud auch die verlorengeglaubten Originale der Mai-Konflikte zurück (verteilt: CodeCamp_N/HR_Camp, Präsentationsvorlagen, Vorlagen, Sicherung Desktop B072118, Sicherung Outlook Nürnberger, Root-PST) — die Originale lagen die ganze Zeit auf der lokalen Sicherungsplatte. Kosmetik-Rename damit MOOT (würde kollidieren). Korrektur: Die +554 Neuzugänge waren NICHT ausschließlich NÜRNBERGER.
|
||||
- **Neue Situation: 74 redundante Paare** (Original + Konfliktkopie). Optionaler Clean-Up = Konfliktkopien löschen — NUR NACH Byte-Proof (Konfliktkopien können neuere lokale Edits enthalten — Wesen von Sync-Konflikten!), NACH Abschluss der Migration, NUR mit GO. Daemon via SIGCONT resumed (Pause ~23 min, kein Zustandsverlust).
|
||||
- **Resolved:** (b) SFConflict-Rename — moot, eingestellt. (a) NÜRNBERGER-Platzierung + (c) Sync-Koordination — mit Parallel-Session/user klären.
|
||||
|
||||
### Cleanup-Stand 10.0.20.100
|
||||
- audit_a/audit_b-Container entfernt; `/tmp/audit_*`-Kopien noch vorhanden → beim nächsten .100-Kontakt miträumen
|
||||
|
||||
## Zugriffskette (2026-11-01 verifiziert)
|
||||
`https://cloud.familie-schoen.com` → CT99999 Traefik (`explicit-http.yml`, Router `seafile`) → **10.0.30.203** (das ist die **K8s-Ingress-LB**, `kube-system`, NICHT eine VM-ID!) → K8s-IngressRoute `seafile/seafile` → Service `seafile-external` → Endpoint **10.0.30.99:80** (CT111). Kette liefert 302 → `/accounts/login/` → HTTP 200 „Log In - Private Seafile". Seafile nutzt eine **eigene** `mariadb:10.11` im Container (kein Galera) → DB-Tier-Upgrades betreffen Seafile nicht; CT111 erbt aber den PVE-Host-Kernel (n5pro).
|
||||
**Legacy-Falle:** `seafile.familie-schoen.com` ist ein alter Router (`seafile_old` → `seafile-old-forwarder` → `http://10.0.30.100:8081`, tot) und liefert dauerhaft **502** — kein Ausfall, sondern stillgelegte Route. Nicht als Störung fehldeuten.
|
||||
|
||||
@@ -0,0 +1,120 @@
|
||||
---
|
||||
title: Technitium DNS (HA-Cluster)
|
||||
category: systems
|
||||
tags: [dns, adblock, ha, keepalived, vrrp, technitium, lxc]
|
||||
created: "2026-11-14"
|
||||
modified: "2026-11-14"
|
||||
---
|
||||
|
||||
# Technitium DNS — HA-Cluster (LAN-Resolver + Adblock)
|
||||
|
||||
Zwei unprivileged LXC auf getrennten PVE-Nodes, betrieben als **Technitium-Cluster**
|
||||
(1 Primary + 1 Secondary, Config-Sync) mit **keepalived-VIP** davor.
|
||||
|
||||
## Topologie
|
||||
|
||||
| | dns-01 | dns-02 |
|
||||
|---|---|---|
|
||||
| CT | 150 | 153 |
|
||||
| PVE-Node | proxmox6 (10.0.20.60) | ms-a2-2 (10.0.20.93) |
|
||||
| IP | 10.0.30.150/24, gw 10.0.30.1, tag=30 | 10.0.30.153/24 |
|
||||
| Spez | 1 vCPU / 1 GB / 4 GB **`local-lvm`** (node-lokal, Ceph-unabhängig), unprivileged, onboot | dito |
|
||||
| Rolle | Cluster-**Primary**, VIP-Träger (VRRP-Prio 150) | Cluster-**Secondary** (Prio 100) |
|
||||
| Web-UI | http://10.0.30.150:5380 · TLS :53443 | http://10.0.30.153:5380 |
|
||||
|
||||
**VIP 10.0.30.149** — keepalived, VRID 51, **unicast** (kein Multicast), `nopreempt`,
|
||||
Health-Check = TCP :53 **und** Web-API :5380. Failover gemessen: **~4 s**.
|
||||
|
||||
## Clients / DHCP
|
||||
Omada-Gateway (`10.0.30.1`) macht weiterhin DHCP. Es gibt nur **zwei DNS-Felder**:
|
||||
|
||||
```
|
||||
DNS 1: 10.0.30.149 (VIP)
|
||||
DNS 2: 1.1.1.1 (Cloudflare-Fallback)
|
||||
```
|
||||
IPv6-Felder (falls vorhanden): `2606:4700:4700::1111`, `2606:4700:4700::1001`.
|
||||
|
||||
Grund für die VIP: mit nur zwei Feldern wäre sonst entweder der zweite Knoten oder der
|
||||
Public-Fallback verloren gegangen.
|
||||
|
||||
## Konfiguration (Cluster-Parameter, syncen auf beide Nodes)
|
||||
- Cluster-Domain: `dns.internal.schoen.codes` (Zonen: `dns.internal.schoen.codes`, `cluster-catalog...`)
|
||||
- Forwarder: `1.1.1.1, 1.0.0.1, 2606:4700:4700::1111, 2606:4700:4700::1001` (UDP)
|
||||
- `recursion = UseSpecifiedNetworkACL` → `10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 127.0.0.0/8, ::1, fd00::/8, fe80::/10` (kein offener Resolver)
|
||||
- DNSSEC-Validierung an, `logQueries=false` (Datei-Log aus, Query-Log läuft über die MySQL-App)
|
||||
- Blockliste: **HaGeZi Multi Pro** → `https://raw.githubusercontent.com/hagezi/dns-blocklists/main/wildcard/pro.txt` (227.848 Domains)
|
||||
|
||||
## Resilienz-Entscheidung (2026-11-14)
|
||||
|
||||
**Rootfs auf `local-lvm`, NICHT auf Ceph.** Grund: `ceph health` = HEALTH_WARN mit
|
||||
„8 OSDs experiencing slow operations"; ein Ceph-Stall hätte **beide** DNS-Knoten gleichzeitig
|
||||
blockiert (gleicher Cluster → kein Failover-Effekt) und bei Neustart wäre kein Boot möglich.
|
||||
|
||||
Konsequenzen, bewusst akzeptiert:
|
||||
- **Kein HA-Manager** für ct:150/153 (`state: disabled` → entfernt). PVE-HA kann node-lokale
|
||||
Disks nicht relocaten; ein Versuch hat am 2026-11-14 beide CTs auf proxmox4/proxmox5
|
||||
„verschoben" (Config ja, Disk nein) → **~2–3 Min DNS-Ausfall**. Nur `onboot=1`.
|
||||
- **Node-Ausfall = Handarbeit**: Rebuild per PBS-Restore (siehe unten), Config kommt vom Peer.
|
||||
- PVE-native Redundanz für lokale Disks existiert nicht: entweder Shared Storage (Ceph/iSCSI/NFS,
|
||||
automatisch) oder ZFS-Replikation (`pvesr`, **braucht lokales ZFS** — proxmox6/ms-a2-2 haben nur
|
||||
LVM-thin, `replication.cfg` leer) und selbst dann kein Auto-Promote.
|
||||
|
||||
**Wiederaufbau (nativ, ~1–2 Min):**
|
||||
```bash
|
||||
pct restore 150 noris_v4:backup/ct/150/<snapshot> --storage local-lvm --hostname technitium-dns-01
|
||||
# danach: Cluster-Join gegen den überlebenden Node, Zonen/Blocklists syncen automatisch
|
||||
```
|
||||
Backups: 23:00-Job (`all 1`, `noris_v4`, keep-last=3) — Erstaufnahme 2026-11-14 manuell
|
||||
nachgezogen (ct/150 967 MiB, ct/153 890 MiB).
|
||||
|
||||
**I/O-Entkopplung:** Technitium-Datei-Query-Log `logQueries=false` (kein Disk-Write pro Query).
|
||||
Die MySQL-App protokolliert unabhängig davon weiter (verifiziert: 84 Rows/45 s).
|
||||
keepalived `fall 5` (≈10 s Toleranz) statt 3 → kein VIP-Flapping bei kurzen Slow-Ops.
|
||||
|
||||
## Betrieb
|
||||
- Config-Änderungen **nur am Primary**; Secondary zieht per Cluster-Sync (`configRefreshIntervalSeconds=300`).
|
||||
- Fällt der Primary irreparabel aus: Secondary per `POST /api/admin/cluster/primary/promote` hochziehen.
|
||||
- VIP bleibt dank `nopreempt` beim Überlebenden (kein Flapping); bei Kaltstart beider gewinnt dns-01.
|
||||
- Hostnamen-Auflösung der Nodes läuft über `/etc/hosts` in beiden CTs (Cluster verlangt FQDN-URLs, nicht IPs).
|
||||
|
||||
## Query-Logs nach MySQL (Galera)
|
||||
|
||||
App **„Query Logs (MySQL) v4.2"** (`isQueryLogger` + `isQueryLogs`), per Cluster-Sync auf **beiden**
|
||||
Knoten installiert — beide schreiben in dieselbe Tabelle, getrennt über die Spalte `server`.
|
||||
|
||||
| Parameter | Wert |
|
||||
|---|---|
|
||||
| Datenbank | `technitium_querylog` (utf8mb4) auf Galera, Tabelle `dns_logs` (App legt sie an) |
|
||||
| Endpoint | **MaxScale-VIP `10.0.30.70:3306`** (nicht .71/.72/.73 — die sind vom VLAN 30 aus nicht direkt erreichbar) |
|
||||
| User | `technitium`@`%` (nötig: MaxScale verbindet mit **eigener** IP, per-Host-Grants scheitern) |
|
||||
| Connection String | `Server=10.0.30.70; Port=3306; Uid=technitium; Pwd=<1P>; SslMode=None; ConnectionTimeout=10; DefaultCommandTimeout=30;` |
|
||||
| Retention | `maxLogDays=30`, `maxLogRecords=10000000`, `maxQueueSize=1000000` |
|
||||
|
||||
- **`SslMode=None` ist Pflicht**: der MaxScale-Listener hat kein TLS → MySqlConnector bricht sonst mit
|
||||
„SSL is required, but the server does not support it" ab (Passwort läuft damit im Klartext über VLAN 30).
|
||||
- Volumen-Messung: ~**61 Queries/min ≈ 88 k/Tag** → ~2,6 Mio Rows in 30 Tagen (Galera repliziert 3×).
|
||||
- Passwort in 1P: „Technitium QueryLogs DB (Galera)".
|
||||
|
||||
## Monitoring
|
||||
- Prometheus (K8s, 10.0.30.202): Jobs `blackbox_dns` (A-Query gegen .149/.150/.153) und
|
||||
`blackbox_http` (Web-UI :5380 auf allen drei Adressen).
|
||||
- PrometheusRule `technitium-dns-rules`: `TechnitiumDnsProbeFailing`,
|
||||
`TechnitiumDnsAllNodesDown`, `TechnitiumDnsVIPMissing`, `TechnitiumClusterNotSynced`.
|
||||
- IaC: `iac-homelab/clusters/main/monitoring/technitium-dns-rules.yaml` + `apps/kube-prometheus-stack.yaml`.
|
||||
|
||||
## Bekannte Fallstricke
|
||||
- **HaGeZi-URL hat sich geändert**: `hosts/pro.txt` → **`wildcard/pro.txt`** (404 sonst).
|
||||
- **community-scripts-One-Liner aktuell kaputt**: `ct/technitiumdns.sh` sourct `misc/build.func`,
|
||||
das Framework liegt jetzt in `community-scripts/core` → 404. Installation daher über die
|
||||
Original-Payload (`install/technitiumdns-install.sh`): MS-Repo → `aspnetcore-runtime-10.0`,
|
||||
`DnsServerPortable.tar.gz` → `/opt/technitium/dns`, systemd-Unit `technitium.service`.
|
||||
- **Cluster-Join verlangt FQDN**: `primaryNodeUrl` mit IP wird abgelehnt
|
||||
(„must use the domain name of the Primary node").
|
||||
- Erst-Login ist `admin/admin` — sofort `passwort` via `/api/user/changePassword` ändern
|
||||
(1P-Item „Technitium DNS Admin").
|
||||
- **`prometheus-rules.yaml` im Repo ist eine ConfigMap** und wird von Prometheus NICHT geladen —
|
||||
eigene Regeln brauchen eine `PrometheusRule` mit Label `release: monitoring`.
|
||||
|
||||
## Related
|
||||
- [[reference/ip-map]] · [[concepts/network-architecture]] · [[reference/ports]]
|
||||
- [[systems/monitoring]]
|
||||
@@ -0,0 +1,36 @@
|
||||
# Ubuntu-Host (physischer Node, 10.0.20.100)
|
||||
|
||||
Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.20.100`.
|
||||
|
||||
## Hardware (live verifiziert 2026-10-02)
|
||||
|
||||
| Komponente | Detail |
|
||||
|---|---|
|
||||
| Board | MSI B150M ECO (MS-7994), µATX, Skylake/Series-100 |
|
||||
| CPU | Xeon E3-1200 v6 (HD 630 iGPU, keine dGPU) |
|
||||
| onboard NIC | Intel I219-V (enp0s31f6), **1G only** |
|
||||
| RAM/Uptime | — / 59 Tage (Stand 2026-10-02) |
|
||||
|
||||
## PCI-Anatomie (kritisch für Erweiterungen)
|
||||
|
||||
- **PEG x16-Slot (J6B2):** von **ASM2824 PCIe-Switch-Karte** belegt (Dual-M.2-Träger). Root-Port zeigt x8 physikalisch (LnkSta x8 @ 8GT/s), Switch downstream x4 an beide Kingston SFYRDK2000G NVMe (= osd.2/osd.-Partner, ZVG `pool01_n2_redundant`). **Downstream-Busse 04 und 06 sind LEER** (Slots/ASIC-Ports ohne Device) — aber: Switch ist an x8 angebunden, theoretisch bis zu 4 weitere x4-Devices möglich, praktisch hängt das am Trägerkarten-Layout (kein externer Slot).
|
||||
- **Chipset-x1-Slots (J6B1/J6D1/J7B1/J8B4/J8D1):** laut DMI alle „In Use" — tatsächlich ist **nur 00:1c.0 (ASMedia ASM1064 SATA, Bus 07)** real bevölkert (5 HDD-OSDs + Crucial-Boot-Plate). Die übrigen 1c.x-Root-Ports melden keine Secondary-Bus → **physikalisch frei**.
|
||||
- **Legacy-PCI (J8B3):** DMI-Inventar-Fantasie, B150 hat keinen PCI-Bus.
|
||||
|
||||
## Fazit 10GbE-Erweiterung (Oktober 2026)
|
||||
|
||||
**Freier PCIe-x8/x16-Slot: NEIN.** Für 10G-SFP+-NIC bräuchte es den PEG-Slot → NVMe-Träger raus = ZFS-Mirror + 2 OSDs sterben. **Entscheidung: Ubuntu bekommt KEINE 10G-NIC; Anbindung bleibt 1G (I219-V) bzw. via SM5310-T-Modul am Core-Switch SX3008F (2× TL-SM5310-T sind dafür eingeplant, siehe Omada-Upgrade-Einkaufsliste).** Chipset-x1-Slots sind physisch frei, aber x1 Gen3 (~985 MB/s netto) reicht maximal für ~8G — für eine X520/x8-Karte ungeeignet (Mechanik + Lanes).
|
||||
|
||||
## Bekannte Themen
|
||||
|
||||
- **Wartungs-Shutdown 2026-11-14 (~15 Min):** noout-Gate, sauberer Poweroff 13:09 UTC, Boot zurück 13:22 UTC (SSH ~11 Min nach Power-On), OSDs 2/15/17 sofort up, Cluster 532/533 clean binnen Minuten, noout manuell entfernt (Watchdog unfired wg. osd-tree-$5/$6-Bug → Skill-Ref). ZFS `pool01_n2_redundant` DEGRADED (sdi REMOVED) überlebt Reboot problemlos. IP unverändert .100 (MAC 4c:cc:6a:27:49:c1).
|
||||
- NVMe-Controller-Tod Kingston PCI 03:00.0 (2026-09-30, PAT-014) — revived via PCI remove/rescan; SMART-Audit gesund, nur Controller-Ebene. Temps 70/78 °C beobachten.
|
||||
- Host-Eintrag `10.0.20.100 ubuntu` in /etc/hosts aller PVE-Nodes nötig (PVE-GUI 500 ohne DNS/hosts).
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/ceph-cluster]] — OSDs 2/15/17 laufen hier (osd.8/18 seit ≥02.11. auf n5pro; stale Units `ceph-osd@8` + `ceph-mon@ubuntu` scheitern bei jedem Boot, kein Schaden)
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] (PAT-014)
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Re-Check 2026-11-10 (CVE-Tracker-Meldung „released"):** Zielzustand bereits aktiv — `apt-get full-upgrade` = 0 Pakete, Kandidat = installiert = 6.8.0-149.149, kein `reboot-required`; **kein zweiter Reboot** (3 OSDs auf dem Host), Ceph unverändert 4/4 MON, 17/17 up+in, 533 PGs active+clean. **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto.
|
||||
Reference in New Issue
Block a user