Auto-sync: 2026-10-09
This commit is contained in:
@@ -38,6 +38,7 @@
|
|||||||
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
|
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
|
||||||
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
|
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
|
||||||
- [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG)
|
- [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG)
|
||||||
|
- [[systems/immich]] — K8s-Immich v3.3.1 PROD (56.887 Assets), Legacy CT111 stillgelegt
|
||||||
- [[systems/nut]] — NUT/UPS Shutdown-Kaskade, APC ES 700G @ ms-a2-1, FSD-Cluster-Shutdown
|
- [[systems/nut]] — NUT/UPS Shutdown-Kaskade, APC ES 700G @ ms-a2-1, FSD-Cluster-Shutdown
|
||||||
- [[systems/hermes-agent-01]] — lokaler Hermes-Runner: Storage-Governance, Backup-Pipeline (RCA 08.10.), Watchdogs
|
- [[systems/hermes-agent-01]] — lokaler Hermes-Runner: Storage-Governance, Backup-Pipeline (RCA 08.10.), Watchdogs
|
||||||
|
|
||||||
|
|||||||
@@ -350,3 +350,28 @@
|
|||||||
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
|
- Naechste Aufraeum-Hebel (warten auf GO): podman prune 23,4G, uv-Cache 9,4G, playwright-alt ~1G, journal 0,8G, apt-cache 0,6G
|
||||||
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
|
- Welle 2: journald SystemMaxUse=200M (drop-in, permanent; 1017M->199M), uv cache clean (-70,8G logisch, FS 72->59%), Guard-Cron 624a2f98fb10 (So 09:00, 3GiB threshold)
|
||||||
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
|
- Closing-the-Loop: PAT-015 systemd-path-blindness (patterns/), Wiki systems/hermes-agent-01 neu, INDEX.md normalisiert (28 docs, beide Okt-Docs eingepflegt), skill-impact-Ledger 2 Rows gebucht, Hindsight Wave-2
|
||||||
|
- Cutover 09.10.: v2 prodiziert solo (Cron a32005d62226, --publish --allow-grid-charge), v1+Shadow pausiert als Rollback; Publish-Kette bewiesen (Stamp+Inhaltsmatch+Kaskaden-Konsum); Guard 95/75->30/20 s
|
||||||
|
- 09.10.: Deutsche Plan-Visualisierung: Section 'Solar-Plan (EMHASS)' auf dashboard-akkus (ApexCharts Ladeplan+SoC) via WS lovelace/config/save; Getter heisst 'lovelace/config'
|
||||||
|
|
||||||
|
## 2026-10-09 — Immich: K8s-Upgrade v3.3.1 + Legacy-Stilllegung nach Reconciliation
|
||||||
|
- K8s-Immich v3.2.2→v3.3.1 via GitOps (Commits 3ff08c4, canonical): values.yaml+rendered Tags, ArgoCD selfHeal; Public-API beweist 3.3.1; Restic-Backup 04:09 als Netz
|
||||||
|
- Reconciliation formal: Legacy 53.613 Assets/53.257 uniq CKSUMs ⊆ K8s 56.887/56.531 — Multiplicity-Match 53257/53257, 0 fehlend; 356 Leg-Dubletten alle doppelt vorhanden; K8s-Extra 3.274 = Nachwuchs
|
||||||
|
- Methode: Counter-Multiplicities statt Set-Diff; PITFALL: psql-Fehlerzeilen in SSH-Pipelines simulierten Datensätze ("4 Null-CKSUMs"), Schema-Spalten v2.6.3=asset_exif.fileSizeInByte vs v3=exif.fileSizeByte
|
||||||
|
- Legacy-Stilllegung CT111 (GO "1 kann starten"): Pre-Flight 0 Conns auf :2283, graceful Stops server→ML→redis→postgres, restart=no, Seafile-Stack unberührt; ~625MB RAM frei; compose-file bewusst nicht angefasst (rollback = docker start + restart=always)
|
||||||
|
- CT111-Cleanup-Subagent: Root 99%(768MB)→83%(8GB frei): journal vacuum 3,9G + apt 320M + dangling imgs 2,83G; ROOT CAUSE fluent-bit→Loki 10.0.30.207:3100 'No route to host' flutet Journal (77%) — FIX OFFEN
|
||||||
|
- Wiki systems/immich.md NEU + index.md ergänzt; Solution-Doc 2026-10-09-immich-legacy-decommission-prep.md
|
||||||
|
|
||||||
|
## 2026-10-09 — ArgoCD-Ownership-Krieg Immich beendet (Nachtrag zur Legacy-Stilllegung)
|
||||||
|
- Symptom: App immich permanent OutOfSync/Healthy, autoHealAttemptsCount 13.353+ wachsend — Root Cause NICHT das Upgrade
|
||||||
|
- Zwei Apps verwalteten dieselben Workloads: immich (path .../rendered, wave3) vs immich-config (path clusters/main/immich, recurse:true, wave2) → Tracking-Label-Ping-Pong (instance: immich vs immich-config)
|
||||||
|
- Diagnose: argocd app diff im Pod (--plaintext) = Fingerabdruck; erster Fix-Versuch exclude: rendered wirkungslos (matcht keine Verzeichnisinhalte)
|
||||||
|
- Wirksam: recurse streichen + exclude 'rendered/**' + Übergangs-Freeze prune:false/selfHeal:false (Löschschutz); Ownership-Labels wanderten nach Freeze automatisch zu immich
|
||||||
|
- Endzustand: beide Apps Synced/Healthy, Heals eingefroren 13.357, Prod v3.3.1 unbeeindruckt; Commits 57cfa65+497aa34
|
||||||
|
- OFFEN: immich-config-Freeze nach 24 h reaktivieren (prune+selfHeal true)
|
||||||
|
|
||||||
|
## 2026-10-09 — Loki-VIP-Restaurierung: Fleet-weites Journal-Flut behoben
|
||||||
|
- Symptom: fluent-bit Fleet (9 Hosts + LXCs) fluutete Journals seit ~7.10. mit "No route to host 10.0.30.207:3100"; CT111-Journal 4,1 GB, Disk 99 %
|
||||||
|
- Root Cause: manueller SVC loki-external (LB .207) nie in Git, verschwand bei Helm-Iterations-Recreates unbemerkt
|
||||||
|
- Fix: clusters/main/logging/loki-lb.yaml (LB 10.0.30.207:3100, Selector single-binary) via App logging-config; Commit fb4d8b9; + journald-Cap 200M auf CT111 (airbag)
|
||||||
|
- Verifiziert: /ready=200, flushes succeeded, Loki empfängt live Streams, Errors 726/10min → 0/60s (CT111 + ms-a2-1)
|
||||||
|
- Lesson: manuelle kubectl-Ressourcen = Zombie-Quelle Nr.1; eine tote VIP spammed 30+ Maschinen synchron
|
||||||
|
|||||||
@@ -76,8 +76,8 @@ modified: "2026-09-27"
|
|||||||
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
||||||
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
||||||
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
||||||
- **Cron:** `a32005d62226` (no_agent, every 15m, runner script) ruft EMHASS Optimization auf.
|
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
|
||||||
- **Shadow Phase-2 (2026-10-08):** Dual-Solve-Shadow live (Cron `d046e808f543` + Staleness-Watchdog `19aef2351273`); Deferrables als Phantom-Last erkannt und produktiv entfernt (CSV jetzt 17 Spalten). Details: [[reference/emhass-cascade-automation-architecture]]
|
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
|
||||||
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
||||||
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
||||||
|
|
||||||
|
|||||||
@@ -0,0 +1,67 @@
|
|||||||
|
# Immich — Foto/Video-Management
|
||||||
|
|
||||||
|
> **Status 2026-10-09:** K8s-Immich (v3.3.1) ist **alleinige Produktion** für `photos.familie-schoen.com`. Legacy-Immich auf CT111 (v2.6.3) nach Reconciliation **stillgelegt** (Container gestoppt, Autostart aus, Daten unangetastet).
|
||||||
|
|
||||||
|
## Produktion: K8s-Immich (v3.3.1)
|
||||||
|
|
||||||
|
| Eigenschaft | Wert |
|
||||||
|
|---|---|
|
||||||
|
| URL | `https://photos.familie-schoen.com` → Traefik-LB 10.0.30.203 → K8s |
|
||||||
|
| Namespace | `immich` |
|
||||||
|
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
|
||||||
|
| Assets | **56.887** (56.531 unique Checksummen) |
|
||||||
|
| Storage | cephfs-PVC 500Gi (Library ~188 G), tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
|
||||||
|
| ArgoCD-App | `immich`, Path `clusters/main/immich/implemented`, Repo `canonical` (HEAD) |
|
||||||
|
| Deployments | `immich-server`, `immich-machine-learning`, `immich-valkey` |
|
||||||
|
| DB | `postgresql` namespace, `postgres-main-1`, DB `immich` (CNPG-managed) |
|
||||||
|
| DB-Zugriff | `kubectl -n postgres exec postgres-main-1 -- psql -U postgres -d immich` (nicht `-U immich`!) |
|
||||||
|
|
||||||
|
### GitOps-Anatomie (wichtig!)
|
||||||
|
- **ZWEI Apps teilen sich das Verzeichnis:** `immich` (path `clusters/main/immich/rendered`, Workloads) + `immich-config` (path `clusters/main/immich` OHNE recurse, Namespace/StorageClasses/PVCs/Externalsecrets/Ingress/DB)
|
||||||
|
- **Nie wieder `recurse: true` auf immich-config** — das ließ beide Apps dieselben Workloads verwalten → Tracking-Label-Krieg (13.353+ Heals, ewiges OutOfSync; behoben 09.10. via Commits 57cfa65+497aa34)
|
||||||
|
- Diagnose-Hebel bei OutOfSync: `argocd app diff <app>` im argocd-server-Pod (`--plaintext`, PW aus `argocd-initial-admin-secret`) — Tracking-Label-Diff = App-Kollisions-Fingerprint
|
||||||
|
- `status.resources` kann Stale-Einträge zeigen; Wahrheit = `argocd app diff`
|
||||||
|
- Übergangs-Freeze auf immich-config (prune:false/selfHeal:false) nach 24 h Stabilität reaktivieren
|
||||||
|
|
||||||
|
### GitOps-Upgrade-Rezept (bewährt)
|
||||||
|
1. `clusters/main/immich/values.yaml`: Image-Tags patchen (3 Stellen: controllers.main + explizite Repos server/ML)
|
||||||
|
2. `clusters/main/immich/rendered/all.yaml`: 2 Image-Zeilen (server + machine-learning) mitpatchen
|
||||||
|
3. Commit + Push zu Remote `canonical` → ArgoCD selfHeal rollt automatisch
|
||||||
|
4. Verifikation: `kubectl -n immich get deploy` (Images `:v3.3.1`) → Public-API `/api/server/version` erst NACH Endpoint-Wechsel aussagekräftig (alter Pod bleibt sonst im Pool)
|
||||||
|
5. Sicherheitsnetz: Restic-Backup gleicher Tag 04:09
|
||||||
|
|
||||||
|
### Bekannte Mess-Pitfalls (Schema-Versionen!)
|
||||||
|
- v3.x: Tabelle `exif`, Spalte `fileSizeByte`; v2.6.3-Legacy: Tabelle `asset_exif`, Spalte `fileSizeInByte` — Spalten-/Tabellennamen vor jeder Query erst via `information_schema` verifizieren
|
||||||
|
- psql-Fehlerzeilen in SSH+dockexec-Pipelines sehen aus wie Datensätze — stderr nie wegmaskieren, Counts gegen Roh-Count-Queries kreuzvalidieren
|
||||||
|
|
||||||
|
## Legacy-Immich auf CT111 (stillgelegt 2026-10-09)
|
||||||
|
|
||||||
|
| Eigenschaft | Wert |
|
||||||
|
|--- verwende ---|---|
|
||||||
|
| Host | CT111 = 10.0.30.99 (Proxmox-CT, Root-FS /dev/rbd1 49 G) |
|
||||||
|
| Version | v2.6.3, Docker-Compose `/opt/immich/docker-compose.yml` |
|
||||||
|
| Assets | 53.613 (53.257 unique; 356 Dubletten) — **vollständige Teilmenge von K8s, formal bewiesen** |
|
||||||
|
| Container | `immich_server`, `immich_machine_learning`, `immich_redis`, `immich_postgres` — alle `exited`, `restart=no` |
|
||||||
|
| Daten | unangetastet: `/mnt/data/immich-library` (344 G, eigenes RBD), `/mnt/data/immich-postgres` (1,4 G, Root-FS) |
|
||||||
|
| Seafile-Stack | derselbe CT, UNBERÜHRT (seafile, seafile-redis, seafile-memcached, seafile-mysql, seadoc, ideogram4-api) |
|
||||||
|
|
||||||
|
### Stilllegungs-Rezept (nachvollziehbar)
|
||||||
|
1. Pre-Flight: aktive Connections auf Published Port 2283 prüfen (`ss -tn established`) — nur bei 0 stilllegen
|
||||||
|
2. Graceful Stops in Order: server → ML → redis → postgres
|
||||||
|
3. `docker update --restart=no` je Container (compose-file NICHT anfassen — dort stehen noch `restart: always`, ein `compose up -d` würde alles wieder hochfahren)
|
||||||
|
4. Verify: `docker inspect` status+restart-policy je Container, `docker ps` zeigt nur noch Seafile-Stack
|
||||||
|
|
||||||
|
### Rollback jederzeit möglich
|
||||||
|
`docker start immich_postgres immich_redis immich_machine_learning immich_server` (Reihenfolge!) + `docker update --restart=always …` — Daten unberührt.
|
||||||
|
|
||||||
|
## Offene Punkte
|
||||||
|
- **fluent-bit-Journal-Flut auf CT111:** Loki 10.0.30.207:3100 unreachable → Journal wächst wieder. Fix: Loki-Routing oder journald-Drop-In `SystemMaxUse=200M`.
|
||||||
|
- Foto-Ingest NAS → K8s (305 G Dominik + 119 G Sarah) gegen 56.887 Bestandsassets dedupen — nächster Migrationsschritt
|
||||||
|
- Endgültige Dekommissionierung (Volumes/DB/Images) separat genehmigen; bis dahin bleibt alles liegen
|
||||||
|
- CT111-Disk-Reserven: ~15,6 GB ungenutzte getaggte Images + diverse Volumes — nur mit Freigabe
|
||||||
|
|
||||||
|
## Verweise
|
||||||
|
- [[systems/seafile]] — Dokumente/Archive-Ziel der Home-Migration
|
||||||
|
- [[systems/ceph-cluster]] — cephfs-PVC der K8s-Instanz
|
||||||
|
- [[systems/rke2-kubernetes]] — Cluster-Anatomie
|
||||||
|
- Solution-Doc: `docs/solutions/workflows/2026-10-09-immich-legacy-decommission-prep.md`
|
||||||
@@ -3,7 +3,7 @@ title: Loki + Fluent Bit (Logging Stack)
|
|||||||
category: systems
|
category: systems
|
||||||
tags: [loki, fluent-bit, logging, observability]
|
tags: [loki, fluent-bit, logging, observability]
|
||||||
created: "2026-07-24"
|
created: "2026-07-24"
|
||||||
modified: "2026-07-25"
|
modified: "2026-10-09"
|
||||||
---
|
---
|
||||||
|
|
||||||
# Loki + Fluent Bit (Logging Stack)
|
# Loki + Fluent Bit (Logging Stack)
|
||||||
@@ -13,7 +13,12 @@ modified: "2026-07-25"
|
|||||||
- **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25)
|
- **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25)
|
||||||
- **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps
|
- **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps
|
||||||
- **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`)
|
- **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`)
|
||||||
- **External Service:** `loki-external`, LoadBalancer `10.0.30.207:3100`
|
- **External Service:** `loki-lb`, LoadBalancer `10.0.30.207:3100` (restauriert 2026-10-09, Commit `fb4d8b9`, Manifest `clusters/main/logging/loki-lb.yaml`, App `logging-config`) — Vorgänger `loki-external` war MANUELL kubectl'd, nie in Git, starb unbemerkt bei Helm-Iterationen → Fleet-weiter Journal-Spam. Seit Restaurierung GitOps-gemanagt.
|
||||||
|
|
||||||
|
### Known Issues (Fixed 2026-10-09: LB-VIP-Totalausfall)
|
||||||
|
| Symptom | Root Cause | Fix |
|
||||||
|
|---------|-----------|-----|
|
||||||
|
| fluent-bit Fleet (9 Hosts + LXCs) fluutet Journals mit „No route to host 10.0.30.207:3100" seit ~7. Okt.; CT111-Journal 4,1 GB (95 % Spam), Disk 99 % | Manueller SVC `loki-external` (LB .207) verschwand bei Loki-Helm-Iterations-Recreates — keine GitOps-Deckung | `loki-lb` Manifest in Git (Selector single-binary auf loki-0), ArgoCD-App `logging-config` synced es; VIP sofort wieder im Cilium-Pool |
|
||||||
|
|
||||||
### Known Issues (Fixed 2026-07-25)
|
### Known Issues (Fixed 2026-07-25)
|
||||||
| Issue | Root Cause | Fix |
|
| Issue | Root Cause | Fix |
|
||||||
|
|||||||
Reference in New Issue
Block a user