Auto-sync: 2026-10-09

This commit is contained in:
Dominik Schön
2026-10-09 22:00:10 +00:00
parent b8d38c5640
commit 36520a7851
5 changed files with 102 additions and 4 deletions
+2 -2
View File
@@ -76,8 +76,8 @@ modified: "2026-09-27"
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
- **Cron:** `a32005d62226` (no_agent, every 15m, runner script) ruft EMHASS Optimization auf.
- **Shadow Phase-2 (2026-10-08):** Dual-Solve-Shadow live (Cron `d046e808f543` + Staleness-Watchdog `19aef2351273`); Deferrables als Phantom-Last erkannt und produktiv entfernt (CSV jetzt 17 Spalten). Details: [[reference/emhass-cascade-automation-architecture]]
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
+67
View File
@@ -0,0 +1,67 @@
# Immich — Foto/Video-Management
> **Status 2026-10-09:** K8s-Immich (v3.3.1) ist **alleinige Produktion** für `photos.familie-schoen.com`. Legacy-Immich auf CT111 (v2.6.3) nach Reconciliation **stillgelegt** (Container gestoppt, Autostart aus, Daten unangetastet).
## Produktion: K8s-Immich (v3.3.1)
| Eigenschaft | Wert |
|---|---|
| URL | `https://photos.familie-schoen.com` → Traefik-LB 10.0.30.203 → K8s |
| Namespace | `immich` |
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
| Assets | **56.887** (56.531 unique Checksummen) |
| Storage | cephfs-PVC 500Gi (Library ~188 G), tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
| ArgoCD-App | `immich`, Path `clusters/main/immich/implemented`, Repo `canonical` (HEAD) |
| Deployments | `immich-server`, `immich-machine-learning`, `immich-valkey` |
| DB | `postgresql` namespace, `postgres-main-1`, DB `immich` (CNPG-managed) |
| DB-Zugriff | `kubectl -n postgres exec postgres-main-1 -- psql -U postgres -d immich` (nicht `-U immich`!) |
### GitOps-Anatomie (wichtig!)
- **ZWEI Apps teilen sich das Verzeichnis:** `immich` (path `clusters/main/immich/rendered`, Workloads) + `immich-config` (path `clusters/main/immich` OHNE recurse, Namespace/StorageClasses/PVCs/Externalsecrets/Ingress/DB)
- **Nie wieder `recurse: true` auf immich-config** — das ließ beide Apps dieselben Workloads verwalten → Tracking-Label-Krieg (13.353+ Heals, ewiges OutOfSync; behoben 09.10. via Commits 57cfa65+497aa34)
- Diagnose-Hebel bei OutOfSync: `argocd app diff <app>` im argocd-server-Pod (`--plaintext`, PW aus `argocd-initial-admin-secret`) — Tracking-Label-Diff = App-Kollisions-Fingerprint
- `status.resources` kann Stale-Einträge zeigen; Wahrheit = `argocd app diff`
- Übergangs-Freeze auf immich-config (prune:false/selfHeal:false) nach 24 h Stabilität reaktivieren
### GitOps-Upgrade-Rezept (bewährt)
1. `clusters/main/immich/values.yaml`: Image-Tags patchen (3 Stellen: controllers.main + explizite Repos server/ML)
2. `clusters/main/immich/rendered/all.yaml`: 2 Image-Zeilen (server + machine-learning) mitpatchen
3. Commit + Push zu Remote `canonical` → ArgoCD selfHeal rollt automatisch
4. Verifikation: `kubectl -n immich get deploy` (Images `:v3.3.1`) → Public-API `/api/server/version` erst NACH Endpoint-Wechsel aussagekräftig (alter Pod bleibt sonst im Pool)
5. Sicherheitsnetz: Restic-Backup gleicher Tag 04:09
### Bekannte Mess-Pitfalls (Schema-Versionen!)
- v3.x: Tabelle `exif`, Spalte `fileSizeByte`; v2.6.3-Legacy: Tabelle `asset_exif`, Spalte `fileSizeInByte` — Spalten-/Tabellennamen vor jeder Query erst via `information_schema` verifizieren
- psql-Fehlerzeilen in SSH+dockexec-Pipelines sehen aus wie Datensätze — stderr nie wegmaskieren, Counts gegen Roh-Count-Queries kreuzvalidieren
## Legacy-Immich auf CT111 (stillgelegt 2026-10-09)
| Eigenschaft | Wert |
|--- verwende ---|---|
| Host | CT111 = 10.0.30.99 (Proxmox-CT, Root-FS /dev/rbd1 49 G) |
| Version | v2.6.3, Docker-Compose `/opt/immich/docker-compose.yml` |
| Assets | 53.613 (53.257 unique; 356 Dubletten) — **vollständige Teilmenge von K8s, formal bewiesen** |
| Container | `immich_server`, `immich_machine_learning`, `immich_redis`, `immich_postgres` — alle `exited`, `restart=no` |
| Daten | unangetastet: `/mnt/data/immich-library` (344 G, eigenes RBD), `/mnt/data/immich-postgres` (1,4 G, Root-FS) |
| Seafile-Stack | derselbe CT, UNBERÜHRT (seafile, seafile-redis, seafile-memcached, seafile-mysql, seadoc, ideogram4-api) |
### Stilllegungs-Rezept (nachvollziehbar)
1. Pre-Flight: aktive Connections auf Published Port 2283 prüfen (`ss -tn established`) — nur bei 0 stilllegen
2. Graceful Stops in Order: server → ML → redis → postgres
3. `docker update --restart=no` je Container (compose-file NICHT anfassen — dort stehen noch `restart: always`, ein `compose up -d` würde alles wieder hochfahren)
4. Verify: `docker inspect` status+restart-policy je Container, `docker ps` zeigt nur noch Seafile-Stack
### Rollback jederzeit möglich
`docker start immich_postgres immich_redis immich_machine_learning immich_server` (Reihenfolge!) + `docker update --restart=always …` — Daten unberührt.
## Offene Punkte
- **fluent-bit-Journal-Flut auf CT111:** Loki 10.0.30.207:3100 unreachable → Journal wächst wieder. Fix: Loki-Routing oder journald-Drop-In `SystemMaxUse=200M`.
- Foto-Ingest NAS → K8s (305 G Dominik + 119 G Sarah) gegen 56.887 Bestandsassets dedupen — nächster Migrationsschritt
- Endgültige Dekommissionierung (Volumes/DB/Images) separat genehmigen; bis dahin bleibt alles liegen
- CT111-Disk-Reserven: ~15,6 GB ungenutzte getaggte Images + diverse Volumes — nur mit Freigabe
## Verweise
- [[systems/seafile]] — Dokumente/Archive-Ziel der Home-Migration
- [[systems/ceph-cluster]] — cephfs-PVC der K8s-Instanz
- [[systems/rke2-kubernetes]] — Cluster-Anatomie
- Solution-Doc: `docs/solutions/workflows/2026-10-09-immich-legacy-decommission-prep.md`
+7 -2
View File
@@ -3,7 +3,7 @@ title: Loki + Fluent Bit (Logging Stack)
category: systems
tags: [loki, fluent-bit, logging, observability]
created: "2026-07-24"
modified: "2026-07-25"
modified: "2026-10-09"
---
# Loki + Fluent Bit (Logging Stack)
@@ -13,7 +13,12 @@ modified: "2026-07-25"
- **Mode:** SingleBinary, `replication_factor: 1` (fix 2026-07-25)
- **Chart:** grafana/loki v6.42.0 via ArgoCD GitOps
- **Caches:** memcached disabled (`chunksCache.enabled: false`, `resultsCache.enabled: false`)
- **External Service:** `loki-external`, LoadBalancer `10.0.30.207:3100`
- **External Service:** `loki-lb`, LoadBalancer `10.0.30.207:3100` (restauriert 2026-10-09, Commit `fb4d8b9`, Manifest `clusters/main/logging/loki-lb.yaml`, App `logging-config`) — Vorgänger `loki-external` war MANUELL kubectl'd, nie in Git, starb unbemerkt bei Helm-Iterationen → Fleet-weiter Journal-Spam. Seit Restaurierung GitOps-gemanagt.
### Known Issues (Fixed 2026-10-09: LB-VIP-Totalausfall)
| Symptom | Root Cause | Fix |
|---------|-----------|-----|
| fluent-bit Fleet (9 Hosts + LXCs) fluutet Journals mit „No route to host 10.0.30.207:3100" seit ~7. Okt.; CT111-Journal 4,1 GB (95 % Spam), Disk 99 % | Manueller SVC `loki-external` (LB .207) verschwand bei Loki-Helm-Iterations-Recreates — keine GitOps-Deckung | `loki-lb` Manifest in Git (Selector single-binary auf loki-0), ArgoCD-App `logging-config` synced es; VIP sofort wieder im Cilium-Pool |
### Known Issues (Fixed 2026-07-25)
| Issue | Root Cause | Fix |