--- category: systems tags: [hermes-host, runner, systemd, backup, housekeeping, watchdog] updated: 2026-10-08 --- # systems/hermes-agent-01 — Lokaler Hermes-Runner ## Identity - Debian 12, Kernel 6.1.0-53-amd64, Root-FS **79G ext4 (/dev/sda1)** — historisch knappe Resource! - Rolle: Hermes-Agent-Host (Telegram-Gateway, Crond, Playwright, avahi `hermes-agent-01.local`); Arbeitstiers laufen aus `~/hermes-agent` Worktree (`venv/bin/python -m hermes-cli main`). ## Storage-Governance (Stand 08.10., nach Krisenwoche) - **Worst Case erlebt:** 96–100 % volles Root-FS (10./08.10.) → korrupte write_file-Writes (mid-stream truncation); Syntax-Checker fing 2× korrupte Dateien. - Aktuell: **59 % belegt, 32 G frei** (von 96 % morgens). - **Permanenter Guards:** - journald: Drop-in `/etc/systemd/journald.conf.d/sizecap.conf` → `SystemMaxUse=200M` (1017M→199M) - uv-Cache: Guard-Cron `624a2f98fb10` (So 09:00, no_agent, Skript `clean_uv_cache.sh`, Threshold 3 GiB, leise wenn drunter) - **Podman bereinigt (08.10.):** 160 → 15 Images, ~23 G freigegeben (Inventory: `~/podman_inventory_2026-10-08.txt`). `schoenkitchen:latest` wurde versehentlich mitgeprünt (Namensregel-Fehler beim Pin-Container) → aus Git-Quelle rebuildet (`8c439711ceef`, 168 MB). - Producer der alten Krise: siehe Backup unten (tarballs in /tmp ohne Limit). ## Backup-Pipeline (produzierend seit 08.10.) - systemd `hermes-backup.timer` 04:00 UTC → `hermes-backup.service` (User debian) → `~/.hermes/scripts/backup-to-s3.sh` - Ziel: Norris S3 `rgw.nbg.nsc.noris.cloud`, Bucket `homelab-hermes-backup`, Retention 14 Tage; Creds via 1P Item `postgres-s3-backup` (Vault Kubernetes ESO). - **RCA 08.10.:** Exit 127 `aws: command not found` seit ≥27.09. (systemd-PATH ohne `~/.local/bin`) → Offsite TOOT + /tmp-Vollauf. Fix: Skript (absoluter AWS_BIN + `trap ... EXIT`-Cleanup) + Drop-in `/etc/systemd/system/hermes-backup.service.d/override.conf` (PATH + TimeoutStartSec 3600). Produktionslauf verifiziert (SUCCESS, S3-Readback 2.284.533.218 B). → PAT-015. - Belt-and-braces: manuelle Tarballs liegen zusätzlich auf NAS `10.0.20.100:/pool01_n2_redundant/backups/hermes-host/` (10 Stück, SHA256-verifiziert). ## Watchdogs (lokal registriert) - **NUT UPS Watchdog** Cron `4cbf03ccb4de` (1/min): rohes NUT-Proto gegen 10.0.20.92:3493, quiet-if-OK → Wiki systems/nut. - **uv Cache Guard** Cron `624a2f98fb10` (So 09:00). - HA-Backup-Alter Checker `2006a91fba21` (tägl. 12:00, Schwelle 30 h). ## Gotchas dieses Hosts - systemd/cron kennen `~/.local/bin` NICHT (aws, uv!) → Absolutpfade oder Drop-ins. PAT-015. - Root-FS-Volllauf = Korruptionsquelle Nr. 1 (write_file mid-stream truncation) — vor großen Writes Platz checken. - Terminal-Foreground verbietet `&`-Konstrukte; Async nur via `background=true`. - PDF-Generation via `/home/debian/.venvs/pdfkit/bin/python3` (PEP-668 sperrt System-pip). - `~/.hermes/state.db` 1,84 G + Snapshots 507 M — größte Nicht-Container-Posten. ## Related - [[systems/nut]] — UPS-Watchdog-Detail - [[reference/emhass-cascade]], [[systems/homeassistant]] - docs/solutions/bug-fixes/2026-10-08-hermes-offsite-backup-aws-path-rca.md