From dd78080e5f7c0296a6168283a496e0c6c5f988b9 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Fri, 2 Oct 2026 22:00:00 +0000 Subject: [PATCH] Auto-sync: 2026-10-02 --- index.md | 3 + log.md | 27 ++++ patterns/llm-backend-hang-diagnosis.md | 118 +++++++++++++++ .../emhass-cascade-automation-architecture.md | 141 ++++++++++++++++++ systems/homeassistant.md | 15 ++ systems/noris-ai.md | 49 ++++-- systems/sarah-hermes.md | 25 ++++ systems/ubuntu-host.md | 32 ++++ 8 files changed, 400 insertions(+), 10 deletions(-) create mode 100644 patterns/llm-backend-hang-diagnosis.md create mode 100644 reference/emhass-cascade-automation-architecture.md create mode 100644 systems/ubuntu-host.md diff --git a/index.md b/index.md index f0dde64..9c9a75e 100644 --- a/index.md +++ b/index.md @@ -37,6 +37,7 @@ - [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify - [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI - [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant) +- [[systems/ubuntu-host]] — Physischer Ceph-Node 10.0.20.100, MSI B150M ECO, kein freier PCIe-x8-Slot (NVMe-Träger auf PEG) ## Concepts - [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs @@ -49,6 +50,7 @@ - [[reference/ip-map]] — IP → Host → Service Mapping - [[reference/ssh-keys]] — Key → Zweck → Fingerprint - [[reference/ports]] — Port → Service → Host +- [[reference/emhass-cascade-automation-architecture]] — EMHASS/Kaskaden Batteriesteuerung, Config, Pitfalls ## Patterns - [[patterns/_README]] — Konzept und Nutzung des Patterns-Verzeichnisses @@ -66,6 +68,7 @@ - [[patterns/placement-guardrails]] — 70% RAM-Deckel + Swap-Verbot als Prometheus-Rules (PAT-012) - [[patterns/prometheus-config-rescue]] — grep -vn Gift/Crashloop, LXC-Rootfs-Direct-Mount-Rescue (PAT-013) - [[patterns/ceph-dead-nvme-resurrection]] — PCI-Reset→lvchange→chown-Falle, Weight-Management bei Reintegration (PAT-014) +- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015) - [[patterns/skill-impact]] — Skill Modification Audit Trail ## Memory Layer Architektur diff --git a/log.md b/log.md index 1b47c1d..b31081e 100644 --- a/log.md +++ b/log.md @@ -1,5 +1,32 @@ # Memory Log +## [2026-10-02] hermes-gui-modelpicker | Stale-Katalog im Modelpicker behoben +- Symptom: Modelpicker der GUI (Hermes Desktop via hermes-serve :9119) zeigt je Profil andere noris-Modellzahlen — personal-coach nur **25**, infra-sre **40** (3 Phantome), Rest 37-38. +- Root Cause: `$HERMES_HOME/provider_models_cache.json` (disk-Cache des `/v1/models`-Katalogs). `cached_fetch_api_models()` liefert bis **7 Tage** Altes aus (TTL 1h, stale-while-revalidate) und revalidiert im **Daemon-Thread** — der in kurzlebigen Prozessen / nie geöffneten Picker-Profilen nie landet. Kein Fehler sichtbar. +- **Key-Falle:** Cache-Key ist `custom:` (neu: `…#`), **nicht** der Provider-Slug. `cached_provider_model_ids("noris")` ist die falsche Funktion (schreibt fremden Key, liefert 19 statt 37). +- Fix: `~/.hermes/scripts/refresh-picker-catalog.py` (Dry-Run default, `--apply`, mit Backup) → **alle 5 Profile 37 Modelle, 0 fehlend**. Kein Restart nötig (Cache wird pro Call neu gelesen). +- E2E-verifiziert über `build_model_options_payload()` — die eine Quelle für Desktop-Picker, `/api/model/options`, TUI `model.options` und Bots-Profile-Editor. Config-Dateien unberührt (mtime 2026-09-27/29). +- Doku: `docs/solutions/integrations/2026-10-02-hermes-gui-modelpicker-stale-catalog.md`; Skill `hermes-agent` gepatcht. +- **Offen (nicht angefasst):** `vllm/qsu/glm-5-3-flash` = Default im default-Profil, **nicht in /v1/models**, konsistent **HTTP 503** → tot. 3 Profile auf `vllm/release/glm-5-2`, infra-sre auf `vllm/moonshotai/kimi-k2.6` (**403 model_blocked**). Von 37 gelisteten Modellen sind nur ~20 chatfähig (TTS/Reranker/Embedding liefern 400). + +## [2026-10-02] sarah-hermes-timeout | glm-5-2 Upstream-Hang → Modellwechsel +- Symptom: Sarahs Hermes (VM107) läuft in Turn-Timeouts. `errors.log`: `httpx.ReadError: Broken pipe` → `openai.APIConnectionError` → 3 Retries → "unresponsive … 5 stale attempts". +- Root Cause: **`vllm/release/glm-5-2` hängt upstream bei ai.noris.de** — TCP-Connect OK (0.69s), aber 0 Bytes, stream + non-stream, von VM107 UND extern reproduzierbar. +- Ausgeschlossen: VM-Ressourcen (Load 0.11, 2.1GB frei), Netz (DNS 0.84s/TCP 0.69s/TLS 1.3s), Key-Scope (4 andere Modelle mit demselben Key = 200). +- Fix: Default `model.default` + `providers.noris.model` → `vllm/qsu/deepseek-v41-flash`. Backup `config.yaml.bak.20261002_075455`. Restart 07:55:41 (mtime config 07:55:23 < Start ✓). +- **E2E verifiziert:** Session meldet neues Modell, Turn completed in 15s, Transcript `user::…PONG` → `assistant::PONG`. Test-Session danach gelöscht (7 übrig). +- Nebenbefunde: `auxiliary.vision.model = release/gemma-4-31b-it` → **403 model_blocked**. `fallback_providers: []` = kein Fallback (Amplifier). Unit-File `0644` mit Passwort+API-Key im Klartext. +- Neu: Pattern [[patterns/llm-backend-hang-diagnosis]] (PAT-015), Wiki [[systems/sarah-hermes]] Pitfalls 4-6. + +## [2026-10-02] emhass-cascade-fix | Kaskaden-Bugfix + Config-Pitfall + Overnight-Hold +- Double-Counting Bug behoben: `sensor.sma_target_power` entfernt, `sensor.marstek_target_power` nutzt jetzt echte BYD-Werte (discharge − charge) statt Forecast-Split. Summe BYD+Marstek = EMHASS target ✓. +- BYD 802 Hold-Bedingung erweitert: `target < 0` → `target <= 0` (Hold bei target=0 eingeschlossen). +- EMHASS `battery_target_state_of_charge` 0.30 → 0.15 (65% Overnight-Hold war zu hoch). +- **Pitfall:** `POST /set-config` überschreibt GESAMTE Konfig, nicht nur gesendete Felder. Reset auf Defaults (5kWh, 1000W, dynamic=false). Musste alle 14 Parameter zusammen resendieren. +- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md` +- Wiki: `reference/emhass-cascade-automation-architecture.md` neu, `systems/homeassistant.md` EMHASS-Sektion ergänzt. +- Hindsight: Config + Pitfall semantisch indexiert. + ## [2026-09-30] k8s-cp01-relief-descheduler | Workload-Migration + Descheduler-Deployment - cp-01 bei 93% RAM → hindsight-api + hindsight-postgres + paperless nach worker-05 migriert (cordon/delete/uncordon). cp-01 RAM 93%→43%. - ArgoCD selfHeal belebte alte ReplicaSets mit nodeSelector wieder → manuell auf 0 skalieren bis konvergiert. diff --git a/patterns/llm-backend-hang-diagnosis.md b/patterns/llm-backend-hang-diagnosis.md new file mode 100644 index 0000000..fa402f9 --- /dev/null +++ b/patterns/llm-backend-hang-diagnosis.md @@ -0,0 +1,118 @@ +--- +title: "LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden" +pattern_id: PAT-015 +category: patterns +tags: [llm, timeout, diagnosis, noris, hermes, debugging] +created: "2026-10-02" +severity: high +--- + +# PAT-015: LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden + +## Symptom + +Agent-Turns laufen in Timeouts. Logs zeigen: +``` +httpx.ReadError: [Errno 32] Broken pipe + → openai.APIConnectionError: Connection error. + → 3 Retries mit Backoff + → "Provider has been unresponsive (no response received) for + 5 consecutive stale attempts — aborting this call" +``` + +Der Instinkt sagt "Netzwerk" oder "VM überlastet". **Meist falsch.** + +## Signatur des Modell-Defekts + +| Beobachtung | Bedeutung | +|-------------|-----------| +| TCP-Connect **erfolgreich** (`time_connect` < 1s) | Netzwerk ist in Ordnung | +| TLS-Handshake OK (`time_appconnect` gesetzt) | Proxy/Ingress funktioniert | +| **`ttfb = 0.000000`**, Timeout mit *0 bytes received* | Backend nimmt an, antwortet nie | +| Trifft stream **und** non-stream gleich | Kein Streaming-Bug — Modell-Server hängt | +| **Andere Modelle am selben Endpoint: 200** | Key, Netz, Infra alle gesund | + +**Kernpunkt:** `code=000` bei erfolgreichem Connect = der Upstream-Backend-Prozess +für *dieses eine Modell* ist tot/hängt. Nicht das Netz. + +## Diagnose-Rezept (5 Minuten) + +Identischer Key, identischer Host, **Modell-Matrix** gegentesten: + +```bash +KEY= +for m in ; do + curl -s -o /tmp/r.json -w "%{http_code}" --max-time 20 \ + https:///v1/chat/completions \ + -H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \ + -d "{\"model\":\"$m\",\"messages\":[{\"role\":\"user\",\"content\":\"say OK\"}],\"max_tokens\":8}" +done +``` + +**Ein einziges Modell 000 + Rest 200 ⇒ Modell-Defekt, kein Infra-Defekt.** + +Gegenprobe von einem **zweiten Host** ausschließen, dass es host-spezifisch ist. + +## Pitfalls bei der Diagnose + +1. **Key aus `~/.hermes/.env` greppen schlägt fehl**, wenn der Key im systemd-Unit + als `Environment=` steht. → Aus dem laufenden Prozess lesen, nicht aus `.env`: + `sudo tr '\0' '\n' < /proc//environ` + Die PID rotiert bei jedem Restart — nicht cachen. +2. **401/403/400 nicht mit 000 verwechseln.** Key-Scope-Fehler antworten sofort + mit Body. `code=000` ist der einzige echte Hang. +3. **`/v1/models` listet auch Modelle, die der Key nicht darf** (`403 model_blocked`). + Auflisten ≠ nutzbar. +4. **Veraltete Response-Datei:** bei `code=000` schreibt curl keine Datei → + `head` zeigt die *vorherige* Antwort. Sieht aus wie Erfolg. Immer `-w %{http_code}` + als Wahrheit nehmen, nicht den Body. + +## Amplifier: fehlender Fallback + +```yaml +fallback_providers: [] # ← kein Fallback +agent: + api_max_retries: 3 +mcp_servers: + playwright: + timeout: 120 + connect_timeout: 60 +``` + +Ohne Fallback hängt jeder Turn bis `timeout` × Retries. Ein defektes Modell +legt dann die **ganze** Instanz lahm statt einen degradierten Betrieb zu erzeugen. + +## Fix + +Default-Modell auf ein verifiziert funktionierendes umstellen, **dann E2E testen** — +nicht nur Config-Write verifizieren: + +```bash +# 1. Backup +cp -a config.yaml config.yaml.bak.$(date +%Y%m%d_%H%M%S) +# 2. Beide Modell-Referenzen patchen (model.default + providers.

.model) +sed -i 's|||g' config.yaml +# 3. YAML validieren +python3 -c "import yaml;yaml.safe_load(open('config.yaml'))" +# 4. mtime(config) MUSS < Prozessstart sein +stat -c '%y' config.yaml; systemctl show -p ActiveEnterTimestamp +# 5. Restart + E2E-Turn +``` + +**Verifikationskette, die zählt:** +- Neue Session meldet das neue Modell (`session.model`) +- Ein echter Turn läuft durch (`terminal_state: completed`) +- Transcript enthält die Assistant-Antwort + +## Referenz-Vorfall + +2026-10-02, sarah-hermes VM107: `vllm/release/glm-5-2` hing bei `ai.noris.de` +(0 Bytes, stream + non-stream, von 2 Hosts). Derselbe Key lieferte mit +`qsu/deepseek-v41-flash`, `release/gpt-oss-120b`, `qsu/qwen3.8-27b`, +`release/qwen3.6-27b` jeweils 200. Fix: Default → `qsu/deepseek-v41-flash`, +E2E-Turn in 15s. + +## Related + +- [[systems/sarah-hermes]] — Vorfall VM107 +- [[systems/noris-ai]] — Endpoint, Modell-Katalog diff --git a/reference/emhass-cascade-automation-architecture.md b/reference/emhass-cascade-automation-architecture.md new file mode 100644 index 0000000..955b1f7 --- /dev/null +++ b/reference/emhass-cascade-automation-architecture.md @@ -0,0 +1,141 @@ +--- +title: "EMHASS Kaskaden-Automations-Architektur" +category: reference +tags: [emhass, battery, cascade, homeassistant, byd, marstek] +created: "2026-10-02" +modified: "2026-10-02" +--- + +# EMHASS Kaskaden-Automations-Architektur + +> Steuerung der dualen Batterie-Systems (BYD 11kWh + Marstek 5kWh) via EMHASS Optimizer + HA Kaskaden-Automation. + +## Architektur-Übersicht + +``` +EMHASS (LP Solver) → sensor.smart_battery_target + ↓ + ┌───────────────────┴──────────────────┐ + │ Kaskaden-Automation (jede 2 Min) │ + ├───────────────────────────────────────┤ + │ BYD/SMA: 803 Auto (default) │ + │ 802 Manual (bei target≤0) │ + │ Marstek: force_mode via │ + │ sensor.marstek_target_power │ + │ (= smart_target − BYD_actual)│ + └───────────────────────────────────────┘ +``` + +## EMHASS Configuration (16 kWh Virtual Battery) + +| Parameter | Value | Hinweis | +|-----------|-------|---------| +| `battery_nominal_energy_capacity` | 16000 | BYD 11k + Marstek 5k kombiniert | +| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) | +| `battery_discharge_power_max` | 6700 | dto. | +| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt | +| `battery_discharge_efficiency` | 0.9 | dto. | +| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) | +| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung | +| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor | +| `battery_maximum_state_of_charge` | 1.0 | 100% | +| `set_battery_dynamic` | True | Dynamische Peeling erlaubt | +| `set_use_battery` | True | Batterie aktiv | +| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC | +| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung | +| `use_websocket` | True | | + +## ⚠️ Known Pitfall: set-config Full Overwrite + +`POST /set-config` ersetzt die **gesamte** Konfiguration, nicht nur gesendete Felder. +Nicht angegebene Parameter fallen auf Defaults zurück (capacity→5000, power→1000, etc.). + +**Regel:** Immer ALLE Parameter zusammen senden. Nach jedem Write mit `GET /get-config` verifizieren. + +Siehe Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md` + +## Kaskaden-Automation + +**Automation ID:** `1774430238377` (ON) +**Schedule:** Alle 2 Minuten +**File:** `/mnt/data/supervisor/homeassistant/automations.yaml` + +### BYD/SMA Steuerung + +| EMHASS target | PV | BYD Modus | Bedeutung | +|--------------|-----|-----------|-----------| +| `> 0` (Entladung) | egal | **803 Auto** | BYD self-managed, Marstek kriegt Rest | +| `≤ 0` (Hold/Ladung) | `< 100W` | **802 Manual** | BYD hält/zwingt Ladung, EVCC hold | +| `< 0` (Ladung) | `≥ 100W` | **803 Auto** | PV reicht, BYD lädt selbst | + +- BYD läuft permanent in Auto/Normal — nur bei EMHASS-Hold/Zwangsladung auf 802 +- Modbus Register: 44425 (Mode), 44427 (Power) +- BYD IP: `10.0.50.202:502` + +### Marstek Steuerung + +- `sensor.marstek_target_power` = `smart_battery_target − actual_BYD_discharge + actual_BYD_charge` +- Cap: ±2500W +- Force modes: `charge`, `discharge`, `standby` +- Writable entities: `select.marstek_venus_modbus_force_mode`, + `number.marstek_venus_modbus_ladeleistung_einstellen`, + `number.marstek_venus_modbus_entladeleistung_einstellen` +- Marstek IP: `10.0.50.113` + +### Gelöste Bugs + +1. **Double-Counting (behoben 2026-10-01):** `sensor.sma_target_power` nahm volle EMHASS-Target, + ließ Marstek 0W. Fix: `sma_target_power` gelöscht, `marstek_target_power` nutzt jetzt + echte BYD-Werte (discharge - charge) statt Forecast-Split. +2. **Overnight Hold Too High (behoben 2026-10-02):** EMHASS hielt bei 65% weil + `target_state_of_charge=0.30`. Geändert auf 0.15. +3. **BYD ignoriert Hold (behoben 2026-10-02):** 802-Bedingung war `target < 0`, + jetzt `target <= 0` (Hold bei target=0 eingeschlossen). + +## Template Sensoren (configuration.yaml) + +- `sensor.smart_battery_target` — EMHASS p_batt_forecast, gerundet +- `sensor.marstek_target_power` — Plan A: smart_target − actual_BYD_net_discharge + - Guards: SoC-Checks, ±2500W cap + - `sensor.sma_target_power` — **ENTFERNT** (war Double-Counting Source) + +## Cron Jobs + +| Job ID | Schedule | Typ | Funktion | +|--------|----------|-----|----------| +| `a32005d62226` | every 15m | no_agent script | Ruft EMHASS Optimization auf, published Plan zu HA | + +Runner: `/home/debian/.hermes/scripts/emhass-optimizer-runner.sh` +Optimizer: `/home/debian/scripts/emhass_optimizer.py` + +## Deaktivierte Komponenten + +| Component | Status | Grund | +|-----------|--------|-------| +| Tibber Smart Charging Bridge | OFF | EMHASS ist sole optimizer | +| Marstek Kaskaden-Steuerung (Modbus) | OFF | Alte PV-only Kaskade, ersetzt durch EMHASS-Kaskade | + +## Hardware Referenz + +| Device | IP | Capacity | Max Power | Interface | +|--------|----|----------|-----------|-----------| +| BYD/SMA SBS | 10.0.50.202:502 | 11 kWh | 4.2 kW | Modbus 44425/44427 | +| Marstek Venus E | 10.0.50.113 | 5 kWh | 2.5 kW | HA Entities (Modbus) | +| SMA SB #1 | 10.0.50.201:502 | — | — | PV Wechselrichter | +| SMA SB #2 | 10.0.50.203:502 | — | — | PV Wechselrichter | +| Hoymiles | 10.0.40.55 | — | — | OpenDTU | + +## Zugriff + +- EMHASS API: `http://10.0.30.10:5000` +- HA intern: `http://10.0.30.10:8123` +- HA extern: `https://homeassistant.familie-schoen.com` +- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox -p 22222 root@10.0.30.10` +- HA Token: `/tmp/ha_token.txt` +- HA Config: `/mnt/data/supervisor/homeassistant/` +- Backups: `.bak.20261001_175804` (configuration.yaml + automations.yaml) + +## Related + +- [[systems/homeassistant]] — HA System Seite +- Solution Doc: `docs/solutions/integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md` diff --git a/systems/homeassistant.md b/systems/homeassistant.md index 91055dc..aef8e81 100644 --- a/systems/homeassistant.md +++ b/systems/homeassistant.md @@ -64,7 +64,22 @@ modified: "2026-09-27" - Marstek Speicher (VENUS-E, IP 10.0.50.113) - Various sensors (Xiaomi BLE, etc.) +## EMHASS Batteriesteuerung +- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4) +- **Architektur:** EMHASS = Sole Optimizer. Virtuelle 16 kWh Batterie (BYD 11k + Marstek 5k). +- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`. +- **Akuelle Config (2026-10-02):** + - Capacity 16000Wh, Charge/Discharge 6700W, Efficiency 0.9 + - Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0 + - `set_battery_dynamic: True`, `set_use_battery: True` + - SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total` +- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`) +- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug). +- **Cron:** `a32005d62226` (no_agent, every 15m, runner script) ruft EMHASS Optimization auf. +- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml + ## Related - [[systems/frigate]] — NVR Integration - [[systems/noris-ai]] — LLM Vision Provider - [[reference/ip-map]] — IP Assignments +- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details diff --git a/systems/noris-ai.md b/systems/noris-ai.md index bbd5690..8fefa15 100644 --- a/systems/noris-ai.md +++ b/systems/noris-ai.md @@ -18,23 +18,52 @@ modified: "2026-09-29" ## Modelle | Typ | Modell-ID | Hinweise | |-----|-----------|----------| -| Flagship LLM | `glm-5-2` | Primary, OpenRouter-kompatibel | -| General | `gemma-4-31b-it` | Vision-fähig, genutzt von LLM Vision | -| Large MoE | `gpt-oss-120b` | | -| Mid-range | `qwen3.6-27b` | | -| Mid-range | `qwen3.8-27b` | | -| Fast | `ds-v4-flash` | Low-latency, Paperless OCR | -| Embedding | `harrier` | Vektorembeddings | +| Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. | +| General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key | +| Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 | +| Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 | +| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 | +| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 | +| Embedding | `harrier` | Vektorembettungen | | Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. | +### Deployment-Lanes +Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** — +ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt). +Bei Key-Problemen immer beide Lanes gegentesten. + +### `/v1/models` ist KEINE Verfügbarkeitsliste +Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und +auch solche, deren Backend hängt (→ curl `code=000`). + +## Ausfall-Log + +| Datum | Modell | Symptom | Status | +|-------|--------|---------|--------| +| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen | + +**Log-Signatur:** +``` +httpx.ReadError: [Errno 32] Broken pipe + → openai.APIConnectionError: Connection error. + → 3 Retries → "Provider has been unresponsive (no response received) + for 5 consecutive stale attempts" +``` +**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect` +⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015). + ## Verbraucher -- **Hermes Agent** — Primärmodell `glm-5-2` via OpenRouter +- **Hermes Agent** — Primärmodell; `glm-5-2` war Default bis 2026-10-02, + jetzt `qsu/deepseek-v41-flash` - **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events) - **Paperless** — `ds-v4-flash` für OCR/Kategorisierung -- **Personal Coach Bot** — `glm-5-2` via noris direkt -- **Dynamic Coach** — `glm-5-2` via noris direkt, `qwen-image-2-1` für Visualisierungen +- **Sarah-Hermes (VM107)** — `qsu/deepseek-v41-flash` (2026-10-02 umgestellt) +- **Personal Coach Bot** — via noris direkt +- **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen ## Related - [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung - [[systems/homeassistant]] — LLM Vision Integration - [[systems/paperless]] — OCR via ds-v4-flash +- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02 +- [[patterns/llm-backend-hang-diagnosis]] — PAT-015 diff --git a/systems/sarah-hermes.md b/systems/sarah-hermes.md index b97ff86..4fb74d0 100644 --- a/systems/sarah-hermes.md +++ b/systems/sarah-hermes.md @@ -56,6 +56,16 @@ den 5 Owner-Profilen. - Offsite: folgt dem regulären `push-offsite` Sync-Job (Pull↔Push-Korrektur vom 19.09.). +## Modell / Provider (Stand 2026-10-02) + +- **Default-Modell:** `vllm/qsu/deepseek-v41-flash` (gewechselt von `vllm/release/glm-5-2`) +- Grund: `release/glm-5-2` hing upstream (siehe Pitfall 4) +- **`fallback_providers: []`** — kein Fallback konfiguriert! Bei Modellausfall hängt + jeder Turn bis `timeout: 120` + 3 Retries. Kandidat für Redundanz-Fix. +- Key-Scope VM107 (`sk-bf-8779…a6a7`): funktioniert mit `qsu/deepseek-v41-flash`, + `release/gpt-oss-120b`, `qsu/qwen3.8-27b`, `release/qwen3.6-27b`. + **Blockiert (403):** `release/gemma-4-31b-it`. + ## Known Issues / Pitfalls 1. **Python-Version-Mismatch:** hermes-agent pyproject pins Core-Deps an @@ -67,6 +77,21 @@ den 5 Owner-Profilen. Betriebsbetrieb unbeeinträchtigt. Fix-Idee: `chown` im Entry-Point. 3. **telegram-bridge Notify-Target defekt** (seit 19.09., Connection refused): betrifft vzdump-Notifications clusterweit, nicht nur VM107. Separater Fix. +4. **Upstream-Modell hängt → Turn-Timeouts** (2026-10-02): `vllm/release/glm-5-2` + lieferte bei noris `ai.noris.de` **null Bytes** (TCP-Connect OK, TTFT ∞, + auch non-stream). Symptom im `errors.log`: + `httpx.ReadError: [Errno 32] Broken pipe` → `openai.APIConnectionError` + → 3 Retries → *"Provider has been unresponsive … 5 consecutive stale attempts"*. + Kein VM-/Netzwerk-/Key-Problem — von VM107 **und** von extern reproduzierbar, + während 4 andere Modelle mit demselben Key 200 lieferten. + **Diagnose-Rezept:** identischer Key, identischer Host, Modell-Matrix + gegentesten (nur so trennt man Modell- von Infra-Defekt). + Fix: Default auf `vllm/qsu/deepseek-v41-flash`. Verifiziert E2E (Turn 15s, PONG). +5. **Vision-Modell 403:** `auxiliary.vision.model = vllm/release/gemma-4-31b-it` + → `model_blocked` für diesen Key. Offen. +6. **Secrets im Unit-File:** `/etc/systemd/system/hermes-webui.service` ist + `0644 root:root` und enthält `HERMES_WEBUI_PASSWORD` + `HERMES_CUSTOM_NORIS_API_KEY` + im Klartext → für jeden lokalen User lesbar. Sollte in `.env` mit `0400`. ## Verification History diff --git a/systems/ubuntu-host.md b/systems/ubuntu-host.md new file mode 100644 index 0000000..75256e1 --- /dev/null +++ b/systems/ubuntu-host.md @@ -0,0 +1,32 @@ +# Ubuntu-Host (physischer Node, 10.0.20.100) + +Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.20.100`. + +## Hardware (live verifiziert 2026-10-02) + +| Komponente | Detail | +|---|---| +| Board | MSI B150M ECO (MS-7994), µATX, Skylake/Series-100 | +| CPU | Xeon E3-1200 v6 (HD 630 iGPU, keine dGPU) | +| onboard NIC | Intel I219-V (enp0s31f6), **1G only** | +| RAM/Uptime | — / 59 Tage (Stand 2026-10-02) | + +## PCI-Anatomie (kritisch für Erweiterungen) + +- **PEG x16-Slot (J6B2):** von **ASM2824 PCIe-Switch-Karte** belegt (Dual-M.2-Träger). Root-Port zeigt x8 physikalisch (LnkSta x8 @ 8GT/s), Switch downstream x4 an beide Kingston SFYRDK2000G NVMe (= osd.2/osd.-Partner, ZVG `pool01_n2_redundant`). **Downstream-Busse 04 und 06 sind LEER** (Slots/ASIC-Ports ohne Device) — aber: Switch ist an x8 angebunden, theoretisch bis zu 4 weitere x4-Devices möglich, praktisch hängt das am Trägerkarten-Layout (kein externer Slot). +- **Chipset-x1-Slots (J6B1/J6D1/J7B1/J8B4/J8D1):** laut DMI alle „In Use" — tatsächlich ist **nur 00:1c.0 (ASMedia ASM1064 SATA, Bus 07)** real bevölkert (5 HDD-OSDs + Crucial-Boot-Plate). Die übrigen 1c.x-Root-Ports melden keine Secondary-Bus → **physikalisch frei**. +- **Legacy-PCI (J8B3):** DMI-Inventar-Fantasie, B150 hat keinen PCI-Bus. + +## Fazit 10GbE-Erweiterung (Oktober 2026) + +**Freier PCIe-x8/x16-Slot: NEIN.** Für 10G-SFP+-NIC bräuchte es den PEG-Slot → NVMe-Träger raus = ZFS-Mirror + 2 OSDs sterben. **Entscheidung: Ubuntu bekommt KEINE 10G-NIC; Anbindung bleibt 1G (I219-V) bzw. via SM5310-T-Modul am Core-Switch SX3008F (2× TL-SM5310-T sind dafür eingeplant, siehe Omada-Upgrade-Einkaufsliste).** Chipset-x1-Slots sind physisch frei, aber x1 Gen3 (~985 MB/s netto) reicht maximal für ~8G — für eine X520/x8-Karte ungeeignet (Mechanik + Lanes). + +## Bekannte Themen + +- NVMe-Controller-Tod Kingston PCI 03:00.0 (2026-09-30, PAT-014) — revived via PCI remove/rescan; SMART-Audit gesund, nur Controller-Ebene. Temps 70/78 °C beobachten. +- Host-Eintrag `10.0.20.100 ubuntu` in /etc/hosts aller PVE-Nodes nötig (PVE-GUI 500 ohne DNS/hosts). + +## Related + +- [[systems/ceph-cluster]] — OSDs 2/8/15/17/18 laufen hier +- [[patterns/ceph-dead-nvme-resurrection]] (PAT-014)