Auto-sync: 2026-10-02
This commit is contained in:
@@ -0,0 +1,118 @@
|
||||
---
|
||||
title: "LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden"
|
||||
pattern_id: PAT-015
|
||||
category: patterns
|
||||
tags: [llm, timeout, diagnosis, noris, hermes, debugging]
|
||||
created: "2026-10-02"
|
||||
severity: high
|
||||
---
|
||||
|
||||
# PAT-015: LLM-Backend hängt — Modell- vs. Infra-Defekt unterscheiden
|
||||
|
||||
## Symptom
|
||||
|
||||
Agent-Turns laufen in Timeouts. Logs zeigen:
|
||||
```
|
||||
httpx.ReadError: [Errno 32] Broken pipe
|
||||
→ openai.APIConnectionError: Connection error.
|
||||
→ 3 Retries mit Backoff
|
||||
→ "Provider has been unresponsive (no response received) for
|
||||
5 consecutive stale attempts — aborting this call"
|
||||
```
|
||||
|
||||
Der Instinkt sagt "Netzwerk" oder "VM überlastet". **Meist falsch.**
|
||||
|
||||
## Signatur des Modell-Defekts
|
||||
|
||||
| Beobachtung | Bedeutung |
|
||||
|-------------|-----------|
|
||||
| TCP-Connect **erfolgreich** (`time_connect` < 1s) | Netzwerk ist in Ordnung |
|
||||
| TLS-Handshake OK (`time_appconnect` gesetzt) | Proxy/Ingress funktioniert |
|
||||
| **`ttfb = 0.000000`**, Timeout mit *0 bytes received* | Backend nimmt an, antwortet nie |
|
||||
| Trifft stream **und** non-stream gleich | Kein Streaming-Bug — Modell-Server hängt |
|
||||
| **Andere Modelle am selben Endpoint: 200** | Key, Netz, Infra alle gesund |
|
||||
|
||||
**Kernpunkt:** `code=000` bei erfolgreichem Connect = der Upstream-Backend-Prozess
|
||||
für *dieses eine Modell* ist tot/hängt. Nicht das Netz.
|
||||
|
||||
## Diagnose-Rezept (5 Minuten)
|
||||
|
||||
Identischer Key, identischer Host, **Modell-Matrix** gegentesten:
|
||||
|
||||
```bash
|
||||
KEY=<from running process>
|
||||
for m in <broken-model> <candidate-a> <candidate-b>; do
|
||||
curl -s -o /tmp/r.json -w "%{http_code}" --max-time 20 \
|
||||
https://<endpoint>/v1/chat/completions \
|
||||
-H "Authorization: Bearer $KEY" -H 'Content-Type: application/json' \
|
||||
-d "{\"model\":\"$m\",\"messages\":[{\"role\":\"user\",\"content\":\"say OK\"}],\"max_tokens\":8}"
|
||||
done
|
||||
```
|
||||
|
||||
**Ein einziges Modell 000 + Rest 200 ⇒ Modell-Defekt, kein Infra-Defekt.**
|
||||
|
||||
Gegenprobe von einem **zweiten Host** ausschließen, dass es host-spezifisch ist.
|
||||
|
||||
## Pitfalls bei der Diagnose
|
||||
|
||||
1. **Key aus `~/.hermes/.env` greppen schlägt fehl**, wenn der Key im systemd-Unit
|
||||
als `Environment=` steht. → Aus dem laufenden Prozess lesen, nicht aus `.env`:
|
||||
`sudo tr '\0' '\n' < /proc/<PID>/environ`
|
||||
Die PID rotiert bei jedem Restart — nicht cachen.
|
||||
2. **401/403/400 nicht mit 000 verwechseln.** Key-Scope-Fehler antworten sofort
|
||||
mit Body. `code=000` ist der einzige echte Hang.
|
||||
3. **`/v1/models` listet auch Modelle, die der Key nicht darf** (`403 model_blocked`).
|
||||
Auflisten ≠ nutzbar.
|
||||
4. **Veraltete Response-Datei:** bei `code=000` schreibt curl keine Datei →
|
||||
`head` zeigt die *vorherige* Antwort. Sieht aus wie Erfolg. Immer `-w %{http_code}`
|
||||
als Wahrheit nehmen, nicht den Body.
|
||||
|
||||
## Amplifier: fehlender Fallback
|
||||
|
||||
```yaml
|
||||
fallback_providers: [] # ← kein Fallback
|
||||
agent:
|
||||
api_max_retries: 3
|
||||
mcp_servers:
|
||||
playwright:
|
||||
timeout: 120
|
||||
connect_timeout: 60
|
||||
```
|
||||
|
||||
Ohne Fallback hängt jeder Turn bis `timeout` × Retries. Ein defektes Modell
|
||||
legt dann die **ganze** Instanz lahm statt einen degradierten Betrieb zu erzeugen.
|
||||
|
||||
## Fix
|
||||
|
||||
Default-Modell auf ein verifiziert funktionierendes umstellen, **dann E2E testen** —
|
||||
nicht nur Config-Write verifizieren:
|
||||
|
||||
```bash
|
||||
# 1. Backup
|
||||
cp -a config.yaml config.yaml.bak.$(date +%Y%m%d_%H%M%S)
|
||||
# 2. Beide Modell-Referenzen patchen (model.default + providers.<p>.model)
|
||||
sed -i 's|<old>|<new>|g' config.yaml
|
||||
# 3. YAML validieren
|
||||
python3 -c "import yaml;yaml.safe_load(open('config.yaml'))"
|
||||
# 4. mtime(config) MUSS < Prozessstart sein
|
||||
stat -c '%y' config.yaml; systemctl show <svc> -p ActiveEnterTimestamp
|
||||
# 5. Restart + E2E-Turn
|
||||
```
|
||||
|
||||
**Verifikationskette, die zählt:**
|
||||
- Neue Session meldet das neue Modell (`session.model`)
|
||||
- Ein echter Turn läuft durch (`terminal_state: completed`)
|
||||
- Transcript enthält die Assistant-Antwort
|
||||
|
||||
## Referenz-Vorfall
|
||||
|
||||
2026-10-02, sarah-hermes VM107: `vllm/release/glm-5-2` hing bei `ai.noris.de`
|
||||
(0 Bytes, stream + non-stream, von 2 Hosts). Derselbe Key lieferte mit
|
||||
`qsu/deepseek-v41-flash`, `release/gpt-oss-120b`, `qsu/qwen3.8-27b`,
|
||||
`release/qwen3.6-27b` jeweils 200. Fix: Default → `qsu/deepseek-v41-flash`,
|
||||
E2E-Turn in 15s.
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/sarah-hermes]] — Vorfall VM107
|
||||
- [[systems/noris-ai]] — Endpoint, Modell-Katalog
|
||||
Reference in New Issue
Block a user