Files
2026-11-11 22:00:23 +00:00

128 lines
7.4 KiB
Markdown

---
title: "noris AI Platform"
category: systems
tags: [ai, llm, noris, gpu, embeddings]
created: "2026-09-27"
modified: "2026-09-29"
---
# noris AI Platform (ai.noris.de)
> Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.
## Endpoints
- **Chat:** `https://ai.noris.de/v1/chat/completions`
- **Embeddings:** `https://ai.noris.de/v1/embeddings`
- **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`.
## Modelle
| Typ | Modell-ID | Hinweise |
|-----|-----------|----------|
| Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. |
| General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key |
| Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
| Embedding | `harrier` | Vektorembettungen |
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
### Deployment-Lanes
Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** —
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
Bei Key-Problemen immer beide Lanes gegentesten.
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
Consumer-Skripte nach der alten ID greppen.
### `/v1/models` ist KEINE Verfügbarkeitsliste
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
auch solche, deren Backend hängt (→ curl `code=000`).
## Ausfall-Log
| Datum | Modell | Symptom | Status |
|-------|--------|---------|--------|
| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen |
**Log-Signatur:**
```
httpx.ReadError: [Errno 32] Broken pipe
→ openai.APIConnectionError: Connection error.
→ 3 Retries → "Provider has been unresponsive (no response received)
for 5 consecutive stale attempts"
```
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
Der Katalog liefert `max_context_length` **verschachtelt**
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
Instanzen **explizit gepinnt**:
| Ebene | Key | Wirkung |
|---|---|---|
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
## Verbraucher
- **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
`vllm/release/glm-5-3` (provider `noris`), Fallback-Kette
`vllm/release/glm-5-3-flash` → `anthropic/claude-haiku-4-5-20251001`.
Vorher: default `qsu/deepseek-v41-flash-1017`, die 4 Profile `glm-5-2`
(infra-sre: `moonshotai/kimi-k2.6`). E2E-verifiziert (5/5 Turns „PONG").
- **Sarah-Hermes (VM107)** — separate Instanz, weiterhin
`qsu/deepseek-v41-flash` (nicht Teil der Profil-Umstellung)
- **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events)
- **Paperless** — `ds-v4-flash` für OCR/Kategorisierung
- **Personal Coach Bot** — via noris direkt
- **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen
- **HolmesGPT (K8s, ns `holmes`)** — SRE-Bot (Robusta-Helm-Chart): `noris-glm` → `openai/vllm/release/glm-5-3` seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in `iac-homelab/clusters/main/apps/holmes.yaml` (ArgoCD-App `holmes`, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + `kubectl rollout restart` (envFrom/Volume-Config wird nicht hot-reloaded).
- **Paperless-AI (K8s, ns `paperless`)** — `PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3` seit 2026-10-20 (vorher `vllm/release/deepseek-v4-flash`); Embeddings bleiben harrier. Config in `iac-homelab/clusters/main/paperless/configmap.yaml`.
## Related
- [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung
- [[systems/homeassistant]] — LLM Vision Integration
- [[systems/paperless]] — OCR via ds-v4-flash
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
(ArgoCD selfHeal verhindert `scale --replicas=0`).
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).