--- title: "noris AI Platform" category: systems tags: [ai, llm, noris, gpu, embeddings] created: "2026-09-27" modified: "2026-09-29" --- # noris AI Platform (ai.noris.de) > Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation. ## Endpoints - **Version (public, ohne Auth):** `GET https://ai.noris.de/api/version` → `"v2.4.0-enterprise"` (Stand 2026-11-21; Enterprise = Projects/`x-bf-project-id` vorhanden) - **Admin-Ebene bleibt noris-gated:** `/metrics`, `/api/config`, `/api/providers`, `/api/keys`, `/api/logs` und alle `/api/governance/*` antworten mit unserem Inference-VK **401 JSON "Unauthorized"** (Pfad existiert, kein 404). Scope-Anforderung für read-only-Zugang liegt bei `~/docs/requests/2026-11-21-ai-noris-admin-scope.md`. - **Gescopter Admin-Token seit 2026-11-21** in 1P (`ai.noris.de Admin Token (scoped)`, `bfst-…`, 48 Zeichen; gilt auf prod **und** ai-dev). Read: `/api/config`, `/api/providers` (8), `/api/keys` (24), `/api/governance/virtual-keys` (**879 VKs**, inkl. `value` = VK-Secrets im Klartext!), `…/teams` (68), `…/customers` (45), VK-Detail inkl. `rate_limit`. **403:** `/metrics`, `/api/logs`, `/api/governance/budgets|rate-limits|projects`, `/api/permissions|roles`. → Inventar + Per-VK-Rate-Limits abgedeckt; Observability/Budgets weiter offen. Token wie Produktions-Admin behandeln (tenant-weit lesbar). - **Access-Profile & Propagation:** Default-Profil `adfs_users` (id 1, **434 Nutzer**, Stand **v13**) = vllm **15 Einträge** (Katalog-15 minus `qsu/deepseek-v41-flash-1017`, plus `qsu/qwen-image-2-1`), qwen-image, typesafe, drama-3, **Kokoro-TTS**, **`qsu/inkling-2-mini`** (2026-11-21 ergänzt, mit Kokoro in einem Rutsch propagiert, je ~3 s, Usage erhalten). Template-PUT allein wirkt **nicht** — sonst `403 provider_blocked`; wirksam ist `POST …/access-profiles/1/propagate {"fields":["provider_configs"]}` (dry_run zeigt 434). `admin_profile` (id 2) = Wildcard, keine Limits. Workflow im Skill `ai-noris-inference-api`. - **Chat:** `https://ai.noris.de/v1/chat/completions` - **Embeddings:** `https://ai.noris.de/v1/embeddings` - **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`. ## Modelle | Typ | Modell-ID | Hinweise | |-----|-----------|----------| | Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. | | General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key | | Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 | | Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 | | Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 | | Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 | | Embedding | `harrier` | Vektorembettungen | | STT | `vllm/qsu/voxtral-small-24b-2507` | `/v1/audio/transcriptions`, funktioniert (2026-11-21: 200) | | STT | `vllm/qsu/nemotron-3.5-transcribe` | ⚠️ im Katalog, aber Transcribe-Route upstream **404** (2026-11-21); gleiche Datei mit voxtral = 200 → Deployment-Lücke, keine Auth-Frage | | Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. | ### Deployment-Lanes Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** — ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten. **NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel: `vllm//` (legacy, funktional) und `//` (z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`, während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert. Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/` stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403, `vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server) — alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die `vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen Consumer-Skripte nach der alten ID greppen. ### `/v1/models` ist KEINE Verfügbarkeitsliste Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und auch solche, deren Backend hängt (→ curl `code=000`). ## Ausfall-Log | Datum | Modell | Symptom | Status | |-------|--------|---------|--------| | 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen | **Log-Signatur:** ``` httpx.ReadError: [Errno 32] Broken pipe → openai.APIConnectionError: Connection error. → 3 Retries → "Provider has been unresponsive (no response received) for 5 consecutive stale attempts" ``` **Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect` ⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015). ## Context-Fenster (Hermes-Auflösung, 2026-11-02) Der Katalog liefert `max_context_length` **verschachtelt** (`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4). Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf `DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes- Instanzen **explizit gepinnt**: | Ebene | Key | Wirkung | |---|---|---| | Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) | | Jedes Modell | `providers.noris.models..context_length` | greift auch bei Wechsel/Fallback | Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile + Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog (29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720), `gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144. Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`), `glm-5-3` → 1.310.720, unbekannt → 256.000. Details: `docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`. ## Verbraucher - **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`, `dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf `vllm/release/glm-5-3` (provider `noris`), Fallback-Kette `vllm/release/glm-5-3-flash` → `anthropic/claude-haiku-4-5-20251001`. Vorher: default `qsu/deepseek-v41-flash-1017`, die 4 Profile `glm-5-2` (infra-sre: `moonshotai/kimi-k2.6`). E2E-verifiziert (5/5 Turns „PONG"). - **Sarah-Hermes (VM107)** — separate Instanz, weiterhin `qsu/deepseek-v41-flash` (nicht Teil der Profil-Umstellung) - **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events) - **Paperless** — `ds-v4-flash` für OCR/Kategorisierung - **Personal Coach Bot** — via noris direkt - **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen - **HolmesGPT (K8s, ns `holmes`)** — SRE-Bot (Robusta-Helm-Chart): `noris-glm` → `openai/vllm/release/glm-5-3` seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in `iac-homelab/clusters/main/apps/holmes.yaml` (ArgoCD-App `holmes`, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + `kubectl rollout restart` (envFrom/Volume-Config wird nicht hot-reloaded). - **Paperless-AI (K8s, ns `paperless`)** — `PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3` seit 2026-10-20 (vorher `vllm/release/deepseek-v4-flash`); Embeddings bleiben harrier. Config in `iac-homelab/clusters/main/paperless/configmap.yaml`. ## Related - [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung - [[systems/homeassistant]] — LLM Vision Integration - [[systems/paperless]] — OCR via ds-v4-flash - [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02 - [[patterns/llm-backend-hang-diagnosis]] — PAT-015 ## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention - **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`). Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`. Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401. - **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache **ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %). - **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14** (PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden (ArgoCD selfHeal verhindert `scale --replicas=0`). - **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API (`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`). ## Durchsatz-Benchmark (2026-11-21, single-stream, ai.noris.de) Gemessen mit Streaming (`stream_options.include_usage`), 512-Token-Läufe, `decode_tps = (completion_tokens-1)/(t_last - t_first)` — reine Decode-Rate ohne TTFT und ohne Queueing: | Modell | Lane | decode tok/s (Median) | Streuung | TTFT warm | 4× parallel (Aggregat) | |---|---|---|---|---|---| | `vllm/qsu/inkling-2-mini` | qsu | **~195–200** (1024-Tok-Lauf: 226) | σ ≈ 3 | 0,19–0,38 s | 413 tok/s (per Stream unverändert ~210) | | `vllm/release/qwen3.8-27b` | release | **~160** (1024-Tok-Lauf: 160) | bimodal: 1 von 6 Läufen ~62 | 0,22–0,43 s | 229 tok/s (per Stream 61–151) | Lesart: - `inkling-2-mini` ist ~20–25 % schneller im Decode und deutlich stabiler; Parallelität kostet dort nur TTFT (Queueing), nicht Decode-Rate. - `qwen3.8-27b` fällt sporadisch auf ~62 tok/s (Faktor 2,6) — vermutlich anderes Backend/Worker oder Batch-Zustand, nicht clientseitig. Bei Latenz-SLAs den schlechten Modus einplanen, nicht den Median. - Beide Modelle liefern `reasoning_content`; bei `inkling-2-mini` wird `chat_template_kwargs: {"enable_thinking": false}` **ignoriert** (Reasoning-Anteil bleibt, `content` kann leer sein, wenn das Token-Budget im Reasoning verbraucht wird). Bei `finish_reason=length` daher `max_tokens` großzügig wählen oder `usage.completion_tokens` statt Text prüfen. - Beide nur als Einzel-Stream gemessen; Aggregat-Zahlen sind kein Kapazitätsversprechen des Gateways (gemeinsame Queue).