Files
memory/systems/noris-ai.md
T
2026-11-21 22:00:24 +00:00

160 lines
11 KiB
Markdown
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
---
title: "noris AI Platform"
category: systems
tags: [ai, llm, noris, gpu, embeddings]
created: "2026-09-27"
modified: "2026-09-29"
---
# noris AI Platform (ai.noris.de)
> Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.
## Endpoints
- **Version (public, ohne Auth):** `GET https://ai.noris.de/api/version` → `"v2.4.0-enterprise"` (Stand 2026-11-21; Enterprise = Projects/`x-bf-project-id` vorhanden)
- **Admin-Ebene bleibt noris-gated:** `/metrics`, `/api/config`, `/api/providers`, `/api/keys`, `/api/logs` und alle `/api/governance/*` antworten mit unserem Inference-VK **401 JSON "Unauthorized"** (Pfad existiert, kein 404). Scope-Anforderung für read-only-Zugang liegt bei `~/docs/requests/2026-11-21-ai-noris-admin-scope.md`.
- **Gescopter Admin-Token seit 2026-11-21** in 1P (`ai.noris.de Admin Token (scoped)`, `bfst-…`, 48 Zeichen; gilt auf prod **und** ai-dev). Read: `/api/config`, `/api/providers` (8), `/api/keys` (24), `/api/governance/virtual-keys` (**879 VKs**, inkl. `value` = VK-Secrets im Klartext!), `…/teams` (68), `…/customers` (45), VK-Detail inkl. `rate_limit`. **403:** `/metrics`, `/api/logs`, `/api/governance/budgets|rate-limits|projects`, `/api/permissions|roles`. → Inventar + Per-VK-Rate-Limits abgedeckt; Observability/Budgets weiter offen. Token wie Produktions-Admin behandeln (tenant-weit lesbar).
- **Access-Profile & Propagation:** Default-Profil `adfs_users` (id 1, **434 Nutzer**, Stand **v13**) = vllm **15 Einträge** (Katalog-15 minus `qsu/deepseek-v41-flash-1017`, plus `qsu/qwen-image-2-1`), qwen-image, typesafe, drama-3, **Kokoro-TTS**, **`qsu/inkling-2-mini`** (2026-11-21 ergänzt, mit Kokoro in einem Rutsch propagiert, je ~3 s, Usage erhalten). Template-PUT allein wirkt **nicht** — sonst `403 provider_blocked`; wirksam ist `POST …/access-profiles/1/propagate {"fields":["provider_configs"]}` (dry_run zeigt 434). `admin_profile` (id 2) = Wildcard, keine Limits. Workflow im Skill `ai-noris-inference-api`.
- **Chat:** `https://ai.noris.de/v1/chat/completions`
- **Embeddings:** `https://ai.noris.de/v1/embeddings`
- **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`.
## Modelle
| Typ | Modell-ID | Hinweise |
|-----|-----------|----------|
| Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. |
| General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key |
| Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 |
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
| Embedding | `harrier` | Vektorembettungen |
| STT | `vllm/qsu/voxtral-small-24b-2507` | `/v1/audio/transcriptions`, funktioniert (2026-11-21: 200) |
| STT | `vllm/qsu/nemotron-3.5-transcribe` | ⚠️ im Katalog, aber Transcribe-Route upstream **404** (2026-11-21); gleiche Datei mit voxtral = 200 → Deployment-Lücke, keine Auth-Frage |
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
### Deployment-Lanes
Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** —
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
Bei Key-Problemen immer beide Lanes gegentesten.
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
Consumer-Skripte nach der alten ID greppen.
### `/v1/models` ist KEINE Verfügbarkeitsliste
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
auch solche, deren Backend hängt (→ curl `code=000`).
## Ausfall-Log
| Datum | Modell | Symptom | Status |
|-------|--------|---------|--------|
| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen |
**Log-Signatur:**
```
httpx.ReadError: [Errno 32] Broken pipe
→ openai.APIConnectionError: Connection error.
→ 3 Retries → "Provider has been unresponsive (no response received)
for 5 consecutive stale attempts"
```
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
Der Katalog liefert `max_context_length` **verschachtelt**
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
Instanzen **explizit gepinnt**:
| Ebene | Key | Wirkung |
|---|---|---|
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
## Verbraucher
- **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
`vllm/release/glm-5-3` (provider `noris`), Fallback-Kette
`vllm/release/glm-5-3-flash` → `anthropic/claude-haiku-4-5-20251001`.
Vorher: default `qsu/deepseek-v41-flash-1017`, die 4 Profile `glm-5-2`
(infra-sre: `moonshotai/kimi-k2.6`). E2E-verifiziert (5/5 Turns „PONG").
- **Sarah-Hermes (VM107)** — separate Instanz, weiterhin
`qsu/deepseek-v41-flash` (nicht Teil der Profil-Umstellung)
- **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events)
- **Paperless** — `ds-v4-flash` für OCR/Kategorisierung
- **Personal Coach Bot** — via noris direkt
- **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen
- **HolmesGPT (K8s, ns `holmes`)** — SRE-Bot (Robusta-Helm-Chart): `noris-glm` → `openai/vllm/release/glm-5-3` seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in `iac-homelab/clusters/main/apps/holmes.yaml` (ArgoCD-App `holmes`, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + `kubectl rollout restart` (envFrom/Volume-Config wird nicht hot-reloaded).
- **Paperless-AI (K8s, ns `paperless`)** — `PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3` seit 2026-10-20 (vorher `vllm/release/deepseek-v4-flash`); Embeddings bleiben harrier. Config in `iac-homelab/clusters/main/paperless/configmap.yaml`.
## Related
- [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung
- [[systems/homeassistant]] — LLM Vision Integration
- [[systems/paperless]] — OCR via ds-v4-flash
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
(ArgoCD selfHeal verhindert `scale --replicas=0`).
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
## Durchsatz-Benchmark (2026-11-21, single-stream, ai.noris.de)
Gemessen mit Streaming (`stream_options.include_usage`), 512-Token-Läufe,
`decode_tps = (completion_tokens-1)/(t_last - t_first)` — reine Decode-Rate
ohne TTFT und ohne Queueing:
| Modell | Lane | decode tok/s (Median) | Streuung | TTFT warm | 4× parallel (Aggregat) |
|---|---|---|---|---|---|
| `vllm/qsu/inkling-2-mini` | qsu | **~195–200** (1024-Tok-Lauf: 226) | σ ≈ 3 | 0,19–0,38 s | 413 tok/s (per Stream unverändert ~210) |
| `vllm/release/qwen3.8-27b` | release | **~160** (1024-Tok-Lauf: 160) | bimodal: 1 von 6 Läufen ~62 | 0,22–0,43 s | 229 tok/s (per Stream 61–151) |
Lesart:
- `inkling-2-mini` ist ~20–25 % schneller im Decode und deutlich stabiler;
Parallelität kostet dort nur TTFT (Queueing), nicht Decode-Rate.
- `qwen3.8-27b` fällt sporadisch auf ~62 tok/s (Faktor 2,6) — vermutlich
anderes Backend/Worker oder Batch-Zustand, nicht clientseitig. Bei
Latenz-SLAs den schlechten Modus einplanen, nicht den Median.
- Beide Modelle liefern `reasoning_content`; bei `inkling-2-mini` wird
`chat_template_kwargs: {"enable_thinking": false}` **ignoriert**
(Reasoning-Anteil bleibt, `content` kann leer sein, wenn das Token-Budget
im Reasoning verbraucht wird). Bei `finish_reason=length` daher
`max_tokens` großzügig wählen oder `usage.completion_tokens` statt Text
prüfen.
- Beide nur als Einzel-Stream gemessen; Aggregat-Zahlen sind kein
Kapazitätsversprechen des Gateways (gemeinsame Queue).