From 88e6d2697bd6d7713a9f273f754f1b5fb3f371fb Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Dominik=20Sch=C3=B6n?= Date: Sat, 21 Nov 2026 22:00:24 +0000 Subject: [PATCH] Auto-sync: 2026-11-21 --- systems/noris-ai.md | 32 ++++++++++++++++++++++++++++++++ 1 file changed, 32 insertions(+) diff --git a/systems/noris-ai.md b/systems/noris-ai.md index c198cc4..e6778e9 100644 --- a/systems/noris-ai.md +++ b/systems/noris-ai.md @@ -11,6 +11,10 @@ modified: "2026-09-29" > Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation. ## Endpoints +- **Version (public, ohne Auth):** `GET https://ai.noris.de/api/version` → `"v2.4.0-enterprise"` (Stand 2026-11-21; Enterprise = Projects/`x-bf-project-id` vorhanden) +- **Admin-Ebene bleibt noris-gated:** `/metrics`, `/api/config`, `/api/providers`, `/api/keys`, `/api/logs` und alle `/api/governance/*` antworten mit unserem Inference-VK **401 JSON "Unauthorized"** (Pfad existiert, kein 404). Scope-Anforderung für read-only-Zugang liegt bei `~/docs/requests/2026-11-21-ai-noris-admin-scope.md`. +- **Gescopter Admin-Token seit 2026-11-21** in 1P (`ai.noris.de Admin Token (scoped)`, `bfst-…`, 48 Zeichen; gilt auf prod **und** ai-dev). Read: `/api/config`, `/api/providers` (8), `/api/keys` (24), `/api/governance/virtual-keys` (**879 VKs**, inkl. `value` = VK-Secrets im Klartext!), `…/teams` (68), `…/customers` (45), VK-Detail inkl. `rate_limit`. **403:** `/metrics`, `/api/logs`, `/api/governance/budgets|rate-limits|projects`, `/api/permissions|roles`. → Inventar + Per-VK-Rate-Limits abgedeckt; Observability/Budgets weiter offen. Token wie Produktions-Admin behandeln (tenant-weit lesbar). +- **Access-Profile & Propagation:** Default-Profil `adfs_users` (id 1, **434 Nutzer**, Stand **v13**) = vllm **15 Einträge** (Katalog-15 minus `qsu/deepseek-v41-flash-1017`, plus `qsu/qwen-image-2-1`), qwen-image, typesafe, drama-3, **Kokoro-TTS**, **`qsu/inkling-2-mini`** (2026-11-21 ergänzt, mit Kokoro in einem Rutsch propagiert, je ~3 s, Usage erhalten). Template-PUT allein wirkt **nicht** — sonst `403 provider_blocked`; wirksam ist `POST …/access-profiles/1/propagate {"fields":["provider_configs"]}` (dry_run zeigt 434). `admin_profile` (id 2) = Wildcard, keine Limits. Workflow im Skill `ai-noris-inference-api`. - **Chat:** `https://ai.noris.de/v1/chat/completions` - **Embeddings:** `https://ai.noris.de/v1/embeddings` - **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`. @@ -25,6 +29,8 @@ modified: "2026-09-29" | Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 | | Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 | | Embedding | `harrier` | Vektorembettungen | +| STT | `vllm/qsu/voxtral-small-24b-2507` | `/v1/audio/transcriptions`, funktioniert (2026-11-21: 200) | +| STT | `vllm/qsu/nemotron-3.5-transcribe` | ⚠️ im Katalog, aber Transcribe-Route upstream **404** (2026-11-21); gleiche Datei mit voxtral = 200 → Deployment-Lücke, keine Auth-Frage | | Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. | ### Deployment-Lanes @@ -125,3 +131,29 @@ Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`), (`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`). + +## Durchsatz-Benchmark (2026-11-21, single-stream, ai.noris.de) + +Gemessen mit Streaming (`stream_options.include_usage`), 512-Token-Läufe, +`decode_tps = (completion_tokens-1)/(t_last - t_first)` — reine Decode-Rate +ohne TTFT und ohne Queueing: + +| Modell | Lane | decode tok/s (Median) | Streuung | TTFT warm | 4× parallel (Aggregat) | +|---|---|---|---|---|---| +| `vllm/qsu/inkling-2-mini` | qsu | **~195–200** (1024-Tok-Lauf: 226) | σ ≈ 3 | 0,19–0,38 s | 413 tok/s (per Stream unverändert ~210) | +| `vllm/release/qwen3.8-27b` | release | **~160** (1024-Tok-Lauf: 160) | bimodal: 1 von 6 Läufen ~62 | 0,22–0,43 s | 229 tok/s (per Stream 61–151) | + +Lesart: +- `inkling-2-mini` ist ~20–25 % schneller im Decode und deutlich stabiler; + Parallelität kostet dort nur TTFT (Queueing), nicht Decode-Rate. +- `qwen3.8-27b` fällt sporadisch auf ~62 tok/s (Faktor 2,6) — vermutlich + anderes Backend/Worker oder Batch-Zustand, nicht clientseitig. Bei + Latenz-SLAs den schlechten Modus einplanen, nicht den Median. +- Beide Modelle liefern `reasoning_content`; bei `inkling-2-mini` wird + `chat_template_kwargs: {"enable_thinking": false}` **ignoriert** + (Reasoning-Anteil bleibt, `content` kann leer sein, wenn das Token-Budget + im Reasoning verbraucht wird). Bei `finish_reason=length` daher + `max_tokens` großzügig wählen oder `usage.completion_tokens` statt Text + prüfen. +- Beide nur als Einzel-Stream gemessen; Aggregat-Zahlen sind kein + Kapazitätsversprechen des Gateways (gemeinsame Queue).