Auto-sync: 2026-11-21
This commit is contained in:
@@ -11,6 +11,10 @@ modified: "2026-09-29"
|
|||||||
> Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.
|
> Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.
|
||||||
|
|
||||||
## Endpoints
|
## Endpoints
|
||||||
|
- **Version (public, ohne Auth):** `GET https://ai.noris.de/api/version` → `"v2.4.0-enterprise"` (Stand 2026-11-21; Enterprise = Projects/`x-bf-project-id` vorhanden)
|
||||||
|
- **Admin-Ebene bleibt noris-gated:** `/metrics`, `/api/config`, `/api/providers`, `/api/keys`, `/api/logs` und alle `/api/governance/*` antworten mit unserem Inference-VK **401 JSON "Unauthorized"** (Pfad existiert, kein 404). Scope-Anforderung für read-only-Zugang liegt bei `~/docs/requests/2026-11-21-ai-noris-admin-scope.md`.
|
||||||
|
- **Gescopter Admin-Token seit 2026-11-21** in 1P (`ai.noris.de Admin Token (scoped)`, `bfst-…`, 48 Zeichen; gilt auf prod **und** ai-dev). Read: `/api/config`, `/api/providers` (8), `/api/keys` (24), `/api/governance/virtual-keys` (**879 VKs**, inkl. `value` = VK-Secrets im Klartext!), `…/teams` (68), `…/customers` (45), VK-Detail inkl. `rate_limit`. **403:** `/metrics`, `/api/logs`, `/api/governance/budgets|rate-limits|projects`, `/api/permissions|roles`. → Inventar + Per-VK-Rate-Limits abgedeckt; Observability/Budgets weiter offen. Token wie Produktions-Admin behandeln (tenant-weit lesbar).
|
||||||
|
- **Access-Profile & Propagation:** Default-Profil `adfs_users` (id 1, **434 Nutzer**, Stand **v13**) = vllm **15 Einträge** (Katalog-15 minus `qsu/deepseek-v41-flash-1017`, plus `qsu/qwen-image-2-1`), qwen-image, typesafe, drama-3, **Kokoro-TTS**, **`qsu/inkling-2-mini`** (2026-11-21 ergänzt, mit Kokoro in einem Rutsch propagiert, je ~3 s, Usage erhalten). Template-PUT allein wirkt **nicht** — sonst `403 provider_blocked`; wirksam ist `POST …/access-profiles/1/propagate {"fields":["provider_configs"]}` (dry_run zeigt 434). `admin_profile` (id 2) = Wildcard, keine Limits. Workflow im Skill `ai-noris-inference-api`.
|
||||||
- **Chat:** `https://ai.noris.de/v1/chat/completions`
|
- **Chat:** `https://ai.noris.de/v1/chat/completions`
|
||||||
- **Embeddings:** `https://ai.noris.de/v1/embeddings`
|
- **Embeddings:** `https://ai.noris.de/v1/embeddings`
|
||||||
- **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`.
|
- **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`.
|
||||||
@@ -25,6 +29,8 @@ modified: "2026-09-29"
|
|||||||
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
|
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
|
||||||
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
|
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
|
||||||
| Embedding | `harrier` | Vektorembettungen |
|
| Embedding | `harrier` | Vektorembettungen |
|
||||||
|
| STT | `vllm/qsu/voxtral-small-24b-2507` | `/v1/audio/transcriptions`, funktioniert (2026-11-21: 200) |
|
||||||
|
| STT | `vllm/qsu/nemotron-3.5-transcribe` | ⚠️ im Katalog, aber Transcribe-Route upstream **404** (2026-11-21); gleiche Datei mit voxtral = 200 → Deployment-Lücke, keine Auth-Frage |
|
||||||
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
|
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
|
||||||
|
|
||||||
### Deployment-Lanes
|
### Deployment-Lanes
|
||||||
@@ -125,3 +131,29 @@ Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
|
|||||||
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
|
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
|
||||||
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
|
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
|
||||||
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
|
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
|
||||||
|
|
||||||
|
## Durchsatz-Benchmark (2026-11-21, single-stream, ai.noris.de)
|
||||||
|
|
||||||
|
Gemessen mit Streaming (`stream_options.include_usage`), 512-Token-Läufe,
|
||||||
|
`decode_tps = (completion_tokens-1)/(t_last - t_first)` — reine Decode-Rate
|
||||||
|
ohne TTFT und ohne Queueing:
|
||||||
|
|
||||||
|
| Modell | Lane | decode tok/s (Median) | Streuung | TTFT warm | 4× parallel (Aggregat) |
|
||||||
|
|---|---|---|---|---|---|
|
||||||
|
| `vllm/qsu/inkling-2-mini` | qsu | **~195–200** (1024-Tok-Lauf: 226) | σ ≈ 3 | 0,19–0,38 s | 413 tok/s (per Stream unverändert ~210) |
|
||||||
|
| `vllm/release/qwen3.8-27b` | release | **~160** (1024-Tok-Lauf: 160) | bimodal: 1 von 6 Läufen ~62 | 0,22–0,43 s | 229 tok/s (per Stream 61–151) |
|
||||||
|
|
||||||
|
Lesart:
|
||||||
|
- `inkling-2-mini` ist ~20–25 % schneller im Decode und deutlich stabiler;
|
||||||
|
Parallelität kostet dort nur TTFT (Queueing), nicht Decode-Rate.
|
||||||
|
- `qwen3.8-27b` fällt sporadisch auf ~62 tok/s (Faktor 2,6) — vermutlich
|
||||||
|
anderes Backend/Worker oder Batch-Zustand, nicht clientseitig. Bei
|
||||||
|
Latenz-SLAs den schlechten Modus einplanen, nicht den Median.
|
||||||
|
- Beide Modelle liefern `reasoning_content`; bei `inkling-2-mini` wird
|
||||||
|
`chat_template_kwargs: {"enable_thinking": false}` **ignoriert**
|
||||||
|
(Reasoning-Anteil bleibt, `content` kann leer sein, wenn das Token-Budget
|
||||||
|
im Reasoning verbraucht wird). Bei `finish_reason=length` daher
|
||||||
|
`max_tokens` großzügig wählen oder `usage.completion_tokens` statt Text
|
||||||
|
prüfen.
|
||||||
|
- Beide nur als Einzel-Stream gemessen; Aggregat-Zahlen sind kein
|
||||||
|
Kapazitätsversprechen des Gateways (gemeinsame Queue).
|
||||||
|
|||||||
Reference in New Issue
Block a user