83 lines
4.1 KiB
Markdown
83 lines
4.1 KiB
Markdown
---
|
|
title: "noris AI Platform"
|
|
category: systems
|
|
tags: [ai, llm, noris, gpu, embeddings]
|
|
created: "2026-09-27"
|
|
modified: "2026-09-29"
|
|
---
|
|
|
|
# noris AI Platform (ai.noris.de)
|
|
|
|
> Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.
|
|
|
|
## Endpoints
|
|
- **Chat:** `https://ai.noris.de/v1/chat/completions`
|
|
- **Embeddings:** `https://ai.noris.de/v1/embeddings`
|
|
- **Images:** ⚠️ `/v1/images/generations` wird vom Bifrost Gateway **NICHT** unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über `/v1/chat/completions` angesprochen — das Bild kommt als base64-PNG im `content`-Array zurück (Typ `image_url`, `data:image/png;base64,...`). Siehe `references/vllm-image-generation.md` im Skill `serving-llms-vllm`.
|
|
|
|
## Modelle
|
|
| Typ | Modell-ID | Hinweise |
|
|
|-----|-----------|----------|
|
|
| Flagship LLM | `glm-5-2` | ⚠️ **DOWN seit 2026-10-02** — `release/glm-5-2` hängt (0 Bytes). Siehe Ausfall-Log. |
|
|
| General | `gemma-4-31b-it` | Vision-fähig. ⚠️ `release/gemma-4-31b-it` → **403 model_blocked** für VM107-Key |
|
|
| Large MoE | `gpt-oss-120b` | ✅ verifiziert 200 |
|
|
| Mid-range | `qwen3.6-27b` | ✅ verifiziert 200 |
|
|
| Mid-range | `qwen3.8-27b` | ✅ verifiziert 200 |
|
|
| Fast | `ds-v4-flash` | Low-latency, Paperless OCR. ✅ `qsu/deepseek-v41-flash` verifiziert 200 |
|
|
| Embedding | `harrier` | Vektorembettungen |
|
|
| Image Gen | `qwen-image-2-1` | Via `/v1/chat/completions` (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild. |
|
|
|
|
### Deployment-Lanes
|
|
Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleich** —
|
|
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
|
|
Bei Key-Problemen immer beide Lanes gegentesten.
|
|
|
|
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
|
|
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
|
|
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
|
|
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
|
|
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
|
|
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
|
|
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
|
|
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
|
|
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
|
|
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
|
|
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
|
|
Consumer-Skripte nach der alten ID greppen.
|
|
|
|
### `/v1/models` ist KEINE Verfügbarkeitsliste
|
|
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
|
|
auch solche, deren Backend hängt (→ curl `code=000`).
|
|
|
|
## Ausfall-Log
|
|
|
|
| Datum | Modell | Symptom | Status |
|
|
|-------|--------|---------|--------|
|
|
| 2026-10-02 | `release/glm-5-2` | TCP-Connect OK (0.69s), TLS OK, **0 Bytes Response** (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert | offen |
|
|
|
|
**Log-Signatur:**
|
|
```
|
|
httpx.ReadError: [Errno 32] Broken pipe
|
|
→ openai.APIConnectionError: Connection error.
|
|
→ 3 Retries → "Provider has been unresponsive (no response received)
|
|
for 5 consecutive stale attempts"
|
|
```
|
|
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
|
|
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
|
|
|
|
## Verbraucher
|
|
- **Hermes Agent** — Primärmodell; `glm-5-2` war Default bis 2026-10-02,
|
|
jetzt `qsu/deepseek-v41-flash`
|
|
- **HA LLM Vision** — `gemma-4-31b-it` für Bildanalyse (Frigate Events)
|
|
- **Paperless** — `ds-v4-flash` für OCR/Kategorisierung
|
|
- **Sarah-Hermes (VM107)** — `qsu/deepseek-v41-flash` (2026-10-02 umgestellt)
|
|
- **Personal Coach Bot** — via noris direkt
|
|
- **Dynamic Coach** — via noris direkt, `qwen-image-2-1` für Visualisierungen
|
|
|
|
## Related
|
|
- [[systems/frigate]] — nutzt noris AI für Event-Klassifizierung
|
|
- [[systems/homeassistant]] — LLM Vision Integration
|
|
- [[systems/paperless]] — OCR via ds-v4-flash
|
|
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
|
|
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
|