Files
memory/systems/noris-ai.md
T

3.8 KiB

title, category, tags, created, modified
title category tags created modified
noris AI Platform systems
ai
llm
noris
gpu
embeddings
2026-09-27 2026-09-29

noris AI Platform (ai.noris.de)

Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.

Endpoints

  • Chat: https://ai.noris.de/v1/chat/completions
  • Embeddings: https://ai.noris.de/v1/embeddings
  • Images: ⚠️ /v1/images/generations wird vom Bifrost Gateway NICHT unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über /v1/chat/completions angesprochen — das Bild kommt als base64-PNG im content-Array zurück (Typ image_url, data:image/png;base64,...). Siehe references/vllm-image-generation.md im Skill serving-llms-vllm.

Modelle

Typ Modell-ID Hinweise
Flagship LLM glm-5-2 ⚠️ DOWN seit 2026-10-02 — release/glm-5-2 hängt (0 Bytes). Siehe Ausfall-Log.
General gemma-4-31b-it Vision-fähig. ⚠️ release/gemma-4-31b-it → 403 model_blocked für VM107-Key
Large MoE gpt-oss-120b ✅ verifiziert 200
Mid-range qwen3.6-27b ✅ verifiziert 200
Mid-range qwen3.8-27b ✅ verifiziert 200
Fast ds-v4-flash Low-latency, Paperless OCR. ✅ qsu/deepseek-v41-flash verifiziert 200
Embedding harrier Vektorembettungen
Image Gen qwen-image-2-1 Via /v1/chat/completions (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild.

Deployment-Lanes

Modelle existieren in zwei Lanes: release/* und qsu/*. Nicht deckungsgleich — ein Key kann qsu/x erlauben und release/x blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten.

NAMESPACE-SCHEMA-FALLE (2026-10-11): Es existieren ZWEI ID-Schemata parallel: vllm/<lane>/<modell> (legacy, funktional) und <owner>/<lane>/<modell> (z.B. glm-5.3/release/glm-5-3 — globales Hermes-Default). Diese sind Virtual-Key-Realms: glm-5.3/release/glm-5-3-flash → 403 model_blocked, während vllm/release/glm-5-3-flash mit DEMSELBEN Key 200 OK liefert. Beim Pinnen von Jobs/Configs immer die vllm/*-Form verwenden, bis das neue Schema Key-seitig freigeschaltet ist.

/v1/models ist KEINE Verfügbarkeitsliste

Sie listet Modelle, die der Key nicht nutzen darf (→ 403 model_blocked) und auch solche, deren Backend hängt (→ curl code=000).

Ausfall-Log

Datum Modell Symptom Status
2026-10-02 release/glm-5-2 TCP-Connect OK (0.69s), TLS OK, 0 Bytes Response (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert offen

Log-Signatur:

httpx.ReadError: [Errno 32] Broken pipe
  → openai.APIConnectionError: Connection error.
  → 3 Retries → "Provider has been unresponsive (no response received)
                   for 5 consecutive stale attempts"

Diagnose: curl code=000 bei erfolgreichem time_connect/time_appconnect ⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe patterns/llm-backend-hang-diagnosis (PAT-015).

Verbraucher

  • Hermes Agent — Primärmodell; glm-5-2 war Default bis 2026-10-02, jetzt qsu/deepseek-v41-flash
  • HA LLM Vision — gemma-4-31b-it für Bildanalyse (Frigate Events)
  • Paperless — ds-v4-flash für OCR/Kategorisierung
  • Sarah-Hermes (VM107) — qsu/deepseek-v41-flash (2026-10-02 umgestellt)
  • Personal Coach Bot — via noris direkt
  • Dynamic Coach — via noris direkt, qwen-image-2-1 für Visualisierungen