Files
memory/systems/noris-ai.md
T
2026-10-20 22:00:01 +00:00

5.1 KiB

title, category, tags, created, modified
title category tags created modified
noris AI Platform systems
ai
llm
noris
gpu
embeddings
2026-09-27 2026-09-29

noris AI Platform (ai.noris.de)

Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.

Endpoints

  • Chat: https://ai.noris.de/v1/chat/completions
  • Embeddings: https://ai.noris.de/v1/embeddings
  • Images: ⚠️ /v1/images/generations wird vom Bifrost Gateway NICHT unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über /v1/chat/completions angesprochen — das Bild kommt als base64-PNG im content-Array zurück (Typ image_url, data:image/png;base64,...). Siehe references/vllm-image-generation.md im Skill serving-llms-vllm.

Modelle

Typ Modell-ID Hinweise
Flagship LLM glm-5-2 ⚠️ DOWN seit 2026-10-02 — release/glm-5-2 hängt (0 Bytes). Siehe Ausfall-Log.
General gemma-4-31b-it Vision-fähig. ⚠️ release/gemma-4-31b-it → 403 model_blocked für VM107-Key
Large MoE gpt-oss-120b ✅ verifiziert 200
Mid-range qwen3.6-27b ✅ verifiziert 200
Mid-range qwen3.8-27b ✅ verifiziert 200
Fast ds-v4-flash Low-latency, Paperless OCR. ✅ qsu/deepseek-v41-flash verifiziert 200
Embedding harrier Vektorembettungen
Image Gen qwen-image-2-1 Via /v1/chat/completions (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild.

Deployment-Lanes

Modelle existieren in zwei Lanes: release/* und qsu/*. Nicht deckungsgleich — ein Key kann qsu/x erlauben und release/x blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten.

NAMESPACE-SCHEMA-FALLE (2026-10-11/12): Es existieren ZWEI ID-Schemata parallel: vllm/<lane>/<modell> (legacy, funktional) und <owner>/<lane>/<modell> (z.B. glm-5.3/release/glm-5-3 — globales Hermes-Default). Diese sind Virtual-Key-Realms: glm-5.3/release/glm-5-3-flash → 403 model_blocked, während vllm/release/glm-5-3-flash mit DEMSELBEN Key 200 OK liefert. Zudem wandern Modelle in die Lane-Namespaces: die bare Form vllm/<modell> stirbt (harrier-Fall 12.10.: vllm/harrier-oss-v1-0.6b → 403, vllm/release/harrier-oss-v1-0.6b → 200, dims 1024). BEFALLENE Konsumenten waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server) — alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die vllm/release/*-Form verwenden und bei 403 model_blocked ALLE vorhandenen Consumer-Skripte nach der alten ID greppen.

/v1/models ist KEINE Verfügbarkeitsliste

Sie listet Modelle, die der Key nicht nutzen darf (→ 403 model_blocked) und auch solche, deren Backend hängt (→ curl code=000).

Ausfall-Log

Datum Modell Symptom Status
2026-10-02 release/glm-5-2 TCP-Connect OK (0.69s), TLS OK, 0 Bytes Response (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert offen

Log-Signatur:

httpx.ReadError: [Errno 32] Broken pipe
  → openai.APIConnectionError: Connection error.
  → 3 Retries → "Provider has been unresponsive (no response received)
                   for 5 consecutive stale attempts"

Diagnose: curl code=000 bei erfolgreichem time_connect/time_appconnect ⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe patterns/llm-backend-hang-diagnosis (PAT-015).

Verbraucher

  • Hermes Agent — seit 2026-10-20 alle 5 lokalen Profile (default, dynamic-coach, infra-sre, nutrition-coach, personal-coach) auf vllm/release/glm-5-3 (provider noris), Fallback-Kette vllm/release/glm-5-3-flash → anthropic/claude-haiku-4-5-20251001. Vorher: default qsu/deepseek-v41-flash-1017, die 4 Profile glm-5-2 (infra-sre: moonshotai/kimi-k2.6). E2E-verifiziert (5/5 Turns „PONG").
  • Sarah-Hermes (VM107) — separate Instanz, weiterhin qsu/deepseek-v41-flash (nicht Teil der Profil-Umstellung)
  • HA LLM Vision — gemma-4-31b-it für Bildanalyse (Frigate Events)
  • Paperless — ds-v4-flash für OCR/Kategorisierung
  • Personal Coach Bot — via noris direkt
  • Dynamic Coach — via noris direkt, qwen-image-2-1 für Visualisierungen
  • HolmesGPT (K8s, ns holmes) — SRE-Bot (Robusta-Helm-Chart): noris-glm → openai/vllm/release/glm-5-3 seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in iac-homelab/clusters/main/apps/holmes.yaml (ArgoCD-App holmes, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + kubectl rollout restart (envFrom/Volume-Config wird nicht hot-reloaded).
  • Paperless-AI (K8s, ns paperless) — PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3 seit 2026-10-20 (vorher vllm/release/deepseek-v4-flash); Embeddings bleiben harrier. Config in iac-homelab/clusters/main/paperless/configmap.yaml.