Files
memory/systems/noris-ai.md
T
2026-11-11 22:00:23 +00:00

7.4 KiB

title, category, tags, created, modified
title category tags created modified
noris AI Platform systems
ai
llm
noris
gpu
embeddings
2026-09-27 2026-09-29

noris AI Platform (ai.noris.de)

Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.

Endpoints

  • Chat: https://ai.noris.de/v1/chat/completions
  • Embeddings: https://ai.noris.de/v1/embeddings
  • Images: ⚠️ /v1/images/generations wird vom Bifrost Gateway NICHT unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über /v1/chat/completions angesprochen — das Bild kommt als base64-PNG im content-Array zurück (Typ image_url, data:image/png;base64,...). Siehe references/vllm-image-generation.md im Skill serving-llms-vllm.

Modelle

Typ Modell-ID Hinweise
Flagship LLM glm-5-2 ⚠️ DOWN seit 2026-10-02 — release/glm-5-2 hängt (0 Bytes). Siehe Ausfall-Log.
General gemma-4-31b-it Vision-fähig. ⚠️ release/gemma-4-31b-it → 403 model_blocked für VM107-Key
Large MoE gpt-oss-120b ✅ verifiziert 200
Mid-range qwen3.6-27b ✅ verifiziert 200
Mid-range qwen3.8-27b ✅ verifiziert 200
Fast ds-v4-flash Low-latency, Paperless OCR. ✅ qsu/deepseek-v41-flash verifiziert 200
Embedding harrier Vektorembettungen
Image Gen qwen-image-2-1 Via /v1/chat/completions (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild.

Deployment-Lanes

Modelle existieren in zwei Lanes: release/* und qsu/*. Nicht deckungsgleich — ein Key kann qsu/x erlauben und release/x blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten.

NAMESPACE-SCHEMA-FALLE (2026-10-11/12): Es existieren ZWEI ID-Schemata parallel: vllm/<lane>/<modell> (legacy, funktional) und <owner>/<lane>/<modell> (z.B. glm-5.3/release/glm-5-3 — globales Hermes-Default). Diese sind Virtual-Key-Realms: glm-5.3/release/glm-5-3-flash → 403 model_blocked, während vllm/release/glm-5-3-flash mit DEMSELBEN Key 200 OK liefert. Zudem wandern Modelle in die Lane-Namespaces: die bare Form vllm/<modell> stirbt (harrier-Fall 12.10.: vllm/harrier-oss-v1-0.6b → 403, vllm/release/harrier-oss-v1-0.6b → 200, dims 1024). BEFALLENE Konsumenten waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server) — alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die vllm/release/*-Form verwenden und bei 403 model_blocked ALLE vorhandenen Consumer-Skripte nach der alten ID greppen.

/v1/models ist KEINE Verfügbarkeitsliste

Sie listet Modelle, die der Key nicht nutzen darf (→ 403 model_blocked) und auch solche, deren Backend hängt (→ curl code=000).

Ausfall-Log

Datum Modell Symptom Status
2026-10-02 release/glm-5-2 TCP-Connect OK (0.69s), TLS OK, 0 Bytes Response (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert offen

Log-Signatur:

httpx.ReadError: [Errno 32] Broken pipe
  → openai.APIConnectionError: Connection error.
  → 3 Retries → "Provider has been unresponsive (no response received)
                   for 5 consecutive stale attempts"

Diagnose: curl code=000 bei erfolgreichem time_connect/time_appconnect ⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe patterns/llm-backend-hang-diagnosis (PAT-015).

Context-Fenster (Hermes-Auflösung, 2026-11-02)

Der Katalog liefert max_context_length verschachtelt (input_modalities[].supported_inputs = {value, unit}, Bifrost schema 2.4). Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf DEFAULT_CONTEXT_LENGTHS zurück. Deshalb sind die Fenster in den Hermes- Instanzen explizit gepinnt:

Ebene Key Wirkung
Default-Modell model.context_length nur für das konfigurierte Default-Modell (Scope-Check in agent_init)
Jedes Modell providers.noris.models.<id>.context_length greift auch bei Wechsel/Fallback

Gesetzt (E2E via lcm_status verifiziert): lokal default + 4 Profile + Sarah-Hermes (VM107) = 1.048.576; Per-Modell-Overrides aus dem Live-Katalog (29 Fenster), u. a. glm-5-3 1.048.576 (vorher hardcodiert 1.310.720), gpt-oss-120b 131.072, qwen3.8-27b 262.144.

Ohne Pin: deepseek-v41-flash → 128.000 (Catch-all deepseek), glm-5-3 → 1.310.720, unbekannt → 256.000. Details: docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md.

Verbraucher

  • Hermes Agent — seit 2026-10-20 alle 5 lokalen Profile (default, dynamic-coach, infra-sre, nutrition-coach, personal-coach) auf vllm/release/glm-5-3 (provider noris), Fallback-Kette vllm/release/glm-5-3-flash → anthropic/claude-haiku-4-5-20251001. Vorher: default qsu/deepseek-v41-flash-1017, die 4 Profile glm-5-2 (infra-sre: moonshotai/kimi-k2.6). E2E-verifiziert (5/5 Turns „PONG").
  • Sarah-Hermes (VM107) — separate Instanz, weiterhin qsu/deepseek-v41-flash (nicht Teil der Profil-Umstellung)
  • HA LLM Vision — gemma-4-31b-it für Bildanalyse (Frigate Events)
  • Paperless — ds-v4-flash für OCR/Kategorisierung
  • Personal Coach Bot — via noris direkt
  • Dynamic Coach — via noris direkt, qwen-image-2-1 für Visualisierungen
  • HolmesGPT (K8s, ns holmes) — SRE-Bot (Robusta-Helm-Chart): noris-glm → openai/vllm/release/glm-5-3 seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in iac-homelab/clusters/main/apps/holmes.yaml (ArgoCD-App holmes, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + kubectl rollout restart (envFrom/Volume-Config wird nicht hot-reloaded).
  • Paperless-AI (K8s, ns paperless) — PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3 seit 2026-10-20 (vorher vllm/release/deepseek-v4-flash); Embeddings bleiben harrier. Config in iac-homelab/clusters/main/paperless/configmap.yaml.

11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention

  • Upstream-Key der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung …5a34). Kette: 1P noris-api-key/credential → ESO bifrost-noris-key → Env NORIS_API_KEY. Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
  • Incident: Bifrost-CrashLoop, Meldung /app/data is not writable — echte Ursache ENOSPC: logs.db 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
  • Log-Retention: client_config.log_retention_days stand auf 365, jetzt 14 (PUT /api/config mit vollem client_config). Bestehende 21 GB altern aus; für sofortige Freigabe müsste logs.db in einem Wartungsfenster gelöscht werden (ArgoCD selfHeal verhindert scale --replicas=0).
  • Nicht verfügbar in OSS: Projects (Enterprise-Feature) und per-VK-Budgets über API (POST /api/governance/budgets|rate-limits → 405; …/budgets/{id}/override erwartet einen in config.json deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt Accounting über die 17 VKs (Prometheus bifrost_input_tokens_total).