Files
memory/systems/noris-ai.md
T
2026-11-21 22:00:24 +00:00

11 KiB
Raw Blame History

title, category, tags, created, modified
title category tags created modified
noris AI Platform systems
ai
llm
noris
gpu
embeddings
2026-09-27 2026-09-29

noris AI Platform (ai.noris.de)

Interne AI-Plattform der noris Network AG. Bereitstellung von LLMs, Embeddings und Image Generation.

Endpoints

  • Version (public, ohne Auth): GET https://ai.noris.de/api/version → "v2.4.0-enterprise" (Stand 2026-11-21; Enterprise = Projects/x-bf-project-id vorhanden)
  • Admin-Ebene bleibt noris-gated: /metrics, /api/config, /api/providers, /api/keys, /api/logs und alle /api/governance/* antworten mit unserem Inference-VK 401 JSON "Unauthorized" (Pfad existiert, kein 404). Scope-Anforderung für read-only-Zugang liegt bei ~/docs/requests/2026-11-21-ai-noris-admin-scope.md.
  • Gescopter Admin-Token seit 2026-11-21 in 1P (ai.noris.de Admin Token (scoped), bfst-…, 48 Zeichen; gilt auf prod und ai-dev). Read: /api/config, /api/providers (8), /api/keys (24), /api/governance/virtual-keys (879 VKs, inkl. value = VK-Secrets im Klartext!), …/teams (68), …/customers (45), VK-Detail inkl. rate_limit. 403: /metrics, /api/logs, /api/governance/budgets|rate-limits|projects, /api/permissions|roles. → Inventar + Per-VK-Rate-Limits abgedeckt; Observability/Budgets weiter offen. Token wie Produktions-Admin behandeln (tenant-weit lesbar).
  • Access-Profile & Propagation: Default-Profil adfs_users (id 1, 434 Nutzer, Stand v13) = vllm 15 Einträge (Katalog-15 minus qsu/deepseek-v41-flash-1017, plus qsu/qwen-image-2-1), qwen-image, typesafe, drama-3, Kokoro-TTS, qsu/inkling-2-mini (2026-11-21 ergänzt, mit Kokoro in einem Rutsch propagiert, je ~3 s, Usage erhalten). Template-PUT allein wirkt nicht — sonst 403 provider_blocked; wirksam ist POST …/access-profiles/1/propagate {"fields":["provider_configs"]} (dry_run zeigt 434). admin_profile (id 2) = Wildcard, keine Limits. Workflow im Skill ai-noris-inference-api.
  • Chat: https://ai.noris.de/v1/chat/completions
  • Embeddings: https://ai.noris.de/v1/embeddings
  • Images: ⚠️ /v1/images/generations wird vom Bifrost Gateway NICHT unterstützt. Image-Gen-Modelle (qwen-image-2-1) werden über /v1/chat/completions angesprochen — das Bild kommt als base64-PNG im content-Array zurück (Typ image_url, data:image/png;base64,...). Siehe references/vllm-image-generation.md im Skill serving-llms-vllm.

Modelle

Typ Modell-ID Hinweise
Flagship LLM glm-5-2 ⚠️ DOWN seit 2026-10-02 — release/glm-5-2 hängt (0 Bytes). Siehe Ausfall-Log.
General gemma-4-31b-it Vision-fähig. ⚠️ release/gemma-4-31b-it → 403 model_blocked für VM107-Key
Large MoE gpt-oss-120b ✅ verifiziert 200
Mid-range qwen3.6-27b ✅ verifiziert 200
Mid-range qwen3.8-27b ✅ verifiziert 200
Fast ds-v4-flash Low-latency, Paperless OCR. ✅ qsu/deepseek-v41-flash verifiziert 200
Embedding harrier Vektorembettungen
STT vllm/qsu/voxtral-small-24b-2507 /v1/audio/transcriptions, funktioniert (2026-11-21: 200)
STT vllm/qsu/nemotron-3.5-transcribe ⚠️ im Katalog, aber Transcribe-Route upstream 404 (2026-11-21); gleiche Datei mit voxtral = 200 → Deployment-Lücke, keine Auth-Frage
Image Gen qwen-image-2-1 Via /v1/chat/completions (NOT images/generations). Base64-PNG im content-Array. ~30s/ Bild.

Deployment-Lanes

Modelle existieren in zwei Lanes: release/* und qsu/*. Nicht deckungsgleich — ein Key kann qsu/x erlauben und release/x blocken (und umgekehrt). Bei Key-Problemen immer beide Lanes gegentesten.

NAMESPACE-SCHEMA-FALLE (2026-10-11/12): Es existieren ZWEI ID-Schemata parallel: vllm/<lane>/<modell> (legacy, funktional) und <owner>/<lane>/<modell> (z.B. glm-5.3/release/glm-5-3 — globales Hermes-Default). Diese sind Virtual-Key-Realms: glm-5.3/release/glm-5-3-flash → 403 model_blocked, während vllm/release/glm-5-3-flash mit DEMSELBEN Key 200 OK liefert. Zudem wandern Modelle in die Lane-Namespaces: die bare Form vllm/<modell> stirbt (harrier-Fall 12.10.: vllm/harrier-oss-v1-0.6b → 403, vllm/release/harrier-oss-v1-0.6b → 200, dims 1024). BEFALLENE Konsumenten waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server) — alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die vllm/release/*-Form verwenden und bei 403 model_blocked ALLE vorhandenen Consumer-Skripte nach der alten ID greppen.

/v1/models ist KEINE Verfügbarkeitsliste

Sie listet Modelle, die der Key nicht nutzen darf (→ 403 model_blocked) und auch solche, deren Backend hängt (→ curl code=000).

Ausfall-Log

Datum Modell Symptom Status
2026-10-02 release/glm-5-2 TCP-Connect OK (0.69s), TLS OK, 0 Bytes Response (ttfb=∞), stream + non-stream, von 2 Hosts reproduziert offen

Log-Signatur:

httpx.ReadError: [Errno 32] Broken pipe
  → openai.APIConnectionError: Connection error.
  → 3 Retries → "Provider has been unresponsive (no response received)
                   for 5 consecutive stale attempts"

Diagnose: curl code=000 bei erfolgreichem time_connect/time_appconnect ⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe patterns/llm-backend-hang-diagnosis (PAT-015).

Context-Fenster (Hermes-Auflösung, 2026-11-02)

Der Katalog liefert max_context_length verschachtelt (input_modalities[].supported_inputs = {value, unit}, Bifrost schema 2.4). Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf DEFAULT_CONTEXT_LENGTHS zurück. Deshalb sind die Fenster in den Hermes- Instanzen explizit gepinnt:

Ebene Key Wirkung
Default-Modell model.context_length nur für das konfigurierte Default-Modell (Scope-Check in agent_init)
Jedes Modell providers.noris.models.<id>.context_length greift auch bei Wechsel/Fallback

Gesetzt (E2E via lcm_status verifiziert): lokal default + 4 Profile + Sarah-Hermes (VM107) = 1.048.576; Per-Modell-Overrides aus dem Live-Katalog (29 Fenster), u. a. glm-5-3 1.048.576 (vorher hardcodiert 1.310.720), gpt-oss-120b 131.072, qwen3.8-27b 262.144.

Ohne Pin: deepseek-v41-flash → 128.000 (Catch-all deepseek), glm-5-3 → 1.310.720, unbekannt → 256.000. Details: docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md.

Verbraucher

  • Hermes Agent — seit 2026-10-20 alle 5 lokalen Profile (default, dynamic-coach, infra-sre, nutrition-coach, personal-coach) auf vllm/release/glm-5-3 (provider noris), Fallback-Kette vllm/release/glm-5-3-flash → anthropic/claude-haiku-4-5-20251001. Vorher: default qsu/deepseek-v41-flash-1017, die 4 Profile glm-5-2 (infra-sre: moonshotai/kimi-k2.6). E2E-verifiziert (5/5 Turns „PONG").
  • Sarah-Hermes (VM107) — separate Instanz, weiterhin qsu/deepseek-v41-flash (nicht Teil der Profil-Umstellung)
  • HA LLM Vision — gemma-4-31b-it für Bildanalyse (Frigate Events)
  • Paperless — ds-v4-flash für OCR/Kategorisierung
  • Personal Coach Bot — via noris direkt
  • Dynamic Coach — via noris direkt, qwen-image-2-1 für Visualisierungen
  • HolmesGPT (K8s, ns holmes) — SRE-Bot (Robusta-Helm-Chart): noris-glm → openai/vllm/release/glm-5-3 seit 2026-10-20 (vorher glm-5-2, das seit 10-02 DOWN war — Holmes-RCA lief also ins Leere). Values in iac-homelab/clusters/main/apps/holmes.yaml (ArgoCD-App holmes, Helm-Chart 0.36.0); ConfigMap-Refresh braucht Root-App-Refresh + kubectl rollout restart (envFrom/Volume-Config wird nicht hot-reloaded).
  • Paperless-AI (K8s, ns paperless) — PAPERLESS_AI_LLM_MODEL=vllm/release/glm-5-3 seit 2026-10-20 (vorher vllm/release/deepseek-v4-flash); Embeddings bleiben harrier. Config in iac-homelab/clusters/main/paperless/configmap.yaml.

11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention

  • Upstream-Key der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung …5a34). Kette: 1P noris-api-key/credential → ESO bifrost-noris-key → Env NORIS_API_KEY. Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
  • Incident: Bifrost-CrashLoop, Meldung /app/data is not writable — echte Ursache ENOSPC: logs.db 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
  • Log-Retention: client_config.log_retention_days stand auf 365, jetzt 14 (PUT /api/config mit vollem client_config). Bestehende 21 GB altern aus; für sofortige Freigabe müsste logs.db in einem Wartungsfenster gelöscht werden (ArgoCD selfHeal verhindert scale --replicas=0).
  • Nicht verfügbar in OSS: Projects (Enterprise-Feature) und per-VK-Budgets über API (POST /api/governance/budgets|rate-limits → 405; …/budgets/{id}/override erwartet einen in config.json deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt Accounting über die 17 VKs (Prometheus bifrost_input_tokens_total).

Durchsatz-Benchmark (2026-11-21, single-stream, ai.noris.de)

Gemessen mit Streaming (stream_options.include_usage), 512-Token-Läufe, decode_tps = (completion_tokens-1)/(t_last - t_first) — reine Decode-Rate ohne TTFT und ohne Queueing:

Modell Lane decode tok/s (Median) Streuung TTFT warm 4× parallel (Aggregat)
vllm/qsu/inkling-2-mini qsu ~195–200 (1024-Tok-Lauf: 226) σ ≈ 3 0,19–0,38 s 413 tok/s (per Stream unverändert ~210)
vllm/release/qwen3.8-27b release ~160 (1024-Tok-Lauf: 160) bimodal: 1 von 6 Läufen ~62 0,22–0,43 s 229 tok/s (per Stream 61–151)

Lesart:

  • inkling-2-mini ist ~20–25 % schneller im Decode und deutlich stabiler; Parallelität kostet dort nur TTFT (Queueing), nicht Decode-Rate.
  • qwen3.8-27b fällt sporadisch auf ~62 tok/s (Faktor 2,6) — vermutlich anderes Backend/Worker oder Batch-Zustand, nicht clientseitig. Bei Latenz-SLAs den schlechten Modus einplanen, nicht den Median.
  • Beide Modelle liefern reasoning_content; bei inkling-2-mini wird chat_template_kwargs: {"enable_thinking": false} ignoriert (Reasoning-Anteil bleibt, content kann leer sein, wenn das Token-Budget im Reasoning verbraucht wird). Bei finish_reason=length daher max_tokens großzügig wählen oder usage.completion_tokens statt Text prüfen.
  • Beide nur als Einzel-Stream gemessen; Aggregat-Zahlen sind kein Kapazitätsversprechen des Gateways (gemeinsame Queue).