Auto-sync: 2026-10-12
This commit is contained in:
@@ -37,10 +37,11 @@ modified: "2026-10-11"
|
||||
## Notify Services
|
||||
| Service | Status |
|
||||
|---------|--------|
|
||||
| `notify.mobile_app_iphone_dominik` | ✅ aktiv |
|
||||
| `notify.mobile_app_iphone_dominik` | ✅ aktiv (DER Service für iPhone-Pushes) |
|
||||
| `notify.mobile_app_sarahs_iphone_app` | verfügbar |
|
||||
| `notify.mobile_app_ipad_2` | verfügbar |
|
||||
| `notify.mobile_app_sm_x205` | verfügbar |
|
||||
| `notify.mobile_app_ipad_2` / `notify.mobile_app_sm_x205` | verfügbar |
|
||||
|
||||
⚠️ **SERVICE ≠ ENTITY (Falle, 12.10.2026 live erlebt):** mobile_app registriert zusätzlich notify-ENTITIES mit anderem Namen (z.B. Entity `notify.iphone_dominik`). Diese Entities existieren in `get_states`, sind aber KEINE Service-Targets. Als action-Target in Automations ist IMMER `notify.mobile_app_*` zu verwenden; Verifikation ausschließlich via `get_services` (nicht `get_states`!). Verwechslung führte am 12.10. zu einem fehlgeleiteten 14-fachen-Rename, der via Backup sofort revertiert wurde.
|
||||
|
||||
## Entitäten
|
||||
- Kameras: `camera.einfahrt_2`, `camera.terrasse_2` (Suffix `_2` wegen verwaister Integration)
|
||||
@@ -129,6 +130,16 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
- Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`
|
||||
|
||||
## free@home SysAP XMPP-Wedge & Remote-Reboot (Stand 12.10.2026)
|
||||
- **Chronik:** 05.10. IqTimeout-Massenausfall (22 Entities, Fix: 120s-getAll-Timeout+300s-Keepalive, ephemeral in Container). **11.10. 19:56 erneuter Totalausfall** — diesmal trotz Patch: XMPP-RPC-Dispatcher lebte (echoTest/HW 0,1s), aber `getAll` hing serverseitig (>280s, REST liefert dieselben Daten instantan). HA-Restart wirkungslos (Fehler kam direkt nach frischem HA-Start 19:53).
|
||||
- **HEBEL: `RemoteInterface.reboot(0)` via XMPP** — derselbe RPC, den die SysAP-Web-UI nutzt (Qt-WASM, kein REST-Endpoint). Funktioniert AUCH im Wedge (ACK 7,6s, ~4min Downtime, Konfig unversehrt). Param: RestartEraseCode 0=simpleRestart, 1=factoryReset(!), 2=resetUsingFlags, 3=factoryResetWithoutIA — **nur 0**. Danach `homeassistant/reload_config_entry`.
|
||||
- **Recovery ist push-gestaffelt (Normverhalten, kein Defekt):** Steuerplane (Switch/Light/Cover-Pos) sofort aus getAll-Seed; Sense-Plane (Panel-Temp odp0010, Climate, BinSens, Locks) erst beim ersten Bus-Push (Min–Std). Identisch nach 05.10.-Vorfall (Recorder-History belegt).
|
||||
- **Garagentor-switch BUG bleibt:** ch0003-Status weiterhin `unknown` (Status-Datapoint seit 05.10. tot, auch nach SysAP-Reboot 12.10.). Befehlspfad funktioniert. → dauerhafte Lösung nur via Local-API-Migration.
|
||||
- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen.
|
||||
- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.**
|
||||
- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only).
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — NVR Integration
|
||||
- [[systems/noris-ai]] — LLM Vision Provider
|
||||
|
||||
+8
-3
@@ -32,13 +32,18 @@ Modelle existieren in zwei Lanes: `release/*` und `qsu/*`. **Nicht deckungsgleic
|
||||
ein Key kann `qsu/x` erlauben und `release/x` blocken (und umgekehrt).
|
||||
Bei Key-Problemen immer beide Lanes gegentesten.
|
||||
|
||||
**NAMESPACE-SCHEMA-FALLE (2026-10-11):** Es existieren ZWEI ID-Schemata parallel:
|
||||
**NAMESPACE-SCHEMA-FALLE (2026-10-11/12):** Es existieren ZWEI ID-Schemata parallel:
|
||||
`vllm/<lane>/<modell>` (legacy, funktional) und `<owner>/<lane>/<modell>`
|
||||
(z.B. `glm-5.3/release/glm-5-3` — globales Hermes-Default). Diese sind
|
||||
Virtual-Key-Realms: `glm-5.3/release/glm-5-3-flash` → 403 `model_blocked`,
|
||||
während `vllm/release/glm-5-3-flash` mit DEMSELBEN Key 200 OK liefert.
|
||||
Beim Pinnen von Jobs/Configs immer die `vllm/*`-Form verwenden, bis das
|
||||
neue Schema Key-seitig freigeschaltet ist.
|
||||
Zudem wandern Modelle in die Lane-Namespaces: die bare Form `vllm/<modell>`
|
||||
stirbt (harrier-Fall 12.10.: `vllm/harrier-oss-v1-0.6b` → 403,
|
||||
`vllm/release/harrier-oss-v1-0.6b` → 200, dims 1024). BEFALLENE Konsumenten
|
||||
waren recipe-pipeline (generate_embeddings/semantic_search/recipe_mcp_server)
|
||||
— alle 12.10. umgestellt. Beim Pinnen von Jobs/Configs immer die
|
||||
`vllm/release/*`-Form verwenden und bei 403 model_blocked ALLE vorhandenen
|
||||
Consumer-Skripte nach der alten ID greppen.
|
||||
|
||||
### `/v1/models` ist KEINE Verfügbarkeitsliste
|
||||
Sie listet Modelle, die der Key nicht nutzen darf (→ 403 `model_blocked`) und
|
||||
|
||||
@@ -0,0 +1,118 @@
|
||||
---
|
||||
title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-10-12"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
|
||||
> Tägl. Cron `recipe-scraper-v8-pipeline` (c77127dd9130, 06:00 UTC, Modell
|
||||
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
|
||||
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
- **State:** `scraper_v8_state.json` (Sitemap-Caches, Frontier-Cursor,
|
||||
tried_counts; Backups `*.bak*` daneben)
|
||||
- **Log:** `scraper_v8.log` (append)
|
||||
- **18 Quellen:** Sitemap-Discovery → JSON-LD-Extraction; EN-Quellen werden
|
||||
via noris (`vllm/release/gemma-4-31b-it`) nach DE übersetzt (BATCH=2);
|
||||
deutsche Quellen (eatsmarter/lecker/kuechengoetter) ohne Translation
|
||||
- **Post-Scrape-Pipeline** (nur wenn neue Rezepte): `generate_embeddings.py`
|
||||
(harrier, inkrementell `WHERE embedding IS NULL`) → `semantic_classifier.py`
|
||||
→ `ingredient_normalizer.py` (beide via NOT-IN-Subqueries, resumable)
|
||||
- **Dedup:** `INSERT IGNORE` + Pre-Check gegen `existing_ids`-Set
|
||||
(ID = `{source}_{slug-aus-url}`)
|
||||
|
||||
## Frontier-Fix 2026-10-12 (v8.1)
|
||||
Vorher stand der Scraper bei 198.000/200.000 STILL (52-Min-Läufe, 0 Ertrag,
|
||||
~1.400 Errors/Tag). Drei Kernbugs:
|
||||
1. **Kein Fehler-Gedächtnis:** `state["tried"]` wurde jeden Lauf geleert →
|
||||
403-Gescheiterte wurden täglich neu gehämmert.
|
||||
2. **Eingefrorene Frontier:** `todo[:max_new]` nahm immer die ERSTEN N URLs
|
||||
(allrecipes: 48.626 entdeckt, nur die ersten 2.000 je probiert, ~42k
|
||||
unberührt; remaining=2000 droselte zusätzlich).
|
||||
3. **Budget-Verzählung:** Cap zählte Loop-Iterationen (inkl. Gratis-Dedup-
|
||||
Skips), nicht echte Fetches.
|
||||
|
||||
Fix (Commit-less, direkte Skript-Änderung + Backup `.bak-20261012-frontierfix`):
|
||||
- **Persistente Failure-Memory** in DB: Tabelle `scraper_fetch_log`
|
||||
(PK=url_sha1 CHAR(40), url VARCHAR(2048), source, fails, last_http, dead,
|
||||
next_retry, last_fail_at; Indizes auf source + source,next_retry).
|
||||
Erfolgreicher Fetch löscht den Eintrag (Forgiveness); Fail eskaliert:
|
||||
Quarantäne 1→3→7→14→30 Tage, nach 8 Fails (oder 404/410 sofort) `dead=1`
|
||||
→ nie wieder anfassen.
|
||||
- **Rotierender Cursor** `frontier_pos[source] % len(discovered)` — die
|
||||
Frontier wandert durch die GESAMTE Entdeckungsliste, nicht nur den Kopf.
|
||||
- **Budget = echte Fetches** (Dedup-Skips kosten nichts), Soft-Deadline
|
||||
6 Min je Quelle (faire Rotation über 18 Quellen im 2h-Fenster).
|
||||
- **Sitemap-Refresh alle 7 Tage** (`sitemap_refreshed[source]`, Timestamp nur
|
||||
bei Erfolg) — neue Publikationen erreichen die Frontier wieder.
|
||||
- **Fingerprint-Second-Opinion:** 403/429 → ein Retry mit rotierendem
|
||||
Alternativ-Fingerprint (chrome136/firefox135/safari184). Probe 12.10.:
|
||||
Blocks sind ratelimit-artig, nicht fingerprint-basiert — daher nur 1 Retry.
|
||||
- `main()`: `existing_ids` einmalig laden; Budget `min(2000, remaining)//18`,
|
||||
Floor 200/Quelle.
|
||||
|
||||
Smoke-Test 12.10. (allrecipes, Budget 15): **+15 Rezepte in 104 s**, Cursor
|
||||
sprang 0→5015 (5000 Gratis-Skips + 15 Fetches), fetch_log angelegt, 0 Errors.
|
||||
Vorher: tägliche 0-Ausbeute trotz ~42k unberührter URLs.
|
||||
|
||||
## Pipeline-Repair 2026-10-12 (gleicher Tag)
|
||||
Der erste Produktionslauf mit v8.1 (+118 Rezepte, 198.133 gesamt) legte drei
|
||||
Pipeline-Fehler offen — die Nachverarbeitung war SEIT 26.08. tot:
|
||||
1. **Classifier + Normalizer:** `DB_CONFIG` bekam am 26.08. Timeouts hinzu,
|
||||
aber die `pymysql.connect()`-Calls übergaben `connect_timeout` etc. nochmal
|
||||
explizit → deterministischer TypeError bei JEDEM Lauf (Zeilen 508/902).
|
||||
2. **Embeddings:** `read_timeout=60`, aber die Eingangs-Count-Query
|
||||
(`COUNT(*) WHERE embedding IS NULL`, Full-Scan über Blob) braucht 67,6 s
|
||||
→Lost connection bei der allerersten Query.
|
||||
3. **Embeddings (verschüttet):** Modell-ID `vllm/harrier-oss-v1-0.6b` →
|
||||
403 model_blocked (noris-Realm-Migration, s. [[systems/noris-ai]]) —
|
||||
funktionierte seit dem Realm-Umzug nicht mehr; release-Lane
|
||||
`vllm/release/harrier-oss-v1-0.6b` (dims=1024, kompatibel) geht.
|
||||
|
||||
Fixes: Kwargs-Duplizität entfernt (3 Call-Stellen), `read_timeout` 60→300
|
||||
in allen drei Pipeline-Scripts, Embedding-Updates batched (executemany statt
|
||||
138k Einzel-Commits über Galera), Pipeline-Gate in v8.1 geändert: läuft JETZT
|
||||
immer (inkrementell, chipt am Backlog auch bei 0 neuen Scrapes).
|
||||
Weitere Realm-Opfer gefixt: `semantic_search.py` + `recipe_mcp_server.py`
|
||||
(dieselbe tote harrier-ID).
|
||||
|
||||
Backlog beim Fund: 138.531 Rezepte ohne Embedding, 90.689 unklassifiziert,
|
||||
198.133 ohne Ingredient-Links (Normalizer lief nie seit Deployment).
|
||||
Drain 12.10.: Classifier ~230/s, Embeddings ~58/s (beide live gelaufen),
|
||||
Normalizer regelbasiert danach. Alles resumable.
|
||||
|
||||
### Bug #5 + #6 (beim Drain gefunden, 12.10.)
|
||||
- **#5 ÷0-Crash:** Bruch-Regex `\b(\d+)/(\d+)\b` im Normalizer traf „x/0"
|
||||
in Wild-Data → ZeroDivisionError killte den Step. Fix: Nenner `[1-9]\d*`.
|
||||
- **#6 Frozen Frontier (3. Instanz der Scraper-Krankheit):** Normalizer-
|
||||
Paginierung `WHERE id NOT IN (links) ORDER BY id LIMIT 500` — Rezepte mit
|
||||
permanent leeren Zutaten verlassen die NOT-IN-Menge NIE und bildeten eine
|
||||
~500-Zeilen-Wand am Listenkopf. Der Lauf meldete „Done: 83.000, 0 Errors",
|
||||
hatte aber ~38.400 Visits im Kreis gedreht und 38.216 linkbare Rezepte
|
||||
(fast alle lecker + komplett sanjeevkapoor) NIE erreicht. Algebraischer
|
||||
Beweis: 83.000 processed − 44.589 neue Links ≈ 38.400 Wasted-Visits.
|
||||
Fix: Keyset-Cursor `id > last_seen` (Advancement unabhängig vom Link-
|
||||
Outcome). Sweep danach: 38.216 in 637 s, 0 Errors.
|
||||
- Endzustand: 100 % klassifiziert, 95 % ingredient-linked (Residual =
|
||||
exakt die 9.860 Rezepte mit leerer Zutatenliste — Upstream-Extraktion,
|
||||
kein Normalizer-Problem), Embeddings laufen.
|
||||
|
||||
## Pitfalls (gemessen)
|
||||
- `VARCHAR(768)` utf8mb4 als PK wäre über InnoDBs 3072-Byte-Key-Limit →
|
||||
SHA1-Hash-PK stattdessen.
|
||||
- 403er kamen serienweise (ratelimit-artig); 30-s-Backoff-Loops fraßen die
|
||||
Laufzeit — Quarantäne ersetzt sie.
|
||||
- Translate-Modell `vllm/release/gemma-4-31b-it` live verifiziert 200 (12.10.);
|
||||
Batch=2 ist Absicht (Reasoning-Modell-Zuverlässigkeit).
|
||||
- Log-Datei wächst ~9 MB/Woche — Housekeeper-Rotation nicht vergessen.
|
||||
|
||||
## Related
|
||||
- [[systems/galera-maxscale]] — DB-Backend (VIP .70:3306)
|
||||
- [[systems/noris-ai]] — Translation- + Embedding-Backend
|
||||
- [[reference/ip-map]] — 10.0.30.70 Galera-VIP
|
||||
Reference in New Issue
Block a user