Compare commits
27
Commits
21a25a0635
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
7090b022c7 | ||
|
|
b171a41a8c | ||
|
|
46bf4e6e42 | ||
|
|
3eda03ae8e | ||
|
|
668501c330 | ||
|
|
34457272d0 | ||
|
|
a0e3039cfa | ||
|
|
fd4a86533e | ||
|
|
d89db49445 | ||
|
|
41556fc10f | ||
|
|
a637ddcf61 | ||
|
|
b7ed1b4505 | ||
|
|
07de4bd482 | ||
|
|
e4767928a5 | ||
|
|
b49e4ed029 | ||
|
|
a85ba99e39 | ||
|
|
8585ee8b56 | ||
|
|
77702d8b66 | ||
|
|
306f3022bb | ||
|
|
4ab319815c | ||
|
|
ba9bf1525b | ||
|
|
90ce3e0267 | ||
|
|
3d48fe6628 | ||
|
|
6a310538ff | ||
|
|
bd366a61ee | ||
|
|
de3dd8a50d | ||
|
|
4fbd8bc1a9 |
@@ -0,0 +1,151 @@
|
||||
---
|
||||
title: "BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses: Fakten, Reaktionen und Argumente"
|
||||
category: concepts
|
||||
tags: [baykibig, kita, elternbeitrag, elternbeirat, kommunalpolitik, freystadt, neumarkt]
|
||||
created: "2026-11-11"
|
||||
modified: "2026-11-11"
|
||||
---
|
||||
|
||||
# BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses
|
||||
|
||||
> Recherche-Grundlage für den gemeinsamen Brief der Freystädter Elternbeiräte an
|
||||
> Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (Landratsamt Neumarkt i.d.OPf.).
|
||||
> Stand: 11.11.2026. Rechtsgrundlage: BayKiBiG-Änderungsgesetz vom 30.07.2026 (GVBl. 2026 S. 401), in Kraft ab 01.01.2027.
|
||||
|
||||
## Ausgangslage
|
||||
|
||||
- **Bisher (Art. 23 Abs. 3 BayKiBiG a.F.):** 100 €/Monat je Kindergartenkind, ab 1. September des Kalenderjahres des 3. Geburtstags bis Schuleintritt. Auszahlung lief über kindbezogene Förderung an die Gemeinden → Träger; Träger waren **gesetzlich verpflichtet**, die Elternbeiträge um 100 € zu ermäßigen. Galt für kommunale, freie und kirchliche Kitas.
|
||||
- **Reform:** Landtagsbeschluss 22.07.2026, Verkündung 30.07.2026, Inkrafttreten 01.01.2027. Der Beitragszuschuss wird als eigene Förderkomponente abgeschafft; die Mittel fließen in den **Qualitätsbonus** (Betriebskostenförderung). Die Pflicht zur Abzugsstaffelung entfällt – die Gesetzesbegründung enthält nur noch die „Erwartung", dass Träger die Beiträge „nur in entsprechend reduziertem Umfang" erheben (SZ: „entfällt formal die förderrechtliche Vorgabe").
|
||||
- **Staatsregierung/StMAS-Position:** Der Zuschuss werde „nur formell" abgeschafft; das Mittelvolumen bleibe in voller Höhe im System; „kein einziger Cent verloren". Der Wegfall als eigener Posten sei „für sich genommen kein Anlass für höhere Elternbeiträge". Kinderbetreuung sei kommunale Pflichtaufgabe – die Beitragshöhe legen Träger und Kommunen fest (§ 90 Abs. 1 SGB VIII, Wunsch- und Wahlrecht § 5 SGB VIII).
|
||||
- **Förderzahlen:** Qualitätsbonus je Kind/Jahr 268,01 € (2026) → vorläufig 693,28 € (2027), 852,36 € (2028), 857,87 € (2029); neu: **Teamkräftepauschale** (2027 ca. 284 Mio. €, ab 2028 ca. 400 Mio. €/Jahr) und **Funktionsstellenpauschale** (ca. 29,4 Mio. €/Jahr). Betriebskostenförderung im Endausbau +25 % (knapp 800 Mio. €/Jahr mehr); 2026 bereits +280 Mio. € (>10 %).
|
||||
- **Kontext Leistungskürzungen:** Familiengeld und Krippengeld fielen für ab 2025 Geborene weg; das geplante Kinderstartgeld (3.000 €) kippte das Kabinett im November 2025. Mit dem Beitragszuschuss endet 2027 die letzte direkte Eltern-Entlastung kleiner Kinder.
|
||||
|
||||
## Wirkung auf Eltern
|
||||
|
||||
- Ohne kommunalen/trägerseitigen Ausgleich zahlen Kindergarten-Eltern ab 01.01.2027 **100 €/Monat = 1.200 €/Jahr je Kind** mehr (Beispiel Bayreuth: 160 € → 260 € bei 6–7 h; Regensburg: 20 € → 120 € bei 6–7 h).
|
||||
- Krippen- und Hortkinder hatten den Zuschuss nie; für sie fielen stattdessen Krippengeld/Familiengeld weg (Lohr: auch Krippen-Eltern „quasi 100 € mehr").
|
||||
- Betroffen sind vor allem **Selbstzahler-Familien**: Kein Anspruch auf § 90 Abs. 4 SGB VIII (Jugendamt-Übernahme bei Unzumutbarkeit), aber zugleich keine Arbeitgeber- oder Sozial-Leistungen.
|
||||
- Landeselternbeirat-Vorsitzende Monika Golling (LEB): Kita werde für viele Familien „zum unbezahlbaren Luxus", LEB spricht von „sozialer Ausgrenzung".
|
||||
|
||||
## Stellungnahmen der Verbände (Verbändeanhörung 2026)
|
||||
|
||||
| Verband | Kernaussage |
|
||||
|---|---|
|
||||
| **Landeselternbeirat (LEB)** | Umstellung muss „kostenneutral und transparent" erfolgen, keine indirekten Beitragserhöhungen; 100 € müssen „verpflichtend, unmittelbar und nachweisbar beitragsmindernd" überführt werden; Elternbeiträge im ersten Jahr stabil halten |
|
||||
| **LAG Ö|F (17.04.2026)** | Reform behebt strukturelle Unterfinanzierung nicht; ohne Dynamisierung des Qualitätsbonus sind Beitragserhöhungen „unumgänglich"; warnt vor Erwartungen, die das System nicht erfüllen kann |
|
||||
| **Verband kath. Kindertageseinrichtungen** | 100 € zweckgebunden beibehalten (Entlastung vor Ort, Planungssicherheit); spricht sich angesichts der Defizite für „Aussetzung der Stabilisierung" aus – Träger werden Beiträge anpassen; Geschäftsführerin Glawogger-Feucht: „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen" |
|
||||
| **KEG Bayern** | Transparente Gegenüberstellung von Mehrkosten und zusätzlichen Fördermitteln; Beiträge nach Möglichkeit stabil halten; gezielte Entlastung z. B. Mittagessen |
|
||||
| **GEW Bayern / evang. Kita-Verband / LAG Elterninitiativen** | befürchten steigende Beiträge; Wegfall wird sich „deutlich bemerkbar machen"; Familien „doppelt belastet" |
|
||||
| **Bayerischer Städtetag** | Gesetzentwurf erreicht „keine dauerhaft kostendeckende Finanzierung der Betriebskosten und springt daher leider zu kurz"; angemessene Elternbeiträge dringend nötig |
|
||||
| **BRK (Träger)** | Beiträge werden „laut Ordnung" berechnet, nur ohne die 100 € Entlastung; Weitergabe sei angesichts der Kosten „nicht realistisch"; wirtschaftliches Risiko liege bei den Trägern |
|
||||
|
||||
## Kommunale Entscheidungen (Auswahl, Stand Nov. 2026)
|
||||
|
||||
| Kommune | Entscheidung 2027 | Quelle |
|
||||
|---|---|---|
|
||||
| **München** | Übergangsregelung: bisherige Ermäßigungen für anspruchsberechtigte Kinder werden 01.01.–31.08.2027 fortgeführt; Beiträge bleiben bis Ende des Kitajahres unverändert; Gebührenanpassung erst ab Sept. 2027 | stadt.muenchen.de |
|
||||
| **Ingolstadt** | gibt den Zuschuss für städtische Einrichtungen weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Hollfeld (Lkr. Bayreuth)** | gibt 60 von 100 € an Eltern weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Augsburg** | +100 €/Monat; verzichtet dafür auf die geplante 3-%-Erhöhung 2027 | augsburg.de/kitakosten2027 |
|
||||
| **Nürnberg** | Elternbeitrag wieder in voller Höhe; reguläre Erhöhung auf Jan. 2028 verschoben; auch Krippen-Entlastung (einkommensabhängig) entfällt | nordbayern.de |
|
||||
| **Regensburg** | Keine Änderung der städtischen Gebührensatzung → Zahlbetrag +100 €; Übernahme des Zuschusses würde ca. 5,04 Mio. €/Jahr kosten (4.200 Kinder); freie Träger passen vereinzelt an | regensburg.de |
|
||||
| **Kaufbeuren** | Gebühren unverändert, **kein kommunaler Ausgleich** → +100 €; Begründung: Defizit ~15 Mio. €/Jahr, ~8.000 € Eigenanteil je Platz; Stadtrat 27.10.2026 mit großer Mehrheit, vollem Saal | kaufbeuren.de |
|
||||
| **Erlangen** | Stadtrat 29.10.2026: kein Ausgleich; freie Träger signalisieren Weitergabe des Wegfalls an Eltern (~3.500 Kinder betroffen); § 90-4-Übernahme bleibt | ratsinfo.erlangen.de |
|
||||
| **Raubling** | Gemeinderat beschließt: kein Ausgleich, reguläre Gebührensatzung → +100 €; Beiträge 2027/28 nicht erhöht; freiwilliger Ausgleich hätte ~370.000 €/Jahr gekostet | raubling.de |
|
||||
| **Feldkirchen-Westerham** | Gebühren stabil, verzichtet auf Sept.-2027-Erhöhung; Ersatz des staatlichen Zuschusses „angesichts der Haushaltslage" nicht möglich | feldkirchen-westerham.de |
|
||||
| **Lohr a. Main** | 4. Änderungssatzung: Abzugs-Passage gestrichen, Gebührentabelle unverändert → Zahlbetrag +100 €; Elternanteil an Gesamtfinanzierung 9,4 % (2026) → 15,3 % (2027, Planung) | lohr.de |
|
||||
| **Coburg** | informiert; Übernahme wäre „neue freiwillige Leistung", keine Verpflichtung; Beispiel: 150 € → bisher 50 € effective → künftig 150 € | coburg.de |
|
||||
| **Egling** | Träger prüfen Beitragsstruktur; Gemeinderatsentscheid Sept. 2026; entfallener Zuschuss musste wegen Gebührenbescheiden bereits vorab eingerechnet werden | egling.de |
|
||||
| **Bayreuth** | Trägerversammlung 09.10.2026: **kein Weitergeben**; „Stadt kann es sich nicht leisten"; GEB protestiert öffentlich | bayreuther-tagblatt.de |
|
||||
|
||||
## Eltern-Initiativen und Petitionen
|
||||
|
||||
- **Gesamtelternbeirat Bayreuth (GEB):** Pressemitteilung gegen den Trägerbeschluss – „versteckte de facto Erhöhung der Elternbeiträge um 100 Euro pro Kind pro Monat … für die selbstzahlenden Eltern"; „Staatsregierung und Träger bestätigen, dass nun mehr Geld im System sei – dennoch werden die Eltern zur Kasse gebeten." Rechnet vor: Qualitätsbonus 268 → 693 € **plus** Teamkräfte-Pauschale (~500 €/Kind/Jahr). Befürchtet: mehr Jugendamts-Anträge, leer bleibende Plätze, Kürzertreten vor allem von Müttern. Forderung: Stadt und Träger sollen sich bei Staatsregierung, Landtagsabgeordneten und Städte-/Gemeindetag für gerechtere Finanzierung einsetzen.
|
||||
- **Illertissen (Elternbeiräte):** Gemeinsamer Appell der Elternbeiräte aus (nach Auskunft des Artikels) sieben Kitas an den Stadtrat mit knapp **400 Unterschriften**. Kern: „Bitte setzen Sie sich für uns ein, dass die durch die Reform entstehenden finanziellen Belastungen nicht unmittelbar und unkompensiert auf die Eltern abgewälzt werden." Vor einer Entscheidung über Anpassungen sollen die konkreten finanziellen Auswirkungen auf die Familien offengelegt und kommunale Ausgleichsmaßnahmen geprüft werden. Argumente: Erwerbstätigkeit/Teilzeit (v. a. Mütter, Rentenansprüche), Fachkräftebedarf, „Korridorkinder" (Juli–September-Geborene), Bildungschancen und soziale Teilhabe; Verständnis für kommunale Herausforderungen wird ausdrücklich bekundet.
|
||||
- **Ernsgaden (openpetition, seit 15.09.2026):** Petition an Bürgermeister und Gemeinderat: Dialog suchen, bevor finale Beschlüsse gefasst werden; prüfen, wie die 100 € ganz oder teilweise weitergegeben werden; „familienfreundliche Gemeinde aktiv mit Leben füllen".
|
||||
- **Kolbermoor (WeAct/Campact):** „Kinderbetreuung muss bezahlbar bleiben – Nein zur Erhöhung der Kita-Beiträge"; Beiträge so gestalten, dass der Wegfall des Zuschusses ausgeglichen wird.
|
||||
- **change.org (landesweit):** „100-Euro-Kita-Zuschuss für Familien auch nach 2027 verbindlich sichern" – an Bayerische Staatsregierung und Landtag; Initiatorkreis um Laura Weidinger (Landeselternbeirat-Umfeld): „Zwei-Klassen-System", Teilzeit rechne sich nicht mehr.
|
||||
|
||||
## Politische Debatte
|
||||
|
||||
- **Scharf (CSU-Familienministerin) vs. Krause (München, Grüne):** OB Krause: Freistaat „streicht" den Zuschuss, „das können wir nicht abfedern"; Scharf nennt das „Fake News" – die Finanzierung werde „lediglich umgestellt". (SZ, Nov. 2026)
|
||||
- **SPD (Doris Rauscher):** „die Elterngebühren werden steigen"; vergeblicher Landtags-Antrag, den Eltern-Zuschuss zu erhalten.
|
||||
- **CSU (Thomas Huber):** „Wir kürzen nicht, sondern investieren dauerhaft deutlich mehr"; keine automatische Mehrbelastung; Mittel des Beitragszuschusses per Änderungsantrag „vollständig im Qualitätsbonus gesetzlich abgesichert".
|
||||
- **Landtagsanhörung:** Träger und Verbände begrüßen die Reform, kritisieren Details; Glawogger-Feucht: kein Zwang zur Weitergabe mehr – „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen."
|
||||
|
||||
## Argumente für den gemeinsamen Brief der Freystädter Elternbeiräte
|
||||
|
||||
1. **Zahlen nachvollziehbar machen (auch nach der Trägerentscheidung):** Öffentliche, prüfbare Gegenüberstellung je Einrichtung – zusätzliche Fördermittel (Qualitätsbonus 693 €/Kind/Jahr, Teamkräfte- und Funktionsstellenpauschale) versus tatsächliche Mehrkosten. So fordern es KEG Bayern und die Illertisser Elternbeiräte; das StMAS selbst sagt, der Wegfall sei „kein Anlass für höhere Elternbeiträge" – die Eltern sollen die Entscheidung der Träger einordnen können.
|
||||
2. **Ausgleich ist machbar:** München (fortgeführte Ermäßigungen bis 31.08.2027), Ingolstadt (städtische Einrichtungen), Hollfeld (60 €) zeigen: Ganz oder teilweise weitergeben geht. Augsburg und Nürnberg begrenzen (keine/verschobene Erhöhung). Für eine kleine Großgemeinde mit ~500 Kita-Kindern ist auch eine **Teilkompensation** ein glaubhafter Mittelweg.
|
||||
3. **Wer wirklich zahlt:** Die Betroffenen sind Selbstzahler-Familien ohne Förderanspruch. § 90 Abs. 4 SGB VIII fängt Geringverdiener auf – nicht die Mittelschicht. Der GEB Bayreuth warnt: Anträge verlagern die Kosten zur klammen Kommune zurück.
|
||||
4. **Erwerbs- und Bildungsargument:** Ohne Entlastung lohnt Teilzeit vor allem für Mütter nicht mehr (Altersvorsorge!), Kindergartenplätze könnten leer bleiben, „Korridorkinder" verlieren ein Förderjahr – mit Folgen für Schulfähigkeit, Fachkräftebedarf und demografische Entwicklung im ländlichen Raum (Illertisser Argumentation).
|
||||
5. **Dialog und kommunale Entlastung:** Ernsgaden und Illertissen zeigen den Weg: Unterschriften, Appell, Gesprächsangebot – konfrontativ ist niemand aufgetreten. Nach der Trägerentscheidung liegt der Hebel bei der Kommune: Übergangsleistung (München-Modell), Teilkompensation (Hollfeld: 60 €), Anhebung Geschwisterermäßigung oder Übernahme des Verpflegungsgeldes (KEG-Empfehlung).
|
||||
6. **Hebel nach oben:** Städtetag („springt zu kurz"), LAG Ö|F, kath. Kitaverband und KEG fordern Dynamisierung des Qualitätsbonus und ehrliche Kommunikation. Bürgermeister und Landrat können das Thema über Städtetag/Landtagsabgeordnete nach München tragen.
|
||||
|
||||
## Kontext Freystadt / Neumarkt (Großgemeinde)
|
||||
|
||||
- **Fünf Kitas, ~500 Kinder:** Kath. Kita Peter und Paul (Freystadt, Bistum Eichstätt), Evang. Kindergarten Freystadt (ELKB), **Kinderhaus St. Anton (Möning, Kath. Kirchenstiftung)**, Evang. Kita Sulzkirchen (ELKB), Kita St. Stephanus (Thannhausen). Zentrale Online-Bedarfsanmeldung über die Stadt Freystadt (01.02.–15.03. fürs Folgejahr).
|
||||
- **Ansprechpartner:** Bürgermeister Tobias Maget, Stadt Freystadt, Marktplatz 1, 92342 Freystadt, Tel. 09179 9490-0, E-Mail info@freystadt.de · Landrat Martin Meier, Landratsamt Neumarkt i.d.OPf., Nürnberger Straße 1, 92318 Neumarkt i.d.OPf., Tel. 09181 470-0.
|
||||
- **Haushalt 2026 (Stadt Freystadt):** Verwaltungshaushalt 24.903.750 € + Vermögenshaushalt 11.549.250 € = **Gesamthaushalt ≈ 36,45 Mio €** (Haushaltssatzung beschlossen 13.01.2026, Mitteilungsblatt 06/2026); Breitband 2026: 395.000 € (Mittelbayerische, 17.12.2025); SPD-Stadtrat Großhauser attestiert hohe Schuldenlast, steigende Kreisumlage und in Projekte gebundene Mittel. **Brief-Argument:** Volle Kompensation ≈ 420.000 €/Jahr (≈350 Kindergartenkinder × 100 € × 12) ≈ 1,2 % des Gesamthaushalts; Teilkompensation 50 € ≈ 210.000 € ≈ 0,6 % – im Gesamtvolumen eine Frage der Prioritäten, nicht der Größenordnung. (Kinderzahl ~350 = Schätzung aus ~500 Kita-Kindern; vor Versand mit realer Zahl prüfen.)
|
||||
- **Status Träger-Entscheidungen Freystadt:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 € ab 01.01.2027 **von den Eltern getragen werden** (Kenntnisstand Elternbeiräte, 11.11.2026; keine öffentliche Bekanntmachung einer kommunalen Ausgleichsleistung). Der Brief-Aufhänger ist entsprechend angepasst: nicht „Transparenz vor Beschluss", sondern **kommunale Entlastung nach der Trägerentscheidung** – Übergangsleistung, Teilkompensation, Entlastung Verpflegungsgeld, § 90-4-Information.
|
||||
- **Eigene Vorarbeit:** Elterninfo „Der 100-Euro-Kita-Zuschuss ändert sich ab 2027 – Möglichkeiten zur finanziellen Entlastung" (2 Seiten A4, Fassung 2, inkl. Arbeitgeberzuschuss § 3 Nr. 33 EStG, Musteranschreiben, Quellen) – als **Anlage** zum Brief geeignet.
|
||||
- Die Stadt Freystadt ist umliegender Jugendhilfe-/Zuschussebene via Defizitverträgen mit den kirchlichen Trägern verbunden; das Landratsamt ist Jugendamt (§ 90-4-Übernahmen) und überörtliche Fürsprecher-Ebene.
|
||||
|
||||
## Neue Belege (11.11.2026): IfKM-Fördermittelrechnung + Landkreis-Vorlage
|
||||
|
||||
### IfKM „Vergleich der Gesamtförderung 2026–2029" (via Möning zugeleitet)
|
||||
|
||||
- Ersteller: IfKM Institut für KiTa-Management GmbH (Lerchenstraße 10, 83129 Hoslwang). Einrichtung auf dem Blatt **nicht benannt** — Zuschusssumme 71.300 € ≈ 59–60 Kindergartenkinder, vermutlich Kinderhaus St. Anton (vor jeder Zitierung bestätigen!). Rechnerische Orientierung ohne Gewähr; Beträge unter Haushaltsvorbehalt (Bewilligungsverfahren).
|
||||
- **Tabelle (2026 → 2027/2028/2029):** Buchungsstellen 517.227 € (konstant) · Qualitätsbonus 44.320 → 114.645 → 140.952 → 141.869 € · Vorkurse 2.153 € (konstant) · Zusatzförderung U3 9.227 → 0 € · U3-Bundesmittel 10.306 → 0 € · Assistentenkräfte 41.063 → 0 € · Personalbonus 25.000 → 0 € · Teamkräftepauschale 0 → 29.023 → 40.817 € · Elternbeitragszuschuss 71.300 → 0 € · **Gesamtförderung 720.596 → 663.048 → 701.149 → 702.060 €.**
|
||||
- Beige-Box (IfKM-Wortlaut): „Elternbeitragszuschuss ab 2027: Ersatz durch die Eltern. Ohne Ersatz entfällt der Zuschuss ab 2027 ersatzlos; die Elternbeiträge bleiben unverändert." → Gebührentabelle unangetastet, Zahlbetrag +100 €/Monat ohne formalen Erhöhungsbeschluss („Erhöhung durch die Hintertür", GEB-Bayreuth-Kritik bestätigt).
|
||||
- **Kernrechnung (entscheidend):** Öffentliche Förderung *ohne* Zuschuss steigt 2027 um **+13.752 €** (649.296 → 663.048 €); einzige wegfallende Linie ist der Zuschuss (71.300 €), den die Eltern 1:1 ersetzen. Einkommensposition der Einrichtung bei voller Elternbelastung: **2027 +13.752 €, 2028 +51.853 €, 2029 +52.764 € über dem Niveau 2026.** Von den 71.300 € der Eltern sind nur 57.548 € (2027) bzw. 19.447 €/18.536 € (2028/29) echte Lückendeckung — der Rest ist Überschuss. Äquivalent: statt +100 € hätte eine Erhöhung um 80,71 €/Kind/Monat (2027; 2028/29: 26–27 €) gereicht, um die Einrichtung exakt auf 2026-Niveau zu halten.
|
||||
- **Stadt-Kosten für Vollarrogation (Eltern + Einrichtung komplett):** nur die Förderlücke — hochgerechnet auf ~420.000 € Nominalbelastung: **~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %)**. Extrapolation indikativ (Häuser-Struktur je nach U3-Anteil/Buchungszeiten/Personalhistorie verschieden); belastbar ist das Verhältnis nur für die untersuchte Einrichtung.
|
||||
|
||||
### Landkreis-Vorlage „Zusammensetzung der Fördermittel für Kitas" (23.10.2026, Fuß „[32] - [Maget]")
|
||||
|
||||
- Landkreis Neumarkt; Ziele der Reform: Entbürokratisierung + **„finanzielle Entlastung der Gemeinden"**; Ausgaben Kinderbetreuung Bayern 1,57 Mrd. € (2008) → 7,36 Mrd. € (2025) = **+369 %**.
|
||||
- Mittelfluss: Freistaat (Landratsämter) → **Kommune** → Träger; Förderformel (Basiswert + Qualitätsbonus) × Gewichtungsfaktor × Buchungszeitfaktor, „zzgl. kommunaler Anteil" — die Stadt ist bereits Finanzierungskanal und Co-Finanzierer (stärkt das Defizitvertrag-Argument gegen die Einordnung als „neue freiwillige Maßnahme").
|
||||
- Grafiken bisher vs. ab 2027 (Konsolidierung auf Betriebskostenförderung + Qualitätsbonus + Teamkräfte), Callout „+25 %", „mehr Flexibilität", „weniger bürokratische Anträge".
|
||||
- **Bedeutung:** Spätestens seit 23.10.2026 ist die Stadt (Vermerk „Maget") offiziell mit der „+25 %/Geld bleibt im System"-Darstellung versorgt — die „kein Budget"-Aussage fiel mit dieser Kenntnis. Vor öffentlichem Zitieren prüfen, ob die Vorlage über das Ratsinformationssystem öffentlich ist.
|
||||
|
||||
### Gemeinsames Träger- und Stadt-Schreiben an die Eltern (November 2026, via Elternbeirat zugeleitet)
|
||||
|
||||
- Die Träger aller fünf Kitas **und die Stadt Freystadt** haben die Eltern gemeinsam informiert: Abzug des 100-€-Zuschusses entfällt ab 01.01.2027 (im Schreiben wörtlich eingeräumt: „zusätzliche finanzielle Belastung von 100 € pro Monat und Kind"); reguläre Elternbeiträge bis Ende des Kindergartenjahres 2027/28 (31.08.2028) unverändert; keine Personalkürzungen; Träger „auf die Zahlung der regulären Beiträge in voller Höhe angewiesen"; kindbezogene Grundförderung steige, aber Gesamtsumme der Fördergelder verringere sich „spürbar"; Hinweis auf § 90 Abs. 4 SGB VIII (wirtschaftliche Jugendhilfe, Amt für Jugend und Familie des Landratsamts).
|
||||
- **Konsequenz:** Die +100-€-Belastung der Eltern ist von den Trägern UND der Stadt offiziell mitunterzeichnet; „kein Budget" (Stadtrat, intern) ist damit eine gemeinsam geteilte öffentliche Position. Frontale Haushalts-Kritik im Erstschreiben hätte auf eine geschlossene Front getroffen.
|
||||
- **Strategie umgestellt (Nutzerentscheid 13.11.2026):** **Dialogbrief zuerst** — deeskalierendes Schreiben an Stadt UND Träger, Fokus auf Reform-Auswirkungen, Nachvollziehbarkeit der Erhöhungen, Entlastungsprüfung und soziale Verträglichkeit; zentrale Bitte um gemeinsames Gespräch noch im November 2026. Alternativ-Entwurf von Yvonne Regnet wortgetreu übernommen und normkonform gesetzt (DIN 5008:2020-03 Form A).
|
||||
|
||||
### Neue Dokumente (13.11.2026)
|
||||
|
||||
- **`brief-stadt-traeger.html/.md/.pdf`** — Dialogbrief nach DIN 5008 Form A: Anrede an Bürgermeister Maget, Vertreter der Stadt Freystadt und Vertreter der Einrichtungsträger; fünf Punkte (Transparenz der Finanzierung, Nachvollziehbarkeit der Beitragserhöhungen, Prüfung von Entlastungsmöglichkeiten, soziale Verträglichkeit, zeitnaher gemeinsamer Austausch — Gespräch idealerweise noch im November 2026); Unterschriftentabelle der fünf Vorsitzenden; bewusst OHNE Haushaltszahlen, Kommunen-Vergleiche und IfKM-Argumente.
|
||||
- **`gespraechsagenda-elternbeiraete.html/.pdf`** — internes Arbeitspapier („Nicht versenden"): Ausgangslage inkl. Träger-Stadt-Schreiben, IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 € = 1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6 Fragen fürs Gespräch, Verhaltensregeln (ruhig fordernd, Zahlen erst auf Nachfrage, IfKM intern), Notizfeld.
|
||||
- **`brief.html/.pdf`** (fordernde DIN-5008-Fassung mit Haushaltsabsatz, Defizitdeckung, Hollfeld-Vergleich, vier-Wochen-Frist) und **`brief-gestaltet.html/.pdf`** bleiben als Material für ein Folge-/Nachschreiben archiviert.
|
||||
|
||||
## Quellen (Auswahl, abgerufen 11.11.2026)
|
||||
|
||||
- StMAS, Beitragszuschuss-FAQ: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/beitragszuschuss.php
|
||||
- StMAS, Finanzierung/BayKiBiG-Reform: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/
|
||||
- LEB-Stellungnahme (Verbändeanhörung): https://www.landeselternbeirat.bayern.de/imperia/md/content/stmas/landeselternbeirat/stellungnahme_leb_baykibig-reform.pdf
|
||||
- LAG Ö|F-Stellungnahme 17.04.2026: https://www.lagoefw.de/wp-content/uploads/2026/04/2026-04-17_LAGOeF_SN_BayKiBiG.pdf
|
||||
- Verband kath. Kitas, Stellungnahme April 2026: https://www.kath-kita-bayern.de/fileadmin/Kita-Verband/XFooter_Presse_Medien/XDokumente_Newsletter/2026-04-Stellungnahme_Verband_zur_BayKiBiG-Reform_.pdf
|
||||
- Landtag, Sozialausschuss-Anhörung: https://www.bayern.landtag.de/aktuelles/aus-den-ausschuessen/sozialausschuss-anhoerung-zum-baykibig/
|
||||
- CSU-Landtagsfraktion: https://csu-landtag.de/presse/lokal/2485/…
|
||||
- KEG Bayern: https://www.keg-bayern.de/news/presse/kinder-sind-unsere-zukunft-sie-duerfen-nicht-zur-haushaltssache-werden
|
||||
- SZ „Es geht um 100 Euro": https://www.sueddeutsche.de/bayern/bayern-kindergarten-gesetz-reform-zuschuss-scharf-kritik-krause-muenchen-li.3485741
|
||||
- BR24 „Kein 100-Euro-Zuschuss mehr": https://br.de/nachrichten/bayern/kein-100-euro-zuschuss-mehr-kita-eltern-fordern-entlastung,VKAbnnS
|
||||
- Bayreuther Tagblatt „100 Euro mehr ab 2027" (GEB): https://bayreuther-tagblatt.de/nachrichten-meldungen-news/kita-in-bayreuth-100-euro-mehr-ab-2027/
|
||||
- München „BayKiBiG-Reform: Umsetzung in Münchner Kitas": https://stadt.muenchen.de/news/baykibig_reform_muenchner_kitas.html
|
||||
- Illertisser Elternbeiräte-Appell: https://de.headtopics.com/news/bitte-setzen-sie-sich-fur-uns-ein-elternbeirate-aus-89763692
|
||||
- Ernsgaden-Petition: https://www.openpetition.de/petition/online/ernsgadener-familien-entlasten-kita-beitragszuschuss-erhalten
|
||||
- Kolbermoor-Petition: https://weact.campact.de/petitions/kinderbetreuung-muss-bezahlbar-bleiben-nein-zur-erhohung-der-kita-beitrage
|
||||
- change.org-Petition: https://change.org/p/100-euro-kita-zuschuss-f%C3%BCr-familien-auch-nach-2027-verbindlich-sichern
|
||||
- Kommunale Seiten: augsburg.de (kitakosten2027) · regensburg.de (nachgefragt) · kaufbeuren.de · ratsinfo.erlangen.de (V/516) · raubling.de · feldkirchen-westerham.de · lohr.de (4. Änderungssatzung) · coburg.de (Elternzuschuss) · egling.de
|
||||
- kitazentrale.de, BayKiBiG einfach erklärt: https://kitazentrale.de/wissen/baykibig/
|
||||
- Stadt Freystadt, Kindergärten-Übersicht: https://freystadt.de/freystadt/bildung-soziales/kindergaerten/
|
||||
- Bürgerservice Freystadt, Elternbeitragszuschuss: https://buergerservice.freystadt.de/verwaltung/stadtverwaltung/leistungen/kommunale-kindertageseinrichtung-zahlung-der-benutzungsgebuehren-elternbeitraege-748
|
||||
- Landkreis Neumarkt (Landrat Martin Meier): https://www.landkreis-neumarkt.de/
|
||||
|
||||
## Related
|
||||
|
||||
- Solution Doc `docs/solutions/workflows/2026-11-08-elterninfo-kindergartenzuschuss.md` — Elterninfo (§ 3 Nr. 33 EStG) als Brief-Anlage
|
||||
- Arbeitsverzeichnis `~/workspace/elterninfo-kita-zuschuss/` — Elterninfo-Dateien (Anlage)
|
||||
- [[entities/team-structure]] — Nutzerkontext Elternbeirat Kinderhaus St. Anton
|
||||
@@ -1,28 +1,24 @@
|
||||
# User Drift Report — 2026-10-26
|
||||
# User Drift Report — 2026-11-16
|
||||
|
||||
**Recent window:** Last 14 days (1738 msgs)
|
||||
**Baseline:** Previous 90 days (8124 msgs)
|
||||
**Recent window:** Last 14 days (1346 msgs)
|
||||
**Baseline:** Previous 90 days (5482 msgs)
|
||||
|
||||
## Detected Drifts
|
||||
|
||||
- **message_length**: Messages 288% longer (baseline: 1989 chars → recent: 7725)
|
||||
- **frustration_increase**: Frustration markers rose from 6.8% to 29.6%
|
||||
- **correction_increase**: Corrections increased from 10.4% to 43.0% — preferences may have shifted
|
||||
- **new_focus**: New dominant topics: gitops, ai_ml, monitoring
|
||||
- **declining_focus**: Topics fading from focus: backup, security, ceph
|
||||
- **message_length**: Messages 130% longer (baseline: 3198 chars → recent: 7352)
|
||||
- **new_focus**: New dominant topics: k8s, ai_ml
|
||||
- **declining_focus**: Topics fading from focus: monitoring, security
|
||||
|
||||
## Signal Summary
|
||||
|
||||
| Metric | Baseline | Recent |
|
||||
|---|---|---|
|
||||
| Avg msg length | 1989 | 7725 |
|
||||
| Frustration rate | 6.8% | 29.6% |
|
||||
| Correction rate | 10.4% | 43.0% |
|
||||
| Action-first | 1.5% | 3.8% |
|
||||
| Top topics | ceph, proxmox, k8s | proxmox, gitops, ai_ml |
|
||||
| Avg msg length | 3198 | 7352 |
|
||||
| Frustration rate | 12.4% | 14.2% |
|
||||
| Correction rate | 19.7% | 19.7% |
|
||||
| Action-first | 1.6% | 2.6% |
|
||||
| Top topics | proxmox, security, ceph | ai_ml, ceph, k8s |
|
||||
|
||||
## Recommendations
|
||||
|
||||
- Investigate friction sources → streamline common workflows
|
||||
- Review recent corrections for pattern → update USER.md preferences
|
||||
- Consider adding domain knowledge for new focus areas
|
||||
|
||||
@@ -38,6 +38,8 @@
|
||||
- [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen
|
||||
- [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation
|
||||
- [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify
|
||||
- [[systems/heizung-viessmann]] — WP CU401B S, Heizkurve 0,4/−7, 11 free@home-Zonen, Sollwerte 24/23/21, WW-Peak-Automationen (11/2026)
|
||||
- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64
|
||||
- [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026
|
||||
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
|
||||
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
|
||||
@@ -52,12 +54,14 @@
|
||||
- [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026)
|
||||
- [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen)
|
||||
- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026)
|
||||
- [[systems/technitium-dns]] — LAN-Resolver + Adblock: CT150/CT153 Cluster, VIP .149 (keepalived), DHCP-DNS via Omada (11/2026)
|
||||
|
||||
## Concepts
|
||||
- [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs
|
||||
- [[concepts/gitops-workflow]] — IaC → Git → ArgoCD → Verify
|
||||
- [[concepts/credential-policy]] — 1Password, ESO, keine Secrets in Git
|
||||
- [[concepts/email-organization]] — Rechnungs-Organizer, Himalaya
|
||||
- [[concepts/baykibig-reform-2027]] — Wegfall 100-€-Beitragszuschuss 2027: Reaktionen, Kommunen-Übersicht, Brief-Basis Freystadt
|
||||
- [[concepts/memory-layer-architecture]] — 7-Schichten Memory Trennungsregeln
|
||||
- [[concepts/user-drift-report]] — Monatlicher Drift-Report (Kommunikationsanalyse)
|
||||
|
||||
@@ -87,6 +91,7 @@
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015)
|
||||
- [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018)
|
||||
- [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019)
|
||||
- [[patterns/pbs-datastore-full-root-reserve]] — PBS meldet ENOSPC bei <100 %: ext4-Reserve (5 %) für den `backup`-User unerreichbar + Dedup lässt „erfolgreiche" Backups ohne neue Chunks durch (PAT-020)
|
||||
- [[patterns/skill-impact]] — Skill Modification Audit Trail
|
||||
|
||||
## Memory Layer Architektur
|
||||
|
||||
@@ -1,5 +1,162 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-11-19] recipe-scraper-cron | 6. Crash-Tag (06:00-Fenster), Retry sofort OK, weiter No-Op bei 200k
|
||||
- **Lauf 1 (06:00:28):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. 2. Rezidiv nach der 4-Tage-Lücke; 6. Crash-Tag insgesamt (11-10/11/12/13/18/19).
|
||||
- **Lauf 2 (06:02:07):** Exit 0 — COUNT instant (<1 s), „Already at 200000 recipes". Retry-Regel (nach DB-Timeout 1× retryen) erneut bestätigt.
|
||||
- **Diagnose:** TCP .70:3306 offen; Fenster heute wieder kurz (wie 11-18): COUNT ab 06:02 instant. Root-Cause (DB-Infra-Job ~05:45–06:05 UTC auf Galera-VMs) weiter offen.
|
||||
- **FIX/Entscheidungen weiter offen (Owner-GO):** (a) `read_timeout=60`→`300` im Scraper (Zeile ~89) oder Cron auf 06:30; (b) Target 200k anheben oder Cron deaktivieren — jeder Lauf bleibt sonst No-Op. Nichts ausgeführt — Auftrag war nur ausführen & berichten.
|
||||
- **Learning-Cycle:** SolDoc-Nachtrag 11-19 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-19), `systems/galera-maxscale.md` (+Issue 11-19); Hindsight-Indexierung via HTTP-API (bank `hermes`, retain).
|
||||
|
||||
## [2026-11-18] recipe-scraper-cron | Crash-Rezidiv nach 4 Tagen, Retry OK, No-Op — Störung täglich, nur Schwere variiert
|
||||
- **Lauf 1 (06:00:29):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. Identischer Fehlerpfad wie 11-10 bis 11-13; erstes Rezidiv nach 4 Tagen.
|
||||
- **Lauf 2 (06:01:53):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. DB unverändert bei 200.000 = TARGET.
|
||||
- **Diagnose (verifiziert):** TCP .70:3306 open; `SELECT 1` + COUNT 200.000 ab ~06:01:45 instant (Node mariadb-01) — Fenster heute kürzer als 11-13 (>122 s).
|
||||
- **Schlüsselbefund — "crashfreie" Tage 11-14 bis 11-17 waren keine:** `scraper_v8.log` Gesamtlaufzeiten 55/37/37/60 s = COUNT-Dauer ~30–55 s (vor `db_count()` laufen nur lokale Loads) → Störung im 06:00-Fenster TÄGLICH, Crash nur wenn COUNT >60 s. "Intermittenz" war falsch — die 4 Tage waren Grenzfälle.
|
||||
- **Root-Cause weiter offen:** Täglicher DB-Infra-Job ~05:45–06:05 UTC (mariabackup/ANALYZE/Timer auf Galera-VMs) Hauptverdächtiger. **FIX weiter offen (Owner-GO):** `read_timeout=60`→`300` (Scraper Zeile ~89) oder Cron auf 06:30. Nichts ausgeführt — Auftrag war nur ausführen & berichten.
|
||||
- **Learning-Cycle:** SolDoc-Nachtrag 11-18 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-18); Hindsight-Indexierung via HTTP-API (`POST /v1/default/banks/hermes/memories`, compact Summary + Tags, `success:true`; Recall-Test: neue Fakten auffindbar, semantic 0.65). Auch notiert: Cron-Task-Beschreibung "77.000+" seit 11-08 veraltet (DB: 200.000).
|
||||
|
||||
## [2026-11-16] Büro-Licht: Schwelle auf 7000 lx (Outdoor-Proxy stößt an Grenzen)
|
||||
- **Vorgabe:** „es ist aktuell dunkel genug, dass das Licht angehen sollte" bei Outdoor **5.900–6.400 lx** → Schwelle 1.500 → **7.000 lx** (Gate + `dunkel`-Trigger), Nachlauf bleibt 2 min.
|
||||
- **A/B bei praktisch gleicher Helligkeit:** Präsenzflanke 09:11:26 (~6.400 lx, Schwelle 1.500) → Licht bleibt aus (`choose/3`); Flanke 09:15:49 (~5.948 lx, Schwelle 7.000) → Licht an 09:15:50 (`choose/0/sequence/0`). Vorher war das Licht seit 07:11:36 aus (Morgen war 13–20k lx).
|
||||
- **Erkenntnis:** Outdoor-Lux ist nur ein grober Proxy für die Büro-Helligkeit (Nordseite/trüb). Dritte Schwellen-Anpassung in drei Tagen → echte Lösung = Indoor-Lux (BH1750 am Büro-ESP32) oder LD2410-Hold-Timeout; als Optionen im Wiki notiert.
|
||||
- **Sensor-Flapping:** Präsenz-Bursts 20–60 s mit Lücken bis 6 min → 2-min-Nachlauf lässt das Licht in Lücken aus. Wiki `systems/homeassistant.md` aktualisiert.
|
||||
|
||||
## [2026-11-15] storage-fix | Offsite-PBS 800→980 GiB extendet, 208 GiB frei, Push-Sync wieder grün
|
||||
- **Ist:** `noris_offsite` (PBS-VM 213.95.54.60) war **100 % voll** (ext4 787 GiB, 747 belegt, 0 frei); Push-Sync `push-offsite` (CT119 → offsite, 03:00) scheiterte seit **20.10.** mit `ENOSPC` (os error 28). Seitdem kamen nur Snapshots mit Dedup-Volltreffern durch — „grüne" Snapshots 12.–14.11. neben echten Lücken.
|
||||
- **Ursache 1:** Cinder-Volume `pbs-data` 800 GiB (Dimensionierung 07/2026) bei ~180 GiB/Monat Wachstum. **Ursache 2:** ext4-Reserve 5 % (40 GiB) ist für den PBS-`backup`-User unerreichbar → df „0 frei" bei 94,9 %.
|
||||
- **Fix (Owner-GO, 0 Downtime):** `openstack volume set --size 980` (`OS_VOLUME_API_VERSION=3.42` nötig, OSC 10.1 kennt kein `volume extend`) → `rescan` + `resize2fs` (787→964 GiB) + `tune2fs -m 1` (-32 GiB Reserve). Danach **208 GiB frei (79 %)**, PVE: 77,46 %. Catch-up-Sync 14:17 gestartet (~3,5 MB/s WAN).
|
||||
- **Offen:** Projekt-Quota 1000 GiB (820 belegt) = harter Deckel → **Quota-Erhöhung bei noris** auf 2–3 TiB nötig, sonst in ~5–6 Wochen erneut voll. Nebenbefund: nächtlicher vzdump endet mit `job errors`, weil VM 991 auf nicht existentes RBD `vm-300-disk-0-test` zeigt.
|
||||
- **Docs:** `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern **PAT-020** (`patterns/pbs-datastore-full-root-reserve.md`), Wiki `systems/proxmox-cluster.md` (Backup-Storage-Sektion), Skill-Ref `openstack-offsite-pbs-2026-07.md` ergänzt.
|
||||
|
||||
|
||||
## [2026-11-15] ceph-status-audit | MON 4→3, Pool-Tabelle korrigiert, MON_DISK_LOW n5pro
|
||||
- **Strukturell:** `mon.proxmox4` am 15.11. 10:22 entfernt (Service disabled, monmap e137) → 3 MONs (proxmox5/ms-a2-1/n5pro), Quorum 3/3. MGR aktiv seit ~2 Wochen auf **ms-a2-1** (nicht mehr n5pro). Vorher 05:15 kurzer MON_DOWN (n5pro).
|
||||
- **Health:** HEALTH_WARN nur Disk-Rauschen — 7 HDD-OSDs `BLUESTORE_SLOW_OP_ALERT` (chronisch seit ≥08.11., 7–9 OSDs), osd.1/6/11 `DB_DEVICE_STALLED_READ` (DB auf demselben HDD-Spindle, 5 s read-Timeout). 533/533 PGs clean, keine Recovery.
|
||||
- **Wiki-Korrekturen (`systems/ceph-cluster.md`):** Pool-Tabelle neu aus `ceph df detail` — **`media_ec` (EC 4+1) und `media_meta` existieren nicht mehr**, dafür cephfs_ssd_data/meta + default.rgw.*; 13 Pools/533 PGs. osd.18 → n5pro (nicht ubuntu), osd.17 = 2.7 TiB, osd.3 via CRUSH-Weight 0.05 (Reweight 1.0). Kapazität 14/33 TiB (43 %), Engpass osd.7 bei 89.8 %, Pool-Headroom ~0.8 TiB. Versions-Skew: 3 OSDs auf 20.2.5.
|
||||
- **Erledigt 15.11. (Owner-GO):** (a) n5pro aufgeräumt → `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) + `ceph crash archive-all && prune 30` (285 → 0 Reports) → Root-FS 67 % → **51 %**, MON_DISK_LOW aus health detail verschwunden. Lokale Daemon-Crash-Dumps bleiben (n5pro 276 M, ubuntu 520 M, 07.08.). (b) MON 4→3 ist **gewollt** (Owner bestätigt): Zielzustand 3 MONs, proxmox4 bleibt reiner OSD-Host. (c) osd.7 (89.8 %) `crush reweight 0.931 → 0.75` → 15 PGs remapped, Backfill ~30 MiB/s, MAX AVAIL cephfs_data 864 GiB → 1.1 TiB, hdd_disk 852 GiB → 1.0 TiB. **Nebeneffekt:** osd.10 (proxmox6, 2. 1-TB-HDD-Host) stieg 76.6 → 78.4 % — mit 4 HDD-Hosts und size=3 tragen die beiden kleinen Hosts strukturell zu viel. Deshalb auf Owner-Wahl auch osd.10 `crush reweight 0.931 → 0.75` (15:43) → zusammen 18 PGs remapped, beide Hosts jetzt symmetrisch 0.75. Backfill ~38 MiB/s, ETA ~2.5 h; One-Shot-Cron `23fdefeffc95` prüft in 3 h die Konvergenz.
|
||||
|
||||
## [2026-11-15] network-recon-bugfix | Weekly-Scan: IP-Misattribution gefixt — 77/91 "Alive"-IPs waren Ghosts
|
||||
- **Bug im wöchentlichen Netzwerk-Scan** (`~/.hermes/scripts/network-scan.py`, seit mind. 27.09. aktiv): Phase-1-Sweep `zip(ips, as_completed(futures))` ordnete Alive-Verdikte falschen IPs zu (Completion-Order ≠ Submissions-Order) → 77/91 gelistete IPs waren Ghost-Adressen; alle echten Hosts (PVE .30–.93, NAS .100, Galera .70–.82) unsichtbar. Fix: `pool.map` + 443 in den Deep-Scan; Neu-Scan: 91 echte Geräte (89 + 2 Re-Probe), Inventar deckt sich mit ip-map.
|
||||
- **Topologie:** `10.0.30.100` (ubuntu-NAS, VLAN-30-IP) **zurück** — SSH-Host-Keys (RSA/ECDSA/Ed25519) identisch zu 10.0.20.100 → derselbe Host; `reference/ip-map.md` korrigiert. Ob Rückkehr beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten).
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md`; Skill `devops/network-reconnaissance` (Pitfall ergänzt); Hindsight indexiert.
|
||||
|
|
||||
## [2026-11-14] Büro-Licht-Automation um Helligkeits-Gate erweitert (+ Nutzer-Edit aus Trace gerettet)
|
||||
- **Neu:** On-Pfad von `buero_eg_licht_praesenz_nachlauf` nur noch bei `sensor.wetterstation_illuminance` **< 1500 lx** (Startwert 500 lx; am selben Tag auf Nutzer-Vorgabe „ab der aktuellen Helligkeit" hochgezogen — zu dem Zeitpunkt 1.300 lx); Sensor `unavailable`/`unknown` → Fail-safe Licht an. Neuer Trigger `numeric_state below 1500 for 3 min` → Dämmerung schaltet ein, wenn Präsenz schon an ist (sonst käme keine neue Flanke). **Kein** Ausschalten bei Helligkeit (Heuristik-Veto).
|
||||
- **Schwellen-A/B (Beweis, gleiche Helligkeit ~1.280–1.300 lx):** Präsenzflanke 15:23:13 mit 500 lx → Licht bleibt aus (Trace `choose/3/conditions/0`); Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`, Licht 15:24:15).
|
||||
- **Fast verloren:** Ich hatte die Automation am 02.11. gebaut — der Nutzer hatte sie inzwischen selbst auf **5 min Nachlauf** + `time_pattern /2` + Alias „(5 min Nachlauf)" geändert. Mein `POST` hat das blind überschrieben; Rekonstruktion gelang aus dem Automation-Trace (`ws trace/get`, Feld `config`). Diese Werte sind jetzt wieder drin.
|
||||
- **E2E 14.11.:** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Flanke → Licht an; echter 5-min-Nachlauf (09:01:26 off → 09:06:28 Licht aus, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. Lux-Fakes wurden vom Gerät binnen Sekunden überschrieben (Wetterstation pusht ~alle 10–20 s).
|
||||
- **Lux-Realwerte:** bedeckter Vormittag Nov ~8.500–8.800 lx, Spätnachmittag Mitte Nov ~1.250–1.300 lx → 1500-lx-Schwelle = Licht ab Dämmerung/trüben Tagen, Mittagssonne bleibt gesperrt.
|
||||
- **Nachtrag 14.11. 15:28:** Nachlauf auf **2 min** reduziert (Nutzer); Alias jetzt „(2 min Nachlauf)", Sweep-Bedingung ebenfalls 2 min. E2E: Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10 (Trace `choose/2`); On-Pfad bei 970 lx weiterhin an.
|
||||
- Skill `smart-home-automation`: `references/ha-automation-trace-debugging.md` um „blind POST zerstört spätere Edits / Recovery via Trace" + „kein `automation/reload` nach Config-POST nötig" ergänzt; Wiki `systems/homeassistant.md` aktualisiert.
|
||||
|
||||
## [2026-11-13] free@home setup_error | SysAP-Reboot wirkungslos → Client-Zombie, Core-Restart Fix, Watchdog Stufe 2
|
||||
- **Incident:** Entry `freeathome` `setup_error` seit 12.11. 16:18 UTC, 28/29 ABB-Entities `unavailable`, Log `IqTimeout` auf `RemoteInterface.getAll`.
|
||||
- **Watchdog-Blindstelle:** der 05:11-Reboot (`reboot(0)`, ACK) half nicht — SysAP-REST war die ganze Zeit gesund (`/configuration` 200 in 3 s, 62 Geräte) ⇒ Wedge clientseitig. Danach 6-h-Cooldown ohne zweiten Hebel; HA-Retry-Backoff erschöpft (letzte Logzeile 06:17).
|
||||
- **Fix:** `docker restart homeassistant` 07:10 → `loaded` 07:14:48, 28/28 Entities, E2E turn_on/off je <2 s.
|
||||
- **Code:** `fah_watchdog.py` + Stufe 2 (`sysap_config_ok()` REST-Gate + `restart_core()`, Cooldown `last_core_restart`) — `--selftest` und Tick verifiziert.
|
||||
- **Skill:** `smart-home-automation/references/freeathome-integration-health.md` (Entscheidungstabelle SysAP-Wedge vs. Client-Zombie, Probe-Pitfall). Solution Doc: `bug-fixes/2026-11-13-freeathome-setup-error-client-zombie-core-restart.md`.
|
||||
|
||||
## [2026-11-13] recipe-scraper-cron | 3. Crash-Tag, Fenster-These verfeinert, Retry OK, No-Op
|
||||
- **Lauf 1 (06:00:28):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. 3. Tag in Folge.
|
||||
- **Diagnose:** Galera gesund (3/3 Synced, wsrep_ready=ON, Uptime 4,5 d, Flow Control aus); `SELECT 1` instant; COUNT hing im Fenster 06:01–06:04 **>122 s** ("Sending data"), ab 06:05 **4× 0,0 s**. → Die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Morgen-Briefing (parallel 06:00) als Verursacher **widerlegt**: Fetch-Scripts ohne recipes-DB-Zugriff; am 10.11. lief COUNT während des Briefings durch. 06:00-Fenster-Ursache offen → Backup-Jobs/Cron auf DB-VMs prüfen.
|
||||
- **Lauf 2 (06:04:14):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline (4. No-Op-Tag in Folge).
|
||||
- **Tool-Fallen heute:** (a) bash-Pipeline `python … | tee; echo $?` maskiert den Python-Exit-Code (tee-Exit=0 trotz Crash) → `${PIPESTATUS[0]}` verwenden; (b) Pfad-Typo `/home/deian/` 2× (Pfade kopieren, nicht tippen); (c) SolDoc-Suche überPagination-Limit 50 — bestehendes Doc 2026-11-12 fast übersehen → bei total_count==50 immer weitersuchen.
|
||||
- **FIX bleibt offen (Owner-GO):** `read_timeout=60`→`300` im Scraper (Zeile ~89); robustester: Cron auf 06:30 verschieben. SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` (neu) + Nachtrag in `2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- **Learning-Cycle:** Hindsight-Indexierung via HTTP-API (bank `hermes`, files/retain, Operation completed; Recall-Test top-Treffer positiv). Wiki: `systems/recipe-scraper.md` (+Status 11-13), `systems/galera-maxscale.md` (+Bekannte Issues 11-13).
|
||||
|
||||
## [2026-11-13] BayKiBiG: Strategieumstellung auf Dialogbrief – Träger/Stadt-Schreiben dokumentiert, harte Fakten in interner Gesprächsagenda
|
||||
- **Neuer Primärbeleg:** Gemeinsames Schreiben der fünf Träger UND der Stadt Freystadt an die Eltern: Abzug entfällt ab 01.01.2027 („zusätzliche finanzielle Belastung von 100 € pro Monat und Kind" eingeräumt), Beiträge bis 31.08.2028 „nicht erhöht", kein Personalsabbau, „auf vollständige Zahlung angewiesen", § 90-4-Hinweis. Die Stadt hat die +100 € damit offiziell mitunterzeichnet.
|
||||
- **Strategie (Nutzerentscheid):** Erstschreiben deeskalierend — Dialogbrief an Stadt UND Träger (Alternativ-Entwurf Yvonne Regnet, wortgetreu, DIN 5008:2020-03 Form A gesetzt; einzig normbedingte Anpassung: „Betreff:"-Vorsatz entfallen). Fünf Punkte: Transparenz, Nachvollziehbarkeit, Entlastungsprüfung, soziale Verträglichkeit, zeitnahes Gespräch (ideal noch im November 2026). Unterschriftentabelle der fünf Vorsitzenden.
|
||||
- **Gesprächsagenda (intern, „Nicht versenden"):** IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 €/1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6er-Fragenkatalog, Verhaltensregeln, Notizfeld. Stand 13.11.2026.
|
||||
- **Archiv:** fordernde Fassung (brief.html/.pdf) + gestaltete Fassung (brief-gestaltet.html/.pdf) bleiben für ein Nachschreiben erhalten.
|
||||
- **Dateien:** brief-stadt-traeger.html/.md/.pdf (Dialogbrief, 2 Seiten, Layout gemessen: S.1 6,5 mm / S.2 21,1 mm Luft; Vision-Check komplett), gespraechsagenda-elternbeiraete.html/.pdf (2 Seiten, S.1 45 mm / S.2 20,6 mm Luft, Notizfeld). Wiki-Sektionen „Gemeinsames Träger- und Stadt-Schreiben" + „Neue Dokumente" ergänzt.
|
||||
|
||||
## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op
|
||||
- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten.
|
||||
- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen.
|
||||
- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11.
|
||||
- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89).
|
||||
- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.).
|
||||
|
||||
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
|
||||
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
|
||||
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
|
||||
- **Empfänger:** Anschriftfeld = Maget (Fensterkuvert-tauglich); zweite Ausfertigung an Landrat Meier per Anschrifttausch (in brief.md dokumentiert). Gestaltete Vorversion als brief-gestaltet.html/.pdf gesichert.
|
||||
- **Verifiziert:** pdftotext-Schlüsselphrasen, Layoutmessung (Seite 1 Fließtext-Ende 22 mm über Rand 277 mm; Seite 2 Abstand Fließtext–Quellen 15 mm, Quellen-Ende exakt 277 mm), Vision-Check beider Seiten: Briefkopf, Rücksendeangabe, Anschrift, Infoblock, Betreff, Anrede, Absätze, Bitten, IM AUFTRAG-Tabelle, Anlage, Quellen vollständig sichtbar, keine Überlappungen.
|
||||
- **Dateien:** brief.html/.md (Masters), brief.pdf, Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx regeneriert; DIN-5008-Maße recherchiert via din5008.net / sekretaria.de / arbeiten-im-sekretariat.de (Kapitel-19-Abmessungen Form A/B).
|
||||
|
||||
## [2026-11-11] BayKiBiG: Elternbrief geschärft („ruhig fordernd"), IfKM-Erkenntnisse anonymisiert
|
||||
- **Haushaltsabsatz:** neuer Schluss „Hinzu kommt: Die erhöhte Betriebskostenförderung des Freistaats fließt ohnehin über die Kommune an die Einrichtungen – die Stadt ist bereits Teil dieser Finanzierungskette. Ein Ausgleich ließe sich daher innerhalb der bestehenden Finanzierungsverträge mit den Trägern regeln." — entkräftet „kein Budget" ohne IfKM-Blatt oder Landkreis-Vorlage direkt zu zitieren (Nutzerentscheid: „lieber nicht direkt zitieren").
|
||||
- **Bitte 1:** Mechanismus ergänzt: „… am einfachsten über eine Anhebung der Defizitdeckung in den bestehenden Finanzierungsverträgen mit den Trägern."
|
||||
- **Bitte 2:** Lücken-Argument anonymisiert: „Die staatliche Förderung steigt ab 2027 deutlich – die reale Lücke jeder Einrichtung kann daher kleiner sein als die 100 € … Wir bitten Sie deshalb um eine offene Gegenüberstellung je Einrichtung: Welche Fördermittel gehen ein, welche Einnahmen entfallen, welcher Betrag fehlt am Ende?"
|
||||
- **Schluss:** gefestigt: „Wir bitten um eine Antwort binnen vier Wochen – gern auch als Gesprächsangebot." (statt „würden wir uns freuen").
|
||||
- **Dateien:** brief.html/.md + Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx; 2 Seiten A4. Layout-Fix dokumentiert: Die geschärften Sätze erzeugten zunächst Überlauf (Seite 1: 17,2 mm – Footer „Fortsetzung Seite 2" und letzte Absatzzeile abgeschnitten; Seite 2: 5 mm). Behoben durch messbasierte Layout-Straffung (Zeilenabstand 1,44, Kopf-/Blockabstände, Kopfrand 10 mm) – final verifiziert via Browser-Layoutmessung (Footer-Seite-1-Überlauf von +17,2 mm auf ein unkritisches Box-Maß von 0,2 mm; Text-Tinte vollständig innerhalb der Seite), pdftotext-Schlußsatzcheck und Vision-Check beider Seiten: Footer, Schlusssatz, Bitten, Unterschriftentabelle, Anlage und Quellen vollständig sichtbar, keine abgeschnittenen Zeilen. IfKM-Zahlen bleiben interne Argumentationsgrundlage (Wiki-Abschnitt „Neue Belege").
|
||||
|
||||
## [2026-11-11] BayKiBiG: IfKM-Fördermittelrechnung + Landkreis-Vorlage als neue Belege
|
||||
- **IfKM-Blatt (via Möning):** Gesamtförderung 720.596 € (2026) → 663.048/701.149/702.060 € (2027–29); Elternbeitragszuschuss 71.300 € → 0 €. Kernrechnung: Öffentliche Förderung ohne Zuschuss steigt +13.752 €; Eltern- Mehrzahlung 71.300 € = nur zu 80,7 % (2027) bzw. 27 % (ab 2028) Lückendeckung, Rest Überschuss (+13.752/+51.853/+52.764 € über 2026-Niveau). Stadt-Vollarrogation hochgerechnet ~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %).
|
||||
- **Landkreis-Vorlage 23.10.2026 („[32] - [Maget]“):** Reformziel „finanzielle Entlastung der Gemeinden“, +25 % Betriebskostenförderung, Mittelfluss Freistaat → Landratsamt → Kommune → Träger — die Stadt ist bereits Co-Finanzierer; „kein Budget“-Aussage fiel nach offizieller Briefing. Belege in `concepts/baykibig-reform-2027.md` (Abschnitt „Neue Belege“) dokumentiert.
|
||||
|
||||
## [2026-11-11] BayKiBiG: Träger-Entscheidung Freystadt intern bekannt – Brief-Aufhänger angepasst
|
||||
- **Update:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 €/Monat ab 01.01.2027 **von den Eltern getragen werden** (erstufige Information der Elternbeiräte, nicht öffentlich). Wiki-Seite `concepts/baykibig-reform-2027.md` angepasst: Status aktualisiert, Argumente 1 und 5 umformuliert („Zahlen nachvollziehbar machen auch nach Trägerentscheidung", „Dialog und kommunale Entlastung": München-Übergangsmodell, Hollfeld-Teilkompensation 60 €, KEG-Empfehlung Verpflegungsgeld).
|
||||
- **Brief-Revision:** Aufhänger ist jetzt die Träger-Information an die Eltern (100 € werden selbst getragen); Bitten umgestellt auf: kommunale Ausgleichsleistung prüfen, Zahlen nachvollziehbar machen, Dialog, § 90 Abs. 4 SGB VIII-Information, überörtlicher Einsatz. Dateien: `~/workspace/brief-elternbeiraete-freystadt/` (PDF/DOCX/MD).
|
||||
|
||||
## [2026-11-11] BayKiBiG-Reform: Wiki-Seite als Recherche-Basis für Freystädter Elternbeirats-Brief
|
||||
- **Neu:** `concepts/baykibig-reform-2027.md` — Wegfall des 100-€-Elternbeitragszuschusses ab 01.01.2027: Rechtslage (GVBl. 2026 S. 401), Förderzahlen (Qualitätsbonus 268→693 €/Kind/Jahr, Teamkräftepauschale), 13 Kommunen-Entscheidungen (München Übergangsregelung, Ingolstadt/Hollfeld Weitergabe, Augsburg/Nürnberg Begrenzung, Kaufbeuren/Erlangen/Raubling/Lohr/Bayreuth kein Ausgleich), Elterninitiativen (GEB Bayreuth, Illertissen ~400 Unterschriften, Ernsgaden/Kolbermoor-Petitionen) und Verbands-Stellungnahmen (LEB, LAG Ö|F, kath. Kitaverband, KEG, Städtetag, BRK) mit URLs.
|
||||
- **Verwendung:** Basis für den gemeinsamen Brief aller 5 Freystädter Elternbeiräte an Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (LRA Neumarkt) — Bitten: Transparenz vor Beschluss, Ausgleichsprüfung, Dialog, § 90-4-Info, Überörtlicher Einsatz. Elterninfo (§ 3 Nr. 33 EStG) als Anlage.
|
||||
- **Status Träger-Entscheidungen Freystadt:** öffentlich noch nicht bekannt (11.11.2026) — Brief aktuell adressierbar.
|
||||
|
||||
## [2026-11-10] Recipe-Scraper-Cron: Ziel 200k erreicht → No-Op + transiente Galera-Trägheit
|
||||
- **Scraper-Status:** DB steht bei exakt 200.000 Rezepten = `TARGET = 200_000` (`recipe_scraper_v8_intl.py:29`) → v8.1 beendet sich sofort ("Already at 200000 recipes", Exit 0): 0 neue, keine Quellen, keine Pipeline. **Owner-Entscheidung nötig:** Target anheben oder Cron deaktivieren. Cron-Task-Beschreibung ("77.000+") veraltet.
|
||||
- **Galera-Beobachtung:** Erster Anlauf 06:01 UTC crashte in `db_count()` (pymysql 2013, 60-s-Timeout) — Galera kurzzeitig träge nach Recovery vom 08.11.: `SELECT 1` instant, `SELECT COUNT(*)` hing 30 s, Wiederholung 1,2 s; wsrep_cluster_size=3. Retry 06:03 UTC lief sofort. **Neue Regel: nach DB-Timeout 1× retryen vor Diagnose.**
|
||||
- Wiki `systems/recipe-scraper.md` (Status-Abschnitt), `systems/galera-maxscale.md` (Bekannte Issues +10.11.-Eintrag), SolDoc `bug-fixes/2026-11-08-galera-outage-...md` um Follow-up 10.11. ergänzt. Hindsight-Indexierung ausgefallen — CLI-GLIBC-Bug (braucht GLIBC_2.39).
|
||||
|
||||
## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix
|
||||
- **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill.
|
||||
- **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert).
|
||||
- **Fix:** Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (`ha_mem_log.jsonl`, Leak-Alarma ≥250 MiB/h).
|
||||
- **Pitfalls:** HAOS-Shell `/dev/tcp` = false negative; `.log.1` war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript.
|
||||
- Wiki `systems/homeassistant.md` (neuer Abschnitt), SolDoc `bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
|
||||
## [2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node
|
||||
- **Symptom:** Cron `43612c6d52b6` meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund: `http://10.0.30.10:8123` → 200, Entry `freeathome` = `loaded`, SysAP HTTP UP (getAll-Probe 40,8 s).
|
||||
- **Ursache 1:** `fah_watchdog.py` holte das HA-Token bei **jedem** 15-min-Tick frisch per `op read`; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokaler `op`-Prozess als Verursacher.
|
||||
- **Ursache 2:** `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2) — VM 106 läuft auf **proxmox3**. `qm guest exec` → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist` (rc=2). Der Rettungs-Reboot wäre **nie** gefeuert.
|
||||
- **Fix:** Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall, 401-Retry) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Tick still (exit 0).
|
||||
- **Offen (Owner-GO):** ESO-Retry-Sturm stoppen (5 ES 1h → 12h, ggf. ESO kurz auf 0) — hält sonst die 1P-Quote account-weit zu.
|
||||
- **Doku:** SolDoc `bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`, Wiki `systems/homeassistant.md`, Pattern `1password-rate-limit.md` (PAT-003), Skill `smart-home-automation`.
|
||||
|
||||
## [2026-11-05] Security-Sweep: sshhole.com (0 Treffer) + CVE-2026-98432 (25/26, NAS mitigiert)
|
||||
- **sshhole.com:** OpenSSH-auf-musl-Auth-Bypass (musl `crypt()` liefert `*`; jedes Passwort mit 257–1024 Zeichen loggt Konten mit `*`-Shadow-Feld ein; Fix OpenSSH 10.6p2). 52 SSH-Endpunkte über 10.0.20/30/40.0/24: alle sshd-Binaries glibc+PAM, HAOS 22222 Dropbear, Gitea `.200` Go-SSH, Alpine-Images ohne sshd, NAS-shadow ohne `*`-Login-Konto → **0 betroffen**. Pitfall: musl-Loader ≠ musl-sshd (CT113 paperless-gpt), immer `ldd /usr/sbin/sshd`.
|
||||
- **CVE-2026-98432:** Live-Re-Verifikation 25/26 geschlossen (PVE 8/8 `7.0.14-26`, 30 LXC, 17 VMs inkl. RKE2 `6.12.113`/HAOS 18.4, 221 Pods). Einzig Ubuntu `.100` offen (`6.8.0-146`; Fix `6.8.0-149` weiter `pending`). **Mitigation gesetzt:** `/etc/sysctl.d/99-cve-2026-98432.conf` (`net.mptcp.enabled=0`, `tcp_migrate_req=0`), verifiziert, Dienste + Ceph unverändert. nft-Regel gegen IPv4-Options offen (Owner-GO).
|
||||
- **Watchdog:** Cron `6252986090b9` war 9 Ticks blind (`bash `-Präfix in `monitor_script`, `deliver=local`, `debian@` statt `root@` im Prompt) → repariert (`+x`, bare filename, `deliver/failure=origin`, Ceph-Gate im Prompt), Sensor + Trigger validiert.
|
||||
- Doku: SolDoc-Nachtrag `2026-10-30-cve-2026-98432-fleet-exposure.md` + `systems/ubuntu-host.md`.
|
||||
|
||||
## [2026-11-03] Haus-Akku: SOC-Sensoren + EMHASS-Kapazität korrigiert
|
||||
- **Befund:** Fünf HA-Template-Sensoren hingen an der toten Local-API-Integration `marstek_venuse_3_0_*` (es gibt nur die Modbus-Entities). `total_soc_safe` zeigte 3,9 % statt ~12 %, `Marstek SOC Safe` und `Marstek Grid Power Safe` dauerhaft 0. Zusätzlich rechneten `remaining_kwh` (110 Wh/%) und `Total SoC` (Nenner 15120) mit 11 kWh, real nutzbar sind 7,2 kWh.
|
||||
- **Fix:** Templates auf `marstek_venus_modbus_*`, 72 Wh/%, Nenner 7200+5120 mit SMA-Fallback (Backup `core.config_entries.bak-20261103`); EMHASS `battery_nominal_energy_capacity` 16000→12320 Wh (Backup `/config/config.json.bak-20261103`, Add-on-Restart). Verifiziert: SMA 11 % / Marstek 13,2 % → `total_soc` 11,95 %, `total_soc_safe` 11,9 %, `remaining_kwh` 792 Wh; nächster EMHASS-Lauf `Optimal` mit kleinerem Plan (chg 2,95→2,70 / dis 2,39→2,19 kWh).
|
||||
- **Pitfall:** EMHASS-Add-on-Config liegt unter `/config/config.json` **im Container**, nicht in den Add-on-Options (dort nur Solcast). Dateiänderung im Race mit dem HA-Start wird ignoriert → bei Template-Entries einzeln `homeassistant.reload_config_entry` aufrufen, danach Werte prüfen.
|
||||
- **Offen:** `sensor_power_battery` = `batteries_power_out_total` (nur Entladung, beim Laden 0) — unkritisch, solange `set_use_battery_identification: false`. Ledger warnt jeden Lauf „price coverage only 56 %" (EPEX-Lücken 00:00–10:00, carry-forward 0,4217 €/kWh).
|
||||
|
||||
## [2026-11-03] free@home: Wanddisplay-Widgets via Lokal-API ausgelesen
|
||||
- **Zugang:** Local-API-User `Installer`, Passwort im HA-Config-Entry `freeathome` (nur über Dateisystem lesbar). VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **Widgets = Panel-Kanäle + `/pairings`:** Display `ABB6BC5495EA` „free@homeTouch 7\"" (Essbereich EG), 4×4-Raster, 9 Widgets belegt / 7 frei. API v1 hat **keinen** Panel-Endpoint.
|
||||
- **Pitfall:** Panel-Kanäle spiegeln keine Aktor-Zustände → Live-Status am Ziel-Aktor lesen.
|
||||
- Wiki `systems/homeassistant.md`, Skill-Ref `smart-home-automation/references/freeathome-local-api.md`, SolDoc `integrations/2026-11-03-freeathome-panel-widgets.md`.
|
||||
|
||||
## [2026-11-02] HEVC-Encoder-Ausschuss: Bitstream-Korruption als dritte Fehlerklasse
|
||||
|
||||
- **Fall:** `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime. `ffprobe` und Box-Parser meldeten alles korrekt (`hevc/hvc1/1080p`, `moov<mdat`, `hvcC=3 Arrays`, bytewise deckungsgleich mit einer funktionierenden Datei derselben Pipeline). Ursache: eigener VAAPI-Encode vom 30.10. mit 35 `CABAC_MAX_BIN`-Fehlern (~1/min), `rc=0` weil libavcodec concealte.
|
||||
- **Fix:** Original-Release neu geladen (FETiSH, 4,63 GB) → sofort spielbar (h264); parallel Re-Encode `libx265 crf24 medium` (44 fps ≈ 1,45× Realtime auf 4 vCPU) mit Gates Codec/Dauer/Größe/Atoms/**Volldekodierung 0 Zeilen**, Swap + Auto-Refresh-Watcher.
|
||||
- **Gescheitert:** erster Versuch mit `hevc_vaapi` → `No VA display found for device /dev/dri/renderD128` (rc 234). Grund: **worker-05 seit 01.11. 10:19 UTC NotReady** (kein Ping, ARP FAILED), Pod auf worker-04 rescheduled, dort nur `card0` — und `card0` als `-vaapi_device` scheitert mit `Failed to initialise VAAPI connection: -1`. Kein VAAPI im Cluster bis zum Node-Revival.
|
||||
- **Nebenprodukt:** HEVC-Stichproben-Audit der Bibliothek läuft (3×20 s je Datei); erste Treffer null. Wiki `systems/sabnzbd.md` + Skill `video-codec-compatibility` gepatcht, SolDoc `integrations/2026-11-02-hevc-bitstream-korruption-cabac.md`.
|
||||
|
||||
## [2026-11-02] HA-Automation Büro EG: Licht nach Präsenz + 15-min-Nachlauf
|
||||
- **Neu:** `buero_eg_licht_praesenz_nachlauf` (automations.yaml Z.1626): `binary_sensor.esp32_c3_buero_eg_presence` `on` → `switch.licht_buro` an; `off` 15 min → aus. `time_pattern /10`-Sweep nur als Restart-Recovery (kein Re-Assert, manuelles Ausschalten bleibt respektiert).
|
||||
- **Gebaut via REST:** `POST /api/config/automation/config/<id>` (moderne `triggers/conditions/actions`), Readback per GET, kein HA-Restart nötig. Entity-ID danach per WS `config/entity_registry/update` von `automation.buro_eg_licht_nach_prasenz_15_min_nachlauf` auf `…buero_eg_licht_praesenz_nachlauf` — Alias-Slugify transliteriert Umlaute.
|
||||
- **E2E:** On-Pfad live 2× (Trigger 07:18:47 / 07:19:45 → Licht an), Off-Pfad über Temp-Automation mit `for: 10s` (Prod: 15 min), Temp gelöscht, `offpath`-grep 0, keine HA-Log-Fehler.
|
||||
- **Befund:** Sensor meldet Präsenz in 30–120-s-Bursts (LD2410-typisch) → Nachlauf trägt die Logik; bei Fehl-Aus Sensor-Config prüfen. Wiki `systems/homeassistant.md` gepatcht.
|
||||
|
||||
## [2026-11-01] Zweite Beschaffungswelle: +24 Szenen (Submissed/AngeloGodshack/PascalsSubSluts) + Quarantäne-Inventar
|
||||
- **Sweep repariert:** discovery-Cap `max=250` (vorher 25 Zeilen), Szenen-Key = Brand+Datum+Performer mit Release-Token-Strip, Varianten-Merge (1080p AVC > 1080p HEVC > 720p). Alte Version lud dieselbe Szene 2–3× als 720p/1080p.
|
||||
- **Dedupe-Regel:** gegen `media/` über Datum **und** Performer; ohne Datum (LegalPorno-Jahresposts) nur Performer. Nur Performer allein hätte 3× `Mini Mitzix` als „neu“ gemeldet.
|
||||
@@ -869,3 +1026,204 @@
|
||||
- 2026-11-01 20:45 - systems/agent-fleet: **Karten-Bewertungs-Sweep live** (board-service 0.23 `2d8d3026`, watcher 0.25 `580773d3`, Commits 801409c/e8ef165/a233597). Zwei Zustell-Blocker behoben: (1) Dedupe filterte auf `type: review` — ein fachlicher Abnahme-Task (`working`, vs-fleet-rebuild) sperrte 40 fällige Karten → `_is_card_review_task()` = Sender-Diskriminator; (2) `board-service` fehlte in der **Hardcode-Kopie** der Sender-Allowlist im Watcher (`watcher_main.py` importiert nichts) → 4 Tasks `accepted` + 1 s später `quarantined`, Automatik meldete 40 min Erfolg ohne Zustellung. `accepted` ist Schreib-, `task_claimed` ist Zustellbeweis. Regressionsschutz `spool/test_sender_sync.py` (AST, 14 Checks). E2E: 5 Karten an ceo zugestellt (`c5473d17`), Karten unverändert `Neu`, Folgelauf ohne Doppel-Task. Pattern PAT-018 (`patterns/automatik-erfolg-kein-zustellbeweis.md`), Skill-Ref `agent-fleet-operations/references/spool-delivery-contract.md`, SolDoc bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
- 2026-11-01 21:55 - systems/galera-maxscale: **Welle 4 komplett — alle 5 DB-Nodes auf Debian 13 trixie, Kernel 6.12.113** (schließt CVE-2026-98432 für diese Tier). Galera: MariaDB 11.8.9+maria~deb13, galera-4 26.4.27-deb13, 3/3 Synced/wsrep_ready=ON; MaxScale 24.02.9~trixie-1 auf .81/.82, VIP .70:3306 offen. Ablauf: MaxScale zuerst (.82→.81), dann Galera db1→db2→db3 (Master zuletzt via `maintenance`, weil `galeramon` keinen switchover kennt). Pitfalls: cloud-init 25.1.4 schrieb auf .81 leeres netplan → DHCP/IP-Verlust (Fix 99-static-eth0.yaml per MAC + cloud-init-Netz aus); Repo-Namen driften (`mariadb.sources` vs `mariadb.list`, `fluent-bit.list` auf .72/.73); apt auf HDD-Ceph ~10-20 min/Node → nohup + `=== END`-Sentinel. E2E: Gitea 200 (1.27.0), Immich pong. Seafile-502 vorbestehend (VM203 ai-inference-01 gestoppt). SolDoc migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md
|
||||
- 2026-11-01 21:25 - systems/agent-fleet: **Deadman-Alarm an toten ceo umgeleitet** (Commit `7b621ad`, deadman 0.13.3 `d8dbc57a`, watcher 0.27 `ced4430b`). Vorfall: ceo-Sandbox `PHASE Error` ab ~18:43, Deadman erkannte korrekt, legte Alarm mit `to: ceo` → 1 h 43 m ungesehen, 73 Tasks Rückstau. Fix: `alarm_recipient()` leitet bei `source_key == agent:<ALARM_TARGET>` an `tower-owner`. Sender-Matrix in allen drei Ebenen erweitert (submit_task.py, watcher_main.py, CM-Kopie). Tests: test_alarm_routing 19/19, sender_sync 0 Fehler, echter Validator im Pod 6/6. ceo wiederhergestellt (stop→start nach OIDC-Login). Pattern PAT-019. Offen: Reconcile-Loop für PHASE Error, OIDC-Refresh-Token
|
||||
- 2026-11-02 - systems/proxmox-cluster: **CVE-2026-98432 Reststatus live geprüft** — PVE 8/8 `7.0.14-26-pve`, alle 29 LXC erben das (Edge CT99999 inkl.), Galera/MaxScale 5 VMs `6.12.113`, RKE2 7/8 Nodes `6.12.113` (worker-05/VM102 gestoppt), Debian-VMs 107/200/230 `6.1.0-54`, HAOS `6.18.58-haos`. **Offen nur:** Ubuntu .100 (6.8.0-146 läuft, 147 installiert, Fix 6.8.0-149 laut CVE-JSON weiter pending → Mitigation statt Patch) und worker-05 (Kernel beim Start prüfen, evtl. noch 7.1.8). SolDoc Reststatus-Abschnitt ergänzt.
|
||||
- 2026-11-02 - systems/rke2-kubernetes: **worker-05 (VM102) wieder online** — `qm start 102` auf ms-a2-2, Kernel `6.12.113+deb13`, Node `Ready`, 13 Pods laufen, GPU-Passthrough (AMD Granite Ridge, amdgpu, /dev/dri/renderD128) ok. Ursache des Ausfalls war **`onboot: 0`** + Host-Boot am 01.11. 11:31, kein Crash/CVE. `qemu-guest-agent` fehlte im Gast (PVE zeigte "agent: down" trotz gesundem Gast) → nachinstalliert, `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO).** CVE-2026-98432 damit 25/26 zu, nur Ubuntu .100 offen.
|
||||
- 2026-11-02 11:45 - systems/agent-fleet: **CEO-Sandbox wieder voll operativ — drei Egress-Gates entkoppelt** (Image `v5.5` `013bfac8`, Commits `d36f334`/`d431f6d`/`5d039ea`, Policy-Push `5d039ea`). Nach dem Landlock-Fix (Hermes real `/usr/local/hermes`, `/opt/hermes` Symlink) war `ceo` 2 h ohne Netz; die acht anderen Agenten unberuehrt. Ursachenkette: (1) Landlock verweigerte Spawn des Entrypoints (Pfad nicht in `read_only`); (2) Network-Broker matcht `binaries[].path` exakt — reale Interpreterpfad fehlte; (3) Gateway staged neue Endpoint-Namen als `staged unapproved ... for TCP policy review`, Default `--approval-mode manual` haelt jede Proposal im Review-Inbox -> Create mit `--approval-mode auto` noetig. Freigabe kommt eine Runde spaeter (`CONFIG:PUBLISHED ... mapped ... ~20 s`), erster Heartbeat 11:09:36 noch FAIL, ab 11:19:36 alle 300 s `hb ok`. Endstand: 9/9 Agent-Pods, 10/10 Deployments, `deadman_silence_seconds{ceo}=292` (<300), alle `deadman_alert_active=0`; ceo arbeitet Tasks ab (u. a. `a9bd0470` Deadman-Eskalation, `49f6f7cf` review von board-service). Pitfalls: Policy-YAML nie per `sed` (Muster kuerzte `/opt/hermes/tools/.../python3.14` auf `/opt/hermes/` — YAML blieb gueltig, Regel matchte kein Binary); `policy set` scheitert live an Bestandspfaden -> `policy update`; Diagnose nur via Supervisor-Log, `kubectl exec` umgeht die Policy. SolDoc bug-fixes/2026-11-02-ceo-egress-landlock-pfad-und-policy-approval.md; Skill-Ref `agent-governance-runtimes/references/openshell-sandbox-provisioning.md` um Abschnitt "Policy liveness" erweitert.
|
||||
- 2026-11-02 12:35 - systems/agent-fleet: **Rollout v5.5 auf alle 9 Agenten abgeschlossen** (Digest `013bfac8`). Ablauf je Agent: tar-Backup aus dem Pod -> `openshell sandbox delete` -> `create --approval-mode auto` -> Ready -> `kubectl cp` + `tar xzf --no-overwrite-dir` -> Egress-Check; Skript `~/workspace/fleet-rollout/`, Backups `~/fleet-workspace-backups/`, Logs daneben. 8/8 fehlerfrei (coo Pilot, dann chro/agile-coach/cmo/research/cto/devops/ciso), ~1-7 min je Agent nach Erstpull (3m48s). **Recreate kostet den Workspace**: PVC haengt per OwnerRef an der Sandbox, neuer PVC; Groessen nach Restore deckungsgleich (cto 84, ciso 117, devops 113, research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB). **Egress-Freigabe ist asynchron**: Supervisor staged DNS-Namen und reicht selbst Policy-Chunks ein (`add-rule allow_fleet_beacon_...`, resolved_from:sandbox), Gateway auto-approvet bei leerem Prover-Delta (CONFIG:APPROVED, Revision Loaded) — bis zum naechsten Heartbeat-Zyklus 5-10 min, dann `hb ok`. Endstand: 9/9 Pods neuer Digest, 9/9 hb ok, deadman_alert_active alle 0 (max Stille 230 s), 10/10 Deployments, Quarantaene unveraendert 64, 0 Tasks `working`. Offen: 32 Tasks an tower-owner (Owner-Lane, kein Agenten-Backlog). Aufgeraeumt: 7 abgeschlossene Build-Pods im NS fleet geloescht.
|
||||
- 2026-11-02 13:16 - systems/sarah-hermes: **Compression-Stall behoben** — `model.context_length` 131072→262144, `compression.context_timeout_seconds: 300`, `context_total_ceiling_seconds: 900` (Backup `config.yaml.bak-20261102-131314`, Restart 13:13:33). Verifiziert `resolve_context_compression_timeouts() → (300.0, 900.0)`, Preflight-Threshold 131.072 statt 45.875. Gleiche Werte in lokaler Runner-Instanz gesetzt (Backup `config.yaml.bak-20261102-131606`), dort threshold 0.5 → 131.072 statt 524.288. Offen: Waise-PID 521 (PPID 1, keine Sockets) nach systemd-Restart; `fallback_providers: []` weiter leer.
|
||||
- 2026-11-02 13:3x - systems/noris-ai: **Context-Fenster an Hermes gepinnt** — Bifrost liefert `max_context_length` nur verschachtelt (`input_modalities[].supported_inputs`), Hermes parst Top-Level und fiel auf Hardcodes zurück (deepseek 128k statt 1.048.576, glm-5-3 1.310.720 statt 1.048.576, gpt-oss 256k statt 131k). Fix: `model.context_length: 1048576` (lokal default + 4 Profile + Sarah VM107) + Per-Modell-Overrides `providers.noris.models.<id>.context_length` aus dem Live-Katalog (29 Fenster). E2E: `lcm_status` 1.048.576 / threshold 524.288 (lokal), 367.001 (Sarah). SolDoc bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md
|
||||
- 2026-11-02 14:25 - systems/homeassistant: **EMHASS-v2 3 Tage still ausgefallen — Token in /tmp + Publish-Pfad maskierte es.** Cron `a32005d62226` starb beim Host-Boot 30.10. an `FATAL: token file missing` (/tmp volatil, `no_agent`+deliver=local → niemand sah es); `automation.trigger_emhass` postete weiter per `/action/publish-data` die LETZTE Zeile des 3 Tage alten Plans (frische Timestamps, eingefrorene Werte p_batt 0/SoC 99,57). Zweiter Blocker nach Token-Fix: `every 15m`-Anker auf Minute ≡0 gedriftet → Race-Guard `REFUSED rc=2` dauerhaft. Fix: Token kanonisch `~/.hermes/secrets/ha_token.txt` + `/tmp`-Symlink + `ha-token-ensure.sh`, Cron auf `4,19,34,49 * * * *`, neuer Watchdog `3a99e3837250` (>75 min Plan-Alter / <10 h Horizont, Telegram). E2E: manuell 14:09 + Cron-Tick 14:19 `status ok`, CSV 48 Zeilen Optimal. Nebenbefund: SoC 8,8 % (BYD ~6 %, Marstek 14,8 %), Plan C kommandiert 2500 W Marstek-Entladung trotz EMHASS-Hold; alter Watchdog `a2a1b429bc2e` seit 25.09. pausiert + SSH-Klartextpasswort in jobs.json. SolDoc bug-fixes/2026-11-02-emhass-v2-token-tmp-silent-3d-outage.md
|
||||
- 2026-11-02 16:19 - systems/homeassistant: **EMHASS-Produzent nach Home Assistant verlagert (AppDaemon) — Token-Klasse eliminiert, EMHASS-Add-on unangetastet.** AppDaemon-Add-on `a0d7b954_appdaemon` v0.19.3 (Store, `boot: auto`, bekommt HA-URL+Token automatisch vom Supervisor) führt jetzt die App `emhass_optimizer` aus (`:04/:19/:34/:49`), Quelle `~/scripts/emhass_app/` (Kern per AST verbatim aus v2). Parity: 19/19 unittest + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs Shadow, 48 Slots, 0 Warnungen). E2E: Cutover 16:04, erster Einzelproduzent 16:19 mit CSV-Mtime 16:19:00 und identischem Plan (5 Entlade-/7 Ladeslots, SoC 8,1→10 %). Hermes-Cron `a32005d62226` pausiert = Rollback. **Watchdog-Fix:** Frische wird jetzt an `sensor.p_batt_forecast` (>90 min) gemessen, nicht mehr an `plan_last_forecast`; die `plan_*`-Sensoren schreibt ein neuer Display-only-Cron `4bc13a052329` (`:05/:20/:35/:50`). Pitfalls: `scp` geht auf HAOS nicht (tar over ssh), AppDaemon kann die EMHASS-CSV nicht lesen (Verify über Attribute), AppDaemon-Config liegt unter `app_configs/` nicht `/config/appdaemon`. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md
|
||||
- 2026-11-03 05:49 - systems/homeassistant: **5 h stiller EMHASS-Ausfall durch eigenen Idempotenz-Bug — gefixt, Watchdog auf CSV-Mtime umgestellt.** AppDaemon-App skippte ab 01:04 jeden Tick mit `already ran for slot …`: `_slot_key` enthielt nur Datum + `minute//15` (4 Keys/Tag), also lief die Optimierung nur 4×/Tag um 00:xx; CSV stand auf 00:49. Warum unbemerkt: der Watchdog maß `sensor.p_batt_forecast`, und `automation.trigger_emhass` ruft alle 15 min `publish_data` → frische Zeitstempel bei eingefrorenem Plan (dieselbe Maske wie beim 3-Tage-Ausfall); `plan_*` frischte der Display-Publisher ebenfalls alle 15 min auf. Fix 1: Key `%Y%m%d_%H%M`. Fix 2: Watchdog prüft jetzt CSV-Mtime (>40 min) + Horizont, Overrides `EMHASS_MAX_AGE_MIN`/`EMHASS_CSV_PATH`; Alarmpfade getestet (stale rc=1, unlesbar rc=1, gesund rc=0). Fix 3: App-Arg `run_on_start` für Sofort-Zyklus nach Deploy. E2E: Zwangszyklus 05:49:45 (Plan 5/8 Slots, SoC 4,3→10 %, 12 Warnings = 77 % Preis-Coverage um 05:49, normal) und planmäßiger Tick 06:04:00 (CSV 06:04:00). Offen: `automation.trigger_emhass` deaktivieren (redundant + dauerhafte Maskierung) — braucht Owner-GO. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md (Nachtrag)
|
||||
- 2026-11-03 06:40 - systems/homeassistant: **`automation.trigger_emhass` deaktiviert (Owner-GO).** Sie rief nur alle 15 min `rest_command.emhass_publish_data`, übermalte damit eingefrorene Pläne mit frischen Zeitstempeln und war die zentrale Maske beider EMHASS-Ausfälle. YAML: `initial_state: false` (Backup `automations.yaml.bak-20261103-0620`), `automation.turn_off` + `automation.reload` je HTTP 200, Entity `state=off`. Nachweis: um 06:45 blieb `p_batt_forecast` auf 06:34 (statt wie sonst auf 06:45 aufgefrischt), `last_triggered` unverändert; Produzent (AppDaemon) publiziert weiter im 15-min-Takt.
|
||||
|
||||
- 2026-11-02 15:5x - systems/sabnzbd: **4 VAAPI-korrupte HEVC-Files per Re-Fetch repariert (Option B), HEVC zurueckgefuehrt.** Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx: Release per Binsearch -> `publish_nzb.py` -> Sorter-Insert-Dedupe (gleiche Dauer +-2 s, gleiche Hoehe -> groessere Datei gewinnt, korrupte nach `quarantine/dedup-sorter/SexAndSubmission/`) -> Volldekodierung 0 Fehlerzeilen -> software libx265 crf24 (hvc1, faststart) -> Gates -> Tausch, Original nach `transcode-originals/`. Endstand alle vier `hevc,hvc1,1080`, Dauer-Delta 0, 13 GB h264 -> 3,2 GB HEVC (Alexa 4,41->1,14 GB), Jellyfin 553 Items / Scan Idle. **Gate-Falle:** Converter-Sidecar hat kein python3 -> `GATE FAIL Dauer` bei identischen Werten; Gates+Swap gehoeren in den App-Container. BoundGangBangs: nur 10,8-GB-Rar-Set (`part0.nzb`) -> kein Re-Fetch, Re-Encode bleibt. Offen (eigenes GO): quarantine 171 G, complete 105 G, transcode-originals 17 G gesunde Master, 2 WMV3-Twins 1,98 GB. SolDoc integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md
|
||||
- 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md
|
||||
- 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md
|
||||
- 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv.
|
||||
- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
|
||||
- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.
|
||||
- 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft.
|
||||
|
||||
## 2026-11-15 (2) — Fleet-CTs gelöscht, Galera-02 offline migriert, HA-Regeln analysiert
|
||||
|
||||
- **VM 301 (mariadb-02) proxmox7 → proxmox6** (offline, sauberer MariaDB-Stop), Galera danach 3/3 synced.
|
||||
Stolpersteine: (1) HA-Regel `na-vm301` pinnt die VM auf proxmox5/6/7 → `qm migrate n5pro` wird abgelehnt,
|
||||
CRM startet sie auf proxmox5 (528 MB frei!); (2) `ha-manager set --state started` VOR Migrationsende →
|
||||
`request_start_balance` → VM springt auf den alten Knoten zurück. Richtig: state=started lassen, nur
|
||||
`ha-manager migrate vm:301 <ziel>`. (3) Erster Boot → emergency mode (root locked) → `qm reset` → zweiter
|
||||
Boot ok, MariaDB per IST rein.
|
||||
- **9 Fleet-CTs (160,161,163,164,165,201,202,205,206) gelöscht** nach vzdump auf PBS `noris_v4`
|
||||
(je 4 Snapshots, jüngster 10:17–10:36 UTC, extern per `pvesm list` verifiziert) und Cross-Ref-Scan
|
||||
über alle 8 Nodes (keine Fremdreferenzen). Disks mit entfernt (`rbd ls vm_disks` = 0). Die Fleet läuft
|
||||
jetzt in K8s (NS `fleet` 20 Pods / 11 Deployments, NS `agent-fleet` 4 Pods).
|
||||
- **HA-Regel-Befund:** `galera-anti-300-301` und `galera-anti-300-302` sind wirkungslos — sie enthalten nur je
|
||||
EIN Resource (`vm:301` bzw. `vm:302`); Grund: **VM 300 ist nicht HA-managed** (`cannot use unmanaged
|
||||
resource(s) vm:300`). Nur `galera-anti-301-302` greift. Fix braucht erst `ha-manager add vm:300`, dann
|
||||
Ressourcen-Listen vervollständigen; `na-vm301` (und `na-vm310`) sind Pflaster auf dieser Lücke und sollten weg.
|
||||
- Neue Bilanz: ms-a2-1 frei 23,8 GB, proxmox7 11 GB, proxmox4 7,5 GB, proxmox6 6,1 GB, proxmox5 5,7 GB.
|
||||
|
||||
## 2026-11-17 — PVEHighCPU n5pro: 720p-Batch, nicht der Cluster
|
||||
|
||||
- Alarm `pve_cpu_usage_ratio{node="n5pro"}` 0,91 über 43 h. Ursache: **manueller Batch**
|
||||
`/root/sweep/applefix720.sh rest720.txt 3` (seit 15.11. 16:48, aus SSH-Session
|
||||
`session-5169.scope`), 3× ffmpeg libx265 `-threads 8` = 24 Threads auf 24 Kernen, nice 0.
|
||||
Nicht corosync/pmxcfs — der reguläre `conv-n5pro.service` lief und loggte nur
|
||||
„keine Kandidaten".
|
||||
- Fix ohne Arbeitsverlust: `renice -n 19` + `ionice -c3` + `CPUQuota=800%` auf den Session-Scope
|
||||
→ Encoder 20→8 Kerne, Host 90 %→45 %, Gäste unberührt (8 nice-0-Testthreads holten 780 %).
|
||||
**Falle: systemd `CPUQuota=25%` = 25 % eines Kerns**, nicht des Hosts.
|
||||
- Job läuft weiter (365/439 Dateien, 74 offen, ~18 h bei 8 Kernen).
|
||||
Doku: `docs/solutions/infrastructure/2026-11-17-n5pro-high-cpu-transcode-batch.md`,
|
||||
Skill `video-library-maintenance` um die Hypervisor-CPU-Regeln erweitert.
|
||||
|
||||
## 2026-11-15 (3) — HA-Audit abgeschlossen, 14 HA-Services
|
||||
|
||||
- **Regeln:** `galera-anti-300-301`/`-300-302` repariert (brauchten `ha-manager add vm:300`, sonst
|
||||
„cannot use unmanaged resource"), `na-vm301` und `na-vm310` gelöscht. 7 Regeln, alle wirksam.
|
||||
- **Neu in HA:** ct:141 monitoring, ct:99999 traefik, ct:108 gitea, vm:117 rke2-worker-03 —
|
||||
vorher alle ohne `mp*`/`dev*`/`hostpci` geprüft, Uptimes unverändert (kein Gast neu gestartet).
|
||||
- **Control-Plane bewusst NICHT in HA:** etcd liegt auf lokalem NVMe (`scsi1: local-lvm` 10G →
|
||||
`/var/lib/rancher/rke2/server/db/etcd`), Failover ist damit unmöglich. `vm:122` aus HA entfernt,
|
||||
dafür `onboot=1` auf allen drei CPs (112 hatte 0). Redundanz liefert etcd selbst (3er-Quorum).
|
||||
- **Gelöscht (Owner-GO):** CT 110 (VLAN-Testcontainer v. 22.09.2025, 1,1 GiB) und CT 199
|
||||
(Fleet-Gründungscontainer „ceo" v. 23.10.2026: /root/fleet mit CHARTER/spec/org.yaml + 78-MB-
|
||||
Hermes-state.db, 4,7 GiB). Beide vorher per `debugfs` auf dem read-only gemappten RBD gelesen,
|
||||
PBS-Snapshots (je 3, keep-last=3) bleiben als Restore-Pfad. Cluster jetzt 58 Gäste / 40 laufend.
|
||||
- **Weitere Leichen gelöscht (Owner-GO):** CT 103 (LXC-Template base-103, unreferenziert), CT 904
|
||||
(mariadb-node4, Tag plb_exclude_db), CT 121 (community-script docker, 03/2026), VM 501 (MaxScale1,
|
||||
plb_exclude_maxscale), VM 991 (test-mariadb-01, RBD-Kopie vm-300-disk-0-test). Alle RBD-Bilder
|
||||
entfernt verifiziert. Cluster 60→53 Gäste (40 laufend).
|
||||
- **WICHTIG — NICHT gelöscht: VM 9000/9002 (debian-12/13-cloudinit)** sind **VM-Templates** und
|
||||
harte IaC-Abhängigkeiten: epic-2-k8s/tofu/main.tf `template_vm_id=9000`/`gpu_template_vm_id=9002`
|
||||
(Clone für CPs + GPU-Worker), epic-7-mariadb-vm/tofu/main.tf `vm_id=9000` (2×),
|
||||
epic-8-sarah-hermes/tofu/variables.tf default 9000. Löschen bricht jedes `tofu apply`.
|
||||
Vor jedem Löschen: `.tf`-Referenzen greppen, nicht nur den PVE-Bestand ansehen.
|
||||
- **Nicht HA-fähig:** ct:150/153 technitium-dns (rootfs local-lvm), ct:151 frigate (`/dev/dri`),
|
||||
vm:102/114 worker-05/02 (hostpci GPU). Doku: docs/solutions/infrastructure/2026-11-15-pve-ha-rules-audit.md
|
||||
|
||||
## 2026-11-15 — Cluster-Rebalancing (Capacity + Failure Domains), mit Zwischenfall
|
||||
|
||||
- **Move 1 (ok, mit Panic):** VM 300 mariadb-01 proxmox4→ms-a2-2, `qm migrate --online`, 79 s,
|
||||
483 ms Downtime. Danach **Gast-Kernel-Panic im futex-Pfad** → `qm reset` → EXT4-Recovery des
|
||||
115-GB-Ceph-Volumes (33 s) → MariaDB startete ins Mount-Race (Errcode 13 auf /var/lib/mysql)
|
||||
→ `systemctl restart mariadb` → GCache-Recovery → **IST** → 3/3 synced. Kein Datenverlust.
|
||||
- **Move 3 (ok):** Ceph-MON proxmox4 entfernt → **3 MONs** (proxmox5, ms-a2-1, n5pro), quorum ok.
|
||||
- **Move 4 (ok):** 9 Fleet-CTs auf ms-a2-1 `memory 8192→2048`, `swap 1024→512` (sind **CTs**, nicht VMs!)
|
||||
→ ms-a2-1 committed 140,5 GB (153 %) → 86,5 GB (94 %).
|
||||
- **Move 5 (teil, ok):** proxmox7 CTs 119 pbs 8→4 GB, 123 ollama 4→2 GB, 104 paperless 4→2 GB.
|
||||
- **Bewusst gestoppt:** Move 2 (VM 301 mariadb-02 proxm7→n5pro) — ein zweites Galera-Mitglied
|
||||
zu migrieren, während die Panic-Ursache unklar ist, gefährdet das Quorum.
|
||||
- **Offen/destruktiv:** `ubuntu`-CRUSH-Bucket mit osd.2/15/17 (kein PVE-Node, 18 % Kapazität);
|
||||
EC-Pool `media_ec` mit `failure_domain=osd` trotz 7 OSDs auf n5pro.
|
||||
- Neue Bilanz: proxmox4 78 % (frei 7,9 GB), ms-a2-2 50 %, n5pro 67 %, ms-a2-1 94 %,
|
||||
proxmox3 102 %, proxmox7 201 % (Config, frei 5,4 GB), proxmox5 104 %, proxmox6 97 %.
|
||||
- Doku: `~/docs/solutions/infrastructure/2026-11-15-pve-migration-mariadb-kernel-panic.md`;
|
||||
Pitfall-Dreizeiler im Skill `proxmox-ve-administration`.
|
||||
|
||||
## 2026-11-13 — Cron 'Abend-Reflexion' (personal-coach) 400er gefixt
|
||||
|
||||
- Symptom: `HTTP 400: DeepSeek V4.1 reasoning_effort must be low, high, xhigh, max…` bei
|
||||
einem Job, der gar kein Modell pinnt → **Fallback-Fire**.
|
||||
- Zwei Defekte: `cron.model: vllm/release/glm-5-2` ist per Virtual Key **403 model_blocked**
|
||||
→ jeder Fire wanderte in die Fallback-Kette; `agent.reasoning_effort` war leer, und
|
||||
deepseek-v41-flash lehnt `""`/`medium` ab (nur low/high/xhigh/max oder int 1–100).
|
||||
- Beweismatrix gegen ai.noris.de: glm-5-3 akzeptiert alles, glm-5-3-flash high/max,
|
||||
deepseek-v41-flash nur high/max → `high` ist der einzige gemeinsame Nenner.
|
||||
- Fix personal-coach: `agent.reasoning_effort: high` + `cron.model: vllm/release/glm-5-3`
|
||||
(Backup `config.yaml.bak-20261113-pre-reasoning`). Run via
|
||||
`hermes cron run 8c9e9ab50892 --profile personal-coach` → succeeded, Abend-Reflexion
|
||||
mit echten Daten (93,3 kg, 5,56 h Schlaf) ausgeliefert.
|
||||
- Latent offen (nicht angefasst): `infra-sre` + `nutrition-coach` haben
|
||||
`reasoning_effort: ''` → gleicher 400er, sobald dort ein Fallback auf DeepSeek greift;
|
||||
`dynamic-coach` + Default-Profil haben `cron.model: glm-5-2` (gesperrt, aber durch
|
||||
`max` bzw. Fallback abgedeckt).
|
||||
- Doku: `docs/solutions/bug-fixes/2026-11-13-cron-deepseek-reasoning-effort.md`;
|
||||
Skill `cronjob` um die Pitfall-Zeile erweitert.
|
||||
|
||||
## 2026-11-12 21:2x — Earnie vollständig konfiguriert (parallel, read-only)
|
||||
|
||||
- Fünf Konfigdateien gegen Earnies eigene JSON-Schemas validiert und in **beide** Config-Pfade
|
||||
gelegt (`/config` + `/data/earnie_env/config`); kanonische Bindings `ess.<id>.…`/`inv.<id>.…`.
|
||||
- Blocker-Kette: `deferred=True` (Refs unvollständig) → `export_tariffs[..].k_push_cent` fehlt
|
||||
→ Legacy-Key `sens_ess_soc` → gelöst durch UI-Migration `dm4.required_signal_activation`
|
||||
(Backup `/config/backups/pre-migration-dm4-dm4-20261112T202005Z`).
|
||||
- Telemetrie über eigenen Push-Dienst `earnie_push.py`/`earnie-push.service` (10 s, Peer
|
||||
10.0.30.230) statt 649-Zeilen-HA-Paket; sechs Signale, verifiziert im Earnie-Log.
|
||||
- Erster echter Plan 21:22: Preis 35,36 ct (deckungsgleich mit unserem EPEX-Sensor),
|
||||
SoC 5,0 %, Netzbezug 2,22 kW, `outcome=ok`, alle `set_ess_*` mit „mapping incomplete"
|
||||
übersprungen → keine Steuerung, EMHASS unberührt.
|
||||
- Doku: `docs/earnie/2026-11-12-earnie-live-setup.md`; Wiki `systems/earnie-hems.md`.
|
||||
|
||||
## 2026-11-12 — HA-VM CPU-Typ kvm64 → x86-64-v2-AES (Earnie-Blocker)
|
||||
|
||||
- `qm set 106 --cpu x86-64-v2-AES` (Backup `/root/vm106-config.bak-20261112-161151`),
|
||||
Kaltstart. Downtime 25 s, HA-Core nach 70 s, alle Add-ons nach ~5 min.
|
||||
- Grund: Earnie-Image (Python 3.14) zieht numpy 2.5.4/pandas 3.1.0/pyarrow 26.0.0/highspy
|
||||
1.15.1 als `manylinux_2_28+`-Wheels → x86-64-v2 (SSSE3/SSE4.x/POPCNT) Pflicht.
|
||||
EMHASS (Python 3.12, numpy 2.2.6, `manylinux_2_17`) lief auf kvm64 problemlos — daher
|
||||
fiel es nie auf. Alle 8 Nodes können v2 → migrationssicher.
|
||||
- Earnie v2.7.0 danach `started` + `healthy` (0 Restarts), UI via Ingress :8501.
|
||||
- EMHASS/AppDaemon/evcc/Frigate alle `started`; Frigate-Container `healthy`, API 0.18.2.
|
||||
- AppDaemon-Guard hat beim Boot korrekt geblockt (`get-config failed: Connection reset`),
|
||||
statt in einen toten Solver zu posten; Zyklus 17:19 dann 96/96 echte Preise (Auktion
|
||||
für morgen veröffentlicht), load 36,3 kWh aus dem neuen Profil, `Optimal`.
|
||||
|
||||
## 2026-11-12 — EMHASS Preis-Gate + 15-min-Raster, Earnie-Bewertung
|
||||
- `emhass_prices.py` neu: Tiering Sensor → energy-charts → gelernter 28-Tage-Tagesgang, Gate blockiert Phantompreis-Pläne (real 58 %+42 % Shape live).
|
||||
- `optimization_time_step` 30 → 15 (96 Slots), `slot_min: 15` im Producer + Mismatch-Block.
|
||||
- Rolling Load Profile: `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00); 3 Bugs in `emhass_build_profile.py` gefixt.
|
||||
- Neue Seite [[systems/earnie-hems]], Referenz [[reference/emhass-cascade-automation-architecture]] aktualisiert (deficit_cost 0.0, Raster, Preise).
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-11-12-emhass-phantom-price-gate.md`.
|
||||
|
||||
## 2026-11-14 — Technitium DNS HA (LAN-Resolver + Adblock) live
|
||||
- CT150 `10.0.30.150` (proxmox6, Primary) + CT153 `10.0.30.153` (n5pro, Secondary), unprivileged, 1C/1G/4G RBD, onboot.
|
||||
- Technitium **v15.6.2**; Cluster `dns.internal.schoen.codes`, Config-Sync 300 s, Blockliste HaGeZi Multi Pro (227.848 Domains).
|
||||
- **VIP 10.0.30.149** (keepalived, VRID 51, unicast, nopreempt, Check TCP:53 + API:5380) — Failover in ~4 s gemessen.
|
||||
- Omada-DHCP (bleibt bei Omada, nur 2 DNS-Felder): `10.0.30.149` + `1.1.1.1`. Echte Client-Queries kommen an.
|
||||
- Upstream: 1.1.1.1/1.0.0.1 + Cloudflare-v6; `recursion` per NetworkACL auf private Ranges begrenzt.
|
||||
- Monitoring: `blackbox_dns` + `blackbox_http` (:5380) in kube-prometheus-stack, PrometheusRule `technitium-dns-rules`.
|
||||
- **Nebenbefund:** `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** → Prometheus lädt sie nicht; alle Alt-Regeln (NodeDown, Galera, Ceph, Blackbox, PBS) sind im K8s-Stack **inaktiv**. Offener Punkt.
|
||||
- Fallstricke: community-scripts-Bootstrap 404 (Framework nach `community-scripts/core`), HaGeZi-URL `hosts/` → `wildcard/`, Cluster-Join nur per FQDN-URL.
|
||||
- Neue Seite [[systems/technitium-dns]], [[reference/ip-map]] ergänzt.
|
||||
|
||||
## 2026-11-15 — Beschattungsautomatik Wohnzimmer (Ecowitt-Lux + Sonnenstand)
|
||||
- Fassaden: WZ-Tür + Fenster 1 = **143° SO**, Fenster 2 = **233° SW** (90° versetzt), free@home-Jalousien (Pos + Lamellen).
|
||||
- Entscheidung über 2 Template-Binary-Sensoren: `kt` = Ecowitt-Lux ÷ Clear-Sky-Lux (Haurwitz, 110 lm/W) ≥ 0,45 **und** Einfallswinkel ≤ 75° **und** Sonnenhöhe ≥ 8° — statt fester Lux-Schwelle (Winter-Sonne bringt nur ~20 klx, Sommer >100 klx).
|
||||
- 4 Automations: 4-min-Bestätigung → Öffnungsgrad (20 %) + Lamellen (25 %); Release nach 10 min nur wenn Rollladen noch auf Beschattungsposition (Manuell-Schutz).
|
||||
- 8 Helper (1 boolean + 7 number), Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer".
|
||||
- E2E live: 08:37 Release (exakt 10:00 nach Sensor-off), 08:42 Shade (exakt 4:00 nach Sensor-on), echte Fahrzeiten 25–40 s.
|
||||
- Pitfalls: `reload_core_config` legt neue Helper NICHT an (→ `input_number.reload`/`input_boolean.reload`); HA-Templates haben kein `radians()`; Umlaute in Entity-Namen → unbrauchbare IDs.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-11-15-beschattungsautomatik-ecowitt-sonnenstand.md`; Details [[systems/homeassistant]].
|
||||
|
||||
### Nachtrag 15.11. ~09:00 UTC — Anti-Flatter am Ausfahr-Trigger
|
||||
- Owner sah Rollläden „wieder hochfahren" (waren meine Verifikations-Läufe 08:37/08:45) und markierte damit ein echtes Design-Problem: Ausfahren hing an derselben kt-Schwelle (0,45) wie das Einfahren → jede dickere Wolke hätte nach 10 min geöffnet und 4 min später wieder geschlossen.
|
||||
- Fix: Ausfahr-Automationen triggern jetzt auf **Template** `elev > 0 and (elev < 8 or inc > 88 or kt < 0.2)` mit `for: 15 min` (Geometrie-Ende oder echte Trübung), nachts kein Öffnen. Gerenderte Fälle geprüft: live false / kt 0,11 true / az 235 true / elev 5 true / elev −5 false.
|
||||
- 2026-11-15 10:55 - systems/homeassistant: **BLE-Proxy Wäscheraum (10.0.50.206) auf ESPHome 2026.10.2 geflasht** — Ursache der Hänger war WLAN-Starvation durch das 1100/1100-ms-BLE-Scanfenster (ESPHome 2026.10 warnt selbst); Fix 320/300 ms. Vorher 36 Requests/6 min mit 2 Aussetzern (1,0 s / 2,9 s) und Ping bis 317 ms, danach 18/18 in 3 min ohne Aussetzer, worst 0,15 s, Ping max 35 ms. Neue Diagnose-Entities (Uptime, WiFi-Signal, Heap, Reset-Grund, Restart-Button) + `project:`-Metadaten für künftige HA-Update-Entity. YAML/Secrets liegen jetzt in /config/esphome/; Original war verloren (Device am 09.09. vom MacBook geflasht).
|
||||
|
||||
### Nachtrag 15.11. 11:54 UTC — Owner: „zu dunkel" → Schwellen kalibriert
|
||||
- Beide WZ-Rollläden standen seit 08:46 (SO) bzw. **09:42:56 (SW, produktiv!)** auf Beschattung; der 15-min-Release griff nicht, weil ich kurz zuvor die Helligkeits-Freigabe komplett entfernt hatte (nur Geometrie/kt<0,2). Bei 16 klx / kt 0,43 blieb es also dunkel.
|
||||
- Owner-Kalibrierpunkt: **16.144 lx / kt 0,43 / Sonnenhöhe 21,3° / inc 53° = zu dunkel**; echte Wintersonne morgens 18,9 klx / kt 0,83 = angenehm.
|
||||
- Neue Schwellen: Einfahren **kt ≥ 0,52 UND ≥ 15.000 lx**, Ausfahren **kt < 0,45** (5 min) — Hysterese-Band 0,07. Nachts kein Öffnen.
|
||||
- Rollläden sofort auf 100/100 gefahren, beide Sensoren `off`. Dashboard-Karte um `beschattung_lux_min` + `beschattung_klarbeit_aus` erweitert (jetzt 9 Helper).
|
||||
|
||||
### 15.11. 14:05 UTC — Heizung: Raum-Sollwerte gesenkt + WW-Peak-Logik (Owner: „go a")
|
||||
- **Befund:** Haus 23,5 °C Kernbereich, kein Nachtprofil (Nacht=Tag), Bad/Schminken/Windfang 7 Tage auf **100 % Ventilhub** (Ziele 26,5/24/28 °C unerreichbar). Heizkurve selbst unauffällig (29,2 °C VL bei 0 °C außen, Spreizung 1,2 K, 0–4 Starts/Tag).
|
||||
- **Ursache:** Raum-Sollwert an der WP (24 °C) ist der Heizkurven-Parameter; zwei Automationen schrieben Normal=24 bzw. Reduziert=23/24.
|
||||
- **Umgesetzt (mit Rücklesung):** Normal 24→**23**, Reduziert 23→**21** (21,5 von HA verworfen: step=1 → HTTP 500), Komfort bleibt 24; 11 Raumthermostate −1 bis −1,5 K (Bad 23,0, Windfang 20,0); `komfort_heizung` + `normaltemperatur` **off**; neu `ww_peak_blockade_14_30` / `ww_peak_ende_20_30` / `ww_schutz_unter_40_c`.
|
||||
- **Sofortwirkung:** Ventile Wohnen 100→50 %, Essen 79→19 %, Bad/Schminken/Windfang 100→0 %; VL 27,8→26,8 °C.
|
||||
- **Gelernt:** HA kann Automations sehr wohl per `POST /api/config/automation/config/{id}` anlegen (verifiziert, HA 2026.10.4) — „nur YAML" ist falsch. ViCare-Cloud-Writes sind asynchron (~30–60 s). Doc: `docs/solutions/architecture/2026-11-15-waermepumpe-raumsollwert-ist-heizkurve.md`, Wiki: `systems/heizung-viessmann.md`.
|
||||
- **Offen:** Heizgrenze (~14 °C) nur in ViCare-App; Auslöser der Einmaligen WW-Ladung 09:35 unbekannt; Kurven-Verifikation bei < −3 °C (21./22.11.).
|
||||
|
||||
### Nachtrag 15.11. 12:50 UTC — „Beschatten gerade nicht notwendig" → Temp-Gate
|
||||
- 11:47 hatte die Automatik korrekt beschattet (Sonnenausbruch: 30–36 klx, kt 0,83–0,97), Raum aber nur **22,3 °C**. Owner will im November Licht, keine Kühlung.
|
||||
- Umbau: Beschattung = **Wärmeschutz** — neue Bedingung Raumtemperatur ≥ 24 °C (`input_number.beschattung_raum_temp_min`, Sensor `sensor.wohnzimmer_abb700c81313_wohnzimmer_temperature`) und `einfall_max` 75° → **40°** (Streiflicht zählt nicht mehr).
|
||||
- Nebenbefund: die Morgen-Flatterei (08:19→09:01→10:41→10:52) kam vom Oszillieren des kt um die Schwelle; mit dem Temp-Gate ist sie strukturell weg.
|
||||
- Rollläden alle auf 100/100, Sensoren `off` (22,3 °C < 24 °C). Dashboard erweitert (Raumtemp + Schwelle).
|
||||
|
||||
### 16.11.2026 — Beschattung: Temperatur-Gate raus, Median-Glättung rein + free@home-Ausfall
|
||||
- Owner-Vorgabe: „kein temperaturbasiertes Beschatten; helligkeit: kurze peaks nach oben und unten ignorieren."
|
||||
- Neues Modell: `sensor.helligkeit_geglaettet` (Median der letzten 7 Messwerte, trigger-basiertes Template mit Ringpuffer im Attribut) ersetzt den Instant-Wert; Entscheidung nur `elev >= 5°` + `inc <= 25°` + `Median-Lux >= 8.000`; Ausfahren = Sensor 10 min off (nur tagsüber). Alle Temperatur-/kt-Gates entfernt (Helper gelöscht), Dashboard-Karte auf 1 Boolean + 7 Number reduziert.
|
||||
- Prüffälle gerendert: Morgen frontal → BESCHATTEN, 11:47-Streiflicht → offen, 13:56 frontal → BESCHATTEN, Regen/Dämmerung → offen.
|
||||
- **Pitfall:** `input_number.reload` übernimmt geänderte `min`/`max` NICHT → Core-Restart nötig.
|
||||
- **Incident:** Nach den Core-Restarts free@home `setup_error`, alle Cover `unavailable` (~35 min). SysAP selbst wedged (`/sysap` 15–49 s, `/configuration` Timeout, Web-UI 000). Recovery: `rescue.py reboot` (reboot(0)) → SysAP ~4 min weg → `docker restart homeassistant` → Entry nach **4 min 20 s** `loaded`, alle Cover wieder da. `rescue.py probe` GETALL_TIMEOUT ist KEIN Health-Oracle.
|
||||
|
||||
@@ -43,9 +43,13 @@ Hermes automation.
|
||||
- Limit the number of SecretStores that reference 1Password
|
||||
- Consider caching secrets locally to reduce API pressure
|
||||
- Never run `op` in tight loops — always add delays for batch operations
|
||||
- **Nie `op read` pro Watchdog-Tick:** statische Secrets (HA-Long-Lived-Token, API-Keys) in einen lokalen 0600-Cache legen, `op` nur on-miss/401. Ein 15-Minuten-Watchdog macht sonst 96 Reads/Tag und wird bei jedem Limit blind (2026-11-06: free@home-Watchdog meldete „BLIND (RuntimeError)").
|
||||
- **Bei anhaltendem Limit (>10 min ohne lokalen Verursacher) zuerst ESO prüfen:** `kubectl logs -n external-secrets deploy/external-secrets --since=10m | grep -c "rate limit exceeded"`. Fehlschlagende ExternalSecrets mit kurzem `refreshInterval` erzeugen einen Retry-Sturm, der die Quote dauerhaft verbraucht.
|
||||
- 5 ES mit `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret) sind die üblichen Verdächtigen — Rest steht auf 12h.
|
||||
|
||||
## Evidence
|
||||
|
||||
- Hit twice: Jul 2026 (initial discovery) and during token corruption investigation
|
||||
- Solution doc: `docs/solutions/architecture/2026-07-24-1password-account-level-rate-limit.md`
|
||||
- MEMORY.md entry: "1P CLI:3 vaults R/W. Rate-limit=acct-level. Stop ESO, wait 1hr, no polling."
|
||||
- **2026-11-06:** free@home-Watchdog (Cron `43612c6d52b6`) täglich „BLIND: kann HA-Status nicht prüfen (RuntimeError)" — Ursache `op read` pro 15-min-Tick. Parallel: ESO (`onepasswordSDK`, ClusterSecretStore `onepassword-store`) im Retry-Sturm — 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h`. HA selbst gesund (Entry `freeathome` = `loaded`, SysAP HTTP 200). Fix Watchdog: Cache-first-Token + dynamischer PVE-Node (VM 106 war von ms-a2-2 auf proxmox3 gewandert, hardcodierter Node → Rettungs-Reboot unmöglich). SolDoc `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
|
||||
@@ -0,0 +1,57 @@
|
||||
---
|
||||
pattern_id: PAT-020
|
||||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-11-15
|
||||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||||
---
|
||||
|
||||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||||
|
||||
## Symptom
|
||||
|
||||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||||
zusätzlich `backup ended but finished flag is not set`.
|
||||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||||
|
||||
## Root Cause
|
||||
|
||||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||||
|
||||
## Mitigation
|
||||
|
||||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||||
|
||||
## Prevention
|
||||
|
||||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||||
|
||||
## Evidence
|
||||
|
||||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|
||||
@@ -44,3 +44,9 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
| 2026-10-11 | devops/seafile-api | patched | references/seafile-bulk-migration.md um Welle-2-Guardrails erweitert: synchronized-as-Gate (Trim-Parser), Status-Tabellen-Truncation unter Last, Heal-Pass, --from0-Exclude-Engineering, Byte-Verification statt du, mv-across-ZFS-Datasets, pkill-in-eigener-Shell-Falle, Locale-abhängige rsync-stats; Disk-Stand 285G/46G aktualisiert | tested | accepted | docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md |
|
||||
| 2026-10-17 | productivity/imap-file-delivery | patched | Pitfall-Tabelle +2: verschachtelte FETCH-Tupel (rekursiv flattening statt dat[0].decode) und RFC2047-q-kodierte Subjects (decode_header+Klartext-Vergleich statt Rohmatch) — sonst FALSE NEGATIVE trotz APPENDUID-OK | tested | accepted | docs/solutions/integrations/2026-10-17-imap-append-verification-rfc2047-tuple-pitfalls.md |
|
||||
| 2026-10-19 | devops/rke2-cluster-administration | patched | Neue Reference `references/cilium-networkpolicy-traps-2026-10-19.md` (4 stumme CNP-Fallen: Selektion⇒Default-Deny, `[{}]`=Null-Allow, service.name≠Identity-Label, VIP-SNAT⇒world) + Description-Link; L3 deckte Cilium-NP zuvor nicht ab (nur LB-Pool) | tested | accepted | docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md |
|
||||
| 2026-11-02 | devops/ai-noris-inference-api | patched | Context-Fenster-Pitfall ergänzt: Bifrost liefert max_context_length verschachtelt; Hermes-Fallback 128k/1.31M/256k; Fix via model.context_length + providers.noris.models.<id>.context_length | tested | accepted | docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md |
|
||||
| 2026-11-05 | security/security-exposure-audit | patched | Auth-Bypass-Regel ergänzt: sshd-libc per `ldd` prüfen (musl-Loader ≠ musl-sshd), fünf AND-Bedingungen für sshhole.com | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md |
|
||||
| 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md |
|
||||
| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md |
|
||||
|
||||
@@ -26,17 +26,22 @@ EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
└───────────────────────────────────────┘
|
||||
```
|
||||
|
||||
## EMHASS Configuration (16 kWh Virtual Battery)
|
||||
## EMHASS Configuration (12,32 kWh Virtual Battery)
|
||||
|
||||
> **Korrigiert 03.11.2026:** Kapazität war mit 16000 Wh angesetzt (Annahme BYD 11 kWh),
|
||||
> real nutzbar sind 7,2 kWh (SMA SBS, aus 10 T Lade-/Entladehistorie gemessen) + 5,12 kWh
|
||||
> (Marstek) = **12320 Wh**. `sensor.total_soc` rechnet seit dem Fix mit demselben Nenner,
|
||||
> sonst wäre die SOC-Kurve inkonsistent zur Modellkapazität.
|
||||
|
||||
| Parameter | Value | Hinweis |
|
||||
|-----------|-------|---------|
|
||||
| `battery_nominal_energy_capacity` | 16000 | BYD 11k + Marstek 5k kombiniert |
|
||||
| `battery_nominal_energy_capacity` | 12320 | SMA 7,2 kWh nutzbar + Marstek 5,12 kWh |
|
||||
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
|
||||
| `battery_discharge_power_max` | 6700 | dto. |
|
||||
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
|
||||
| `battery_discharge_efficiency` | 0.9 | dto. |
|
||||
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
|
||||
| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung |
|
||||
| `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) |
|
||||
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
|
||||
| `battery_maximum_state_of_charge` | 1.0 | 100% |
|
||||
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
|
||||
@@ -44,6 +49,43 @@ EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
|
||||
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
|
||||
| `use_websocket` | True | |
|
||||
| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h |
|
||||
| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP |
|
||||
| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet |
|
||||
|
||||
## Preise & Gate (neu 12.11.2026)
|
||||
|
||||
`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers:
|
||||
1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min)
|
||||
2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares
|
||||
auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional,
|
||||
429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht).
|
||||
3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der
|
||||
Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30.
|
||||
|
||||
**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % →
|
||||
sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`.
|
||||
Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die
|
||||
Phantom-Nachtpreise, nicht ein Fehler).
|
||||
|
||||
**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`;
|
||||
die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch.
|
||||
|
||||
## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026)
|
||||
|
||||
Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die
|
||||
Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 /
|
||||
**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k
|
||||
Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %.
|
||||
|
||||
Konsequenzen, umgesetzt:
|
||||
- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich
|
||||
aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus.
|
||||
- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet
|
||||
eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird
|
||||
das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag.
|
||||
- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil
|
||||
enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt.
|
||||
|
||||
## ⚠️ Known Pitfall: set-config Full Overwrite
|
||||
|
||||
|
||||
+4
-1
@@ -47,9 +47,12 @@ modified: "2026-09-30"
|
||||
## Infrastructure VMs (10.0.30.x)
|
||||
| IP | Host | Service |
|
||||
|----|------|---------|
|
||||
| 10.0.30.149 | — | **Technitium DNS VIP** (keepalived/VRRP 51, floatet zwischen .150/.153) |
|
||||
| 10.0.30.150 | CT150 technitium-dns-01 (proxmox6) | DNS-Cluster-Primary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.153 | CT153 technitium-dns-02 (n5pro) | DNS-Cluster-Secondary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.66 | sarah-hermes (VM107, n5pro) | Sarahs Hermes: WebUI :8787 (LAN-only, pw) + TG-Bot (geplant) |
|
||||
| 10.0.30.99 | CT111 | Immich (n5pro), Migration zu K8s geplant |
|
||||
| ~~10.0.30.100~~ | ubuntu | **STALE (10.10. verifiziert):** VLAN-30-IP nach NAS-Crash 03.10. verloren (nie persistiert), ARP dead. Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
|
||||
| 10.0.30.100 | ubuntu | **ZURÜCK (15.11. verifiziert):** SSH 9.6p1 Ubuntu-13.20 antwortet wieder; Host-Keys (RSA/ECDSA/Ed25519) identisch mit 10.0.20.100 → derselbe NAS-Host, VLAN-30-IP wieder aktiv. Ob beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten). Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
|
||||
| 10.0.30.105 | — | ~~Gitea~~ CT108 GESTOPPT 2026-09-17 (Archive: /home/debian/git-archive/ct108-final/) |
|
||||
| 10.0.30.124 | VM200 | IaC Runner (DHCP), SSH `debian` |
|
||||
| 10.0.30.141 | CT141 | Monitoring (Prometheus/Grafana) |
|
||||
|
||||
@@ -1220,3 +1220,498 @@ Bei `PHASE Error` ist **stop → start** der Weg (start allein reicht nicht).
|
||||
OIDC-Refresh-Token auf dem Runner. Images: watcher 0.27 `ced4430b…`,
|
||||
deadman 0.13.3 `d8dbc57a…`. SolDoc
|
||||
`bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`, Pattern PAT-019.
|
||||
|
||||
## 02.11.2026 — Governance 1–3, attention-Rückkanal, Gitea-OCI-Fix
|
||||
|
||||
**Drei strukturelle Übernahmen aus `dsh-superagent`** (Commit `66e3f0a`,
|
||||
`c71e036`; SolDoc `architecture/2026-11-02-fleet-governance-outbox-mandat-observe.md`):
|
||||
|
||||
1. **Outbox** — `submit_task.py` schreibt nach `tasks/_outbox/<id>.yaml`; der
|
||||
Watcher-Publisher prüft mit `validate_schema_loose` (demselben Code, der
|
||||
später liest) und verschiebt erst dann atomar nach `tasks/`. Journal-Kette
|
||||
`outboxed → published → task_claimed → task_completed`. Grund: 62
|
||||
Quarantäne-Dateien aus „accepted, 1 s später abgelehnt".
|
||||
2. **Mandat light** — `authorized_by`, `policy_version`, `scope`, `strength`
|
||||
(`explicit|inferred`), `mode` (`observe|auto`, **nur System-Sender**).
|
||||
`FLEET_CARD_REVIEW_MODE` steuert den Karten-Sweep: `observe` journalisiert
|
||||
nur (`card_review_would_submit`), `auto` stellt zu. Live auf `auto` (2.11.).
|
||||
3. **Strukturierte Attention** — `attention: {question, options[2..5]}` +
|
||||
MCP `attention_summary()`.
|
||||
|
||||
**attention-Rückkanal (board-service 0.25 `59529660…`):** MCP-Tool
|
||||
`answer_attention(task_id, answer)` setzt `attention.answer/answered_at/
|
||||
answered_by`, journalisiert `attention_answered` und legt beim fragenden Agenten
|
||||
einen `fyi`-Reply-Task an (`from=tower-owner`, `reply_to=<task_id>`, P1).
|
||||
Idempotent (`OK_ALREADY`). `tower-owner` darf als Sender jetzt auch `fyi`
|
||||
(in `submit_task.py`, `watcher_main.py`, Inline-CM). `attention_summary` zählt
|
||||
beantwortete Fragen nicht mehr. Live bewiesen: `waiting_on_person` 1 → 0,
|
||||
Antwort-Task `f0418d90…` bei devops, Idempotenz `OK_ALREADY`.
|
||||
|
||||
**SOUL:** `gen_soul.py`-Template hat Regel 5 („Warten auf einen Menschen ist
|
||||
ein Zustand, kein Freitext") + `attention_*` in der Tool-Signatur; 9/9 live via
|
||||
`deploy_soul.sh`. Vorher geprüft: Live-SOUL war byte-identisch mit generiert →
|
||||
kein Handarbeitsverlust.
|
||||
|
||||
**Gitea-OCI-Fix (Commit `271d702`)** — zwei Defekte, ein Fehlerbild:
|
||||
- Realm kam als `http://` (`GuessCurrentHostURL` bei `PUBLIC_URL_DETECTION=auto`
|
||||
ohne `X-Forwarded-Proto` hinter Traefik) → Go-Clients verlieren beim Redirect
|
||||
den Auth-Header. Fix: `PUBLIC_URL_DETECTION: never` → Realm aus ROOT_URL.
|
||||
**App-of-apps-Falle:** erst `argocd app sync root`, sonst behält die App die
|
||||
alten Values und der Sync meldet trotzdem Succeeded.
|
||||
- Kaniko las `/kaniko/.docker/config.json`; Secret `fleet-build-push` liefert
|
||||
`.dockerconfigjson` → Push **anonym**. Fix: `items:`-Mapping im Pod-Spec.
|
||||
Beleg: Token-Request anonym 2,1 ms vs. Basic-Auth 17,5 ms (bcrypt).
|
||||
SolDoc `bug-fixes/2026-11-02-kaniko-push-401-gitea-realm-und-secret-mapping.md`.
|
||||
|
||||
**Tower:** neue View „Wartet auf mich" (`AttentionPanel` +
|
||||
`/api/fleet/attention`). Zeigt nur Tasks mit strukturierter Frage, Optionen als
|
||||
Buttons, Freitextfeld; Antwort via `answer_attention`.
|
||||
|
||||
### 02.11.2026 (Nachtrag) — Schema-Drift: der Rückkanal quarantänisierte sich selbst
|
||||
|
||||
`answer_attention` schrieb `answer`/`answered_at`/`answered_by` in den
|
||||
`attention`-Block; beide Validatoren erlaubten nur `question`/`options`. Da
|
||||
**jeder Statuswechsel neu validiert**, wanderte jeder beantwortete Task nach
|
||||
`/srv/fleet/tasks/_invalid/` — sichtbar nur am Quarantäne-Zähler (62→63).
|
||||
Fund war ein Zufall beim Aufräumen, nicht ein Alarm.
|
||||
|
||||
**Fix** (`059f7cd`, board-service **0.26** `sha256:1837ef9b`, watcher **0.30**
|
||||
`sha256:6f415d38`): `ATTENTION_FIELDS` / `GOV_ATTENTION_FIELDS` erweitert **plus**
|
||||
Validierung des Antwort-Tripels — alle drei Felder oder keins, `answer` 1..2000,
|
||||
`answered_at` Integer, und `answered_by != from`. Letzteres ist der eigentliche
|
||||
Gewinn: sonst könnte ein Agent seine eigene Rückfrage mit „ja" beantworten und
|
||||
sich selbst ein GO geben — ein Autonomie-Leck genau an der Mensch-Schnittstelle.
|
||||
`test_governance_sync` **31/31** (6 neue Fälle, beide Implementierungen).
|
||||
Live-E2E mit dem zuvor gestorbenen Task `8281e059`: submitted/working/complete
|
||||
alle quarantänefrei, `completed`.
|
||||
|
||||
**Struktureller Punkt (offen):** Die Wahrheit über ein Envelope-Feld steht an
|
||||
**drei** Orten — `spool/submit_task.py`, `spool/watcher/watcher_main.py`, Inline-CM
|
||||
`fleet-submit-task` in `board-service/deployment.yaml`. `sync_submit_cm.py` hält
|
||||
Kopie 3 synchron, `test_governance_sync.py` prüft 1↔2. Was fehlt: ein Test
|
||||
„setzt irgendein Schreiber ein Feld, das die Validatoren nicht kennen?".
|
||||
Zweiter Drift dieser Klasse innerhalb von 24 h (vorher Sender-Allowlist).
|
||||
|
||||
**Test-Pitfalls, teuer gelernt:** `claim_next_task` setzt **nur** `status=working`
|
||||
(`claimed_by`/`claimed_at` sind unerlaubt und quarantänisieren selbst — mein Test
|
||||
hat seinen eigenen Fehler gemessen); `submit_task` liefert verschachtelt
|
||||
`{"result","task":{"task_id"}}`; `attention` gibt es nur als flache Parameter
|
||||
`attention_question`/`attention_options`; `from_agent` unterliegt dem
|
||||
Strict-Gate (tower-owner ist kein Org-Agent), `to` nicht; Single-Claim-Gate
|
||||
liefert `OK_OWN_ACTIVE`.
|
||||
|
||||
**Build-Infra:** `clusters/main/fleet/build/build-image.sh` — Kaniko-Pod aus
|
||||
versionierter Vorlage statt `/tmp`-YAML, mit dem Pflicht-`items:`-Mapping.
|
||||
Erster Praxiseinsatz: beide Images in 4 min.
|
||||
|
||||
## 02.11.2026 — CEO-Egress: Landlock-Pfad, Binary-Identität, Policy-Approval
|
||||
|
||||
Nach dem Image-Move (`v5.5`, Hermes real unter `/usr/local/hermes`, `/opt/hermes`
|
||||
als Symlink) war `ceo` als einziger Agent ohne Netz. Drei unabhängige Gates:
|
||||
|
||||
1. **Landlock** verweigerte den Spawn von `start-agent.sh` (Pfad nicht in
|
||||
`filesystem_policy.read_only`); Fix im Image (Commit `d36f334`).
|
||||
2. **Binary-Identität**: Network-Regeln matchen `binaries[].path` exakt. Der
|
||||
reale Interpreter ist `/usr/local/hermes/tools/…/python3.14`; die Policy
|
||||
listete nur `/opt/hermes/…`. Fix `d431f6d`, Pfad-Reparatur `5d039ea`
|
||||
(der erste Patch hatte den Pfad per `sed` auf `/opt/hermes/` gekürzt).
|
||||
3. **Policy-Approval**: Der Gateway staged neue Endpoint-Namen
|
||||
(`Policy DNS staged unapproved … for TCP policy review`). Default
|
||||
`--approval-mode manual` hält jede Proposal im Review-Inbox; mit
|
||||
`--approval-mode auto` wird `fleet-board-service` nach ~20 s gemappt
|
||||
(`CONFIG:PUBLISHED … mapping_id=…`). Freigabe kommt **eine Runde später** —
|
||||
der Heartbeat 11:09:36 scheiterte, 11:19:36 lief er, danach alle 300 s.
|
||||
|
||||
Endzustand: 9/9 Agent-Pods Running, 10/10 Fleet-Deployments ready,
|
||||
`deadman_silence_seconds{agent="ceo"} 292` (< 300 s), alle
|
||||
`deadman_alert_active` = 0. Der CEO arbeitet Tasks ab (u. a. die
|
||||
Deadman-Eskalation seines eigenen Ausfalls).
|
||||
|
||||
Lehren: Sandbox-Diagnose nur über das Supervisor-Log (`ALLOWED`/`DENIED` mit
|
||||
Pfad + Regelname); `kubectl exec` umgeht die Policy und beweist nichts.
|
||||
Policy-YAML nie per `sed` erzeugen (Pfad-Trunkierung), `policy set` scheitert
|
||||
auf laufender Sandbox an Bestandspfaden → `policy update`.
|
||||
|
||||
### Rollout v5.5 auf alle neun Agenten (02.11., 12:11–12:32)
|
||||
|
||||
Alle acht übrigen Agenten wurden migriert (`coo` als Pilot, dann `chro`,
|
||||
`agile-coach`, `cmo`, `research`, `cto`, `devops`, `ciso`). Skript:
|
||||
`~/workspace/fleet-rollout/{rollout-agent.sh,run-all.sh}`, Logs daneben,
|
||||
Backups unter `~/fleet-workspace-backups/<agent>-<ts>.tgz`.
|
||||
|
||||
Ablauf je Agent: `tar czf` aus dem Pod → `openshell sandbox delete` →
|
||||
`create … --approval-mode auto` → auf Ready warten → `kubectl cp` + `tar xzf
|
||||
-C /sandbox --no-overwrite-dir` → Egress-Check. Dauer ~1–7 min/Agent, weil das
|
||||
Bild nach dem ersten Pull auf den Nodes gecacht ist (Erstpull: 3 m 48 s).
|
||||
|
||||
**Recreate kostet den Workspace:** Der PVC hat einen OwnerRef auf die Sandbox und
|
||||
wird mitgelöscht; der neue Sandbox erhält einen frischen `workspace-default--*`
|
||||
PVC. Größen nach Restore deckungsgleich (cto 84 MB, ciso 117, devops 113,
|
||||
research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB).
|
||||
|
||||
**Egress-Freigabe ist ein zweistufiger, asynchroner Vorgang:** Nach dem ersten
|
||||
Verbindungsversuch staged der Supervisor den DNS-Namen
|
||||
(`Policy DNS staged unapproved … for TCP policy review`) und reicht selbst
|
||||
Policy-Chunks ein (`add-rule allow_fleet_beacon_…`, `resolved_from:sandbox`).
|
||||
Das Gateway gibt sie automatisch frei, solange der Prover-Delta leer ist
|
||||
(`OCSF CONFIG:APPROVED … auto-approve, prover_delta:empty`, Policy-Revision
|
||||
`Loaded`). Bis der Supervisor die neue Revision geladen hat, vergeht **ein
|
||||
weiterer Heartbeat-Zyklus** — pro Agent also 5–10 min bis `hb ok`, mit
|
||||
`--approval-mode auto` ohne jede Handarbeit.
|
||||
|
||||
Endstand: 9/9 Pods auf `013bfac8`, 9/9 `hb ok`, `deadman_alert_active` alle 0
|
||||
(max. Stille 230 s), 10/10 Deployments ready, Quarantäne unverändert 64.
|
||||
Offen in der Owner-Lane: 32 Tasks an `tower-owner` (nicht Agenten-Backlog).
|
||||
|
||||
|
||||
|
||||
## 03.11.2026 — Loops griffen nicht: Bewertet-Sackgasse + verlorene Inferenz
|
||||
|
||||
Owner-Befund: 52 Karten auf `Bewertet`, Agents idle. Vier Schichten, jede maskierte die nächste:
|
||||
|
||||
1. **Sackgasse:** Bewertungs-Sweep macht `Neu → Bewertet`; der Idle-Trigger kannte nur `Neu`. Der CEO meldete im Turn „0x Neu; 43 Bewertet". Fix: **Umsetzungs-Sweep** (board-service 0.26 `3d0a5945…`, alle 900 s): je VS die höchsten `Bewertet`-Karten (Score, `rueckbau-` ausgenommen, max 3/Task, max 1 offener Task je VS) als `build` an den VS-Owner, plus **Stall-Erkennung** (`In Bau` ohne offenen Auftrag > 48 h). Sender-Allowlist `board-service: review+build` in allen drei Kopien. Idle-Trigger kennt jetzt `Neu` **oder** `Bewertet` (watcher 0.31 `7bcb5be2…`). Deadman zählt `Bewertet` mit (0.13.4 `a2ef7364…`) — vorher schwieg er genau in diesem Zustand.
|
||||
2. **Worker maskierte Fehl-Turns:** Abschlussnotiz „Your request was not processed…" = `FAILED_TURN_NOTICE`; 24 Tasks galten als `completed` ohne Arbeit. Guard im Worker (Retry/`fail_task`) ist **noch offen**.
|
||||
3. **Sandbox ohne Basis-Policy:** `openshell sandbox create` braucht `--policy <yaml>`; ohne sie antwortet das Gateway „no policy".
|
||||
4. **Inferenz doppelt gebrochen:** (a) `--provider fleet-bifrost-<agent>` fehlte beim Recreate; (b) Provider hielten die **13-Zeichen-Platzhalter** aus 1P (`VK coo (v2)`) statt der echten **42-Zeichen-VKs** (`VK coo-v2`) → `provider update` für alle neun; (c) Roh-IP `10.0.30.210:8080` wird vom Proxy **nicht** abgefangen — nur Cluster-DNS; (d) der Sandbox-Env trägt einen 64-Zeichen-**Handle**, der nur bei passendem **Profil-Host** gegen das Secret getauscht wird → Provider-Profil `fleet-bifrost` von IP auf `bifrost.agent-fleet.svc.cluster.local` umgestellt (`profile import`).
|
||||
|
||||
Verifiziert: coo (deepseek-v41-flash) und cto (glm-5-3) antworten in 20–37 s; `vs-fleet-rebuild` Bewertet 44→41, In Bau 1→4; 9/9 hb ok, Deadman 0/14.
|
||||
|
||||
Pitfalls: Platzhalter vs. echter VK an der Länge erkennbar (13 vs 42); `kubectl exec` umgeht die Sandbox-Policy (curl-Tests wertlos); Profil-Host und Policy-Endpoint müssen identisch sein, sonst 403 mit Handle als Bearer. SolDoc `bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md`.
|
||||
|
||||
## 04.11.2026 — Owner-Triage R4, Stall-Wachen live, gitea-mcp-Facility, deploy-facility v0.2, Rollback
|
||||
|
||||
**Owner-Lane:** Runde 4 über 75 Tasks (18 GO / 57 Quittierung, 0 unbekannt) — danach Lane leer. GOs: gitops-Hire-Kette (2. Build-Agent unter cto, A16-Vote 5/5 JA), board-register-Flip-Defekt (register.md Rueckflip nach move_card), telemetry CO-REV-C, telemetry query_prometheus v5.6-failed-turn-Befund (worker_loop Auto-Completion Z.361-379). **Stall-Wachen von der Org selbst gebaut+angenommen**: 11 Abnahmen working-stall-wache completed, submitted-stall-wache live (Nachbesserung bei devops) — der 21-h-Stall von 03.11. wird künftig in Minuten gefangen.
|
||||
|
||||
**gitea-mcp-Facility (P1 schoenkitchen):** offizieller gitea-mcp v1.12.0 als eigenes Image `git.schoen.codes/dominik/gitea-mcp@sha256:3a1ed989…` (Binary-Release, docker.gitea.com-Image existiert nicht; HTTP-stateless POST /mcp + /healthz). Bot-User fleet-bot (Token via `gitea admin user generate-access-token`, Scopes write:repository,write:issue,read:user; Collaborator-write NUR dominik/schoenkitchen; 1P-Item „Gitea fleet-bot Token (gitea-mcp)"; Secret gitea-mcp-token out-of-band). 48 Tools; Agenten sehen nur Tools, nie Token.
|
||||
|
||||
**PITFALLS (04.11.):**
|
||||
- git.schoen.codes präsentiert VERSCHIEDENE Self-Signed-Certs je Pfad (lokal E4:0B…, in-cluster F8:A6…) — CA-Bundle für in-cluster-Clients IM POD extrahieren, `GITEA_CA_CERT` (nativer CA-Support, kein Insecure-Bypass).
|
||||
- patch-Tool + Chat-Redaction: `202****1021` aus Summaries hat 4 echte Pfade (20261021) korrumpiert — Kontext NIE aus komprimierten Transkripten, immer aus Quelldatei; Terminal-Ausgabe redigiert selbst → Base64-Verifikation.
|
||||
- submit_task: `from_agent` (nicht `from`); tower-owner nur über `submit_owner_task` (Strict-Gate).
|
||||
|
||||
**Agent-Anbindung:** gitea-Server in 9/9 Sandbox-Configs (text-insert nach `^mcp_servers:`), Netzwerk-Regel `fleet_mcp_gitea` in sandbox-base.yaml, **Boundary-Regeneration per `openshell sandbox stop && start`** (holt neue Policy-Revision; Egress-Beweis je 9× ALLOWED für devops/cmo/cto). Rest 6 bei natürlichem Recreate.
|
||||
|
||||
**deploy-facility v0.2** (`sha256:39901570…`): PRODUCTS-Allowlist {tower, schoenkitchen} (git-truth im Code, nicht env), `deploy_image(product,…)` + deploy_tower-Kompat-Wrapper; schoenkitchen-pin_re matcht :tag UND @sha256: (erster Pin ersetzt :latest). Achtung: schoenkitchen-App läuft noch über git-clone-Overlay — Pin wirkt erst nach Overlay-Entfernung (Produkt-Team).
|
||||
|
||||
**Rollback:** `clusters/main/fleet/build/rollback-image.sh <pin-file> [steps-back]` — N-ten frueheren Digest aus Git-Historie, committet+pusht, an tower.yaml bewiesen.
|
||||
|
||||
**Commits:** de0a580 (facility), 5303256 (CA), 2b9ce0a (Policy+Seed, Pfad-Reparatur), 67bcb8f (v0.2+Rollback). FYI an cmo+devops (0c2168d6/fc63f085) published. SolDoc: architecture/2026-11-04-schoenkitchen-p1-gitea-mcp-kaniko-allowlist-rollback.md.
|
||||
|
||||
## 04.11.2026 (Abend) — gitops-Rollout S1-S6 VOLLZOGEN (Chair, EXEC-HANDOFF e12c10f9)
|
||||
|
||||
**Agent gitops LIVE** (10. Agent, operative, parent cto, wave 1, al 1, model deepseek-v41-flash): Sandbox default--gitops 2c66fc12, Image fleet-agent-image v5.6 @sha256:f55f82aa (10 Souls), VK gitops 164fd4a4 (Bifrost, Completion 200, ~284k tok/30m), Heartbeat ~79s, Prepuller 8/8 auf v5.6. S5-Routing CHO->gitops AKTIV (R1-R4, Weichen-Owner cto; Overflow devops>20 -> gitops). Beleg: Test-CHO 907bc425 to=gitops published+claimed+completed; VORHER-Rejekt 3554ee29 (9er-Org). K1/K2-Messreihe: Basis 66 offen/36.6h aeltester (ohne fyi), 3 Checks/24h, Abnahme danach durch ceo/cto.
|
||||
|
||||
**KRITISCHER PITFALL (Org-Spiegel):** Agentenliste ist 4× gepflegt — org.yaml + org-truth-configmap (regen! sha-Annotation) + 3 hardcodierte frozensets: spool/submit_task.py VALID_AGENTS, Inline-CM fleet-submit-task (sync_submit_cm.py!), watcher_main.py SUBMIT_VALID_AGENTS. Ohne alle 3: Task an neuen Agenten wird synchron INVALID + im Outbox rejected (*outbox-* in _invalid/, kein Quarantine-Event). CM-Mount braucht Pod-Restart. DB-Tabellen members/sandboxes waren LEER (Stub nie aktiviert) -> SQL-Sync aus org.yaml (10 Member ON CONFLICT) + sandboxes-Zeile; get_sandbox_status(alle)=none war vorher Normalzustand. EXEC-HANDOFF-Digest 64b987.. war Soul-DATEI-Hash, nicht Image-Digest.
|
||||
|
||||
**Commits:** a72c246 (S1-S3), e075439 (VK-ES), prepuller-pin, 06630a5 (3 Agentenlisten), a9bdc0e (watcher 0.33 42a3b3de). 1P: "Agent-Fleet VK gitops" (Kubernetes ESO). Bifrost-Admin: 1P "Agent-Fleet Bifrost Admin" (Basic-Auth gegen /api/governance/virtual-keys, Bearer/X-Admin-Key funktionieren NICHT). fyi-Zaehlung: watcher 0.25/0.26 exempte fyi von offener Arbeit + Archiviert — alter watcher-fyi-fix-Todo war stale. SolDoc: bug-fixes/2026-11-04-gitops-rollout-org-spiegel-agentenlisten.md.
|
||||
|
||||
## 05.11.2026 — Arbeitsteilung: CHO-Weiche im SOUL, Produkt-PR-Bruecke, erster PR #1
|
||||
|
||||
**Symptom:** gitops (10. Agent) hatte dauerhaft 0 Inbox-Items; erster schoenkitchen-PR kam nicht zustande, obwohl 4/5 P1-Kinderwahl-Tasks completed waren ("kein Commit/Push/CI" — Text-Artefakt-Konvention).
|
||||
|
||||
**Drei Root Causes:** (1) Es gibt keinen Verteiler — Arbeit entsteht nur durch `to=<agent>`-Adressierung; Idle-Trigger kennt operative Rollen NICHT (IDLE_IDEATION_ROLES = cto/cmo/coo/research/agile-coach/chro) → operative Agenten haben keinen Selbststart. (2) S5-Weiche R1-R4 war Dokument/Entscheidung, aber nicht im cto-SOUL. (3) "Kein Cluster-Zugriff → Text-Artefakt" galt unterschiedslos — die letzte Meile Artefakt→Repo hatte keinen Besitzer, obwohl gitea-mcp (48 Tools, Schreibrecht via fleet-bot) seit dem schoenkitchen-P1 bereitstand.
|
||||
|
||||
**Fix (Commit 585eeb8):** cto-SOUL = "DU BIST DIE CHO-WEICHE R1-R4" (R1 strukturell→gitops, R2 Betrieb/Produkt→devops, R3 Overflow devops>20→gitops, R4 Envelope-Doku; "gitops hat keinen Selbststart"). devops+gitops-SOUL: "AUSNAHME PRODUKT-CODE: Branch+PR ueber mcp_gitea_*, CI blockiert Merge, Review Owner, kein Direkt-Push auf main". deploy_soul.sh: gitops in AGENTS-Liste + effort low.
|
||||
|
||||
**Vierte hardcodierte Agentenliste:** deploy_soul.sh hatte AGENTS ohne gitops → gitops' SOUL war beim Rollout NIE deployt (live 4295B alt). Nach jedem neuen Agenten: `grep -rn "ceo cto ciso" clusters/`.
|
||||
|
||||
**Beweis:** PR #1 https://git.schoen.codes/dominik/schoenkitchen/pulls/1 (fleet-bot, feat/kinderwahl-endpunkte→main, +833/-0 in 7 Dateien, CI success Run 127) — API-verifiziert. cto wandte Weiche an (R1/R2 gesetzt, P1-Handover b2183e31 fuer Bestands-Tasks — Redispatch existiert nur fuer Dead-Letter). gitops: erster echter R1-CHO 4ab3c718 (add_backlog_card Komma-Sanitisierung, RFC-4180 register_codec.py) claimed 07:33 completed 07:54. Queue: devops 47 offen (von 66), gitops 0. SolDoc: architecture/2026-11-05-fleet-arbeitsteilung-cho-weiche-produkt-pr.md.
|
||||
|
||||
**Regel:** Health (Heartbeat/VK/Sandbox Ready) beweist Betrieb, nicht Arbeit. Arbeitsnachweis = geclaimte/completed Tasks. Neue operative Rollen brauchen eine Zuweisungsquelle im Owner-SOUL, nicht nur im Dokument.
|
||||
|
||||
## 05.11.2026 (2) — Owner-Lane 65→6: Register-Zeilendefekt als Wurzel des Schein-Staus
|
||||
|
||||
**Kernbefund:** `ideen-register.md` (vs-fleet-rebuild) hatte ab 04.11. 16:27 eine Zeile mit 9 statt 6 Zellen (Titel `task-lost-cause-taxonomie` mit Kommas ungequotet). `get_kanban`/`get_backlog` fail-loud → **Board des groessten VS 22 h unlesbar** → keine Karte abschliessbar → devops-Stau → ciso eskalierte denselben Defekt **30×** in die Owner-Lane. Das Erklaermuster gilt generell: viele Eskalationen desselben Themas = ein Defekt, nicht 30 Auftraege.
|
||||
|
||||
**Fix:** Zeile 201 neu geschrieben (RFC-4180-Quoting), Backup `.bak-2026-11-05-chair`; 199×6 Zellen; `get_kanban`/`get_backlog` gruen (197 Karten).
|
||||
|
||||
**Nebenbefunde + Fixes:**
|
||||
- Weichen-Cooldown war am falschen Schluessel (`busy_agent` statt `ziel`) → Sperre wirkte nie → 28 WEICHE-AUDITs/3 h. watcher 0.37 (`sha256:33420cba…`, `be6f17c`), Tests 20/20.
|
||||
- cto war spool-blind → board-service 0.27 (`sha256:657bab44…`, `d6b9795`) mit `list_open_tasks(agent_id, include_fyi, limit)`, read-only, Tests 7/7.
|
||||
- `sandboxes`-Tabelle hatte nur gitops → `get_sandbox_status(devops)=none` (falscher Alarm). 10 Mitglieder aus Live-Pods nachgetragen, gitops-Duplikat geloescht.
|
||||
|
||||
**Triage-Muster (verbindlich):** erst Defekt fixen, dann quittieren; Dubletten auf **ein** Paket konsolidieren und Originale mit Verweis quittieren; Beleg (Datei/Zeile/Backup/Tool) in die Quittung; Owner-Entscheidungen (Policy-Wortlaut, PVC, PR-Merge, Governance) bleiben offen.
|
||||
|
||||
**Ergebnis:** Owner-Lane 65 → 6 (bewusst offen: 2ae3fb35 envelope Rev D, 6b813142 shared artifacts PVC, 2edad98c FLEET-POLICIES 1.6, 8bba1cf2 Sandbox-View, 66792d25 PR #2, ad6adbca Lieferintegritaet). gitops lieferte in ~1 h 5 Change-Packages (deadman-beacon-metrics, NAR-SSOT-A1 3 Patches, policy-exec-7grants, grant-stop-prometheus-read, Register-Writer-Haertung) — Beweis: adressiert = arbeitet, unbeschaeftigt = idle by design.
|
||||
|
||||
**Pitfalls:** `decide_owner_task` nur `approve|decline` (Quittung = `dismiss_owner_task`); MCP-Schreibaufrufe ~20–40 s → Triage in Bloecken 5–8 und `python3 -u`, sonst Timeout/verlorener Puffer. SolDoc: bug-fixes/2026-11-05-owner-lane-triage-register-defekt-gitops.md.
|
||||
|
||||
## 05.11.2026 (3) — Review-Gate 4/4 live; Sandbox-Auto-Heilung bewiesen
|
||||
|
||||
**Owner-Direktive:** PR-Reviews durch ciso/cto/coo/cmo, Merge auf `main` nur bei **4/4**,
|
||||
autonom durch die Fleet. Owner-Freigaben laufen ab jetzt **ausschließlich über Gitea-PRs**
|
||||
(nie Chat/Board/mündlich).
|
||||
|
||||
### Review-Gate (bewiesen)
|
||||
- Agenten-Accounts `ciso/cto/coo/cmo` + Tokens (40 Zeichen, Scope `write:repository`),
|
||||
Secret `fleet-review-tokens` in NS `fleet` (out-of-band, **nie** in Git/Sandbox/Log).
|
||||
- **`read` genügt**: Kommentar 201, Review-Approval 200, Lesen 200 — kein Push-Recht nötig.
|
||||
- Branch-Protection `main` (dominik/schoenkitchen): `required_approvals=4`,
|
||||
Whitelist ciso/cmo/coo/cto, `dismiss_stale`, `block_on_rejected_reviews`,
|
||||
`enable_push=false`, Merge-Whitelist **nur `fleet-bot`**.
|
||||
- **Pitfall:** Statuscheck-Kontext muss exakt `CI / test (pull_request)` heißen — sonst
|
||||
blockiert ein nie-grüner Check jeden Merge.
|
||||
- Serverseitig: `gitea_gate.py` im board-service (`gitea_pr_*`-Tools) prüft 4/4 + CI vor dem
|
||||
Merge erneut; Fehler als JSON, nicht als ToolError.
|
||||
- **Pitfall:** `gitea_pr_comment` hat **keine Gate-Wirkung** (State `COMMENT`, Autor fleet-bot).
|
||||
Formal zählt nur `gitea_pr_review` mit eigenem Reviewer-Account — Review-Aufträge müssen das
|
||||
Werkzeug nennen und `gitea_review_status` als Selbstkontrolle verlangen.
|
||||
|
||||
### Erstes echtes Review-Ergebnis (PR #2 schoenkitchen)
|
||||
3 von 4 Reviews = **3× REQUEST_CHANGES**, komplementär: coo (Router nicht in `app.py`,
|
||||
Migration fehlt, kein Runbook) · cto (toter Code, Store ohne Tests, TOCTOU in `speichere_wahl`) ·
|
||||
cmo (technische IDs statt Namen, stumme Fehler, unbeschriftete Buttons). Nachbesserung an
|
||||
`devops` (`5b47ece7`, 7 gebündelte Befunde). Merge bleibt bei 0/4 gesperrt.
|
||||
|
||||
### Sandbox-Auto-Heilung (E2E scharf bewiesen)
|
||||
`fleet-sandbox-healer.sh` + systemd-Timer (2 min) auf mgmt-runner: erkennt
|
||||
`Suspended=True`/`Ready=False>300 s`, erneuert OIDC headless, `stop→start`, max 150 s auf Ready,
|
||||
fyi an ceo. Grenzen: 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout.
|
||||
Kill-Test `default--gitops`: 19:12:01 `PodTerminated` → 19:15:02 `✓ Started` → Ready, Pod 1/1.
|
||||
- **Pitfall 1:** systemd-Units brauchen `Environment=HOME=/root` — sonst `Unknown gateway 'fleet'`
|
||||
(sieht wie abgelaufenes Token aus; Auth-Check nutzt denselben Aufruf).
|
||||
- **Pitfall 2:** `kubectl … | python3 - <<'PY'` → Heredoc frisst stdin; `python3 <(cat <<'PY' … PY)`.
|
||||
- IaC: `clusters/main/fleet/ops/sandbox-healer/` (Skript, Unit, Timer, README) — Commit `b652bb0`.
|
||||
|
||||
### Watcher 0.38.1
|
||||
Digest `sha256:cc325dcb…`: `tower-owner` darf jetzt auch `type=review` einlegen (Chair-Review-Aufträge).
|
||||
Vorher quarantänierte der Watcher sie („System-Sender mit unzulaessigem type“).
|
||||
|
||||
## 05.11.2026 (4) — PR 15/16/17-Rollout; Policy-Schema-Defekte; gitops-Pilot v5.7
|
||||
|
||||
- Merge-Reihenfolge 15→16→17: Gitea lehnt Parallell-Merges mit 405 "Please try again later" ab —
|
||||
einfach versetzt mergen, KEIN Konflikt.
|
||||
- **Drei Policy-Fehlerklassen, die nur am Gateway sichtbar sind:** (1) `nar_*`/`valid_until` sind
|
||||
keine Schemafelder, (2) `method`/`path` sind keine Endpoint-Felder (Schema: host, ports,
|
||||
allowed_ips, protocol, tls, enforcement, access), (3) Overlap auf gleicher host:port mit
|
||||
konfligierendem Protokoll (rest vs mcp) → `network endpoint ambiguity validation failed`.
|
||||
Fix-Commit 8686743 (nar-SSOT als Kommentare, Befristung via Rueckbau-Karte).
|
||||
- **`openshell policy set <agent> --policy <file> --wait` setzt Policies LIVE** (Worker laeuft
|
||||
weiter) — Recreate nur noetig, wenn sich das IMAGE aendert. cto v11, ceo v10, devops v12 live.
|
||||
- deadman ist KEINE Sandbox → sandbox-Policy-Grants wirken dort nicht.
|
||||
- gitops-Regenerate: Backup→delete→create→Restore geklappt; mid-Task-Kill wurde vom System
|
||||
verschlungen (Task blieb working, Agent re-claimte). Image v5.7 df08791f, §1.6 im Image bewiesen.
|
||||
- **Offen:** writeback-Egress-TLS bricht im Broker (Handshake ok, dann decode error/EOF, curl 56) —
|
||||
RCA-Task 64a8fefc an cto. v5.7-Rollout auf 9 restliche Agenten ausstehend.
|
||||
- openshell-values.yaml war v4-Stand (a08fa5fe/hermes-agent) — auf fleet-agent-image v5.7
|
||||
umgestellt (e5205c8): Live-Images heissen fleet-agent-image, nicht hermes-agent.
|
||||
|
||||
## 05.11.2026 (5) — v5.7 auf 10/10 Agenten; Rollout-Methode Live-Policy-Export
|
||||
|
||||
- **Sandbox-Rollout ohne Policy-Verlust:** Live-Policy je Agent via
|
||||
`openshell policy get <a> --base -o json` exportieren, d["policy"] als Policy-Datei
|
||||
verwenden (JSON ist gueltiges YAML, enthaelt filesystem_policy + network_policies + version).
|
||||
Die Live-Policies sind STRENG VOR den Repo-Dateien zu bevorzugen: auto-genehmigte Egress-Chunks
|
||||
(allow_openrouter/nousresearch/models.dev/raw.githubusercontent/gitea-mcp/...) existieren nur
|
||||
live — Repo-Dateien sind unvollstaendig (Befund: ciso 8, research 12, coo 5 Extraregeln).
|
||||
- Rollout-Bewiesen: delete+create mit exportierter Live-Policy + v5.7 + provider + start-agent.sh
|
||||
<agent> <modell> → 10/10 Ready, §1.6 überall, SOUL/config per tar-restore.
|
||||
- Modelle je Agent (aus config.yaml): ceo/cto/ciso glm-5-3; chro/cmo/agile-coach glm-5-3-flash;
|
||||
coo/research/devops deepseek-v41-flash; gitops deepseek-v41-flash.
|
||||
- tar-backup des /sandbox: rc=1 ("file changed as we read it", state.db/gateway.sock live)
|
||||
ist OK und bei laufenden Agenten die NORM — nur rc>=2/leer ist ein harter Fehler.
|
||||
- OIDC-Stunden-Token fällt in langen Rollouts aus — Auth-Retry (relogin + retry) in jede
|
||||
lange Runner-Sequenz einbauen.
|
||||
- Backup-Groessen: devops 206 MB, ceo 81 MB, cto 80 MB, research 39 MB, Rest 7-40 MB.
|
||||
|
||||
## 05.11.2026 (6) — PR-#2-Stall: zwei echte Blocker (Facility-Identitaet + Maskierung)
|
||||
|
||||
- **Facility vs. Board-Tool:** cto gab sein PR-#2-Verdikt zuerst per gitea-mcp-Facility ab —
|
||||
die authentifiziert als fleet-bot, und fleet-bot ist der PR-AUTOR -> Gitea: "reject your own
|
||||
pull is not allowed". Formale Reviews gehen NUR ueber das Board-Service-Tool gitea_pr_review
|
||||
mit reviewer=<agent> (eigene Tokens, ciso/coo/cmo haben so formal abgelehnt).
|
||||
Reviewer-Auftraege muessen das Werkzeug explizit vorgeben.
|
||||
- **WebUI-Maskierung frisst Branch-Namen:** der Branch "feat/sk-u-kinderwahl" wird von der
|
||||
Oberflaeche als "feat/***" maskiert (sk-...-Muster = Key-Detektion). Wer den angezeigten
|
||||
Namen kopiert, uebertraegt das Maskierungssyntax-Muster in Fleet-Tasks — devops fand dann
|
||||
natuerlich keinen Branch "feat/***". Regel: Branch-/Ident-Namen mit echten Bytes via base64
|
||||
ermitteln und in Task-Bodies einsetzen, nie aus angezeigtem Text kopieren.
|
||||
- PR-#2-Stand: 3 formale REQUEST_CHANGES (coo/cmo/ciso), cto zieht formal nach (efdaf19d),
|
||||
devops bekam echte Branch-Adresse + 7 Befunde erneut (6877bf8c).
|
||||
|
||||
## 05.11.2026 (7) — Register-Sprengung durch Pipe im Titel; gitops-Queue-Pathologie
|
||||
|
||||
- **Defekt:** Ein Karten-Titel mit literalem `|` (Regex-Alternation:
|
||||
`sandbox_unreachable|queue_overflow|claim_lost|ttl_expired`) sprengte die Pipe-Tabelle in
|
||||
`ideen-register.md` (Zeile 319: 9 statt 6 Zellen) -> `_load_cards` wirft fuer den ganzen VS
|
||||
`9 Zellen, erwartet 6` -> get_kanban/get_backlog failen -> JEDER lesende Agent legt einen
|
||||
Register-Reparatur-Task an (17 Duplikate in gitops' Queue).
|
||||
Fix: Zeile 319 manuell repariert (Backup `.bak-*-chair`), board-service **0.30**
|
||||
(`sha256:b1090c19…`): `_render_backlog` ersetzt `|` im Titel durch `¦`, `add_backlog_card`
|
||||
saniert beim Aufnehmen. Verifiziert: 315 Karten laden sauber.
|
||||
- **Queue-Pathologie:** gitops hatte 46 offene Tasks (17 Register-Reparaturen, jetzt moot;
|
||||
4 CO-5.1-„Transfer TEIL x/3"-Pakete von devops). Die Transfer-Tasks sind Chunk-Schleusung
|
||||
durch Prompt-Texte (weil Sandboxes isoliert sind) und sprengen das 30-min-Turn-Limit
|
||||
(TimeoutExpired 1800 s) — gitops verbrennt pro Versuch eine halbe Stunde, fail_task scheitert
|
||||
danach teils, weil der Sender den Task schon completed hat.
|
||||
Richtung: Datei-Austausch ueber das jetzt vorhandene RWX-Volume `fleet-artifacts` oder
|
||||
gitea-mcp statt Prompt-Chunks; Transport-Auftraege nicht als 3-Teile-Bundle an Agenten.
|
||||
- Lehre: Board-Reader sind fail-loud — ein einziger defekter Register-Eintrag legt Lesen fuer
|
||||
den gesamten VS lahm und erzeugt Reparatur-Task-Spam bei allen Agenten. Titel-Sanitizing
|
||||
gehoert in Writer UND Renderer (doppelt), nicht nur in die Handkorrektur.
|
||||
|
||||
## 05.11.2026 (8) — `cancel_task` (board-service 0.31): Rueckzugsweg fuer gegenstandslose Tasks
|
||||
|
||||
- **Neu:** `cancel_task(task_id, agent_id, reason)` — berechtigt sind **Absender** oder
|
||||
**tower-owner** (Chair); nur `status=submitted`; `working` nie (Arbeitsverlust, fail loud);
|
||||
`reason` Pflicht (<=500). Envelope wandert nach `/srv/fleet/tasks/_withdrawn/` (Bytes erhalten,
|
||||
+withdrawn_by/reason/at), Journal-Event `task_withdrawn`; **kein neuer Status**, weil der Watcher
|
||||
nur `submitted|working|completed|failed|blocked` kennt (`ALLOWED_STATUSES`) — alles andere
|
||||
landet in `_invalid/`. 16/16 Unit-Checks (`test_cancel_task.py`).
|
||||
- **Image:** `git.schoen.codes/dominik/fleet-board-service@sha256:054980d3906c4b6352b06aceb00f6c9f0771c5ee3b04913bd51ca8600a5710be`
|
||||
(0.31, Commit `f707279`), live; 0.30 davor (`b1090c19…`) brachte den Pipe-Guard.
|
||||
- **Wirkung:** gitops-Queue 43 -> **27 submitted** + 1 working; 17 Dateien in `_withdrawn/`
|
||||
(15 Register-Duplikate + 2 Diagnose-Proben); Rundruf-fyi an agile-coach/ceo/chro/ciso/devops
|
||||
(Task-IDs `5e667642`, `738345a5`, `9b456ada`, `c2a75562`, `6cd521f8`).
|
||||
- **Offen/beobachtet:** `_journal/journal.logl` enthaelt 15 **alte** abgeschnittene Zeilen
|
||||
(time_epoch ~1793689734, 04.11.) — Auswertungen brauchen tolerantes Parsen (bad_line -> skip).
|
||||
Die letzten drei `task_withdrawn` sind vollstaendig JSON.
|
||||
- Transport-Antipattern bleibt: Dateien als `TEIL x/3`-Prompt-Chunks durch Agenten schleusen
|
||||
sprengt das 30-min-Turn-Limit; korrekt ist RWX `fleet-artifacts` oder gitea-mcp.
|
||||
|
||||
## 06.11.2026 — devops-OOM bewiesen (4Gi) + Heiler-Sturm gestoppt
|
||||
|
||||
- **devops-Sandbox** starb ab 00:30Z alle ~10 min. Waechter (15-s-Raster,
|
||||
`/tmp/devops-death-watch.log`) hat den Kill festgehalten: `exitCode 137, reason OOMKilled,
|
||||
finishedAt 05:16:50Z` bei `startedAt 05:07:23Z` — **2-Gi-Limit** gesprengt (Peaks vorher
|
||||
1721-1848 MB). Fix: `limits.memory: 4Gi` bei Request 2Gi (Burstable, worker-03 hatte 7 GiB
|
||||
frei), Live-Patch am CR + `stop`->`start` (bei `PHASE Error` immer erst stop).
|
||||
- **Heiler 0.2** (Commit `1a2ff36`): Eskalation je Sandbox **einmal je 12 h**
|
||||
(`ESCALATION_REPEAT_S=43200`), `attempts_reset` nach erfolgreicher Heilung (Erfolge zaehlen
|
||||
nicht mehr gegen das Limit), `attempts_prune` erhaelt den `escalations`-Block.
|
||||
Vorher: 122 identische ceo-fyis „Sandbox devops bleibt tot" (alle 2 min ab 02:26Z).
|
||||
- **ceo-Inbox 133 -> 12** (122 Duplikate via `cancel_task` zurueckgezogen, 1 Aufloesungs-fyi
|
||||
`c1f46447`).
|
||||
- **Messartefakt-Lehre:** „gitops 0 tok/s" war falsch — 2-min-Rate kann zwischen Turns legitim 0
|
||||
sein; `rate[5m]`=407, Spitze 5440 tok/s, `increase[1h]`=6,49 Mio Tokens. Vor dem Handeln
|
||||
Quelle pruefen. cto/cmo mit 0 tok/s sind echt idle (HB frisch, CPU ~0, keine offenen Tasks).
|
||||
- **Offener Engpass:** `tower-owner` 57 offene Tasks (Owner-Lane), gitops 73, devops 65.
|
||||
|
||||
## 06.11. Follow-up: 8Gi, Watcher-TOCTOU, Heiler-Restore (06:05-06:10Z)
|
||||
|
||||
- **devops+gitops auf 8Gi** (Owner-Go). 4Gi reichte nicht: 2. OOM um 05:42:06Z, echter
|
||||
Peak `container_memory_max_usage_bytes`=3809 MB (30-s-Raster verpasst die Kill-Spitze).
|
||||
`max_usage` ist die verlaessliche Metrik, nicht `working_set`-max_over_time.
|
||||
- **Auto-Heilung war inaktiv** (Unit+Skript fehlten auf mgmt-runner-01). Restore per
|
||||
base64-Pipe (scp ging still verloren; 0-Byte-Unit = systemd "masked").
|
||||
Rollout-Guard-Bug: `sp.get("replicas",0)` → Default 1.
|
||||
- **fleet-spool-watcher crashloopte** (FileNotFoundError, TOCTUV zwischen Listing und
|
||||
Lesen; Verschiebungen nach _withdrawn/ killen den Watcher) → **Dispatch-Ausfall**.
|
||||
Fix 0.39 (Commit 1007d96, Digest 793e3425...): except FileNotFoundError: continue.
|
||||
- **Heiler-State-Pfad:** /var/lib/fleet-sandbox-healer/attempts.json ("healer"!). Alte
|
||||
3 Versuche blockierten; Reset noetig.
|
||||
- **Kill-Test bewiesen:** Pod-Kill → GEHEILT nach ~3 min, Ready, 8Gi aktiv.
|
||||
- Offen: Guard schweigt bei Dauer-Rollout endlos; devops-3,8-GiB-Ursache ungeklaert.
|
||||
|
||||
## 06.11. PR-Watch (board-service 0.32.1)
|
||||
|
||||
- **Vorfall:** Task `6877bf8c` (PR #2 Nachbesserung) endete `completed` mit Notiz
|
||||
„Arbeitsstand/Sichtung", ohne Commit. Branch-Head `ed790b26` blieb 23 h stehen,
|
||||
4× `REQUEST_CHANGES` offen, niemand hat es bemerkt.
|
||||
- **Ursache:** `complete_task` prüft kein Artefakt; kein Sweep liest den PR-Zustand.
|
||||
- **Fix:** `pr_watch.py` + Thread im board-service (Commit 449e9b0/6985c84,
|
||||
Digests 2c426283 / 87f3dede). Kriterium: Änderungswunsch offen **und** Head älter
|
||||
als 4 h; ein Task je `(repo,PR,SHA)`; Marker `pr-stall:<repo>#<pr>:<sha12>`;
|
||||
Cooldown 6 h aus dem Journal; Empfänger `cto` (board-service darf nur `review`).
|
||||
- **E2E:** 12:23 Task an cto → 12:26 cto→devops „Rework PR 2" (`submitted`).
|
||||
- **Offen:** gitea-mcp-Token hat kein `read:organization` (403 bei list repositories).
|
||||
|
||||
## 07.11.2026 — Neuer Value Stream vs-imkerei (Owner-Direktive)
|
||||
|
||||
- **Repo:** `dominik/imkerei_verwaltung` (Gitea, privat, ID 373) = Fork von
|
||||
`github.com/dsgrafiniert/imkerei_verwaltung` (Upstream-HEAD `dab2481`
|
||||
„Version 1.2.1", byte-identisch auf main gepusht; Stack laut Repo:
|
||||
ANLEITUNG.md/AENDERUNGEN.md, `web/`, `installation/`). Fork-Disziplin: kein
|
||||
Auto-Merge, Sync nur bei Upstream-Release. Lokaler Clone mit beiden Remotes:
|
||||
`~/workspace/imkerei_verwaltung` (upstream + gitea/ssh://10.0.30.200).
|
||||
- **Zugriff:** fleet-bot Collaborator-Write (204) — Agenten bauen Branch+PR via
|
||||
gitea-mcp wie bei schoenkitchen.
|
||||
- **VS:** register.md-Zeile `vs-imkerei | cmo | Imkerei-Verwaltung … Karte bis
|
||||
Betrieb`; VS-Dir mit leeren ideen-register.md/release-notes.md;
|
||||
Seed-Karten (ursprung owner): `imk-bestandsaufnahme` (8×9=72),
|
||||
`imk-erster-nutzen` (9×6=54).
|
||||
- **Kick-off:** Owner-Task `034ad90c…` (tower-owner→ceo, type=build, P2,
|
||||
requires_ack) via `submit_owner_task` — published im Spool, wartet auf CEO-Claim.
|
||||
- **Muster (wiederverwendbar):** board-service-MCP hat KEIN curl im Image —
|
||||
python3-Client (`mcp_call.py`, initialize→tools/call, SSE-letzte-data:-Zeile)
|
||||
per `kubectl cp` in den Board-Pod; `add_backlog_card` braucht `karte_id`
|
||||
(Regex `^[a-z0-9][a-z0-9-]{2,63}$`) + `ursprung`; Neue VS = register-Zeile
|
||||
per Datei + Dir-Seed per Datei + Karten/Task via MCP.
|
||||
- **Release-Notes-Befund (07.11.):** Dateien sind top-prependiert; vs-fleet-rebuild
|
||||
~640 Einträge/24h (Kapazitäts-/Verlust-Welle), vs-schoenkitchen 1, vs-eigenentwicklung 0.
|
||||
|
||||
|
||||
## 07.11. Balancing der Value Streams
|
||||
|
||||
- **Befund:** vs-fleet-rebuild 1785 Karten (1283 Neu), andere VS 0 Neu; 1169 der
|
||||
Neu-Karten mit Praefix kap-/rca-, agent-generiert.
|
||||
- **Ursachen:** (a) Watcher-Rezidiv-Cooldown schrieb `(kind, ziel)`, pruefte
|
||||
`(kind, agent)` -> wirkte nie -> 345 RCA-Tasks in 4 Tagen; (b) Idle-Ideation hatte
|
||||
`vs-fleet-rebuild` in allen Schritten hart kodiert.
|
||||
- **Fix:** watcher 0.40 (Cooldown je Ausloeser + VS-Rotation via balance_status),
|
||||
board-service 0.34 (Gate: max_open 400, Tagesrate 10 Agent-Karten/VS, Anteil nur
|
||||
Bericht; Tool balance_status; Sweeps least-loaded-first).
|
||||
- **Bestand:** 1150 Loop-Artefakte archiviert ->
|
||||
vs-fleet-rebuild/archiv/ideen-register-archiv-2026-11-07.md, Register 635 Karten.
|
||||
- **Verifiziert:** Gate blockt fleet-rebuild (92 Agent-Karten/24h), imkerei PASS,
|
||||
Owner-Karten PASS.
|
||||
|
||||
## 10.11. Ideations-Takt (Nachtrag)
|
||||
|
||||
- **Warum keine Ideen:** Idle-Trigger bricht bei `open_count > 0` ab -> bei
|
||||
Dauerbacklog feuert er nie (0 Events/48h). Zusaetzlich hatte der
|
||||
Kapazitaets-Cooldown denselben Schluessel-Fehler wie der Rezidiv (schrieb
|
||||
`(kind, ziel)`, prueft `(kind, agent)`) -> 277 KAPAZITAET-Tasks/48h.
|
||||
- **watcher 0.42** (Digest 718691e0): Cooldown je Ausloeser; periodischer
|
||||
Ideations-Takt alle 6 h (`IDLE_IDEATION_INTERVAL_SECONDS`) unabhaengig vom
|
||||
Spool; Owner-Rotation `vs-eigenentwicklung:cto,vs-schoenkitchen:cmo,
|
||||
vs-imkerei:cmo,vs-fleet-rebuild:ceo`; Dedupe ueber offene
|
||||
`IDEATION-ZYKLUS:`-Tasks; Journal `ideation_tick_created`.
|
||||
- **0.41-Crash** (AttributeError next_ideation) in 0.41.1 gefixt: Feld am
|
||||
IdleScheduler initialisieren, nicht nur in den Opts.
|
||||
- **Verifiziert:** erster Ideation-Task 10.11. 08:48 -> ceo; seit Deploy
|
||||
0 Prozess-Trigger; Rotation im Unit-Test (cmo/vs-schoenkitchen).
|
||||
|
||||
## 10.11. Regression: add_backlog_card deregistriert (0.33 -> 0.35 behoben)
|
||||
|
||||
- Beim Balancing-Einbau (0.33) rutschte `@mcp.tool()` von `add_backlog_card` auf
|
||||
`_balance_snapshot` -> Tool fehlte in der MCP-Registry, Agenten konnten KEINE Karten
|
||||
anlegen. cmo meldete es in einer Notiz.
|
||||
- Fix 0.35 (Digest 2a651525): Dekorator zurueck; Registry-Check
|
||||
`server.mcp._tool_manager.list_tools()` (28 Tools, add_backlog_card dabei,
|
||||
_balance_snapshot nicht).
|
||||
- Tagesrate 10 -> 25 Agent-Karten/VS/24h (Flood war ~580/Tag); Ideations-Takt 1h.
|
||||
- Beweis: fleet-rebuild 667 -> 669 Karten; Ideation-Task 18:26 -> cmo/vs-imkerei working.
|
||||
- **Pruefroutine:** nach jedem board-service-Patch Tool-Liste verifizieren, nicht nur py_compile.
|
||||
|
||||
## 11.11. Kanban-Parser: Steuerzeichen blockierten get_kanban
|
||||
|
||||
- **Symptom:** `FLEET_KANBAN_FAILED ... Unexpected token 'E'` — get_kanban lieferte
|
||||
eine Fehlerzeichenkette statt JSON.
|
||||
- **Ursache:** Agent schrieb Umlaute als Steuerzeichen (\x00, \x0b, \x19, \x0f) in
|
||||
Kartentitel; `str.split()` behandelt \x0b/\x1c-\x1f als Whitespace -> Zeile mit
|
||||
2 statt 6 Zellen -> ToolError -> ganzer VS unlesbar (imkerei, schoenkitchen).
|
||||
- **Fix board-service 0.36** (Digest c0d71d6c): `_clean_card_text()` beim Schreiben
|
||||
und Lesen; Zeilen mit !=6 Zellen werden übersprungen + `backlog_row_invalid`
|
||||
journalisiert; Register repariert (Backups `*.bak-*-ctrlchars`).
|
||||
- **Verifiziert:** get_kanban JSON ok für alle 4 VS, Steuerzeichen-Scan 0.
|
||||
|
||||
|
||||
## Inbox: „Was braucht dich" (15.11.2026, Herdr-Konzept)
|
||||
|
||||
Konzept von herdr.dev übernommen, **nicht** die Software (kein `herdr-core`,
|
||||
keine Panes — die Fleet bleibt headless in OpenShell-Sandboxes).
|
||||
|
||||
- **board-service 0.36.2**: `fleet_inbox(limit)` führt `list_owner_inbox` und
|
||||
`attention_summary` zu EINER Liste zusammen und ergänzt den Agenten-Zustand
|
||||
aus der Quelle: `working` (hält einen Task), `blocked` (wartet auf Antwort,
|
||||
hat Vorrang), `idle`. `running_s` kommt aus `task_claimed` im Journal.
|
||||
- **done ist ein Delta**: `mark_inbox_seen()` setzt den Wasserstand
|
||||
(`/srv/fleet/board/owner-inbox-seen.json`); beim ersten Aufruf wird er auf
|
||||
„jetzt" gesetzt, sonst zählt die Inbox tausende Alt-Tasks als neu.
|
||||
- **needs_you** = `to=tower-owner` & `submitted` ODER offene Attention-Frage
|
||||
(auch auf `working`-Tasks). Sortierung P1 → Alter, gedeckelt auf `limit`;
|
||||
die echte Zahl steht in `counts`.
|
||||
- **Tower-Ansicht Inbox** (Sidebar, `fleet-nav-inbox`), Poll 20 s.
|
||||
- **Befund**: 90 offene Owner-Entscheide, älteste ~8,5 Tage (P1) — sichtbar
|
||||
gemacht, nicht gelöst. Triage offen.
|
||||
|
||||
+44
-26
@@ -3,18 +3,18 @@ title: Ceph Cluster
|
||||
category: systems
|
||||
tags: [ceph, storage, rbd, ec-pool, osd]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-09-26"
|
||||
modified: "2026-11-15"
|
||||
---
|
||||
|
||||
# Ceph Cluster
|
||||
|
||||
## Overview
|
||||
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
|
||||
- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed)
|
||||
- **Version**: 20.2.4 (tentacle) — all 17 OSDs
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1)
|
||||
- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
|
||||
- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
|
||||
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in
|
||||
- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail
|
||||
- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
|
||||
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
|
||||
|
||||
## OSD Layout
|
||||
@@ -23,39 +23,43 @@ modified: "2026-09-26"
|
||||
|-----|-------|------|------|----------|-------|
|
||||
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
|
||||
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
|
||||
| 3 | ssd | 233 GB | proxmox4 | 0.05 | 2026-09-30: reweighted 0.05 nach Full-Drama (war 1.0) — Plate 238G, sonst backfillfull |
|
||||
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
|
||||
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
|
||||
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
|
||||
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
|
||||
| 7 | hdd | 931 GB | proxmox7 | 0.95 | |
|
||||
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
|
||||
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
|
||||
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 10 | hdd | 931 GB | proxmox6 | 0.95 | |
|
||||
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
|
||||
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
|
||||
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
|
||||
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
|
||||
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
|
||||
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
|
||||
|
||||
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
|
||||
> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded).
|
||||
> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
|
||||
|
||||
## Pools
|
||||
|
||||
| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes |
|
||||
|------|------|------|------|-----|------------|-----|-------|
|
||||
| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off |
|
||||
| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off |
|
||||
| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on |
|
||||
| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | |
|
||||
| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on |
|
||||
| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true |
|
||||
| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB |
|
||||
| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites |
|
||||
| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | |
|
||||
| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | |
|
||||
| Pool | Name | PGs | Stored | %USED | Notes |
|
||||
|------|------|-----|--------|-------|-------|
|
||||
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
|
||||
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
|
||||
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
|
||||
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
|
||||
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
|
||||
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
|
||||
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
|
||||
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
|
||||
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
|
||||
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
|
||||
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
|
||||
|
||||
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
|
||||
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
|
||||
|
||||
## CRUSH Rules
|
||||
- **Rule 0** (replicated_rule): default root, host-level placement
|
||||
@@ -65,6 +69,15 @@ modified: "2026-09-26"
|
||||
|
||||
## Known Issues
|
||||
|
||||
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
|
||||
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
|
||||
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
|
||||
|
||||
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
|
||||
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
|
||||
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
|
||||
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
|
||||
|
||||
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
|
||||
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
|
||||
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
|
||||
@@ -77,9 +90,14 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al
|
||||
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
|
||||
Consider removing from CRUSH or replacing with larger drives.
|
||||
|
||||
### full_ratio TEMPORÄR 0.94 (Stand Anfang Okt)
|
||||
Nach Cold-Power-Desaster auf 10.0.20.100 wurde `mon_osd_full_ratio` temporär auf 0.94 angehoben.
|
||||
**OFFENER TASK: nach abgeschlossenem Drain/Backfill auf 0.90 zurücksetzen** (sonst greifen Full-Schutzmechanismen zu spät).
|
||||
### Full-Ratios angehoben (Stand 2026-11-15)
|
||||
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
|
||||
|
||||
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
|
||||
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
|
||||
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
|
||||
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
|
||||
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill `ceph-cluster-administration` → planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
|
||||
|
||||
### NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
|
||||
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out.
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
---
|
||||
title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik"
|
||||
category: reference
|
||||
tags: [earnie, hems, emhass, milp, vergleich, homeassistant]
|
||||
created: "2026-11-12"
|
||||
modified: "2026-11-12"
|
||||
---
|
||||
|
||||
# Earnie HEMS vs. eigene EMHASS-Kaskade
|
||||
|
||||
Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source:
|
||||
privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an
|
||||
den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests.
|
||||
|
||||
## Architektur-Vergleich
|
||||
|
||||
| | Earnie | Unsere Kaskade |
|
||||
|---|---|---|
|
||||
| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) |
|
||||
| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h |
|
||||
| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` |
|
||||
| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) |
|
||||
| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) |
|
||||
| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild |
|
||||
| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC |
|
||||
| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual |
|
||||
| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) |
|
||||
|
||||
## Wo Earnie voraus ist
|
||||
Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität
|
||||
(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein
|
||||
**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit
|
||||
Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall.
|
||||
|
||||
## Wo unsere Lösung vorn bleibt
|
||||
~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im
|
||||
Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode)
|
||||
existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität,
|
||||
Gate) ist methodisch sauber.
|
||||
|
||||
## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts
|
||||
|
||||
```
|
||||
MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW
|
||||
MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s
|
||||
```
|
||||
- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf):
|
||||
`/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und**
|
||||
`.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json`
|
||||
(`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`,
|
||||
ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE,
|
||||
49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct,
|
||||
Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs).
|
||||
- **Bindings müssen kanonisch sein**: `ess.<id>.sens_ess_soc`, `inv.<id>.sens_inv_power_pv`;
|
||||
nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler.
|
||||
- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*).
|
||||
`scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach.
|
||||
- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart),
|
||||
sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host
|
||||
(systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus
|
||||
`sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung
|
||||
signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`.
|
||||
- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade
|
||||
bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427,
|
||||
Marstek force_mode) **und** EMHASS-Kaskade abschalten.
|
||||
- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`.
|
||||
|
||||
## Stand des Parallelbetriebs (B)
|
||||
- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert
|
||||
(`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped`
|
||||
→ schreibt nichts.
|
||||
- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie,
|
||||
sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 /
|
||||
pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2`
|
||||
kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft
|
||||
mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM.
|
||||
**Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben
|
||||
die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen).
|
||||
Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min.
|
||||
Danach: Earnie `state: started`, Container `healthy`, 0 Restarts.
|
||||
- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`.
|
||||
Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt
|
||||
`options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401.
|
||||
→ einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine
|
||||
Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings).
|
||||
- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an
|
||||
Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1,
|
||||
Marstek = ESS 2, EVCC = Wallbox.
|
||||
|
||||
## Vergleichs-Ergebnis (12.11.)
|
||||
Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster,
|
||||
Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU.
|
||||
@@ -3,7 +3,7 @@ title: MariaDB Galera + MaxScale
|
||||
category: systems
|
||||
tags: [mariadb, galera, maxscale, database, ha]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-11-01"
|
||||
modified: "2026-11-19"
|
||||
---
|
||||
|
||||
# MariaDB Galera + MaxScale
|
||||
@@ -47,6 +47,11 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **2026-11-19 (6. Tag — 06:00-Fenster wieder da, Retry-Schema hält):** Recipe-Scraper-Crash in `db_count()` (06:00:28, pymysql 2013, read_timeout 60 s) — 2. Rezidiv nach der 4-Tage-Lücke (11-14 bis 11-17). Retry 06:02:07 instant (<1 s): Fenster wieder kurz wie 11-18 (nicht wie 11-13 mit >122 s bis ~06:05). TCP .70:3306 offen; Schwere variabel, Grundmuster stabil — Root-Cause (DB-Infra-Job ~05:45–06:05 UTC) weiter offen. Fix weiter offen (Owner-GO): Scraper `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. SolDoc-Nachtrag 11-19 im 11-13-Doc.
|
||||
- **2026-11-13 (3. Tag — 06:00-Fenster externally verursacht, Morgen-Briefing entlastet):** Recipe-Scraper-Crash in `db_count()` zum 3. Tag in Folge (06:00:28, pymysql 2013). Neu heute: COUNT hing **>122 s** im Fenster 06:01–06:04 (PROCESSLIST "Sending data"), ab 06:05 **4× 0,0 s** instant — die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Galera selbst gesund (3/3 Synced, wsrep_ready=ON, Flow Control aus, Uptime 4,5 d). **Morgen-Briefing (parallel 06:00) als Verursacher widerlegt** — dessen Scripts greifen nicht auf recipes-DB zu; am 10.11. lief COUNT während des Briefings durch. Ursache des Fensters offen: Backup-Jobs/Cron auf DB-VMs prüfen (neben Ceph osd slow-ops seit 08.11.). SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` + Nachtrag im 11-12-Doc.
|
||||
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
|
||||
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
@@ -61,3 +66,11 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
## Related
|
||||
- [[systems/proxmox-cluster]]
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Totalausfall-Recovery (08.11.2026) — MERKEN
|
||||
**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: <uuid>:<seqno>`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available").
|
||||
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
|
||||
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
|
||||
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
|
||||
**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
|
||||
@@ -0,0 +1,79 @@
|
||||
# Heizung — Viessmann CU401B S + free@home-Zonen
|
||||
|
||||
Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus).
|
||||
|
||||
## Anlage
|
||||
|
||||
| Komponente | Detail |
|
||||
|---|---|
|
||||
| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) |
|
||||
| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt |
|
||||
| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) |
|
||||
| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) |
|
||||
| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` |
|
||||
| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) |
|
||||
| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h |
|
||||
| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C |
|
||||
|
||||
## Messwerte (7 Tage, 08.–15.11.2026)
|
||||
|
||||
- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH)
|
||||
- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW)
|
||||
- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC
|
||||
- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL
|
||||
|
||||
## Raum-Sollwerte (seit 15.11.2026)
|
||||
|
||||
Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 ·
|
||||
Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5
|
||||
|
||||
Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken,
|
||||
Windfang hingen dadurch dauerhaft auf 100 % Ventilhub.
|
||||
|
||||
## Automationen
|
||||
|
||||
| Entity | Status | Funktion |
|
||||
|---|---|---|
|
||||
| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % |
|
||||
| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW |
|
||||
| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` |
|
||||
| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) |
|
||||
| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert |
|
||||
| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft |
|
||||
| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 |
|
||||
| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 |
|
||||
| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 |
|
||||
| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) |
|
||||
|
||||
**Wichtig:** HA kann Automations per `POST /api/config/automation/config/{id}` anlegen und
|
||||
per `DELETE` löschen (verifiziert 15.11.2026, HA 2026.10.4) — die verbreitete Annahme
|
||||
„geht nur per YAML" stimmt nicht.
|
||||
|
||||
## Preisbild / Lastverschiebung
|
||||
|
||||
EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots):
|
||||
09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %).
|
||||
Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins
|
||||
billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start).
|
||||
|
||||
## Morgen-Profil (Owner-Wunsch 15.11.)
|
||||
|
||||
Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %,
|
||||
Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve.
|
||||
Bad überschoss danach auf **24,3 °C (07–09 Uhr)**.
|
||||
|
||||
Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00):
|
||||
Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis.
|
||||
**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %.
|
||||
Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin;
|
||||
28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche
|
||||
dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises
|
||||
oder Zusatzheizung (Handtuchheizkörper/IR).
|
||||
|
||||
## Offene Punkte
|
||||
|
||||
- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme.
|
||||
- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt.
|
||||
- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden.
|
||||
- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C).
|
||||
- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s).
|
||||
+140
-8
@@ -11,10 +11,17 @@ modified: "2026-11-01"
|
||||
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
|
||||
|
||||
## Infrastruktur
|
||||
- **Host:** `10.0.30.10` (HAOS VM)
|
||||
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes")
|
||||
- **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf)
|
||||
- **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup
|
||||
`/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der
|
||||
Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26,
|
||||
manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können
|
||||
das, `host` wäre nicht migrationssicher.
|
||||
- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root`
|
||||
- **URL:** `https://homeassistant.familie-schoen.com`
|
||||
- **Container:** `homeassistant` (Docker)
|
||||
- **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet
|
||||
(`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon,
|
||||
EMHASS, evcc und Earnie wieder laufen.
|
||||
|
||||
## MQTT
|
||||
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
|
||||
@@ -34,6 +41,40 @@ modified: "2026-11-01"
|
||||
- **Push:** GENAU EIN kombinierter (Titel+Verdict+Objekte+Bild) nur bei KRITISCH ∨ KI-Fail ∨ Person (24/7, v3.1)
|
||||
- Siehe [[systems/frigate]] + Solution Doc `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`
|
||||
|
||||
### Büro EG: Licht nach Präsenz (ID `buero_eg_licht_praesenz_nachlauf`, seit 02.11.2026, Stand 14.11.)
|
||||
- **Trigger:** `binary_sensor.esp32_c3_buero_eg_presence` → `on` schaltet `switch.licht_buro` an — **nur wenn dunkel**; `off` für **2 min** schaltet aus (Nachlauf; Nutzer-Historie: 15 → 5 → 2 min am 14.11.)
|
||||
- **Helligkeits-Gate:** `sensor.wetterstation_illuminance` (Wetterstation Beleuchtungsstärke, outdoor) **< 7000 lx** = Licht erlaubt. Schwellen-Historie (jeweils Nutzer-Vorgabe „ab der aktuellen Helligkeit"): 500 → 1.500 lx (14.11., 1.300 lx) → **7.000 lx (16.11., 6.400 lx)**. Outdoor-Lux ist nur ein **Proxy** für die Büro-Helligkeit (Nordseite/trüb ≠ Outdoor-Wert). Sensor `unavailable`/`unknown` → Licht wird eingeschaltet (Fail-safe Richtung Licht). Zusätzlicher Trigger `numeric_state below 7000 for 3 min` → bei Dämmerung einschalten, wenn Präsenz schon an ist (sonst käme nie eine neue Präsenzflanke)
|
||||
- **Bewusst KEIN Ausschalten bei Helligkeit** (Heuristik-Veto: würde manuelles Einschalten überfahren); „Sonne raus → Licht aus" wäre ein separater Trigger mit Bestätigungszeit
|
||||
- **Sweep:** `time_pattern /2` (Nutzer-Wert) — nur Restart-Recovery: Licht an + Präsenz ≥2 min aus → aus. Kein Re-Assert auf `on` — manuelles Ausschalten bei Anwesenheit bleibt respektiert
|
||||
- **Sensor-Verhalten:** ESP32-C3 (10.0.50.147, Büro EG) meldet Präsenz in 20–60-s-Bursts mit Lücken von 15 s bis 6 min (Log 16.11. 08:00–09:00) → mit 2-min-Nachlauf fällt das Licht in längeren Lücken aus. Lux-Tagesgang 16.11.: 06:00 35 lx → 07:15 ~6.400 → 08:15–08:45 13.000–20.000 → 09:15 ~5.900 lx. **Offene Verbesserungen:** (a) Indoor-Lux (BH1750 am Büro-ESP32) statt Outdoor-Proxy, (b) LD2410-Hold/Absence-Timeout im ESPHome prüfen, (c) Nachlauf ggf. zurück auf 5 min
|
||||
- **E2E verifiziert 14.11. (nach Umbau):** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Präsenzflanke → Licht an; echter 5-min-Nachlauf (Presence off 09:01:26 → Licht aus 09:06:28, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. **Schwellen-A/B (14.11., gleiche Helligkeit ~1.280–1.300 lx):** Flanke 15:23:13 mit 500 lx → bleibt aus (`choose/3/conditions/0`), Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`). **16.11. gleiches Muster bei ~6.000 lx:** Flanke 09:11:26 mit 1500 lx → bleibt aus, Flanke 09:15:49 mit 7000 lx → Licht an 09:15:50 (`choose/0/sequence/0`). **2-min-Nachlauf (nach Umstellung):** Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10, Trace `choose/2`
|
||||
- **Pitfall:** Nutzer hatte die Automation zwischenzeitlich selbst editiert (5 min, Sweep /2) — blindes `POST` überschreibt das. Alte Config war aus dem Automation-Trace (`ws trace/get`) rekonstruierbar; seither gilt: vor Overwrite `GET` + Diff
|
||||
- Entity-ID nach Anlegen via WS-Entity-Registry umbenannt (Alias-Slugify verschluckt Umlaute: „Büro"→`buro`, „Präsenz"→`prasenz`)
|
||||
|
||||
## Beschattungsautomatik Wohnzimmer (15.11.2026)
|
||||
|
||||
**Fassaden (Owner-Angabe):** Wohnzimmertüre (`ABB240561F51/ch0000`) + Wohnzimmerfenster 1 (`ch0001`) = **143° Südost**; Wohnzimmerfenster 2 (`ch0002`) = **233° Südwest** (90° versetzt). Alle drei sind free@home-Jalousien (Pos + Lamellen, Features 143).
|
||||
|
||||
**Entscheidung (Fassung 16.11.2026, Owner: „kein temperaturbasiertes Beschatten, kurze Helligkeits-Peaks ignorieren"):**
|
||||
- **Helligkeit geglättet:** `sensor.helligkeit_geglaettet` (trigger-basiertes Template, **Median der letzten 7 Messwerte** — ein einzelner Peak kann den Wert nicht bewegen; ~3,5 min bei 30-s-Report). Roh bleibt `sensor.wetterstation_illuminance`.
|
||||
- **Beschattet, wenn** `elev >= beschattung_sonnenhoehe_min (5°)` **und** `Einfallswinkel <= beschattung_einfall_max (25°)` **und** `Median-Lux >= beschattung_lux_min (8.000)`. Kein Temperatur-Gate, kein kt-Gate mehr (kt nur noch Diagnose-Attribut).
|
||||
- **Ausfahren:** Sensor `off` **10 min**, nur bei Sonnenhöhe > 0 (der Sensor ist das einzige Abbild der Wahrheit — keine separaten Ausfahr-Schwellen).
|
||||
- Attribute: `einfallswinkel`, `helligkeit_gefiltert`/`helligkeit_roh`, `klarheit_kt`, `sonnenhoehe`.
|
||||
- Fassaden: Suedost 143° (Tür + Fenster 1) / Suedwest 233° (Fenster 2).
|
||||
|
||||
**Aktorik (automations.yaml, 4 Stück):** `beschattung_wz_so_sonne_einfahren` / `_sonne_raus`, `beschattung_wz_sw_sonne_einfahren` / `_sonne_raus`
|
||||
- Einfahren: Sensor `on` **4 min** (`for`) → `cover.set_cover_position` (Öffnungsgrad, Default **20** — Owner-Korrektur 15.11.: „ein bisschen weiter runter") → warten bis Position ±6 → `cover.set_cover_tilt_position` (Lamellen, Default 25) → 20 s später Verifikation, bei Abweichung >8 % `persistent_notification`
|
||||
- Ausfahren (Stand 15.11. 12:00 UTC): **eigener Template-Trigger 5 min** — `elev > 0` und (`elev < 8` **oder** `inc > 88°` **oder** `kt < input_number.beschattung_klarbeit_aus` 0.45) → 100/100, **nur wenn die Rollläden noch auf der Beschattungsposition stehen** (Manuell-Schutz, kein Überschreiben von Handeingriffen). Kein Re-Assert während aktiver Beschattung. Die Ausfahr-Schwelle liegt **0,07 kt unter** der Einfahr-Schwelle (Hysterese-Band) — nicht gleich setzen, sonst flattert es bei jeder Wolke. Nachts (`elev <= 0`) kein Öffnen (Privatsphäre) — das macht die Abend-Szene.
|
||||
- Kein Zeit-Gate: nur Sonnenstand + Helligkeit.
|
||||
|
||||
**Tuning:** Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer" (1 `input_boolean` + 10 `input_number` + Raumtemperatur).
|
||||
|
||||
**Pitfalls (live erlebt):**
|
||||
- `homeassistant.reload_core_config` legt **neue** YAML-Helper NICHT an — dafür `input_number.reload` / `input_boolean.reload` (danach sind sie sofort da).
|
||||
- HA-Templates: **kein** `radians()`/`degrees()`; `sin/cos/acos` rechnen im Bogenmaß, `pi`/`e` sind vorhanden → `R = pi/180` selbst multiplizieren. `sin(30,'deg')` ignoriert die Einheit (Ergebnis = sin(30 rad)).
|
||||
- free@home-Cover invertieren intern (`100 - position` / `100 - tilt`): HA-Position 0 = zu, 100 = offen; HA-Tilt 100 = Lamellen offen.
|
||||
- Entity-IDs aus Namen mit Umlauten/Klammern werden unbrauchbar → Sensornamen bewusst „Suedost"/„Suedwest".
|
||||
|
||||
## Notify Services
|
||||
| Service | Status |
|
||||
|---------|--------|
|
||||
@@ -66,6 +107,45 @@ modified: "2026-11-01"
|
||||
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
|
||||
- Various sensors (Xiaomi BLE, etc.)
|
||||
|
||||
## Zigbee / Zigbee2MQTT (Stand 10.11.2026)
|
||||
- **Stack:** Z2M Add-on `45df7312_zigbee2mqtt` **2.14.3-1**, zigbee-herdsman 11.2.0, **ZHC 26.125.0**; Addon-Zugriff nur über HA-Ingress-WS (Details: Skill-Ref `smart-home-automation/references/zigbee2mqtt-remote-diagnosis.md`)
|
||||
- **Coordinator:** SONOFF Dongle-M, EmberZNet 7.4.5 [GA], EZSP 13, **TCP** `tcp://10.0.50.145:6638`
|
||||
- **Netz:** Kanal **25**, PAN 33072; 8 Geräte (5× Schlafzimmer-Lampen, Esszimmertür, Garagentor-Neigungssensor, Wetterstation)
|
||||
- **permit_join:** nur via `switch.zigbee2mqtt_bridge_permit_join` (254-s-Fenster, Refresher-Loop beim echten Pairing); `mqtt.publish` auf `zigbee2mqtt/bridge/request/permit_join` wird von der Broker-ACL **still verworfen**
|
||||
- HA-MQTT-Entry-Titel `192.168.100.27` ist kosmetisch/veraltet — Discovery läuft normal
|
||||
|
||||
### Shelly/Ecowitt WS90 (gekoppelt 10.11.2026, Zigbee-Variante)
|
||||
- **IEEE `0xc02cedfffe774579`**, `EndDevice`, interview complete, FW `251015/v1.1.6@62`, Manufacturer Shelly, Model-ID `WS90`
|
||||
- **22 Entities** `sensor.wetterstation_*` / `binary_sensor.wetterstation_rain_status` / `button.wetterstation_identify` (Auto-Discovery, keine Handarbeit)
|
||||
- Alle 12 Reportings + 7 Bindings von ZHC selbst provisioniert (inkl. `precipitation`); **keine** manuellen Reporting-Fixes nötig
|
||||
- **Einheiten real:** pressure **hPa** (nicht kPa wie Z2M-Doku), Wind **km/h** (nicht m/s), precipitation mm `total_increasing`
|
||||
- Live-Nachweis: humidity 51→42 % / Wind + Richtung / Gust innerhalb 95 s
|
||||
- Battery **73 %** (0 %-Anfangsproblem nach Sonnenlicht aufgelöst); `capacitor_voltage` lädt mit Sonne; `voltage` unknown
|
||||
- **Kein** `weather.`-Entity von Z2M — Wetterzustand nur als `sensor.wetterstation_weather_condition` (z. B. „cloudy")
|
||||
|
||||
### DWD-Integration hg1337/homeassistant-dwd (installiert 15.11.2026)
|
||||
- **HACS** (`hg1337/homeassistant-dwd` v2026.10.0, Category `integration`), Core-Restart nötig zum Laden; Setup via Config-Flow: Station **P339 „Freystadt-Oberndorf"** (14 km, Messdaten+Forecast), `current_weather: hybrid`, `forecast: true` → `weather.freystadt_oberndorf`
|
||||
- **`weather.get_forecasts` hourly: 244 Einträge MIT `precipitation_probability`** (met.no kann das nicht!) + precipitation, cloud_coverage, dew_point, pressure, wind_gust_speed
|
||||
- DWD-Config-Flow-Falle: **max. EIN aktiver Flow pro Integration** — halbfertige Flows blockieren mit Abort `already_in_progress`; erst den hängenden Flow zu Ende führen (flow_id behalten!), nicht neue starten
|
||||
- `sensor.regenwahrscheinlichkeit_6h_dwd` (trigger-basiertes Template, /30 min, DWD hourly, **max** `precipitation_probability` der nächsten 6 h) — 2. Block-Item in configuration.yaml `template:`-Liste
|
||||
|
||||
## Wetter-Dashboard (gebaut 15.11.2026)
|
||||
- **View „Wetter"** im Default-Dashboard (Tabs: Home/Jalousien/Licht/**Wetter**) — via `lovelace/config/save` gebaut, View-Path `wetter`
|
||||
- **HACS-Karten (installiert 15.11.):** `clock-weather-card` (pkissling), `lovelace-hourly-weather` (decompil3d), `weather-radar-card` (jpettitt, DWD-Quelle), `lovelace-windrose-card` (aukedejong), `MeteoalarmCard` (MrBartusek) — alle via HACS-WS (`hacs/repositories/add` + `hacs/repository/download`, Category `plugin`), Ressourcen verifiziert (HTTP 200)
|
||||
- **Aufbau:** Meteoalarm-Card (DWD-Warnstufe) → Grid 2-spaltig: Clock-Weather (Forecast met.no + Ist-Temperatur vom WS90 via `additional_sensors`), Hourly-Weather (12 h), DWD-Regenradar (2 h), Windrose (WS90 Wind), ApexCharts Luftdruck (absolut, 48 h) + ApexCharts Regen 7 Tage (`precipitation` mit `group_by: delta/1h`) → Entitäten-Liste „Regen & Bewässerungs-Gates" (Warnstufen, regen_heute/monat/7_tage/regenprognose_6h, beide Gates)
|
||||
- **Konventionen:** Mushroom/native Cards erlaubt, Bubble Card verboten (Skill `home-assistant-dashboard-conventions`); die 5 Custom-Cards sind Wetter-spezifische Ausnahmen nach Nutzer-Freigabe
|
||||
- **Offen:** „go DWD" — hg1337/homeassistant-dwd via HACS installieren, `regenwahrscheinlichkeit_6h` (DWD `precipitation_probability` hourly) als zweites Gate-Kriterium; DWD-Vorhersage könnte auch `clock-weather-card`/`hourly-weather` füttern
|
||||
|
||||
## WS90-Regen-Automationen (gebaut 15.11.2026)
|
||||
- **A — Regen-Sperre:** `binary_sensor.bewaesserung_regen_sperre` (Template-Config-Flow) = `rain_status` on ∨ `sensor.regen_heute` ≥ 3 mm ∨ `sensor.regenprognose_6h` ≥ 0,5 mm (met.no-Mengensumme) ∨ `sensor.regenwahrscheinlichkeit_6h_dwd` ≥ 60 % (DWD-Wahrscheinlichkeit). Fail-open (unbekannte Werte = 0 = nicht sperren). **Zwei unabhängige Vorhersage-Quellen** — das Gate sperrt, wenn eine von beiden Regen meldet.
|
||||
- **B — Statistik:** `sensor.regen_heute`/`sensor.regen_monat` (utility_meter daily/monthly auf `sensor.wetterstation_precipitation`), `sensor.regen_7_tage` (statistics `change`, 168 h), `sensor.regenprognose_6h` (trigger-basiertes Template in configuration.yaml, /30 min + Start, `weather.get_forecasts` hourly, **Summe** `precipitation` der nächsten 6 h — met.no hourly hat **keine** `precipitation_probability`, Wahrscheinlichkeits-Gate daher unmöglich).
|
||||
- **C — Frost/Sturm:** `binary_sensor.bewaesserung_frost_sturm_sperre` = Temp < 3 °C ∨ Böen > 40 km/h ∨ Sensoren unavailable (**fail-closed, bewusst: tote Station = keine Bewässerung**).
|
||||
- **D — DWD-Push:** `automation.dwd_warnung_freystadt_push_ab_stufe_3` (automations.yaml, id `dwd_warnung_freystadt_push_20261115`): `numeric_state` above 2 auf `sensor.stadt_freystadt_aktuelle_warnstufe` → Push `notify.mobile_app_iphone_dominik` mit `warning_1_headline`/`warning_1_description` (+ Hinweis bei warning_count > 1).
|
||||
- **E2E:** Gates mit echtem Wetter (−1,3 °C, rain_status on → beide `on`); DWD-Push via State-Override 1→3 mit TEST-Attributen (`last_triggered` 06:56:48Z), danach State+Attribute restoriert; `check_config` grün (nur bekannter Dimmer-Schlafzimmerlicht-Fehler).
|
||||
- **Files:** configuration.yaml (Template-Block als Item in bestehendem `template:`-Block eingefügt), automations.yaml (Append); Backups `*.hermesbak-20261115` im selben Ordner. Rollback: Backup zurückkopieren + `template.reload` + `automation/reload`.
|
||||
- **Verwaltung:** Gates/Statistik-Entities via Config-Flow-Options (GUI) änderbar; `regenprognose_6h` via configuration.yaml; verwaiste Entität `sensor.regenwahrscheinlichkeit_6h` (erste Version, Wahrscheinlichkeits-Ansatz) ist per Registry `disabled_by: user` versteckt — endgültiges Löschen nur via UI (WS-Delete-Command fehlt in 2026.10).
|
||||
- **Pumpe noch offen:** `switch.bewaesserungspumpe` trägt die Gates noch nicht als Bedingung — Klärung „wie wird die Pumpe heute geschaltet?" steht aus. Gate-Bedingungs-Snippet: Skill `irrigation-rain-gates`.
|
||||
|
||||
## Xenia Kaffeemaschine (Stand 11.10.2026)
|
||||
- ESP32 FW 3.9, IP 10.0.50.128 (VLAN 50, SSID IoT), REST `/api/v2/overview` (enthält MA_CUR_PWR in A!), `/api/v2/machine/data|status|control`
|
||||
- **WARNUNG: MA_CUR_PWR ist AMPERE** — Power (W) = MA_CUR_PWR × Spannung L1 (`sensor.sn_3007105790_metering_voltage_l1` ≈ 234 V)
|
||||
@@ -76,17 +156,25 @@ modified: "2026-11-01"
|
||||
|
||||
## EMHASS Batteriesteuerung
|
||||
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle 16 kWh Batterie (BYD 11k + Marstek 5k).
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle Batterie **12,32 kWh** (SMA SBS 7,2 kWh nutzbar + Marstek 5,12 kWh). Bis 03.11.2026 stand hier fälschlich 16 kWh (11k + 5k) — gemessen aus 10 Tagen Lade-/Entladehistorie, siehe unten.
|
||||
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
|
||||
- **Akuelle Config (2026-10-02):**
|
||||
- Capacity 16000Wh, Charge/Discharge 6700W, Efficiency 0.9
|
||||
- **Aktuelle Config (2026-11-03):**
|
||||
- Capacity **12320 Wh**, Charge/Discharge 6700 W, Efficiency 0.9 (Backup: `/config/config.json.bak-20261103` im Add-on-Container)
|
||||
- ⚠️ `config.json` liegt im Add-on unter `/config/config.json`, NICHT über die Add-on-Options (dort nur Solcast-Keys). Änderung = Datei editieren + `docker restart app_5b918bf2_emhass`.
|
||||
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
|
||||
- `set_battery_dynamic: True`, `set_use_battery: True`
|
||||
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
||||
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
||||
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
||||
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
|
||||
- **Cutover 2 (2026-11-02 16:19): Produzent lebt jetzt IN Home Assistant.** AppDaemon-Add-on `a0d7b954_appdaemon` (v0.19.3, `boot: auto`), App `emhass_optimizer` unter `/mnt/data/supervisor/app_configs/a0d7b954_appdaemon/apps/` (Quelle: `~/scripts/emhass_app/`: `emhass_core.py` = per AST verbatim aus v2 extrahierte Mathematik, `emhass_cycle.py` = Input-Phase, `emhass_app.py` = Trigger/POST/Verify/Ledger). Trigger `:04/:19/:34/:49`, Ledger `/share/emhass/ledger.jsonl`, Fehler → `persistent_notification`. **Kein Long-Lived-Token mehr im Produktionspfad** (AppDaemon bekommt HA-URL+Token automatisch vom Supervisor); EMHASS-Add-on bleibt unangetastet (nur `/action/dayahead-optim` + `/action/publish-data`). Hermes-Cron `a32005d62226` **pausiert = Rollback** (`cronjob_manage resume`, Token-Symlink existiert weiter). Parity-Nachweis: 19/19 Unit-Tests Kern↔v2 + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs. Shadow, 48 Slots, 0 Warnungen). E2E 16:04 (Cutover) und 16:19 (erster Einzelproduzent, CSV synchron 16:19:00). SolDoc `architecture/2026-11-02-emhass-producer-appdaemon-cutover.md`
|
||||
- **Publish-Pfadbruch 11.10. (GEFIXT ~20:30 UTC):** Nach HA-Core-Restart (Recorder-Incident) DEADLOCK: `p_batt_forecast`/`soc_batt_forecast`/`plan_*` sind set_state-Entities (überleben Restart NICHT), v2 liest sie hart → jeder Tick FATAL → nichts publizierte je wieder. Zweiter RC: `rest_command`-URLs `localhost:5000` — HA läuft im HOST-Netz, Addon in HassIO-Bridge; nach Restart connection-reset (10.0.30.10:5000 ging stets). Fix: beide URLs → `http://10.0.30.10:5000` (Backup `configuration.yaml.bak-20261011-restcmd`) + `rest_command/reload`. Heal-Pattern: `POST :5000/action/publish-data` direkt ans Addon. Verifikation: v2-Tick 20:32 komplett, plan_* 48 Slots, Kaskade folgt. ⚠️ Legacy-Automation „Trigger EMHASS" (*\/15): dayahead-call 400 (Payload ohne pv/load-Arrays) — funktional durch v2-Cron abgedeckt, disable/fix offen. Solution Doc `integrations/2026-10-11-emhass-publish-path-break-after-restart.md`
|
||||
- **Token-Pfad (seit 02.11.2026):** HA-Token kanonisch `~/.hermes/secrets/ha_token.txt` (0600, aus 1P `op://Hermes/ewviwqhnpcpd2tg2gh5jbv76xm/password`), `/tmp/ha_token.txt` nur Symlink; `~/.hermes/scripts/ha-token-ensure.sh` heilt fehlenden Symlink/Token bei jedem v2-Lauf. Grund: /tmp wurde beim Boot 30.10. geleert → v2-Cron starb 3 Tage still (`FATAL: token file missing`), während `automation.trigger_emhass` per `/action/publish-data` weiter die **letzte Zeile** des alten Plans postete (frische Zeitstempel, eingefrorene Werte).
|
||||
- **Cron-Schedule (seit 02.11.2026):** `a32005d62226` nicht mehr `every 15m` (Anker driftet in den Race-Guard → dauerhaft `REFUSED rc=2`), sondern `4,19,34,49 * * * *` Europe/Berlin.
|
||||
- **Watchdog:** `3a99e3837250` `check_emhass_plan_freshness.sh`, stündlich :12, silent-on-healthy, Alarm wenn die **Result-CSV-Mtime** >40 min alt ist oder der Plan-Horizont <10 h (Telegram). ⚠️ **Keine Sensor-Zeitstempel als Liveness nutzen:** `automation.trigger_emhass` ruft alle 15 min `rest_command.emhass_publish_data` und frischt `p_batt_forecast`/`soc_batt_forecast` bei eingefrorenem Plan auf (dieselbe Maske wie beim 3-Tage-Ausfall); der Display-Publisher tut dasselbe für `plan_*`. Nur `opt_res_latest.csv` schreibt ein echter `dayahead-optim`. Test-Overrides `EMHASS_MAX_AGE_MIN` / `EMHASS_CSV_PATH`. Der alte Kaskaden-Watchdog `a2a1b429bc2e` ist seit 25.09.2026 pausiert (und enthält ein SSH-Klartextpasswort in `cron/jobs.json`).
|
||||
- **`automation.trigger_emhass` (1774260225020) ist seit 03.11.2026 06:40 OFF** (`initial_state: false`, Backup `automations.yaml.bak-20261103-0620`). Sie rief nur alle 15 min `rest_command.emhass_publish_data` und hat damit einen eingefrorenen Plan mit frischen Zeitstempeln übermalt — die zentrale Maske beider EMHASS-Ausfälle. Der Produzent publiziert selbst; die Automation ist nicht mehr nötig.
|
||||
- **Incident 03.11. 01:04–05:49 (5 h still):** Idempotenz-Bug in der App — `_slot_key` war `%Y%m%d_{minute//15}` → nur 4 Marker/Tag, danach `already ran … skip` für jeden weiteren Tick (Optimierung lief nur 4×/Tag um 00:xx). Fix: Key `%Y%m%d_%H%M`; App-Arg `run_on_start` als Ops-Hebel für Sofort-Zyklus nach Deploy. Warum unbemerkt: Watchdog maß `p_batt_forecast`, das die Publish-Automation alle 15 min auffrischte → jetzt CSV-Mtime. Verifiziert: Zwangszyklus 05:49:45 + planmäßiger Tick 06:04 nach dem Fix.
|
||||
- **Display-Publisher (seit 02.11.):** Cron `4bc13a052329` (`:05/:20/:35/:50`, `no_agent`) → `emhass-extra-publisher-runner.sh` → `emhass_extra_publisher.py`. Spiegelt die EMHASS-CSV (per SSH, read-only) in `sensor.plan_pv_forecast` / `plan_netz_forecast` / `plan_last_forecast` fürs Akku-Dashboard. Optimiert **nie**; braucht den HA-Token nur zum Schreiben dieser drei Anzeige-Sensoren.
|
||||
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
|
||||
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
||||
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
||||
@@ -125,7 +213,7 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
## Garagentor (free@home ch0003) — Flanken-Toggle-Semantik
|
||||
- **Kanal:** `switch.garagentor` = free@home Schaltaktor `ABB20C351F51/ch0003`, treppenlicht-parametriert (Kanal nach Aktivierung AN bis Timer-Ablauf). `cover.garagentor` = Template-Cover darüber (open/close = je EINE Kanalaktivierung).
|
||||
- **Motor toggelt auf JEDE Kanalflanke.** Einzelimpuls = sauber Umschalten (belegt: 17:51 Puls → schloss in ~90s). **Zwei schnelle Flanken = Start-Stopp** (belegt: 17:07 mein OFF→ON-Doppelpuls, 17:48 Nutzer-Doppelklick — jeweils blieb das Tor offen!). Doppelklick-Gewohnheit wirkt der Schließfahrt aktiv entgegen.
|
||||
- **BUG (seit 05.10.):** `switch.garagentor` = `unknown`, 0 Logbook-Events — Statusrückmeldung SysAP→HA für ch0003 tot. SysAP-REST braucht Credentials (401 anon + admin/admin), SSH-Addon gestoppt → Diagnose dort blockiert.
|
||||
- **BUG (seit 05.10.):** `switch.garagentor` = `unknown`, 0 Logbook-Events — Statusrückmeldung SysAP→HA für ch0003 tot. SysAP-REST-Zugang ist bekannt (Local-API-User `Installer`, s. Abschnitt „free@home Local-API" unten), SSH-Addon gestoppt.
|
||||
- **Automations (2026-10-10, REST-config):** `warn_offen_beim_verlassen` (Person weg >2min + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button) + `garagentor_push_close` **v8 Single-Edge** (Guards: offen+90s stabil+45s Anti-Doppeltipp; EIN switch.turn_on, KEIN turn_off-Präludium; 45s-Verifikation per Neigungssensor; Retry erst nach 480s; ehrliche Fehler-Push). Tag `warn_offen_beim_verlassen` aktualisiert Notifications.
|
||||
- Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`
|
||||
@@ -138,8 +226,25 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen.
|
||||
- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.**
|
||||
- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only).
|
||||
- **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
|
||||
|
||||
## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026)
|
||||
- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt).
|
||||
- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft).
|
||||
- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün.
|
||||
- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten).
|
||||
|
||||
|
||||
## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026)
|
||||
- **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.**
|
||||
- **Display:** `ABB6BC5495EA` „free@homeTouch 7\"" (deviceId 1038), Raum Essbereich (EG) — **nur ein Display im SysAP** (die drei HA-HomeKit-Einträge sind Bridge-Accessories, keine Panels).
|
||||
- **Widgets = Panel-Kanäle `ch0000`–`ch000f` + `/pairings`:** 9 belegt, 7 frei; leere Slots auto-benannt `" 1,<row>,<col>"` (4×4-Raster, Kanalindex zeilenweise). Kanäle `ch0010`–`ch001c` = Türsprech-Funktionen.
|
||||
- **Live-Status** nur über Ziel-Aktor-`odp` lesen — Panel-Kanäle sind eigene, nicht gespiegelte Datapoints.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-11-03-freeathome-panel-widgets.md` · Skill-Ref: `smart-home-automation/references/freeathome-local-api.md`
|
||||
|
||||
## BLE-Proxies / Trilateration (Stand 01.11.2026)
|
||||
|
||||
**Bermuda** (Entry `01M1CF5AT5FAKMBHTMVCX0DRBS`) = Trilateration. HA hat KEINEN lokalen BT-Adapter (VM, `manager.adapters = {}`), alles läuft über Remote-Scanner.
|
||||
@@ -152,7 +257,7 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
| 6× shellyplus1 (Beete/Hochbeete/hinten/mitte/Pumpe/Licht Terrasse Gartenhaus) | Shelly | Garten | ❌ |
|
||||
| shellyplus1-a0a3b3c396e4 ("LED Streifen Windfang") | Shelly | Windfang | ❌ |
|
||||
| shellypro4pm-841fe89726d0 | Shelly | Garten (gesetzt 01.11.) | ❌ |
|
||||
| ble-proxy (10.0.50.206) | ESPHome | Wäscheraum | ✅ |
|
||||
| ble-proxy (10.0.50.206) | ESPHome **2026.10.2** | Wäscheraum | ✅ |
|
||||
| esp32c3-supermini-buero-eg (10.0.50.147) | ESPHome | Büro EG | ✅ |
|
||||
| esp32c3-supermini (90:DA:72:88:EB:42) | ESPHome | System | OFFLINE |
|
||||
|
||||
@@ -178,8 +283,35 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
- **`$HA_TOKEN` in der Host-Env ist veraltet (401)** — funktionierender Token liegt in `/tmp/ha_token`. Skripte müssen die Datei bevorzugen, sonst 401 auf jedem API-Call.
|
||||
- Shelly-Devices haben Kind-Geräte (Pro3EM `Phase A/B/C`, Pro4PM `Output 0..3`); Area-Zuweisung nur am Eltern-Gerät reicht nicht — Kinder können vereinzelt ohne Area bleiben (Fix 01.11.: `Output 0`/„Brunnenstein" → Garten via `config/device_registry/update`).
|
||||
|
||||
## BLE-Proxy Wäscheraum: OS-Update + WLAN-Starvation-Fix (15.11.2026)
|
||||
- **Ist → Soll:** ESPHome **2026.8.2** (Build 09.09.) → **2026.10.2** per OTA (Upload 7,2 s, Commit 0,72 s). Gerät: `ble-proxy`, MAC C8:C9:A3:C8:65:2C, Board `esp32dev` (klassischer ESP32, 4 MB).
|
||||
- **Symptom:** sporadische 1–3-s-Aussetzer auf der API (36 Requests/6 min → 2× 1,0 s und 2,9 s), Ping-RTT bis 317 ms, ein TCP-RST auf 6053 bei lebendem ICMP, Handshake-Abbrüche nach mehreren Connect-Zyklen → „hängt sich auf".
|
||||
- **RCA:** `esp32_ble_tracker` lief mit **interval 1100 ms / window 1100 ms** (Vollduty). ESPHome 2026.10 warnt selbst: *„BLE scan window of 1100ms with wifi on the same radio starves wifi… keep the window at or below 600ms"*. BLE-Scan und WLAN teilen sich den Funk → WLAN wird periodisch ausgehungert.
|
||||
- **Fix:** `interval: 320ms / window: 300ms` + `debug`-Sensoren. **Beweis nach Flash:** 18/18 API-Requests in 3 min, **0 slow / 0 fail, worst 0,15 s**; Ping 10/10, max 35 ms; Heap free 114,9 KB, Fragmentation 25 %.
|
||||
- **Neue Entities** (Namen mit Area-Präfix `wascheraum_ble_proxy_*`): `uptime`, `wifi_signal` (−52 dBm), `heap_free`, `heap_max_block`, `heap_fragmentation`, `reset_reason`, `esphome_version`, `button.restart`.
|
||||
- **Warum vorher kein Update möglich war:** HA legte keine `update`-Entity an (Config ohne `project:`-Metadaten), und im ESPHome Device Builder auf HA lag **keine YAML** — `/config/esphome` wurde erst am 30.10. frisch initialisiert, im Juli-Vollbackup existiert kein `esphome/`-Ordner. Geflasht worden war das Gerät am 09.09. vom **MacBook** (dort lag das OTA-Passwort).
|
||||
- **Quelle der Wahrheit jetzt:** `/config/esphome/ble-proxy.yaml` + `/config/esphome/secrets.yaml` (Key `ble_proxy_api_key`, `iot_wifi_password`, `ota_password`). OTA-Passwort (aus dem Mac-secrets) bleibt in der neuen Firmware gesetzt und liegt jetzt in 1Password: Item **`ESPHome OTA ble-proxy`** (Vault Hermes). Der IoT-WLAN-PSK liegt in 1P-Item **`WLAN IoT`**.
|
||||
- **Pitfalls:** (1) `esphome upload --password` ist der **MQTT**-Parameter — OTA-Passwort kommt ausschließlich aus `ota: password:` im YAML. (2) Falsches OTA-Passwort bricht vor jedem Schreibzugriff ab (risikolos). (3) `qm guest exec` killt den Prozessbaum, wenn der Agent-Timeout greift — Compile nur mit `--timeout 1500` fahren. (4) IoT-WLAN-PSK steht **nicht** in 1Password und ist in der Omada-Cloud-UI nicht lesbar; per API `GET /{omadacId}/api/v2/sites/{siteId}/setting/wlans/{gid}/ssids` → `pskSetting.securityKey` (Csrf-Token aus einem echten SPA-Request nötig).
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — NVR Integration
|
||||
- [[systems/noris-ai]] — LLM Vision Provider
|
||||
- [[reference/ip-map]] — IP Assignments
|
||||
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
|
||||
|
||||
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
|
||||
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
|
||||
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
|
||||
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
|
||||
|
||||
## free@home setup_error 12./13.11.2026 — SysAP-Reboot wirkungslos, Core-Restart = Fix
|
||||
- **Verlauf:** 12.11. 16:18 UTC Entry `setup_error` (28/29 Entities `unavailable`), Log `IqTimeout` auf `RemoteInterface.getAll`. Watchdog feuerte 13.11. 05:11 den SysAP-Reboot (`REBOOT_ACKED`, SysAP-HTTP nach ~3 min wieder da), `reload_config_entry` blieb `setup_error`; HA-Retry um 06:13 weiter `IqTimeout`, danach Retry-Backoff erschöpft (letzte Logzeile 06:17 — **Stille ≠ gesund**).
|
||||
- **Diskriminator:** SysAP-REST `/configuration` = 200 in 3 s (62 Geräte), `/sysap` 200, TCP 5222 offen ⇒ kein Server-Wedge, sondern **clientseitiger slixmpp-Desync**.
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec @ proxmox3) 07:10 → `not_loaded` → `setup_in_progress` 07:14:18 → `loaded` 07:14:48. Alle 28 ABB-Entities available (nur `button.garagentor` = `unknown`, bekannter ch0003-Status-Bug), Temperatursensoren pushen wieder (07:15:41).
|
||||
- **E2E:** `light.schaltaktor_4_fach_16a_reg_abb208351f51_ankleidelicht` turn_on → `on` (07:15:03), turn_off → `off` (07:15:05), beide HTTP 200.
|
||||
- **Watchdog Stufe 2 (13.11. ergänzt):** Wird nach `reboot(0)` + reload der Entry nicht `loaded` UND liefert SysAP-REST `/configuration` 200 → automatischer `docker restart homeassistant` (State `last_core_restart`, 6-h-Cooldown, 1 Throttle-Meldung/Tag, Boot-Wait 6 min). Ohne REST-200 gibt es **keinen** Core-Restart (dann ist der SysAP das Problem) — nur Alert. Verifiziert: `--selftest` grün, Tick bei gesundem Entry still + State-Reset.
|
||||
- **Pitfall:** `rescue.py probe` meldet `GETALL_TIMEOUT_OR_FAIL 45.0s` auch bei gesunder Integration (zweite Installer-Session parallel zu HA + 45-s-Hardtimeout) → nicht als Health-Oracle nutzen; Entscheidung über Entry-State + REST.
|
||||
|
||||
@@ -30,6 +30,8 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
|
||||
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
|
||||
- **Feste Pfadliste-Falle (13.11.2026)**: Die Mediathek hat **pro Serie einen Einzelpfad** (`/media/<Serie>`); neue Sorter-Ordner werden **nicht** automatisch indexiert (0 Items trotz Dateien auf Platte). `POST /Library/VirtualFolders/Paths?name=Mediathek` mit Body `{"Name":"<Serie>","Path":"/media/<Serie>"}` → **204, aber wirkungslos**, wenn `/config/root/default/<Serie>/` fehlt (Log: `Could not find a part of the path '…/<Serie>.mblink'`). Sauberer Weg: `mkdir -p /config/root/default/<Serie>` **plus** `.mblink` selbst schreiben (`printf '/media/<Serie>' > /config/root/default/Mediathek/<Serie>.mblink`, chmod 644, root:root) → **Pod-Restart** → Pfad erscheint in `Locations`, Scan indexiert. Stand 13.11.: 56 Pfade, 58 Ordner auf Platte.
|
||||
- **Collections entstehen nicht automatisch**: `POST /Collections?Name=<Serie>&Ids=<id,id,…>` (HTTP 200) je Serie mit ≥1 Item; Cover danach via `jf_collection_covers.py`.
|
||||
|
||||
## API-Fallen (12.2) — Details: Solution Doc s.u.
|
||||
1. Auth-Header heißt jetzt **`Authorization: MediaBrowser ...`** (nicht mehr `X-Emby-Authorization` → sonst 400 ArgumentNullException).
|
||||
@@ -118,3 +120,20 @@ Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die
|
||||
- [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner
|
||||
- [[systems/rke2-kubernetes]] — Cluster, LB-IPAM
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026)
|
||||
**Modell: Porn hinter Passwort, Familie offen.**
|
||||
- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets).
|
||||
- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin.
|
||||
- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections].
|
||||
- `dominik`: Admin, Vollzugriff (Passwort).
|
||||
|
||||
**Pitfalls JF 12.2 (teuer gelernt):**
|
||||
1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen).
|
||||
2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen.
|
||||
3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`.
|
||||
4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig.
|
||||
5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/<Name>`), nicht an Policy.
|
||||
6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm.
|
||||
7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen.
|
||||
8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation.
|
||||
|
||||
@@ -32,3 +32,25 @@ modified: "2026-07-24"
|
||||
## Related
|
||||
- [[systems/loki-fluentbit]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
## Alerting-Reparatur 2026-11-14
|
||||
|
||||
- `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT.
|
||||
Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts:
|
||||
node (6), ceph (4), blackbox (4), galera (3).
|
||||
- **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**.
|
||||
Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt.
|
||||
- **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als
|
||||
`/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf
|
||||
alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt)
|
||||
→ Regeln für die 8 RKE2-Node-IPs ergänzt.
|
||||
- **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
|
||||
- **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
|
||||
- Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
|
||||
- **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
|
||||
(Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P
|
||||
(Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0`
|
||||
(**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien.
|
||||
- **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
|
||||
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
|
||||
`kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'`.
|
||||
|
||||
@@ -65,6 +65,28 @@ httpx.ReadError: [Errno 32] Broken pipe
|
||||
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
|
||||
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
|
||||
|
||||
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
|
||||
|
||||
Der Katalog liefert `max_context_length` **verschachtelt**
|
||||
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
|
||||
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
|
||||
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
|
||||
Instanzen **explizit gepinnt**:
|
||||
|
||||
| Ebene | Key | Wirkung |
|
||||
|---|---|---|
|
||||
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
|
||||
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
|
||||
|
||||
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
|
||||
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
|
||||
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
|
||||
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
|
||||
|
||||
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
|
||||
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
|
||||
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
|
||||
|
||||
## Verbraucher
|
||||
- **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
|
||||
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
|
||||
@@ -87,3 +109,19 @@ httpx.ReadError: [Errno 32] Broken pipe
|
||||
- [[systems/paperless]] — OCR via ds-v4-flash
|
||||
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
|
||||
|
||||
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
|
||||
|
||||
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
|
||||
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
|
||||
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
|
||||
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
|
||||
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
|
||||
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
|
||||
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
|
||||
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
|
||||
(ArgoCD selfHeal verhindert `scale --replicas=0`).
|
||||
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
|
||||
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
|
||||
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
|
||||
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
|
||||
|
||||
@@ -32,6 +32,13 @@ modified: "2026-10-30"
|
||||
- **hdd_templates:** CT Templates
|
||||
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
|
||||
|
||||
### Backup-Storage (Stand 2026-11-15)
|
||||
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
|
||||
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
|
||||
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
|
||||
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
|
||||
|
||||
|
||||
## Netzwerk
|
||||
- VLAN-basiert, Bridge vmbr0
|
||||
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
||||
|
||||
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-10-12"
|
||||
modified: "2026-11-19"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
@@ -12,6 +12,72 @@ modified: "2026-10-12"
|
||||
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
|
||||
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
|
||||
|
||||
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
|
||||
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
|
||||
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
|
||||
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
|
||||
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
|
||||
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
|
||||
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
|
||||
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
|
||||
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
|
||||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||||
Diagnose gestartet wird.**
|
||||
|
||||
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||||
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||||
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||||
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||||
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||||
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||||
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||||
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||||
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||||
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||||
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||
intermittierend crashen und nur per Retry durchlaufen.
|
||||
|
||||
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
|
||||
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
|
||||
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
|
||||
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
|
||||
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
|
||||
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
|
||||
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
|
||||
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
|
||||
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
|
||||
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
|
||||
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
|
||||
(+ Nachtrag im 11-12-Doc).
|
||||
|
||||
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
|
||||
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
|
||||
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
|
||||
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
|
||||
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
|
||||
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
|
||||
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
|
||||
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
|
||||
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
|
||||
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
|
||||
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
|
||||
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
|
||||
|
||||
## Status 2026-11-19: 6. Crash-Tag, Retry sofort — Fenster wieder kurz
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 2. Rezidiv nach der 4-Tage-Lücke (11-14 bis 11-17). Retry 06:02:07: instant
|
||||
durch (COUNT <1 s), Exit 0, No-Op (0 neue, keine Quellen, keine Pipeline;
|
||||
DB 200.000 = TARGET).
|
||||
- Fenster heute wieder kurz (COUNT ab 06:02 instant, wie 11-18) — Root-Cause
|
||||
(DB-Infra-Job ~05:45–06:05 UTC) weiter offen. Fix weiter offen (Owner-GO):
|
||||
`read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30. Owner-Entscheidung
|
||||
Target/Cron-Deaktivierung weiterhin ausstehend.
|
||||
- SolDoc-Nachtrag 11-19 im 11-13-Doc.
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
|
||||
@@ -38,6 +38,14 @@ modified: "2026-10-19"
|
||||
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
|
||||
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
|
||||
|
||||
> ⚠️ **worker-05 (VM102) war 01.–02.11. offline — `onboot: 0`, nicht CVE und kein Crash.** ms-a2-2 bootete am
|
||||
> 01.11. 11:31 (Folge des 30.10.-Crashes); die VM hatte **keinen** `qmshutdown`-Task, sie fehlte nur in der
|
||||
> Autostart-Liste. `qm start 102` (ms-a2-2 = 10.0.20.93) → 6 min später `Ready`, Kernel `6.12.113+deb13`,
|
||||
> GPU-Passthrough `0000:01:00.0` (AMD Granite Ridge, amdgpu, `/dev/dri/renderD128`) ok, 13 Pods laufen.
|
||||
> `qemu-guest-agent` war im Gast **nicht installiert** → PVE zeigte dauerhaft `agent: down` bei völlig gesundem
|
||||
> Gast; nachinstalliert (static unit, `/etc/rc2.d/S01`), `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO)** —
|
||||
> sonst fehlt die GPU-Kapazität nach jedem ms-a2-2-Reboot still im Cluster.
|
||||
|
||||
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
|
||||
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
|
||||
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
|
||||
|
||||
+68
-2
@@ -166,7 +166,7 @@ Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
|
||||
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
|
||||
|
||||
## VAAPI / GPU-Encoding
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend. **Faktisch gibt es keinen Pin:** das Deployment hat keinen `nodeSelector`; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath `/dev/dri` nur `card0` enthält. `-vaapi_device /dev/dri/card0` ist **kein** Ersatz → `Failed to initialise VAAPI connection: -1` / EIO (3-s-`testsrc`-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
|
||||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||||
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
|
||||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||||
@@ -216,7 +216,34 @@ Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue
|
||||
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
|
||||
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
|
||||
### Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)
|
||||
|
||||
Neben `hev1`-Tag und stale Jellyfin-DB gibt es **Encoder-Ausschuss auf Slice-Ebene**: `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime, obwohl `ffprobe` (`hevc/hvc1/Main/1080p/yuv420p`) und der Box-Parser (`moov@28 < mdat`, `hvcC numOfArrays=3`) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.
|
||||
|
||||
- **Beweis:** `ffmpeg -nostdin -v error -i F -f null -` → 35 Zeilen `CABAC_MAX_BIN 26/27/28/30/31`, ~1/Minute über die Laufzeit verteilt; **`rc=0` trotzdem** (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
|
||||
- **Remux hilft nicht** (Korruption sitzt in den Frames) → Re-Encode `libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart`: 4 vCPU, 1080p30/10 Mbit ≈ **44 fps / 1,45× Echtzeit**, Ausgabe ~2,1 Mbit/s.
|
||||
- **Gates vor Swap:** `hevc,hvc1` · Dauer ±2 s · <95 % Quelle · Atom-Kette · **Volldekodierung 0 Zeilen** → Original nach `transcode-originals/` → `chown 1000:1000` → atomares `mv`.
|
||||
- **Auto-Refresh:** zweiter detached Watcher pollt auf die Markerzeile `GETAUSCHT` und schickt **genau einen** `POST /Library/Refresh` — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per `ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"'`, **nie** `pgrep -f` (matcht das eigene `bash -c` → Selbst-Kill, Exit 143).
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md` · `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
|
||||
|
||||
### Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)
|
||||
|
||||
Bei VAAPI-Ausschuss ist **Re-Fetch erste Wahl** (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.
|
||||
|
||||
1. Release per Binsearch (Einzeldatei-MP4, kein `partNNN.rar`-Set) → `publish_nzb.py` → `nzb-drop/`.
|
||||
2. **Den Tausch macht der Sorter**: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach `quarantine/dedup-sorter/<Serie>/`. Kein manuelles `mv`, keine `(2)`-Kopie.
|
||||
3. Verifizieren (Codec, Dauer ±2 s, **Volldekodierung 0 Fehlerzeilen**), dann bei Bedarf software-HEVC zurückführen (Original → `transcode-originals/`), **ein** Refresh am Ende.
|
||||
|
||||
Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → `hevc,hvc1,1080`, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.
|
||||
|
||||
- **Gate-Falle:** der Converter-Sidecar hat **kein `python3`** — ein Gate mit `python3 -c` endet 127 und meldet `GATE FAIL Dauer` bei identischen Werten. Gates + Swap gehören in den App-Container (`/lsiopy/bin/python3`, `/config/tools/ffmpeg` inkl. libx265); Dauer/Größe per `awk`.
|
||||
- **VAAPI bleibt für Reparaturen gesperrt** (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
|
||||
- `BoundGangBangs - Rebel Rhyder` hat **kein** Release (nur 10,8-GB-Rar-Set als `part0.nzb`) → dort bleibt Re-Encode aus dem korrupten File.
|
||||
- Offen (eigenes GO): `quarantine/` 171 G, `complete/` 105 G, `transcode-originals/` 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
|
||||
- Parität immer über **Stems** zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md`
|
||||
|
||||
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)
|
||||
|
||||
@@ -261,7 +288,46 @@ Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** —
|
||||
- **House-of-Usenet-Banner** (`House-of-Usenet.com/Premium-News`, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → **ohne Board-Login nicht öffnenbar**. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
|
||||
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
|
||||
|
||||
|
||||
## Indexer-Abdeckung & Beschaffungsgrenzen (06.11.2026)
|
||||
- **binsearch.info**: beste Quelle für *aktuelle* Scene-Releases (Kink, LegalPorno, VSEX/WRB/P2P). Alte Kink-Serien (TheTrainingOfO vor 2014) und Nischen-Maledom-Studios (BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured) sind dort **nicht** indexiert.
|
||||
- **NZBKing**: einzige freie Quelle für TOO 2012/2013 (`a.b.multimedia.bdsm`). Achtung: (a) Seite ist JS-lastig → headless Chrome; (b) **HTTP 429 bei zu vielen `/nzb:<id>/`-Fetches liefert 0-Byte-NZBs** — das ist Rate-Limit, kein fehlender Post (≥20–30 s Abstand, Cookie+Referer, Header prüfen); (c) `.EXE`-geflaggte Posts (z. B. BrutalMaster-„Full Rip") liefern **keine** NZBs, dort liegen nur 89-MB-JPG-Packs.
|
||||
- **nzbindex.com**: React-SPA, ~10 Monate Retention; per curl/URL keine Treffer, nur Formular-Submit im Browser. Für Titel älter als 10 Monate wertlos.
|
||||
- **Alte Kink-RAR-Ketten**: SAB meldet „Completed", liefert aber 30–45-MB-Fragmente (`moov atom not found`). Sorter quarantäniert sie; einzelne rutschen durch → nach jedem Batch Duration prüfen (<5 min bei 40–80 min Erwartung = Fragment).
|
||||
- **Nicht beschaffbar** (alle drei Indexer geprüft): BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured. Nur bezahlter Indexer (DrunkenSlug/NZBGeek) oder Direkt-Rip.
|
||||
- **Secret-Falle**: `~/.hermes/secrets/media_meta.env` setzt Variablen ohne `export` → Python-Subprozesse sehen `JF_TOKEN` nicht (401). Immer `set -a; source …; set +a`.
|
||||
|
||||
## Related Solution Docs
|
||||
- `~/docs/solutions/integrations/2026-11-06-nzb-indexer-grenzen-rate-limit.md` (Indexer-Abdeckung, 429-Falle, Fragmente)
|
||||
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
|
||||
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
|
||||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|
||||
|
||||
## Converter v18 — einheitlich HEVC (08.11.2026)
|
||||
**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.
|
||||
- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`.
|
||||
- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg).
|
||||
- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
|
||||
- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
|
||||
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
|
||||
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
|
||||
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
|
||||
|
||||
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
|
||||
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
|
||||
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
|
||||
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
|
||||
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
|
||||
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
|
||||
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
|
||||
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
|
||||
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
|
||||
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
|
||||
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
|
||||
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
|
||||
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
|
||||
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
|
||||
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
|
||||
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
|
||||
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
|
||||
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).
|
||||
|
||||
@@ -68,6 +68,15 @@ den 5 Owner-Profilen.
|
||||
- glm-5-3 ist ein Reasoning-Modell (liefert `reasoning`-Felder).
|
||||
- **Compaction/Compression:** `auxiliary.compression` = provider `auto`,
|
||||
kein explizites Model → fällt aufs Haupt-Modell zurück (= glm-5-3).
|
||||
- **Compression-Timeouts (02.11.2026):** `model.context_length: 1048576`
|
||||
(Zwischenstand 262144, vorher 131072), `compression.context_timeout_seconds: 300`,
|
||||
`compression.context_total_ceiling_seconds: 900`; Backups
|
||||
`config.yaml.bak-20261102-131314` und `config.yaml.bak-ctx-<ts>`.
|
||||
E2E 13:2x: `lcm_status` → `raw_context_length=1048576`,
|
||||
`threshold_tokens=367001`. Effektiv `resolve_context_compression_timeouts()
|
||||
→ (300.0, 900.0)`, Preflight-Threshold **131.072** statt 45.875. Ursache der
|
||||
300s-Turn-Aborts: Session bei 212k Tokens, jeder Turn startete Compression,
|
||||
Summary-Call lieferte 0 Chunks → Turn endete ohne Provider-Call.
|
||||
- **Vision:** `auxiliary.vision` = noris / `vllm/release/gemma-4-31b-it`;
|
||||
403-Block ist weg (19.10. mit Sarahs Key getestet: HTTP 200).
|
||||
- **`fallback_providers: []`** — kein Fallback konfiguriert! Bei Modellausfall hängt
|
||||
|
||||
@@ -199,3 +199,7 @@ Neuvermessung 670abe70 (1286 Dateien, 8,49 GB) korrigiert die alte „~2,6 GB"-S
|
||||
|
||||
### Cleanup-Stand 10.0.20.100
|
||||
- audit_a/audit_b-Container entfernt; `/tmp/audit_*`-Kopien noch vorhanden → beim nächsten .100-Kontakt miträumen
|
||||
|
||||
## Zugriffskette (2026-11-01 verifiziert)
|
||||
`https://cloud.familie-schoen.com` → CT99999 Traefik (`explicit-http.yml`, Router `seafile`) → **10.0.30.203** (das ist die **K8s-Ingress-LB**, `kube-system`, NICHT eine VM-ID!) → K8s-IngressRoute `seafile/seafile` → Service `seafile-external` → Endpoint **10.0.30.99:80** (CT111). Kette liefert 302 → `/accounts/login/` → HTTP 200 „Log In - Private Seafile". Seafile nutzt eine **eigene** `mariadb:10.11` im Container (kein Galera) → DB-Tier-Upgrades betreffen Seafile nicht; CT111 erbt aber den PVE-Host-Kernel (n5pro).
|
||||
**Legacy-Falle:** `seafile.familie-schoen.com` ist ein alter Router (`seafile_old` → `seafile-old-forwarder` → `http://10.0.30.100:8081`, tot) und liefert dauerhaft **502** — kein Ausfall, sondern stillgelegte Route. Nicht als Störung fehldeuten.
|
||||
|
||||
@@ -0,0 +1,120 @@
|
||||
---
|
||||
title: Technitium DNS (HA-Cluster)
|
||||
category: systems
|
||||
tags: [dns, adblock, ha, keepalived, vrrp, technitium, lxc]
|
||||
created: "2026-11-14"
|
||||
modified: "2026-11-14"
|
||||
---
|
||||
|
||||
# Technitium DNS — HA-Cluster (LAN-Resolver + Adblock)
|
||||
|
||||
Zwei unprivileged LXC auf getrennten PVE-Nodes, betrieben als **Technitium-Cluster**
|
||||
(1 Primary + 1 Secondary, Config-Sync) mit **keepalived-VIP** davor.
|
||||
|
||||
## Topologie
|
||||
|
||||
| | dns-01 | dns-02 |
|
||||
|---|---|---|
|
||||
| CT | 150 | 153 |
|
||||
| PVE-Node | proxmox6 (10.0.20.60) | ms-a2-2 (10.0.20.93) |
|
||||
| IP | 10.0.30.150/24, gw 10.0.30.1, tag=30 | 10.0.30.153/24 |
|
||||
| Spez | 1 vCPU / 1 GB / 4 GB **`local-lvm`** (node-lokal, Ceph-unabhängig), unprivileged, onboot | dito |
|
||||
| Rolle | Cluster-**Primary**, VIP-Träger (VRRP-Prio 150) | Cluster-**Secondary** (Prio 100) |
|
||||
| Web-UI | http://10.0.30.150:5380 · TLS :53443 | http://10.0.30.153:5380 |
|
||||
|
||||
**VIP 10.0.30.149** — keepalived, VRID 51, **unicast** (kein Multicast), `nopreempt`,
|
||||
Health-Check = TCP :53 **und** Web-API :5380. Failover gemessen: **~4 s**.
|
||||
|
||||
## Clients / DHCP
|
||||
Omada-Gateway (`10.0.30.1`) macht weiterhin DHCP. Es gibt nur **zwei DNS-Felder**:
|
||||
|
||||
```
|
||||
DNS 1: 10.0.30.149 (VIP)
|
||||
DNS 2: 1.1.1.1 (Cloudflare-Fallback)
|
||||
```
|
||||
IPv6-Felder (falls vorhanden): `2606:4700:4700::1111`, `2606:4700:4700::1001`.
|
||||
|
||||
Grund für die VIP: mit nur zwei Feldern wäre sonst entweder der zweite Knoten oder der
|
||||
Public-Fallback verloren gegangen.
|
||||
|
||||
## Konfiguration (Cluster-Parameter, syncen auf beide Nodes)
|
||||
- Cluster-Domain: `dns.internal.schoen.codes` (Zonen: `dns.internal.schoen.codes`, `cluster-catalog...`)
|
||||
- Forwarder: `1.1.1.1, 1.0.0.1, 2606:4700:4700::1111, 2606:4700:4700::1001` (UDP)
|
||||
- `recursion = UseSpecifiedNetworkACL` → `10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 127.0.0.0/8, ::1, fd00::/8, fe80::/10` (kein offener Resolver)
|
||||
- DNSSEC-Validierung an, `logQueries=false` (Datei-Log aus, Query-Log läuft über die MySQL-App)
|
||||
- Blockliste: **HaGeZi Multi Pro** → `https://raw.githubusercontent.com/hagezi/dns-blocklists/main/wildcard/pro.txt` (227.848 Domains)
|
||||
|
||||
## Resilienz-Entscheidung (2026-11-14)
|
||||
|
||||
**Rootfs auf `local-lvm`, NICHT auf Ceph.** Grund: `ceph health` = HEALTH_WARN mit
|
||||
„8 OSDs experiencing slow operations"; ein Ceph-Stall hätte **beide** DNS-Knoten gleichzeitig
|
||||
blockiert (gleicher Cluster → kein Failover-Effekt) und bei Neustart wäre kein Boot möglich.
|
||||
|
||||
Konsequenzen, bewusst akzeptiert:
|
||||
- **Kein HA-Manager** für ct:150/153 (`state: disabled` → entfernt). PVE-HA kann node-lokale
|
||||
Disks nicht relocaten; ein Versuch hat am 2026-11-14 beide CTs auf proxmox4/proxmox5
|
||||
„verschoben" (Config ja, Disk nein) → **~2–3 Min DNS-Ausfall**. Nur `onboot=1`.
|
||||
- **Node-Ausfall = Handarbeit**: Rebuild per PBS-Restore (siehe unten), Config kommt vom Peer.
|
||||
- PVE-native Redundanz für lokale Disks existiert nicht: entweder Shared Storage (Ceph/iSCSI/NFS,
|
||||
automatisch) oder ZFS-Replikation (`pvesr`, **braucht lokales ZFS** — proxmox6/ms-a2-2 haben nur
|
||||
LVM-thin, `replication.cfg` leer) und selbst dann kein Auto-Promote.
|
||||
|
||||
**Wiederaufbau (nativ, ~1–2 Min):**
|
||||
```bash
|
||||
pct restore 150 noris_v4:backup/ct/150/<snapshot> --storage local-lvm --hostname technitium-dns-01
|
||||
# danach: Cluster-Join gegen den überlebenden Node, Zonen/Blocklists syncen automatisch
|
||||
```
|
||||
Backups: 23:00-Job (`all 1`, `noris_v4`, keep-last=3) — Erstaufnahme 2026-11-14 manuell
|
||||
nachgezogen (ct/150 967 MiB, ct/153 890 MiB).
|
||||
|
||||
**I/O-Entkopplung:** Technitium-Datei-Query-Log `logQueries=false` (kein Disk-Write pro Query).
|
||||
Die MySQL-App protokolliert unabhängig davon weiter (verifiziert: 84 Rows/45 s).
|
||||
keepalived `fall 5` (≈10 s Toleranz) statt 3 → kein VIP-Flapping bei kurzen Slow-Ops.
|
||||
|
||||
## Betrieb
|
||||
- Config-Änderungen **nur am Primary**; Secondary zieht per Cluster-Sync (`configRefreshIntervalSeconds=300`).
|
||||
- Fällt der Primary irreparabel aus: Secondary per `POST /api/admin/cluster/primary/promote` hochziehen.
|
||||
- VIP bleibt dank `nopreempt` beim Überlebenden (kein Flapping); bei Kaltstart beider gewinnt dns-01.
|
||||
- Hostnamen-Auflösung der Nodes läuft über `/etc/hosts` in beiden CTs (Cluster verlangt FQDN-URLs, nicht IPs).
|
||||
|
||||
## Query-Logs nach MySQL (Galera)
|
||||
|
||||
App **„Query Logs (MySQL) v4.2"** (`isQueryLogger` + `isQueryLogs`), per Cluster-Sync auf **beiden**
|
||||
Knoten installiert — beide schreiben in dieselbe Tabelle, getrennt über die Spalte `server`.
|
||||
|
||||
| Parameter | Wert |
|
||||
|---|---|
|
||||
| Datenbank | `technitium_querylog` (utf8mb4) auf Galera, Tabelle `dns_logs` (App legt sie an) |
|
||||
| Endpoint | **MaxScale-VIP `10.0.30.70:3306`** (nicht .71/.72/.73 — die sind vom VLAN 30 aus nicht direkt erreichbar) |
|
||||
| User | `technitium`@`%` (nötig: MaxScale verbindet mit **eigener** IP, per-Host-Grants scheitern) |
|
||||
| Connection String | `Server=10.0.30.70; Port=3306; Uid=technitium; Pwd=<1P>; SslMode=None; ConnectionTimeout=10; DefaultCommandTimeout=30;` |
|
||||
| Retention | `maxLogDays=30`, `maxLogRecords=10000000`, `maxQueueSize=1000000` |
|
||||
|
||||
- **`SslMode=None` ist Pflicht**: der MaxScale-Listener hat kein TLS → MySqlConnector bricht sonst mit
|
||||
„SSL is required, but the server does not support it" ab (Passwort läuft damit im Klartext über VLAN 30).
|
||||
- Volumen-Messung: ~**61 Queries/min ≈ 88 k/Tag** → ~2,6 Mio Rows in 30 Tagen (Galera repliziert 3×).
|
||||
- Passwort in 1P: „Technitium QueryLogs DB (Galera)".
|
||||
|
||||
## Monitoring
|
||||
- Prometheus (K8s, 10.0.30.202): Jobs `blackbox_dns` (A-Query gegen .149/.150/.153) und
|
||||
`blackbox_http` (Web-UI :5380 auf allen drei Adressen).
|
||||
- PrometheusRule `technitium-dns-rules`: `TechnitiumDnsProbeFailing`,
|
||||
`TechnitiumDnsAllNodesDown`, `TechnitiumDnsVIPMissing`, `TechnitiumClusterNotSynced`.
|
||||
- IaC: `iac-homelab/clusters/main/monitoring/technitium-dns-rules.yaml` + `apps/kube-prometheus-stack.yaml`.
|
||||
|
||||
## Bekannte Fallstricke
|
||||
- **HaGeZi-URL hat sich geändert**: `hosts/pro.txt` → **`wildcard/pro.txt`** (404 sonst).
|
||||
- **community-scripts-One-Liner aktuell kaputt**: `ct/technitiumdns.sh` sourct `misc/build.func`,
|
||||
das Framework liegt jetzt in `community-scripts/core` → 404. Installation daher über die
|
||||
Original-Payload (`install/technitiumdns-install.sh`): MS-Repo → `aspnetcore-runtime-10.0`,
|
||||
`DnsServerPortable.tar.gz` → `/opt/technitium/dns`, systemd-Unit `technitium.service`.
|
||||
- **Cluster-Join verlangt FQDN**: `primaryNodeUrl` mit IP wird abgelehnt
|
||||
(„must use the domain name of the Primary node").
|
||||
- Erst-Login ist `admin/admin` — sofort `passwort` via `/api/user/changePassword` ändern
|
||||
(1P-Item „Technitium DNS Admin").
|
||||
- **`prometheus-rules.yaml` im Repo ist eine ConfigMap** und wird von Prometheus NICHT geladen —
|
||||
eigene Regeln brauchen eine `PrometheusRule` mit Label `release: monitoring`.
|
||||
|
||||
## Related
|
||||
- [[reference/ip-map]] · [[concepts/network-architecture]] · [[reference/ports]]
|
||||
- [[systems/monitoring]]
|
||||
@@ -23,10 +23,14 @@ Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/
|
||||
|
||||
## Bekannte Themen
|
||||
|
||||
- **Wartungs-Shutdown 2026-11-14 (~15 Min):** noout-Gate, sauberer Poweroff 13:09 UTC, Boot zurück 13:22 UTC (SSH ~11 Min nach Power-On), OSDs 2/15/17 sofort up, Cluster 532/533 clean binnen Minuten, noout manuell entfernt (Watchdog unfired wg. osd-tree-$5/$6-Bug → Skill-Ref). ZFS `pool01_n2_redundant` DEGRADED (sdi REMOVED) überlebt Reboot problemlos. IP unverändert .100 (MAC 4c:cc:6a:27:49:c1).
|
||||
- NVMe-Controller-Tod Kingston PCI 03:00.0 (2026-09-30, PAT-014) — revived via PCI remove/rescan; SMART-Audit gesund, nur Controller-Ebene. Temps 70/78 °C beobachten.
|
||||
- Host-Eintrag `10.0.20.100 ubuntu` in /etc/hosts aller PVE-Nodes nötig (PVE-GUI 500 ohne DNS/hosts).
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/ceph-cluster]] — OSDs 2/8/15/17/18 laufen hier
|
||||
- [[systems/ceph-cluster]] — OSDs 2/15/17 laufen hier (osd.8/18 seit ≥02.11. auf n5pro; stale Units `ceph-osd@8` + `ceph-mon@ubuntu` scheitern bei jedem Boot, kein Schaden)
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] (PAT-014)
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Re-Check 2026-11-10 (CVE-Tracker-Meldung „released"):** Zielzustand bereits aktiv — `apt-get full-upgrade` = 0 Pakete, Kandidat = installiert = 6.8.0-149.149, kein `reboot-required`; **kein zweiter Reboot** (3 OSDs auf dem Host), Ceph unverändert 4/4 MON, 17/17 up+in, 533 PGs active+clean. **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto.
|
||||
|
||||
Reference in New Issue
Block a user