Compare commits
43
Commits
c36ace9fba
..
main
| Author | SHA1 | Date | |
|---|---|---|---|
|
|
b171a41a8c | ||
|
|
46bf4e6e42 | ||
|
|
3eda03ae8e | ||
|
|
668501c330 | ||
|
|
34457272d0 | ||
|
|
a0e3039cfa | ||
|
|
fd4a86533e | ||
|
|
d89db49445 | ||
|
|
41556fc10f | ||
|
|
a637ddcf61 | ||
|
|
b7ed1b4505 | ||
|
|
07de4bd482 | ||
|
|
e4767928a5 | ||
|
|
b49e4ed029 | ||
|
|
a85ba99e39 | ||
|
|
8585ee8b56 | ||
|
|
77702d8b66 | ||
|
|
306f3022bb | ||
|
|
4ab319815c | ||
|
|
ba9bf1525b | ||
|
|
90ce3e0267 | ||
|
|
3d48fe6628 | ||
|
|
6a310538ff | ||
|
|
bd366a61ee | ||
|
|
de3dd8a50d | ||
|
|
4fbd8bc1a9 | ||
|
|
21a25a0635 | ||
|
|
2053828eaf | ||
|
|
e79b912ca5 | ||
|
|
9709787bc0 | ||
|
|
8a2f961745 | ||
|
|
bd700b19b8 | ||
|
|
79047d9306 | ||
|
|
be5343e8b8 | ||
|
|
f78f265a8a | ||
|
|
fe148c3536 | ||
|
|
807dc2b396 | ||
|
|
edb65794ac | ||
|
|
89eaf83f3f | ||
|
|
52959e3b44 | ||
|
|
bd55603188 | ||
|
|
7e1a058212 | ||
|
|
53b3d4e67b |
Binary file not shown.
|
After Width: | Height: | Size: 94 KiB |
Binary file not shown.
|
After Width: | Height: | Size: 787 KiB |
@@ -0,0 +1,151 @@
|
||||
---
|
||||
title: "BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses: Fakten, Reaktionen und Argumente"
|
||||
category: concepts
|
||||
tags: [baykibig, kita, elternbeitrag, elternbeirat, kommunalpolitik, freystadt, neumarkt]
|
||||
created: "2026-11-11"
|
||||
modified: "2026-11-11"
|
||||
---
|
||||
|
||||
# BayKiBiG-Reform 2027 – Wegfall des 100-€-Elternbeitragszuschusses
|
||||
|
||||
> Recherche-Grundlage für den gemeinsamen Brief der Freystädter Elternbeiräte an
|
||||
> Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (Landratsamt Neumarkt i.d.OPf.).
|
||||
> Stand: 11.11.2026. Rechtsgrundlage: BayKiBiG-Änderungsgesetz vom 30.07.2026 (GVBl. 2026 S. 401), in Kraft ab 01.01.2027.
|
||||
|
||||
## Ausgangslage
|
||||
|
||||
- **Bisher (Art. 23 Abs. 3 BayKiBiG a.F.):** 100 €/Monat je Kindergartenkind, ab 1. September des Kalenderjahres des 3. Geburtstags bis Schuleintritt. Auszahlung lief über kindbezogene Förderung an die Gemeinden → Träger; Träger waren **gesetzlich verpflichtet**, die Elternbeiträge um 100 € zu ermäßigen. Galt für kommunale, freie und kirchliche Kitas.
|
||||
- **Reform:** Landtagsbeschluss 22.07.2026, Verkündung 30.07.2026, Inkrafttreten 01.01.2027. Der Beitragszuschuss wird als eigene Förderkomponente abgeschafft; die Mittel fließen in den **Qualitätsbonus** (Betriebskostenförderung). Die Pflicht zur Abzugsstaffelung entfällt – die Gesetzesbegründung enthält nur noch die „Erwartung", dass Träger die Beiträge „nur in entsprechend reduziertem Umfang" erheben (SZ: „entfällt formal die förderrechtliche Vorgabe").
|
||||
- **Staatsregierung/StMAS-Position:** Der Zuschuss werde „nur formell" abgeschafft; das Mittelvolumen bleibe in voller Höhe im System; „kein einziger Cent verloren". Der Wegfall als eigener Posten sei „für sich genommen kein Anlass für höhere Elternbeiträge". Kinderbetreuung sei kommunale Pflichtaufgabe – die Beitragshöhe legen Träger und Kommunen fest (§ 90 Abs. 1 SGB VIII, Wunsch- und Wahlrecht § 5 SGB VIII).
|
||||
- **Förderzahlen:** Qualitätsbonus je Kind/Jahr 268,01 € (2026) → vorläufig 693,28 € (2027), 852,36 € (2028), 857,87 € (2029); neu: **Teamkräftepauschale** (2027 ca. 284 Mio. €, ab 2028 ca. 400 Mio. €/Jahr) und **Funktionsstellenpauschale** (ca. 29,4 Mio. €/Jahr). Betriebskostenförderung im Endausbau +25 % (knapp 800 Mio. €/Jahr mehr); 2026 bereits +280 Mio. € (>10 %).
|
||||
- **Kontext Leistungskürzungen:** Familiengeld und Krippengeld fielen für ab 2025 Geborene weg; das geplante Kinderstartgeld (3.000 €) kippte das Kabinett im November 2025. Mit dem Beitragszuschuss endet 2027 die letzte direkte Eltern-Entlastung kleiner Kinder.
|
||||
|
||||
## Wirkung auf Eltern
|
||||
|
||||
- Ohne kommunalen/trägerseitigen Ausgleich zahlen Kindergarten-Eltern ab 01.01.2027 **100 €/Monat = 1.200 €/Jahr je Kind** mehr (Beispiel Bayreuth: 160 € → 260 € bei 6–7 h; Regensburg: 20 € → 120 € bei 6–7 h).
|
||||
- Krippen- und Hortkinder hatten den Zuschuss nie; für sie fielen stattdessen Krippengeld/Familiengeld weg (Lohr: auch Krippen-Eltern „quasi 100 € mehr").
|
||||
- Betroffen sind vor allem **Selbstzahler-Familien**: Kein Anspruch auf § 90 Abs. 4 SGB VIII (Jugendamt-Übernahme bei Unzumutbarkeit), aber zugleich keine Arbeitgeber- oder Sozial-Leistungen.
|
||||
- Landeselternbeirat-Vorsitzende Monika Golling (LEB): Kita werde für viele Familien „zum unbezahlbaren Luxus", LEB spricht von „sozialer Ausgrenzung".
|
||||
|
||||
## Stellungnahmen der Verbände (Verbändeanhörung 2026)
|
||||
|
||||
| Verband | Kernaussage |
|
||||
|---|---|
|
||||
| **Landeselternbeirat (LEB)** | Umstellung muss „kostenneutral und transparent" erfolgen, keine indirekten Beitragserhöhungen; 100 € müssen „verpflichtend, unmittelbar und nachweisbar beitragsmindernd" überführt werden; Elternbeiträge im ersten Jahr stabil halten |
|
||||
| **LAG Ö|F (17.04.2026)** | Reform behebt strukturelle Unterfinanzierung nicht; ohne Dynamisierung des Qualitätsbonus sind Beitragserhöhungen „unumgänglich"; warnt vor Erwartungen, die das System nicht erfüllen kann |
|
||||
| **Verband kath. Kindertageseinrichtungen** | 100 € zweckgebunden beibehalten (Entlastung vor Ort, Planungssicherheit); spricht sich angesichts der Defizite für „Aussetzung der Stabilisierung" aus – Träger werden Beiträge anpassen; Geschäftsführerin Glawogger-Feucht: „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen" |
|
||||
| **KEG Bayern** | Transparente Gegenüberstellung von Mehrkosten und zusätzlichen Fördermitteln; Beiträge nach Möglichkeit stabil halten; gezielte Entlastung z. B. Mittagessen |
|
||||
| **GEW Bayern / evang. Kita-Verband / LAG Elterninitiativen** | befürchten steigende Beiträge; Wegfall wird sich „deutlich bemerkbar machen"; Familien „doppelt belastet" |
|
||||
| **Bayerischer Städtetag** | Gesetzentwurf erreicht „keine dauerhaft kostendeckende Finanzierung der Betriebskosten und springt daher leider zu kurz"; angemessene Elternbeiträge dringend nötig |
|
||||
| **BRK (Träger)** | Beiträge werden „laut Ordnung" berechnet, nur ohne die 100 € Entlastung; Weitergabe sei angesichts der Kosten „nicht realistisch"; wirtschaftliches Risiko liege bei den Trägern |
|
||||
|
||||
## Kommunale Entscheidungen (Auswahl, Stand Nov. 2026)
|
||||
|
||||
| Kommune | Entscheidung 2027 | Quelle |
|
||||
|---|---|---|
|
||||
| **München** | Übergangsregelung: bisherige Ermäßigungen für anspruchsberechtigte Kinder werden 01.01.–31.08.2027 fortgeführt; Beiträge bleiben bis Ende des Kitajahres unverändert; Gebührenanpassung erst ab Sept. 2027 | stadt.muenchen.de |
|
||||
| **Ingolstadt** | gibt den Zuschuss für städtische Einrichtungen weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Hollfeld (Lkr. Bayreuth)** | gibt 60 von 100 € an Eltern weiter (lt. GEB Bayreuth) | bayreuther-tagblatt.de |
|
||||
| **Augsburg** | +100 €/Monat; verzichtet dafür auf die geplante 3-%-Erhöhung 2027 | augsburg.de/kitakosten2027 |
|
||||
| **Nürnberg** | Elternbeitrag wieder in voller Höhe; reguläre Erhöhung auf Jan. 2028 verschoben; auch Krippen-Entlastung (einkommensabhängig) entfällt | nordbayern.de |
|
||||
| **Regensburg** | Keine Änderung der städtischen Gebührensatzung → Zahlbetrag +100 €; Übernahme des Zuschusses würde ca. 5,04 Mio. €/Jahr kosten (4.200 Kinder); freie Träger passen vereinzelt an | regensburg.de |
|
||||
| **Kaufbeuren** | Gebühren unverändert, **kein kommunaler Ausgleich** → +100 €; Begründung: Defizit ~15 Mio. €/Jahr, ~8.000 € Eigenanteil je Platz; Stadtrat 27.10.2026 mit großer Mehrheit, vollem Saal | kaufbeuren.de |
|
||||
| **Erlangen** | Stadtrat 29.10.2026: kein Ausgleich; freie Träger signalisieren Weitergabe des Wegfalls an Eltern (~3.500 Kinder betroffen); § 90-4-Übernahme bleibt | ratsinfo.erlangen.de |
|
||||
| **Raubling** | Gemeinderat beschließt: kein Ausgleich, reguläre Gebührensatzung → +100 €; Beiträge 2027/28 nicht erhöht; freiwilliger Ausgleich hätte ~370.000 €/Jahr gekostet | raubling.de |
|
||||
| **Feldkirchen-Westerham** | Gebühren stabil, verzichtet auf Sept.-2027-Erhöhung; Ersatz des staatlichen Zuschusses „angesichts der Haushaltslage" nicht möglich | feldkirchen-westerham.de |
|
||||
| **Lohr a. Main** | 4. Änderungssatzung: Abzugs-Passage gestrichen, Gebührentabelle unverändert → Zahlbetrag +100 €; Elternanteil an Gesamtfinanzierung 9,4 % (2026) → 15,3 % (2027, Planung) | lohr.de |
|
||||
| **Coburg** | informiert; Übernahme wäre „neue freiwillige Leistung", keine Verpflichtung; Beispiel: 150 € → bisher 50 € effective → künftig 150 € | coburg.de |
|
||||
| **Egling** | Träger prüfen Beitragsstruktur; Gemeinderatsentscheid Sept. 2026; entfallener Zuschuss musste wegen Gebührenbescheiden bereits vorab eingerechnet werden | egling.de |
|
||||
| **Bayreuth** | Trägerversammlung 09.10.2026: **kein Weitergeben**; „Stadt kann es sich nicht leisten"; GEB protestiert öffentlich | bayreuther-tagblatt.de |
|
||||
|
||||
## Eltern-Initiativen und Petitionen
|
||||
|
||||
- **Gesamtelternbeirat Bayreuth (GEB):** Pressemitteilung gegen den Trägerbeschluss – „versteckte de facto Erhöhung der Elternbeiträge um 100 Euro pro Kind pro Monat … für die selbstzahlenden Eltern"; „Staatsregierung und Träger bestätigen, dass nun mehr Geld im System sei – dennoch werden die Eltern zur Kasse gebeten." Rechnet vor: Qualitätsbonus 268 → 693 € **plus** Teamkräfte-Pauschale (~500 €/Kind/Jahr). Befürchtet: mehr Jugendamts-Anträge, leer bleibende Plätze, Kürzertreten vor allem von Müttern. Forderung: Stadt und Träger sollen sich bei Staatsregierung, Landtagsabgeordneten und Städte-/Gemeindetag für gerechtere Finanzierung einsetzen.
|
||||
- **Illertissen (Elternbeiräte):** Gemeinsamer Appell der Elternbeiräte aus (nach Auskunft des Artikels) sieben Kitas an den Stadtrat mit knapp **400 Unterschriften**. Kern: „Bitte setzen Sie sich für uns ein, dass die durch die Reform entstehenden finanziellen Belastungen nicht unmittelbar und unkompensiert auf die Eltern abgewälzt werden." Vor einer Entscheidung über Anpassungen sollen die konkreten finanziellen Auswirkungen auf die Familien offengelegt und kommunale Ausgleichsmaßnahmen geprüft werden. Argumente: Erwerbstätigkeit/Teilzeit (v. a. Mütter, Rentenansprüche), Fachkräftebedarf, „Korridorkinder" (Juli–September-Geborene), Bildungschancen und soziale Teilhabe; Verständnis für kommunale Herausforderungen wird ausdrücklich bekundet.
|
||||
- **Ernsgaden (openpetition, seit 15.09.2026):** Petition an Bürgermeister und Gemeinderat: Dialog suchen, bevor finale Beschlüsse gefasst werden; prüfen, wie die 100 € ganz oder teilweise weitergegeben werden; „familienfreundliche Gemeinde aktiv mit Leben füllen".
|
||||
- **Kolbermoor (WeAct/Campact):** „Kinderbetreuung muss bezahlbar bleiben – Nein zur Erhöhung der Kita-Beiträge"; Beiträge so gestalten, dass der Wegfall des Zuschusses ausgeglichen wird.
|
||||
- **change.org (landesweit):** „100-Euro-Kita-Zuschuss für Familien auch nach 2027 verbindlich sichern" – an Bayerische Staatsregierung und Landtag; Initiatorkreis um Laura Weidinger (Landeselternbeirat-Umfeld): „Zwei-Klassen-System", Teilzeit rechne sich nicht mehr.
|
||||
|
||||
## Politische Debatte
|
||||
|
||||
- **Scharf (CSU-Familienministerin) vs. Krause (München, Grüne):** OB Krause: Freistaat „streicht" den Zuschuss, „das können wir nicht abfedern"; Scharf nennt das „Fake News" – die Finanzierung werde „lediglich umgestellt". (SZ, Nov. 2026)
|
||||
- **SPD (Doris Rauscher):** „die Elterngebühren werden steigen"; vergeblicher Landtags-Antrag, den Eltern-Zuschuss zu erhalten.
|
||||
- **CSU (Thomas Huber):** „Wir kürzen nicht, sondern investieren dauerhaft deutlich mehr"; keine automatische Mehrbelastung; Mittel des Beitragszuschusses per Änderungsantrag „vollständig im Qualitätsbonus gesetzlich abgesichert".
|
||||
- **Landtagsanhörung:** Träger und Verbände begrüßen die Reform, kritisieren Details; Glawogger-Feucht: kein Zwang zur Weitergabe mehr – „Die meisten Kita-Träger werden Elternbeiträge anpassen müssen."
|
||||
|
||||
## Argumente für den gemeinsamen Brief der Freystädter Elternbeiräte
|
||||
|
||||
1. **Zahlen nachvollziehbar machen (auch nach der Trägerentscheidung):** Öffentliche, prüfbare Gegenüberstellung je Einrichtung – zusätzliche Fördermittel (Qualitätsbonus 693 €/Kind/Jahr, Teamkräfte- und Funktionsstellenpauschale) versus tatsächliche Mehrkosten. So fordern es KEG Bayern und die Illertisser Elternbeiräte; das StMAS selbst sagt, der Wegfall sei „kein Anlass für höhere Elternbeiträge" – die Eltern sollen die Entscheidung der Träger einordnen können.
|
||||
2. **Ausgleich ist machbar:** München (fortgeführte Ermäßigungen bis 31.08.2027), Ingolstadt (städtische Einrichtungen), Hollfeld (60 €) zeigen: Ganz oder teilweise weitergeben geht. Augsburg und Nürnberg begrenzen (keine/verschobene Erhöhung). Für eine kleine Großgemeinde mit ~500 Kita-Kindern ist auch eine **Teilkompensation** ein glaubhafter Mittelweg.
|
||||
3. **Wer wirklich zahlt:** Die Betroffenen sind Selbstzahler-Familien ohne Förderanspruch. § 90 Abs. 4 SGB VIII fängt Geringverdiener auf – nicht die Mittelschicht. Der GEB Bayreuth warnt: Anträge verlagern die Kosten zur klammen Kommune zurück.
|
||||
4. **Erwerbs- und Bildungsargument:** Ohne Entlastung lohnt Teilzeit vor allem für Mütter nicht mehr (Altersvorsorge!), Kindergartenplätze könnten leer bleiben, „Korridorkinder" verlieren ein Förderjahr – mit Folgen für Schulfähigkeit, Fachkräftebedarf und demografische Entwicklung im ländlichen Raum (Illertisser Argumentation).
|
||||
5. **Dialog und kommunale Entlastung:** Ernsgaden und Illertissen zeigen den Weg: Unterschriften, Appell, Gesprächsangebot – konfrontativ ist niemand aufgetreten. Nach der Trägerentscheidung liegt der Hebel bei der Kommune: Übergangsleistung (München-Modell), Teilkompensation (Hollfeld: 60 €), Anhebung Geschwisterermäßigung oder Übernahme des Verpflegungsgeldes (KEG-Empfehlung).
|
||||
6. **Hebel nach oben:** Städtetag („springt zu kurz"), LAG Ö|F, kath. Kitaverband und KEG fordern Dynamisierung des Qualitätsbonus und ehrliche Kommunikation. Bürgermeister und Landrat können das Thema über Städtetag/Landtagsabgeordnete nach München tragen.
|
||||
|
||||
## Kontext Freystadt / Neumarkt (Großgemeinde)
|
||||
|
||||
- **Fünf Kitas, ~500 Kinder:** Kath. Kita Peter und Paul (Freystadt, Bistum Eichstätt), Evang. Kindergarten Freystadt (ELKB), **Kinderhaus St. Anton (Möning, Kath. Kirchenstiftung)**, Evang. Kita Sulzkirchen (ELKB), Kita St. Stephanus (Thannhausen). Zentrale Online-Bedarfsanmeldung über die Stadt Freystadt (01.02.–15.03. fürs Folgejahr).
|
||||
- **Ansprechpartner:** Bürgermeister Tobias Maget, Stadt Freystadt, Marktplatz 1, 92342 Freystadt, Tel. 09179 9490-0, E-Mail info@freystadt.de · Landrat Martin Meier, Landratsamt Neumarkt i.d.OPf., Nürnberger Straße 1, 92318 Neumarkt i.d.OPf., Tel. 09181 470-0.
|
||||
- **Haushalt 2026 (Stadt Freystadt):** Verwaltungshaushalt 24.903.750 € + Vermögenshaushalt 11.549.250 € = **Gesamthaushalt ≈ 36,45 Mio €** (Haushaltssatzung beschlossen 13.01.2026, Mitteilungsblatt 06/2026); Breitband 2026: 395.000 € (Mittelbayerische, 17.12.2025); SPD-Stadtrat Großhauser attestiert hohe Schuldenlast, steigende Kreisumlage und in Projekte gebundene Mittel. **Brief-Argument:** Volle Kompensation ≈ 420.000 €/Jahr (≈350 Kindergartenkinder × 100 € × 12) ≈ 1,2 % des Gesamthaushalts; Teilkompensation 50 € ≈ 210.000 € ≈ 0,6 % – im Gesamtvolumen eine Frage der Prioritäten, nicht der Größenordnung. (Kinderzahl ~350 = Schätzung aus ~500 Kita-Kindern; vor Versand mit realer Zahl prüfen.)
|
||||
- **Status Träger-Entscheidungen Freystadt:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 € ab 01.01.2027 **von den Eltern getragen werden** (Kenntnisstand Elternbeiräte, 11.11.2026; keine öffentliche Bekanntmachung einer kommunalen Ausgleichsleistung). Der Brief-Aufhänger ist entsprechend angepasst: nicht „Transparenz vor Beschluss", sondern **kommunale Entlastung nach der Trägerentscheidung** – Übergangsleistung, Teilkompensation, Entlastung Verpflegungsgeld, § 90-4-Information.
|
||||
- **Eigene Vorarbeit:** Elterninfo „Der 100-Euro-Kita-Zuschuss ändert sich ab 2027 – Möglichkeiten zur finanziellen Entlastung" (2 Seiten A4, Fassung 2, inkl. Arbeitgeberzuschuss § 3 Nr. 33 EStG, Musteranschreiben, Quellen) – als **Anlage** zum Brief geeignet.
|
||||
- Die Stadt Freystadt ist umliegender Jugendhilfe-/Zuschussebene via Defizitverträgen mit den kirchlichen Trägern verbunden; das Landratsamt ist Jugendamt (§ 90-4-Übernahmen) und überörtliche Fürsprecher-Ebene.
|
||||
|
||||
## Neue Belege (11.11.2026): IfKM-Fördermittelrechnung + Landkreis-Vorlage
|
||||
|
||||
### IfKM „Vergleich der Gesamtförderung 2026–2029" (via Möning zugeleitet)
|
||||
|
||||
- Ersteller: IfKM Institut für KiTa-Management GmbH (Lerchenstraße 10, 83129 Hoslwang). Einrichtung auf dem Blatt **nicht benannt** — Zuschusssumme 71.300 € ≈ 59–60 Kindergartenkinder, vermutlich Kinderhaus St. Anton (vor jeder Zitierung bestätigen!). Rechnerische Orientierung ohne Gewähr; Beträge unter Haushaltsvorbehalt (Bewilligungsverfahren).
|
||||
- **Tabelle (2026 → 2027/2028/2029):** Buchungsstellen 517.227 € (konstant) · Qualitätsbonus 44.320 → 114.645 → 140.952 → 141.869 € · Vorkurse 2.153 € (konstant) · Zusatzförderung U3 9.227 → 0 € · U3-Bundesmittel 10.306 → 0 € · Assistentenkräfte 41.063 → 0 € · Personalbonus 25.000 → 0 € · Teamkräftepauschale 0 → 29.023 → 40.817 € · Elternbeitragszuschuss 71.300 → 0 € · **Gesamtförderung 720.596 → 663.048 → 701.149 → 702.060 €.**
|
||||
- Beige-Box (IfKM-Wortlaut): „Elternbeitragszuschuss ab 2027: Ersatz durch die Eltern. Ohne Ersatz entfällt der Zuschuss ab 2027 ersatzlos; die Elternbeiträge bleiben unverändert." → Gebührentabelle unangetastet, Zahlbetrag +100 €/Monat ohne formalen Erhöhungsbeschluss („Erhöhung durch die Hintertür", GEB-Bayreuth-Kritik bestätigt).
|
||||
- **Kernrechnung (entscheidend):** Öffentliche Förderung *ohne* Zuschuss steigt 2027 um **+13.752 €** (649.296 → 663.048 €); einzige wegfallende Linie ist der Zuschuss (71.300 €), den die Eltern 1:1 ersetzen. Einkommensposition der Einrichtung bei voller Elternbelastung: **2027 +13.752 €, 2028 +51.853 €, 2029 +52.764 € über dem Niveau 2026.** Von den 71.300 € der Eltern sind nur 57.548 € (2027) bzw. 19.447 €/18.536 € (2028/29) echte Lückendeckung — der Rest ist Überschuss. Äquivalent: statt +100 € hätte eine Erhöhung um 80,71 €/Kind/Monat (2027; 2028/29: 26–27 €) gereicht, um die Einrichtung exakt auf 2026-Niveau zu halten.
|
||||
- **Stadt-Kosten für Vollarrogation (Eltern + Einrichtung komplett):** nur die Förderlücke — hochgerechnet auf ~420.000 € Nominalbelastung: **~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %)**. Extrapolation indikativ (Häuser-Struktur je nach U3-Anteil/Buchungszeiten/Personalhistorie verschieden); belastbar ist das Verhältnis nur für die untersuchte Einrichtung.
|
||||
|
||||
### Landkreis-Vorlage „Zusammensetzung der Fördermittel für Kitas" (23.10.2026, Fuß „[32] - [Maget]")
|
||||
|
||||
- Landkreis Neumarkt; Ziele der Reform: Entbürokratisierung + **„finanzielle Entlastung der Gemeinden"**; Ausgaben Kinderbetreuung Bayern 1,57 Mrd. € (2008) → 7,36 Mrd. € (2025) = **+369 %**.
|
||||
- Mittelfluss: Freistaat (Landratsämter) → **Kommune** → Träger; Förderformel (Basiswert + Qualitätsbonus) × Gewichtungsfaktor × Buchungszeitfaktor, „zzgl. kommunaler Anteil" — die Stadt ist bereits Finanzierungskanal und Co-Finanzierer (stärkt das Defizitvertrag-Argument gegen die Einordnung als „neue freiwillige Maßnahme").
|
||||
- Grafiken bisher vs. ab 2027 (Konsolidierung auf Betriebskostenförderung + Qualitätsbonus + Teamkräfte), Callout „+25 %", „mehr Flexibilität", „weniger bürokratische Anträge".
|
||||
- **Bedeutung:** Spätestens seit 23.10.2026 ist die Stadt (Vermerk „Maget") offiziell mit der „+25 %/Geld bleibt im System"-Darstellung versorgt — die „kein Budget"-Aussage fiel mit dieser Kenntnis. Vor öffentlichem Zitieren prüfen, ob die Vorlage über das Ratsinformationssystem öffentlich ist.
|
||||
|
||||
### Gemeinsames Träger- und Stadt-Schreiben an die Eltern (November 2026, via Elternbeirat zugeleitet)
|
||||
|
||||
- Die Träger aller fünf Kitas **und die Stadt Freystadt** haben die Eltern gemeinsam informiert: Abzug des 100-€-Zuschusses entfällt ab 01.01.2027 (im Schreiben wörtlich eingeräumt: „zusätzliche finanzielle Belastung von 100 € pro Monat und Kind"); reguläre Elternbeiträge bis Ende des Kindergartenjahres 2027/28 (31.08.2028) unverändert; keine Personalkürzungen; Träger „auf die Zahlung der regulären Beiträge in voller Höhe angewiesen"; kindbezogene Grundförderung steige, aber Gesamtsumme der Fördergelder verringere sich „spürbar"; Hinweis auf § 90 Abs. 4 SGB VIII (wirtschaftliche Jugendhilfe, Amt für Jugend und Familie des Landratsamts).
|
||||
- **Konsequenz:** Die +100-€-Belastung der Eltern ist von den Trägern UND der Stadt offiziell mitunterzeichnet; „kein Budget" (Stadtrat, intern) ist damit eine gemeinsam geteilte öffentliche Position. Frontale Haushalts-Kritik im Erstschreiben hätte auf eine geschlossene Front getroffen.
|
||||
- **Strategie umgestellt (Nutzerentscheid 13.11.2026):** **Dialogbrief zuerst** — deeskalierendes Schreiben an Stadt UND Träger, Fokus auf Reform-Auswirkungen, Nachvollziehbarkeit der Erhöhungen, Entlastungsprüfung und soziale Verträglichkeit; zentrale Bitte um gemeinsames Gespräch noch im November 2026. Alternativ-Entwurf von Yvonne Regnet wortgetreu übernommen und normkonform gesetzt (DIN 5008:2020-03 Form A).
|
||||
|
||||
### Neue Dokumente (13.11.2026)
|
||||
|
||||
- **`brief-stadt-traeger.html/.md/.pdf`** — Dialogbrief nach DIN 5008 Form A: Anrede an Bürgermeister Maget, Vertreter der Stadt Freystadt und Vertreter der Einrichtungsträger; fünf Punkte (Transparenz der Finanzierung, Nachvollziehbarkeit der Beitragserhöhungen, Prüfung von Entlastungsmöglichkeiten, soziale Verträglichkeit, zeitnaher gemeinsamer Austausch — Gespräch idealerweise noch im November 2026); Unterschriftentabelle der fünf Vorsitzenden; bewusst OHNE Haushaltszahlen, Kommunen-Vergleiche und IfKM-Argumente.
|
||||
- **`gespraechsagenda-elternbeiraete.html/.pdf`** — internes Arbeitspapier („Nicht versenden"): Ausgangslage inkl. Träger-Stadt-Schreiben, IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 € = 1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6 Fragen fürs Gespräch, Verhaltensregeln (ruhig fordernd, Zahlen erst auf Nachfrage, IfKM intern), Notizfeld.
|
||||
- **`brief.html/.pdf`** (fordernde DIN-5008-Fassung mit Haushaltsabsatz, Defizitdeckung, Hollfeld-Vergleich, vier-Wochen-Frist) und **`brief-gestaltet.html/.pdf`** bleiben als Material für ein Folge-/Nachschreiben archiviert.
|
||||
|
||||
## Quellen (Auswahl, abgerufen 11.11.2026)
|
||||
|
||||
- StMAS, Beitragszuschuss-FAQ: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/beitragszuschuss.php
|
||||
- StMAS, Finanzierung/BayKiBiG-Reform: https://www.stmas.bayern.de/themen/kindertagesbetreuung/finanzierung/
|
||||
- LEB-Stellungnahme (Verbändeanhörung): https://www.landeselternbeirat.bayern.de/imperia/md/content/stmas/landeselternbeirat/stellungnahme_leb_baykibig-reform.pdf
|
||||
- LAG Ö|F-Stellungnahme 17.04.2026: https://www.lagoefw.de/wp-content/uploads/2026/04/2026-04-17_LAGOeF_SN_BayKiBiG.pdf
|
||||
- Verband kath. Kitas, Stellungnahme April 2026: https://www.kath-kita-bayern.de/fileadmin/Kita-Verband/XFooter_Presse_Medien/XDokumente_Newsletter/2026-04-Stellungnahme_Verband_zur_BayKiBiG-Reform_.pdf
|
||||
- Landtag, Sozialausschuss-Anhörung: https://www.bayern.landtag.de/aktuelles/aus-den-ausschuessen/sozialausschuss-anhoerung-zum-baykibig/
|
||||
- CSU-Landtagsfraktion: https://csu-landtag.de/presse/lokal/2485/…
|
||||
- KEG Bayern: https://www.keg-bayern.de/news/presse/kinder-sind-unsere-zukunft-sie-duerfen-nicht-zur-haushaltssache-werden
|
||||
- SZ „Es geht um 100 Euro": https://www.sueddeutsche.de/bayern/bayern-kindergarten-gesetz-reform-zuschuss-scharf-kritik-krause-muenchen-li.3485741
|
||||
- BR24 „Kein 100-Euro-Zuschuss mehr": https://br.de/nachrichten/bayern/kein-100-euro-zuschuss-mehr-kita-eltern-fordern-entlastung,VKAbnnS
|
||||
- Bayreuther Tagblatt „100 Euro mehr ab 2027" (GEB): https://bayreuther-tagblatt.de/nachrichten-meldungen-news/kita-in-bayreuth-100-euro-mehr-ab-2027/
|
||||
- München „BayKiBiG-Reform: Umsetzung in Münchner Kitas": https://stadt.muenchen.de/news/baykibig_reform_muenchner_kitas.html
|
||||
- Illertisser Elternbeiräte-Appell: https://de.headtopics.com/news/bitte-setzen-sie-sich-fur-uns-ein-elternbeirate-aus-89763692
|
||||
- Ernsgaden-Petition: https://www.openpetition.de/petition/online/ernsgadener-familien-entlasten-kita-beitragszuschuss-erhalten
|
||||
- Kolbermoor-Petition: https://weact.campact.de/petitions/kinderbetreuung-muss-bezahlbar-bleiben-nein-zur-erhohung-der-kita-beitrage
|
||||
- change.org-Petition: https://change.org/p/100-euro-kita-zuschuss-f%C3%BCr-familien-auch-nach-2027-verbindlich-sichern
|
||||
- Kommunale Seiten: augsburg.de (kitakosten2027) · regensburg.de (nachgefragt) · kaufbeuren.de · ratsinfo.erlangen.de (V/516) · raubling.de · feldkirchen-westerham.de · lohr.de (4. Änderungssatzung) · coburg.de (Elternzuschuss) · egling.de
|
||||
- kitazentrale.de, BayKiBiG einfach erklärt: https://kitazentrale.de/wissen/baykibig/
|
||||
- Stadt Freystadt, Kindergärten-Übersicht: https://freystadt.de/freystadt/bildung-soziales/kindergaerten/
|
||||
- Bürgerservice Freystadt, Elternbeitragszuschuss: https://buergerservice.freystadt.de/verwaltung/stadtverwaltung/leistungen/kommunale-kindertageseinrichtung-zahlung-der-benutzungsgebuehren-elternbeitraege-748
|
||||
- Landkreis Neumarkt (Landrat Martin Meier): https://www.landkreis-neumarkt.de/
|
||||
|
||||
## Related
|
||||
|
||||
- Solution Doc `docs/solutions/workflows/2026-11-08-elterninfo-kindergartenzuschuss.md` — Elterninfo (§ 3 Nr. 33 EStG) als Brief-Anlage
|
||||
- Arbeitsverzeichnis `~/workspace/elterninfo-kita-zuschuss/` — Elterninfo-Dateien (Anlage)
|
||||
- [[entities/team-structure]] — Nutzerkontext Elternbeirat Kinderhaus St. Anton
|
||||
@@ -1,28 +1,24 @@
|
||||
# User Drift Report — 2026-10-19
|
||||
# User Drift Report — 2026-11-16
|
||||
|
||||
**Recent window:** Last 14 days (817 msgs)
|
||||
**Baseline:** Previous 90 days (7645 msgs)
|
||||
**Recent window:** Last 14 days (1346 msgs)
|
||||
**Baseline:** Previous 90 days (5482 msgs)
|
||||
|
||||
## Detected Drifts
|
||||
|
||||
- **message_length**: Messages 166% longer (baseline: 1943 chars → recent: 5171)
|
||||
- **frustration_increase**: Frustration markers rose from 6.7% to 23.4%
|
||||
- **correction_increase**: Corrections increased from 9.7% to 27.8% — preferences may have shifted
|
||||
- **new_focus**: New dominant topics: monitoring, security
|
||||
- **declining_focus**: Topics fading from focus: proxmox, ceph
|
||||
- **message_length**: Messages 130% longer (baseline: 3198 chars → recent: 7352)
|
||||
- **new_focus**: New dominant topics: k8s, ai_ml
|
||||
- **declining_focus**: Topics fading from focus: monitoring, security
|
||||
|
||||
## Signal Summary
|
||||
|
||||
| Metric | Baseline | Recent |
|
||||
|---|---|---|
|
||||
| Avg msg length | 1943 | 5171 |
|
||||
| Frustration rate | 6.7% | 23.4% |
|
||||
| Correction rate | 9.7% | 27.8% |
|
||||
| Action-first | 1.6% | 2.8% |
|
||||
| Top topics | ceph, proxmox, k8s | security, backup, gitops |
|
||||
| Avg msg length | 3198 | 7352 |
|
||||
| Frustration rate | 12.4% | 14.2% |
|
||||
| Correction rate | 19.7% | 19.7% |
|
||||
| Action-first | 1.6% | 2.6% |
|
||||
| Top topics | proxmox, security, ceph | ai_ml, ceph, k8s |
|
||||
|
||||
## Recommendations
|
||||
|
||||
- Investigate friction sources → streamline common workflows
|
||||
- Review recent corrections for pattern → update USER.md preferences
|
||||
- Consider adding domain knowledge for new focus areas
|
||||
|
||||
@@ -0,0 +1,23 @@
|
||||
# Haus — Grundrisse EG/OG
|
||||
|
||||
**Quelle:** Fotos vom Owner, hochgeladen 2026-11-01 (Originale in `assets/haus/`).
|
||||
|
||||
| Datei | Geschoss |
|
||||
|---|---|
|
||||
| `assets/haus/grundriss-eg.jpg` | Erdgeschoss |
|
||||
| `assets/haus/grundriss-og.jpg` | Obergeschoss |
|
||||
|
||||
## Raum-Nutzung (Owner-Angabe 2026-11-01, gilt für OG)
|
||||
|
||||
| Raum laut Plan | Tatsächliche Nutzung |
|
||||
|---|---|
|
||||
| Schlafen | **Büro Sarah** |
|
||||
| Kind 2 | **Schlafzimmer** (Eltern) |
|
||||
| Kind 1 | **Cleos Kinderzimmer** |
|
||||
|
||||
EG: Nutzung noch nicht benannt.
|
||||
|
||||
## Status
|
||||
|
||||
- Automatische Bildauswertung (Räume/Maße aus Plans) am 2026-11-01 **fehlgeschlagen** — Vision-Backend 502/WASM-Error. Bei nächster Gelegenheit nachziehen.
|
||||
- Kontext: Grundrisse dienen als Basis für Raum-/Möbelplanung (siehe Skills `furniture-selfbuild-design`, `diy-furniture-design`).
|
||||
@@ -0,0 +1,41 @@
|
||||
# Samsung QN90A (Wohnzimmer-TV)
|
||||
|
||||
**Modell:** GQ65QN90AATXZG · Tizen · EU · DUID uuid:6499ad2f-1417-432a-868c-26b2404c47ba
|
||||
**Netz:** 10.0.40.104 (WLAN, MAC 10:2b:41:55:7e:5e; DHCP-Reservation offen) · res/uid wechselnde IP!
|
||||
**Stand:** 2026-11-01 — gerootet + persistent gehärtet via Vetro v0.3.5
|
||||
|
||||
## Security-Status
|
||||
- **Vetro v0.3.5** installiert (Partner-Zertifikat: `~/.config/Apps2Samsung/Certificate/` auf hermes-agent-01)
|
||||
- Vetro-Service rootet den TV **bei jedem Boot selbst** (agent uid=0) → kein manueller Root mehr nötig
|
||||
- Dashboard: `http://10.0.40.104:8099` — **unauthentifiziertes HTTP**, nur trusted LAN, nie exponen
|
||||
- Developer Mode: Host-IP steht auf **127.0.0.1** → SDB 26101 von außen bewusst geschlossen
|
||||
|
||||
## Privacy-Härtung (verified 2026-11-01)
|
||||
- DNS-Filter: 21 Telemetrie-Domains (samsungads/samsungacr/samsungqbe/atlas) → 0.0.0.0, Vetro restauriert bei jedem Boot
|
||||
- Voice-Stack komplett aus: `voice-all` (31 Apps) + `tracking-all`/ACR (18 Apps), Boot-Flags false
|
||||
- HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0 — schützt die Root-Route!)
|
||||
- Boot-Flag-Backup: `~/workspace/tv-privacy-backup-20261101.csv` (431 Flags, Host + TV)
|
||||
|
||||
## Nie anfassen
|
||||
- `org.tizen.ambientapp` (Boot-Loop-Gefahr)
|
||||
- `com.samsung.tv.coba.adagent` (Smart-Hub-Abhängigkeit)
|
||||
- Vetro-Service-Flags (`vetrotvapp.svc` onboot/autorestart müssen true bleiben)
|
||||
|
||||
## App-Installation (Fladder-Playbook, verifiziert 2026-11-01)
|
||||
DevMode „Host PC IP" = vconf-Key **`db/sdk/develop/ip`** (Buxton-DB `/var/lib/buxton2/system.db`) — ohne TV-Menü umschaltbar via Vetro-Root:
|
||||
1. `curl -X POST http://10.0.40.104:8099/exec -d '{"cmd":"vconftool set -f -t string db/sdk/develop/ip 10.0.30.230"}'`
|
||||
2. `sdb kill-server && sdb start-server && sdb connect 10.0.40.104:26101`
|
||||
3. `a2s/apps2samsung-cli install "<App>" --tv 10.0.40.104 --local-ip 10.0.30.230 --yes --partner` (Partner-Zertifikat lokal, kein Login)
|
||||
4. **Zurück auf 127.0.0.1** (`vconftool set … 127.0.0.1`) + `sdb kill-server` → SDB extern wieder zu
|
||||
Pitfalls: ohne `--partner` wartet A2S 5 min auf Samsung-Login; `pkgcmd -i` direkt auf dem TV scheitert an fehlender Signatur (error -12); A2S hält während des Laufs den SDB-Slot.
|
||||
Installiert: **Fladder v0.8.1** (`nl.jknaapen.fladder`, Jellyfin-Client) — Server-URL im ersten App-Start konfigurieren.
|
||||
|
||||
## Known Issues
|
||||
- IP volatil (.100→.104 nach Power-Cycle) — Reservation am Router offen
|
||||
- QN90A bootet nach Stromtrennung in Standby mit WLAN getrennt (rote LED)
|
||||
- sdbd-Client-Slot exklusiv: Während Apps2Samsung-Installer läuft, keine Root-Sessions möglich
|
||||
|
||||
## Related
|
||||
- Skill: samsung-tizen-tv-administration, security-exposure-audit
|
||||
- Solution Doc: ~/docs/solutions/integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md
|
||||
- Offen: Debloat-Menü, individueller lokaler Hintergrund (Ambient)
|
||||
@@ -15,14 +15,17 @@
|
||||
| `patterns/` | Rekurrente Failure-Mode Patterns + Skill-Impact Tracker |
|
||||
|
||||
## Entities
|
||||
- [[entities/samsung-qn90a]] — Wohnzimmer-TV, gerootet, Vetro v0.3.5, Privacy-Stack (11/2026)
|
||||
- [[entities/infrastructure]] — Physikalische Hardware, Cluster-Übersicht
|
||||
- [[entities/team-structure]] — CEO + Agents Modell (Nutzerprofil Dominik integriert)
|
||||
- [[entities/finanzen-immobilien]] — Baufinanzierung, Tegernheim, Mintos (aus L0 ausgelagert 10/2026)
|
||||
- [[entities/email-system]] — Himalaya, iCloud, 12 Domains
|
||||
- [[entities/health-fitness]] — Abnehm-Journey, Oura-Telemetrie, Wearables
|
||||
- [[entities/haus-grundrisse]] — Grundrisse EG/OG, Raum-Nutzung (Büro Sarah, Schlafzimmer, Cleo)
|
||||
|
||||
## Systems
|
||||
- [[systems/proxmox-cluster]] — PVE 9.2.20, 8 Nodes, Fluent Bit
|
||||
- [[systems/mgmt-runner]] — VM 200 (10.0.30.124): Ops-VM, Root-Disk auf HDD-Pool, keine Builds
|
||||
- [[systems/ceph-cluster]] — 17 OSDs, v20.2.4, 4 MONs, bekannte Probleme
|
||||
- [[systems/rke2-kubernetes]] — 6 Nodes, ArgoCD, CNPG, Workloads
|
||||
- [[systems/galera-maxscale]] — 3 Galera + 2 MaxScale, VIP .70
|
||||
@@ -35,6 +38,8 @@
|
||||
- [[systems/noris-ai]] — ai.noris.de LLMs, Embeddings, Image Gen
|
||||
- [[systems/frigate]] — NVR v0.18 CT151, Kameras, MQTT, HA Automation
|
||||
- [[systems/homeassistant]] — HAOS, MQTT, Automations, Notify
|
||||
- [[systems/heizung-viessmann]] — WP CU401B S, Heizkurve 0,4/−7, 11 free@home-Zonen, Sollwerte 24/23/21, WW-Peak-Automationen (11/2026)
|
||||
- [[systems/earnie-hems]] — Earnie HEMS (Add-on v2.7.0, installiert/gestoppt), Vergleich vs. EMHASS, CPU-Blocker kvm64
|
||||
- [[systems/evcc-wallbox]] — evcc-Addon VM106, SMA Wallbox via HA-Bridge, alwaysCharge-Incident 10/2026
|
||||
- [[systems/paperless]] — Dokumentenmgmt, OIDC, OCR via noris AI
|
||||
- [[systems/sarah-hermes]] — VM107, zweites Hermes für Sarah (WebUI :8787, TG geplant)
|
||||
@@ -49,12 +54,14 @@
|
||||
- [[systems/sabnzbd]] — Usenet-Downloader + VAAPI AppleTV-Converter, VIP .206 (8080+SMB 445), Guard-Bug-Lesson ffprobe-Quoting (10/2026)
|
||||
- [[systems/jellyfin]] — Media-Server 12.2, VIP .209:8096, ns sabnzbd, RO-Media-Mount, 12.2-API-Fallen (Auth-Header, Startup-User, Task-Routen)
|
||||
- [[systems/agent-fleet]] — Multi-Agent-Plattform: Bifrost-LLM-Ingress VIP .210:8080 (vllm/release-only-Policy), CNPG, Beacon v0, Phase-0-Plan (10/2026)
|
||||
- [[systems/technitium-dns]] — LAN-Resolver + Adblock: CT150/CT153 Cluster, VIP .149 (keepalived), DHCP-DNS via Omada (11/2026)
|
||||
|
||||
## Concepts
|
||||
- [[concepts/network-architecture]] — 10.0.X.Y Schema, VLANs
|
||||
- [[concepts/gitops-workflow]] — IaC → Git → ArgoCD → Verify
|
||||
- [[concepts/credential-policy]] — 1Password, ESO, keine Secrets in Git
|
||||
- [[concepts/email-organization]] — Rechnungs-Organizer, Himalaya
|
||||
- [[concepts/baykibig-reform-2027]] — Wegfall 100-€-Beitragszuschuss 2027: Reaktionen, Kommunen-Übersicht, Brief-Basis Freystadt
|
||||
- [[concepts/memory-layer-architecture]] — 7-Schichten Memory Trennungsregeln
|
||||
- [[concepts/user-drift-report]] — Monatlicher Drift-Report (Kommunikationsanalyse)
|
||||
|
||||
@@ -82,6 +89,9 @@
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] — PCI-Reset→lvchange→chown-Falle, Weight-Management bei Reintegration (PAT-014)
|
||||
- [[patterns/systemd-path-blindness]] — Exit-127-Klasse: ~/.local/bin unsichtbar im systemd-PATH, trap-EXIT-Cleanup (PAT-016)
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — Modell- vs. Infra-Defekt: code=000 bei erfolgreichem Connect (PAT-015)
|
||||
- [[patterns/automatik-erfolg-kein-zustellbeweis]] — Queue mit zwei Validierungsschichten: `accepted` ≠ zugestellt; Sender statt Typ als Diskriminator (PAT-018)
|
||||
- [[patterns/watchdog-alarm-an-ausgefallenes-ziel]] — Alarm an das überwachte Objekt selbst; Erkennen ohne Remediation, `PHASE Error` ohne Reconcile (PAT-019)
|
||||
- [[patterns/pbs-datastore-full-root-reserve]] — PBS meldet ENOSPC bei <100 %: ext4-Reserve (5 %) für den `backup`-User unerreichbar + Dedup lässt „erfolgreiche" Backups ohne neue Chunks durch (PAT-020)
|
||||
- [[patterns/skill-impact]] — Skill Modification Audit Trail
|
||||
|
||||
## Memory Layer Architektur
|
||||
|
||||
@@ -1,5 +1,365 @@
|
||||
# Memory Log
|
||||
|
||||
## [2026-11-18] recipe-scraper-cron | Crash-Rezidiv nach 4 Tagen, Retry OK, No-Op — Störung täglich, nur Schwere variiert
|
||||
- **Lauf 1 (06:00:29):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. Identischer Fehlerpfad wie 11-10 bis 11-13; erstes Rezidiv nach 4 Tagen.
|
||||
- **Lauf 2 (06:01:53):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. DB unverändert bei 200.000 = TARGET.
|
||||
- **Diagnose (verifiziert):** TCP .70:3306 open; `SELECT 1` + COUNT 200.000 ab ~06:01:45 instant (Node mariadb-01) — Fenster heute kürzer als 11-13 (>122 s).
|
||||
- **Schlüsselbefund — "crashfreie" Tage 11-14 bis 11-17 waren keine:** `scraper_v8.log` Gesamtlaufzeiten 55/37/37/60 s = COUNT-Dauer ~30–55 s (vor `db_count()` laufen nur lokale Loads) → Störung im 06:00-Fenster TÄGLICH, Crash nur wenn COUNT >60 s. "Intermittenz" war falsch — die 4 Tage waren Grenzfälle.
|
||||
- **Root-Cause weiter offen:** Täglicher DB-Infra-Job ~05:45–06:05 UTC (mariabackup/ANALYZE/Timer auf Galera-VMs) Hauptverdächtiger. **FIX weiter offen (Owner-GO):** `read_timeout=60`→`300` (Scraper Zeile ~89) oder Cron auf 06:30. Nichts ausgeführt — Auftrag war nur ausführen & berichten.
|
||||
- **Learning-Cycle:** SolDoc-Nachtrag 11-18 im 11-13-Doc; Wiki `systems/recipe-scraper.md` (+Status 11-18); Hindsight-Indexierung via HTTP-API (`POST /v1/default/banks/hermes/memories`, compact Summary + Tags, `success:true`; Recall-Test: neue Fakten auffindbar, semantic 0.65). Auch notiert: Cron-Task-Beschreibung "77.000+" seit 11-08 veraltet (DB: 200.000).
|
||||
|
||||
## [2026-11-16] Büro-Licht: Schwelle auf 7000 lx (Outdoor-Proxy stößt an Grenzen)
|
||||
- **Vorgabe:** „es ist aktuell dunkel genug, dass das Licht angehen sollte" bei Outdoor **5.900–6.400 lx** → Schwelle 1.500 → **7.000 lx** (Gate + `dunkel`-Trigger), Nachlauf bleibt 2 min.
|
||||
- **A/B bei praktisch gleicher Helligkeit:** Präsenzflanke 09:11:26 (~6.400 lx, Schwelle 1.500) → Licht bleibt aus (`choose/3`); Flanke 09:15:49 (~5.948 lx, Schwelle 7.000) → Licht an 09:15:50 (`choose/0/sequence/0`). Vorher war das Licht seit 07:11:36 aus (Morgen war 13–20k lx).
|
||||
- **Erkenntnis:** Outdoor-Lux ist nur ein grober Proxy für die Büro-Helligkeit (Nordseite/trüb). Dritte Schwellen-Anpassung in drei Tagen → echte Lösung = Indoor-Lux (BH1750 am Büro-ESP32) oder LD2410-Hold-Timeout; als Optionen im Wiki notiert.
|
||||
- **Sensor-Flapping:** Präsenz-Bursts 20–60 s mit Lücken bis 6 min → 2-min-Nachlauf lässt das Licht in Lücken aus. Wiki `systems/homeassistant.md` aktualisiert.
|
||||
|
||||
## [2026-11-15] storage-fix | Offsite-PBS 800→980 GiB extendet, 208 GiB frei, Push-Sync wieder grün
|
||||
- **Ist:** `noris_offsite` (PBS-VM 213.95.54.60) war **100 % voll** (ext4 787 GiB, 747 belegt, 0 frei); Push-Sync `push-offsite` (CT119 → offsite, 03:00) scheiterte seit **20.10.** mit `ENOSPC` (os error 28). Seitdem kamen nur Snapshots mit Dedup-Volltreffern durch — „grüne" Snapshots 12.–14.11. neben echten Lücken.
|
||||
- **Ursache 1:** Cinder-Volume `pbs-data` 800 GiB (Dimensionierung 07/2026) bei ~180 GiB/Monat Wachstum. **Ursache 2:** ext4-Reserve 5 % (40 GiB) ist für den PBS-`backup`-User unerreichbar → df „0 frei" bei 94,9 %.
|
||||
- **Fix (Owner-GO, 0 Downtime):** `openstack volume set --size 980` (`OS_VOLUME_API_VERSION=3.42` nötig, OSC 10.1 kennt kein `volume extend`) → `rescan` + `resize2fs` (787→964 GiB) + `tune2fs -m 1` (-32 GiB Reserve). Danach **208 GiB frei (79 %)**, PVE: 77,46 %. Catch-up-Sync 14:17 gestartet (~3,5 MB/s WAN).
|
||||
- **Offen:** Projekt-Quota 1000 GiB (820 belegt) = harter Deckel → **Quota-Erhöhung bei noris** auf 2–3 TiB nötig, sonst in ~5–6 Wochen erneut voll. Nebenbefund: nächtlicher vzdump endet mit `job errors`, weil VM 991 auf nicht existentes RBD `vm-300-disk-0-test` zeigt.
|
||||
- **Docs:** `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern **PAT-020** (`patterns/pbs-datastore-full-root-reserve.md`), Wiki `systems/proxmox-cluster.md` (Backup-Storage-Sektion), Skill-Ref `openstack-offsite-pbs-2026-07.md` ergänzt.
|
||||
|
||||
|
||||
## [2026-11-15] ceph-status-audit | MON 4→3, Pool-Tabelle korrigiert, MON_DISK_LOW n5pro
|
||||
- **Strukturell:** `mon.proxmox4` am 15.11. 10:22 entfernt (Service disabled, monmap e137) → 3 MONs (proxmox5/ms-a2-1/n5pro), Quorum 3/3. MGR aktiv seit ~2 Wochen auf **ms-a2-1** (nicht mehr n5pro). Vorher 05:15 kurzer MON_DOWN (n5pro).
|
||||
- **Health:** HEALTH_WARN nur Disk-Rauschen — 7 HDD-OSDs `BLUESTORE_SLOW_OP_ALERT` (chronisch seit ≥08.11., 7–9 OSDs), osd.1/6/11 `DB_DEVICE_STALLED_READ` (DB auf demselben HDD-Spindle, 5 s read-Timeout). 533/533 PGs clean, keine Recovery.
|
||||
- **Wiki-Korrekturen (`systems/ceph-cluster.md`):** Pool-Tabelle neu aus `ceph df detail` — **`media_ec` (EC 4+1) und `media_meta` existieren nicht mehr**, dafür cephfs_ssd_data/meta + default.rgw.*; 13 Pools/533 PGs. osd.18 → n5pro (nicht ubuntu), osd.17 = 2.7 TiB, osd.3 via CRUSH-Weight 0.05 (Reweight 1.0). Kapazität 14/33 TiB (43 %), Engpass osd.7 bei 89.8 %, Pool-Headroom ~0.8 TiB. Versions-Skew: 3 OSDs auf 20.2.5.
|
||||
- **Erledigt 15.11. (Owner-GO):** (a) n5pro aufgeräumt → `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) + `ceph crash archive-all && prune 30` (285 → 0 Reports) → Root-FS 67 % → **51 %**, MON_DISK_LOW aus health detail verschwunden. Lokale Daemon-Crash-Dumps bleiben (n5pro 276 M, ubuntu 520 M, 07.08.). (b) MON 4→3 ist **gewollt** (Owner bestätigt): Zielzustand 3 MONs, proxmox4 bleibt reiner OSD-Host. (c) osd.7 (89.8 %) `crush reweight 0.931 → 0.75` → 15 PGs remapped, Backfill ~30 MiB/s, MAX AVAIL cephfs_data 864 GiB → 1.1 TiB, hdd_disk 852 GiB → 1.0 TiB. **Nebeneffekt:** osd.10 (proxmox6, 2. 1-TB-HDD-Host) stieg 76.6 → 78.4 % — mit 4 HDD-Hosts und size=3 tragen die beiden kleinen Hosts strukturell zu viel. Deshalb auf Owner-Wahl auch osd.10 `crush reweight 0.931 → 0.75` (15:43) → zusammen 18 PGs remapped, beide Hosts jetzt symmetrisch 0.75. Backfill ~38 MiB/s, ETA ~2.5 h; One-Shot-Cron `23fdefeffc95` prüft in 3 h die Konvergenz.
|
||||
|
||||
## [2026-11-15] network-recon-bugfix | Weekly-Scan: IP-Misattribution gefixt — 77/91 "Alive"-IPs waren Ghosts
|
||||
- **Bug im wöchentlichen Netzwerk-Scan** (`~/.hermes/scripts/network-scan.py`, seit mind. 27.09. aktiv): Phase-1-Sweep `zip(ips, as_completed(futures))` ordnete Alive-Verdikte falschen IPs zu (Completion-Order ≠ Submissions-Order) → 77/91 gelistete IPs waren Ghost-Adressen; alle echten Hosts (PVE .30–.93, NAS .100, Galera .70–.82) unsichtbar. Fix: `pool.map` + 443 in den Deep-Scan; Neu-Scan: 91 echte Geräte (89 + 2 Re-Probe), Inventar deckt sich mit ip-map.
|
||||
- **Topologie:** `10.0.30.100` (ubuntu-NAS, VLAN-30-IP) **zurück** — SSH-Host-Keys (RSA/ECDSA/Ed25519) identisch zu 10.0.20.100 → derselbe Host; `reference/ip-map.md` korrigiert. Ob Rückkehr beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten).
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md`; Skill `devops/network-reconnaissance` (Pitfall ergänzt); Hindsight indexiert.
|
||||
|
|
||||
## [2026-11-14] Büro-Licht-Automation um Helligkeits-Gate erweitert (+ Nutzer-Edit aus Trace gerettet)
|
||||
- **Neu:** On-Pfad von `buero_eg_licht_praesenz_nachlauf` nur noch bei `sensor.wetterstation_illuminance` **< 1500 lx** (Startwert 500 lx; am selben Tag auf Nutzer-Vorgabe „ab der aktuellen Helligkeit" hochgezogen — zu dem Zeitpunkt 1.300 lx); Sensor `unavailable`/`unknown` → Fail-safe Licht an. Neuer Trigger `numeric_state below 1500 for 3 min` → Dämmerung schaltet ein, wenn Präsenz schon an ist (sonst käme keine neue Flanke). **Kein** Ausschalten bei Helligkeit (Heuristik-Veto).
|
||||
- **Schwellen-A/B (Beweis, gleiche Helligkeit ~1.280–1.300 lx):** Präsenzflanke 15:23:13 mit 500 lx → Licht bleibt aus (Trace `choose/3/conditions/0`); Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`, Licht 15:24:15).
|
||||
- **Fast verloren:** Ich hatte die Automation am 02.11. gebaut — der Nutzer hatte sie inzwischen selbst auf **5 min Nachlauf** + `time_pattern /2` + Alias „(5 min Nachlauf)" geändert. Mein `POST` hat das blind überschrieben; Rekonstruktion gelang aus dem Automation-Trace (`ws trace/get`, Feld `config`). Diese Werte sind jetzt wieder drin.
|
||||
- **E2E 14.11.:** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Flanke → Licht an; echter 5-min-Nachlauf (09:01:26 off → 09:06:28 Licht aus, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. Lux-Fakes wurden vom Gerät binnen Sekunden überschrieben (Wetterstation pusht ~alle 10–20 s).
|
||||
- **Lux-Realwerte:** bedeckter Vormittag Nov ~8.500–8.800 lx, Spätnachmittag Mitte Nov ~1.250–1.300 lx → 1500-lx-Schwelle = Licht ab Dämmerung/trüben Tagen, Mittagssonne bleibt gesperrt.
|
||||
- **Nachtrag 14.11. 15:28:** Nachlauf auf **2 min** reduziert (Nutzer); Alias jetzt „(2 min Nachlauf)", Sweep-Bedingung ebenfalls 2 min. E2E: Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10 (Trace `choose/2`); On-Pfad bei 970 lx weiterhin an.
|
||||
- Skill `smart-home-automation`: `references/ha-automation-trace-debugging.md` um „blind POST zerstört spätere Edits / Recovery via Trace" + „kein `automation/reload` nach Config-POST nötig" ergänzt; Wiki `systems/homeassistant.md` aktualisiert.
|
||||
|
||||
## [2026-11-13] free@home setup_error | SysAP-Reboot wirkungslos → Client-Zombie, Core-Restart Fix, Watchdog Stufe 2
|
||||
- **Incident:** Entry `freeathome` `setup_error` seit 12.11. 16:18 UTC, 28/29 ABB-Entities `unavailable`, Log `IqTimeout` auf `RemoteInterface.getAll`.
|
||||
- **Watchdog-Blindstelle:** der 05:11-Reboot (`reboot(0)`, ACK) half nicht — SysAP-REST war die ganze Zeit gesund (`/configuration` 200 in 3 s, 62 Geräte) ⇒ Wedge clientseitig. Danach 6-h-Cooldown ohne zweiten Hebel; HA-Retry-Backoff erschöpft (letzte Logzeile 06:17).
|
||||
- **Fix:** `docker restart homeassistant` 07:10 → `loaded` 07:14:48, 28/28 Entities, E2E turn_on/off je <2 s.
|
||||
- **Code:** `fah_watchdog.py` + Stufe 2 (`sysap_config_ok()` REST-Gate + `restart_core()`, Cooldown `last_core_restart`) — `--selftest` und Tick verifiziert.
|
||||
- **Skill:** `smart-home-automation/references/freeathome-integration-health.md` (Entscheidungstabelle SysAP-Wedge vs. Client-Zombie, Probe-Pitfall). Solution Doc: `bug-fixes/2026-11-13-freeathome-setup-error-client-zombie-core-restart.md`.
|
||||
|
||||
## [2026-11-13] recipe-scraper-cron | 3. Crash-Tag, Fenster-These verfeinert, Retry OK, No-Op
|
||||
- **Lauf 1 (06:00:28):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten. 3. Tag in Folge.
|
||||
- **Diagnose:** Galera gesund (3/3 Synced, wsrep_ready=ON, Uptime 4,5 d, Flow Control aus); `SELECT 1` instant; COUNT hing im Fenster 06:01–06:04 **>122 s** ("Sending data"), ab 06:05 **4× 0,0 s**. → Die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Morgen-Briefing (parallel 06:00) als Verursacher **widerlegt**: Fetch-Scripts ohne recipes-DB-Zugriff; am 10.11. lief COUNT während des Briefings durch. 06:00-Fenster-Ursache offen → Backup-Jobs/Cron auf DB-VMs prüfen.
|
||||
- **Lauf 2 (06:04:14):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline (4. No-Op-Tag in Folge).
|
||||
- **Tool-Fallen heute:** (a) bash-Pipeline `python … | tee; echo $?` maskiert den Python-Exit-Code (tee-Exit=0 trotz Crash) → `${PIPESTATUS[0]}` verwenden; (b) Pfad-Typo `/home/deian/` 2× (Pfade kopieren, nicht tippen); (c) SolDoc-Suche überPagination-Limit 50 — bestehendes Doc 2026-11-12 fast übersehen → bei total_count==50 immer weitersuchen.
|
||||
- **FIX bleibt offen (Owner-GO):** `read_timeout=60`→`300` im Scraper (Zeile ~89); robustester: Cron auf 06:30 verschieben. SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` (neu) + Nachtrag in `2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- **Learning-Cycle:** Hindsight-Indexierung via HTTP-API (bank `hermes`, files/retain, Operation completed; Recall-Test top-Treffer positiv). Wiki: `systems/recipe-scraper.md` (+Status 11-13), `systems/galera-maxscale.md` (+Bekannte Issues 11-13).
|
||||
|
||||
## [2026-11-13] BayKiBiG: Strategieumstellung auf Dialogbrief – Träger/Stadt-Schreiben dokumentiert, harte Fakten in interner Gesprächsagenda
|
||||
- **Neuer Primärbeleg:** Gemeinsames Schreiben der fünf Träger UND der Stadt Freystadt an die Eltern: Abzug entfällt ab 01.01.2027 („zusätzliche finanzielle Belastung von 100 € pro Monat und Kind" eingeräumt), Beiträge bis 31.08.2028 „nicht erhöht", kein Personalsabbau, „auf vollständige Zahlung angewiesen", § 90-4-Hinweis. Die Stadt hat die +100 € damit offiziell mitunterzeichnet.
|
||||
- **Strategie (Nutzerentscheid):** Erstschreiben deeskalierend — Dialogbrief an Stadt UND Träger (Alternativ-Entwurf Yvonne Regnet, wortgetreu, DIN 5008:2020-03 Form A gesetzt; einzig normbedingte Anpassung: „Betreff:"-Vorsatz entfallen). Fünf Punkte: Transparenz, Nachvollziehbarkeit, Entlastungsprüfung, soziale Verträglichkeit, zeitnahes Gespräch (ideal noch im November 2026). Unterschriftentabelle der fünf Vorsitzenden.
|
||||
- **Gesprächsagenda (intern, „Nicht versenden"):** IfKM-Kernrechnung (57.548 € Lücke vs. 71.300 € Elternlast, Überschuss +13.752 €), Haushaltsargumente (36,45 Mio €, 420.000 €/1,2 %, Breitband 395.000 €, Nachtragshaushalt Art. 68 GO, Defizitvertrags-Hebel), Vergleichskommunen, 6er-Fragenkatalog, Verhaltensregeln, Notizfeld. Stand 13.11.2026.
|
||||
- **Archiv:** fordernde Fassung (brief.html/.pdf) + gestaltete Fassung (brief-gestaltet.html/.pdf) bleiben für ein Nachschreiben erhalten.
|
||||
- **Dateien:** brief-stadt-traeger.html/.md/.pdf (Dialogbrief, 2 Seiten, Layout gemessen: S.1 6,5 mm / S.2 21,1 mm Luft; Vision-Check komplett), gespraechsagenda-elternbeiraete.html/.pdf (2 Seiten, S.1 45 mm / S.2 20,6 mm Luft, Notizfeld). Wiki-Sektionen „Gemeinsames Träger- und Stadt-Schreiben" + „Neue Dokumente" ergänzt.
|
||||
|
||||
## [2026-11-12] recipe-scraper-cron | db_count-Crash 2. Tag in Folge, Retry OK, wieder No-Op
|
||||
- **Lauf 1 (06:00:25):** Crash in `db_count()` — pymysql 2013, read_timeout 60 s überschritten.
|
||||
- **Diagnose (verifiziert):** TCP/Handshake/`SELECT 1` instant; `SELECT COUNT(*) FROM recipes` = **52,4 s** (mit read_timeout 120 gemessen) → Query strukturell langsam, NICHT DB-down. `recipes` hat 200.000 Zeilen.
|
||||
- **Lauf 2 (06:02:43):** Exit 0, "Already at 200000 recipes" — 0 neue, keine Quellen, keine Pipeline. Target-reached-No-Op wie 10./11.11.
|
||||
- **Root Cause verfeinert:** 10.11. als "transienter Blip" geführt; heute 2. Wiederholung + Messung → systematisch: COUNT ≈ 52 s vs. read_timeout 60 s im Scraper (Zeile ~89).
|
||||
- **FIX-Vorschlag (nicht ausgeführt, Owner-GO nötig):** `recipe_scraper_v8_intl.py` `read_timeout=60` → `300` (Pipeline-Scripts hatten denselben Fix bereits 12.10. — der Scraper selbst wurde vergessen). SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- Wiki: `systems/recipe-scraper.md` (+Status 2026-11-12), `systems/galera-maxscale.md` (+Bekannte Issues 12.11.). Hindsight-Indexierung erfolgreich via HTTP-API (umgeht den GLIBC-2.39-CLI-Bug vom 10.11.).
|
||||
|
||||
## [2026-11-11] Elternbrief: Umstellung auf Normbrief nach DIN 5008:2020-03 (Form A)
|
||||
- **Layout:** Briefkopfzone 0–27 mm (Absender links fett, „Gemeinsames Schreiben …“ + ENTWURF rechts 8 pt) · Anschriftfeld ab 27 mm, Text ab Fluchtlinie 25 mm (Rücksendeangabe „Elternbeiräte der Großgemeinde Freystadt“ 8 pt, Empfänger Maget 4 Zeilen ab 44,7 mm) · Informationsblock ab 32 mm bei x=125 mm (Telefon/E-Mail/Datum mit Platzhaltern) · Betreff 2 Leerzeilen unter Anschriftfeld (ab 80,46 mm), fett, ohne „Betreff:“-Vorsatz und Schlusspunkt · Anrede 2 Leerzeilen darunter (Komma) · Text 1 Leerzeile nach Anrede, Absätze je 1 Leerzeile · „Anlage“ fett ohne Doppelpunkt · Seitenzahl „– 2 –“ oben rechts · unterer Rand 20 mm, Satzspiegel 165 mm (x 25–190 mm), Quellen-Fußtext 7 pt grau am unteren Rand.
|
||||
- **Typografie:** Liberation Sans (Arial-metrisch) 10,5 pt, einzeilig (line-height 1,15) – Inhalt, Bitten und Schlusssätze 1:1 unverändert aus der geschärften Fassung.
|
||||
- **Empfänger:** Anschriftfeld = Maget (Fensterkuvert-tauglich); zweite Ausfertigung an Landrat Meier per Anschrifttausch (in brief.md dokumentiert). Gestaltete Vorversion als brief-gestaltet.html/.pdf gesichert.
|
||||
- **Verifiziert:** pdftotext-Schlüsselphrasen, Layoutmessung (Seite 1 Fließtext-Ende 22 mm über Rand 277 mm; Seite 2 Abstand Fließtext–Quellen 15 mm, Quellen-Ende exakt 277 mm), Vision-Check beider Seiten: Briefkopf, Rücksendeangabe, Anschrift, Infoblock, Betreff, Anrede, Absätze, Bitten, IM AUFTRAG-Tabelle, Anlage, Quellen vollständig sichtbar, keine Überlappungen.
|
||||
- **Dateien:** brief.html/.md (Masters), brief.pdf, Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx regeneriert; DIN-5008-Maße recherchiert via din5008.net / sekretaria.de / arbeiten-im-sekretariat.de (Kapitel-19-Abmessungen Form A/B).
|
||||
|
||||
## [2026-11-11] BayKiBiG: Elternbrief geschärft („ruhig fordernd"), IfKM-Erkenntnisse anonymisiert
|
||||
- **Haushaltsabsatz:** neuer Schluss „Hinzu kommt: Die erhöhte Betriebskostenförderung des Freistaats fließt ohnehin über die Kommune an die Einrichtungen – die Stadt ist bereits Teil dieser Finanzierungskette. Ein Ausgleich ließe sich daher innerhalb der bestehenden Finanzierungsverträge mit den Trägern regeln." — entkräftet „kein Budget" ohne IfKM-Blatt oder Landkreis-Vorlage direkt zu zitieren (Nutzerentscheid: „lieber nicht direkt zitieren").
|
||||
- **Bitte 1:** Mechanismus ergänzt: „… am einfachsten über eine Anhebung der Defizitdeckung in den bestehenden Finanzierungsverträgen mit den Trägern."
|
||||
- **Bitte 2:** Lücken-Argument anonymisiert: „Die staatliche Förderung steigt ab 2027 deutlich – die reale Lücke jeder Einrichtung kann daher kleiner sein als die 100 € … Wir bitten Sie deshalb um eine offene Gegenüberstellung je Einrichtung: Welche Fördermittel gehen ein, welche Einnahmen entfallen, welcher Betrag fehlt am Ende?"
|
||||
- **Schluss:** gefestigt: „Wir bitten um eine Antwort binnen vier Wochen – gern auch als Gesprächsangebot." (statt „würden wir uns freuen").
|
||||
- **Dateien:** brief.html/.md + Brief-Elternbeiraete-Freystadt.pdf/.html/.md/.docx; 2 Seiten A4. Layout-Fix dokumentiert: Die geschärften Sätze erzeugten zunächst Überlauf (Seite 1: 17,2 mm – Footer „Fortsetzung Seite 2" und letzte Absatzzeile abgeschnitten; Seite 2: 5 mm). Behoben durch messbasierte Layout-Straffung (Zeilenabstand 1,44, Kopf-/Blockabstände, Kopfrand 10 mm) – final verifiziert via Browser-Layoutmessung (Footer-Seite-1-Überlauf von +17,2 mm auf ein unkritisches Box-Maß von 0,2 mm; Text-Tinte vollständig innerhalb der Seite), pdftotext-Schlußsatzcheck und Vision-Check beider Seiten: Footer, Schlusssatz, Bitten, Unterschriftentabelle, Anlage und Quellen vollständig sichtbar, keine abgeschnittenen Zeilen. IfKM-Zahlen bleiben interne Argumentationsgrundlage (Wiki-Abschnitt „Neue Belege").
|
||||
|
||||
## [2026-11-11] BayKiBiG: IfKM-Fördermittelrechnung + Landkreis-Vorlage als neue Belege
|
||||
- **IfKM-Blatt (via Möning):** Gesamtförderung 720.596 € (2026) → 663.048/701.149/702.060 € (2027–29); Elternbeitragszuschuss 71.300 € → 0 €. Kernrechnung: Öffentliche Förderung ohne Zuschuss steigt +13.752 €; Eltern- Mehrzahlung 71.300 € = nur zu 80,7 % (2027) bzw. 27 % (ab 2028) Lückendeckung, Rest Überschuss (+13.752/+51.853/+52.764 € über 2026-Niveau). Stadt-Vollarrogation hochgerechnet ~339.000 € (2027, 0,93 % des Haushalts), ~115.000 €/Jahr ab 2028 (0,3 %).
|
||||
- **Landkreis-Vorlage 23.10.2026 („[32] - [Maget]“):** Reformziel „finanzielle Entlastung der Gemeinden“, +25 % Betriebskostenförderung, Mittelfluss Freistaat → Landratsamt → Kommune → Träger — die Stadt ist bereits Co-Finanzierer; „kein Budget“-Aussage fiel nach offizieller Briefing. Belege in `concepts/baykibig-reform-2027.md` (Abschnitt „Neue Belege“) dokumentiert.
|
||||
|
||||
## [2026-11-11] BayKiBiG: Träger-Entscheidung Freystadt intern bekannt – Brief-Aufhänger angepasst
|
||||
- **Update:** Die Träger haben die Eltern informiert, dass die wegfallenden 100 €/Monat ab 01.01.2027 **von den Eltern getragen werden** (erstufige Information der Elternbeiräte, nicht öffentlich). Wiki-Seite `concepts/baykibig-reform-2027.md` angepasst: Status aktualisiert, Argumente 1 und 5 umformuliert („Zahlen nachvollziehbar machen auch nach Trägerentscheidung", „Dialog und kommunale Entlastung": München-Übergangsmodell, Hollfeld-Teilkompensation 60 €, KEG-Empfehlung Verpflegungsgeld).
|
||||
- **Brief-Revision:** Aufhänger ist jetzt die Träger-Information an die Eltern (100 € werden selbst getragen); Bitten umgestellt auf: kommunale Ausgleichsleistung prüfen, Zahlen nachvollziehbar machen, Dialog, § 90 Abs. 4 SGB VIII-Information, überörtlicher Einsatz. Dateien: `~/workspace/brief-elternbeiraete-freystadt/` (PDF/DOCX/MD).
|
||||
|
||||
## [2026-11-11] BayKiBiG-Reform: Wiki-Seite als Recherche-Basis für Freystädter Elternbeirats-Brief
|
||||
- **Neu:** `concepts/baykibig-reform-2027.md` — Wegfall des 100-€-Elternbeitragszuschusses ab 01.01.2027: Rechtslage (GVBl. 2026 S. 401), Förderzahlen (Qualitätsbonus 268→693 €/Kind/Jahr, Teamkräftepauschale), 13 Kommunen-Entscheidungen (München Übergangsregelung, Ingolstadt/Hollfeld Weitergabe, Augsburg/Nürnberg Begrenzung, Kaufbeuren/Erlangen/Raubling/Lohr/Bayreuth kein Ausgleich), Elterninitiativen (GEB Bayreuth, Illertissen ~400 Unterschriften, Ernsgaden/Kolbermoor-Petitionen) und Verbands-Stellungnahmen (LEB, LAG Ö|F, kath. Kitaverband, KEG, Städtetag, BRK) mit URLs.
|
||||
- **Verwendung:** Basis für den gemeinsamen Brief aller 5 Freystädter Elternbeiräte an Bürgermeister Tobias Maget (Stadt Freystadt) und Landrat Martin Meier (LRA Neumarkt) — Bitten: Transparenz vor Beschluss, Ausgleichsprüfung, Dialog, § 90-4-Info, Überörtlicher Einsatz. Elterninfo (§ 3 Nr. 33 EStG) als Anlage.
|
||||
- **Status Träger-Entscheidungen Freystadt:** öffentlich noch nicht bekannt (11.11.2026) — Brief aktuell adressierbar.
|
||||
|
||||
## [2026-11-10] Recipe-Scraper-Cron: Ziel 200k erreicht → No-Op + transiente Galera-Trägheit
|
||||
- **Scraper-Status:** DB steht bei exakt 200.000 Rezepten = `TARGET = 200_000` (`recipe_scraper_v8_intl.py:29`) → v8.1 beendet sich sofort ("Already at 200000 recipes", Exit 0): 0 neue, keine Quellen, keine Pipeline. **Owner-Entscheidung nötig:** Target anheben oder Cron deaktivieren. Cron-Task-Beschreibung ("77.000+") veraltet.
|
||||
- **Galera-Beobachtung:** Erster Anlauf 06:01 UTC crashte in `db_count()` (pymysql 2013, 60-s-Timeout) — Galera kurzzeitig träge nach Recovery vom 08.11.: `SELECT 1` instant, `SELECT COUNT(*)` hing 30 s, Wiederholung 1,2 s; wsrep_cluster_size=3. Retry 06:03 UTC lief sofort. **Neue Regel: nach DB-Timeout 1× retryen vor Diagnose.**
|
||||
- Wiki `systems/recipe-scraper.md` (Status-Abschnitt), `systems/galera-maxscale.md` (Bekannte Issues +10.11.-Eintrag), SolDoc `bug-fixes/2026-11-08-galera-outage-...md` um Follow-up 10.11. ergänzt. Hindsight-Indexierung ausgefallen — CLI-GLIBC-Bug (braucht GLIBC_2.39).
|
||||
|
||||
## [2026-11-08] HA-Freeze-RCA: Memory-Leak der freeathome-Integration + 4er-Fix
|
||||
- **Symptom:** HAOS-VM 106 zweimal erstarrt (Kernel lebte, Userspace tot: 8123/SSH-Banner/Guest-Agent down). Kernel-Log: 391× „Under memory pressure" über 2 h — Thrash-Tod ohne OOM-Kill.
|
||||
- **RCA:** SysAP-XMPP-Session-Instabilität → freeathome v1.0.12-Reconnect-Loop ohne Timeouts + blockierende SSL-Init im Event-Loop → Client-/Task-Akkumulation → 12 GB voll. SysAP gesund (REST/WS/5222 verifiziert).
|
||||
- **Fix:** Integration v1.0.13 (E2E: REST-Write → HA-Entity 1,5 s), VM-RAM 16 GB (balloon=0 → Stop/Start), Watchdog-Stufe 0 (Freeze → qm reset nach 2 Ticks) + Memory-Probe je Tick (`ha_mem_log.jsonl`, Leak-Alarma ≥250 MiB/h).
|
||||
- **Pitfalls:** HAOS-Shell `/dev/tcp` = false negative; `.log.1` war von 2025 (Jahreszahl!); journald volatile; Custom-Integration-Logger WARNING-gefiltert; „cron worker exited before ownership ack" = Hermes-Dispatch-Fehler, nicht Skript.
|
||||
- Wiki `systems/homeassistant.md` (neuer Abschnitt), SolDoc `bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
|
||||
## [2026-11-06] free@home-Watchdog war blind — 1P-Rate-Limit (ESO-Retry-Sturm) + falscher PVE-Node
|
||||
- **Symptom:** Cron `43612c6d52b6` meldete „👀 BLIND: kann HA-Status nicht prüfen (RuntimeError)". HA selbst gesund: `http://10.0.30.10:8123` → 200, Entry `freeathome` = `loaded`, SysAP HTTP UP (getAll-Probe 40,8 s).
|
||||
- **Ursache 1:** `fah_watchdog.py` holte das HA-Token bei **jedem** 15-min-Tick frisch per `op read`; 1Password drosselt account-weit — und ESO hält den Deckel zu: 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret; Rest 12h). Kein lokaler `op`-Prozess als Verursacher.
|
||||
- **Ursache 2:** `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2) — VM 106 läuft auf **proxmox3**. `qm guest exec` → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist` (rc=2). Der Rettungs-Reboot wäre **nie** gefeuert.
|
||||
- **Fix:** Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall, 401-Retry) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Tick still (exit 0).
|
||||
- **Offen (Owner-GO):** ESO-Retry-Sturm stoppen (5 ES 1h → 12h, ggf. ESO kurz auf 0) — hält sonst die 1P-Quote account-weit zu.
|
||||
- **Doku:** SolDoc `bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`, Wiki `systems/homeassistant.md`, Pattern `1password-rate-limit.md` (PAT-003), Skill `smart-home-automation`.
|
||||
|
||||
## [2026-11-05] Security-Sweep: sshhole.com (0 Treffer) + CVE-2026-98432 (25/26, NAS mitigiert)
|
||||
- **sshhole.com:** OpenSSH-auf-musl-Auth-Bypass (musl `crypt()` liefert `*`; jedes Passwort mit 257–1024 Zeichen loggt Konten mit `*`-Shadow-Feld ein; Fix OpenSSH 10.6p2). 52 SSH-Endpunkte über 10.0.20/30/40.0/24: alle sshd-Binaries glibc+PAM, HAOS 22222 Dropbear, Gitea `.200` Go-SSH, Alpine-Images ohne sshd, NAS-shadow ohne `*`-Login-Konto → **0 betroffen**. Pitfall: musl-Loader ≠ musl-sshd (CT113 paperless-gpt), immer `ldd /usr/sbin/sshd`.
|
||||
- **CVE-2026-98432:** Live-Re-Verifikation 25/26 geschlossen (PVE 8/8 `7.0.14-26`, 30 LXC, 17 VMs inkl. RKE2 `6.12.113`/HAOS 18.4, 221 Pods). Einzig Ubuntu `.100` offen (`6.8.0-146`; Fix `6.8.0-149` weiter `pending`). **Mitigation gesetzt:** `/etc/sysctl.d/99-cve-2026-98432.conf` (`net.mptcp.enabled=0`, `tcp_migrate_req=0`), verifiziert, Dienste + Ceph unverändert. nft-Regel gegen IPv4-Options offen (Owner-GO).
|
||||
- **Watchdog:** Cron `6252986090b9` war 9 Ticks blind (`bash `-Präfix in `monitor_script`, `deliver=local`, `debian@` statt `root@` im Prompt) → repariert (`+x`, bare filename, `deliver/failure=origin`, Ceph-Gate im Prompt), Sensor + Trigger validiert.
|
||||
- Doku: SolDoc-Nachtrag `2026-10-30-cve-2026-98432-fleet-exposure.md` + `systems/ubuntu-host.md`.
|
||||
|
||||
## [2026-11-03] Haus-Akku: SOC-Sensoren + EMHASS-Kapazität korrigiert
|
||||
- **Befund:** Fünf HA-Template-Sensoren hingen an der toten Local-API-Integration `marstek_venuse_3_0_*` (es gibt nur die Modbus-Entities). `total_soc_safe` zeigte 3,9 % statt ~12 %, `Marstek SOC Safe` und `Marstek Grid Power Safe` dauerhaft 0. Zusätzlich rechneten `remaining_kwh` (110 Wh/%) und `Total SoC` (Nenner 15120) mit 11 kWh, real nutzbar sind 7,2 kWh.
|
||||
- **Fix:** Templates auf `marstek_venus_modbus_*`, 72 Wh/%, Nenner 7200+5120 mit SMA-Fallback (Backup `core.config_entries.bak-20261103`); EMHASS `battery_nominal_energy_capacity` 16000→12320 Wh (Backup `/config/config.json.bak-20261103`, Add-on-Restart). Verifiziert: SMA 11 % / Marstek 13,2 % → `total_soc` 11,95 %, `total_soc_safe` 11,9 %, `remaining_kwh` 792 Wh; nächster EMHASS-Lauf `Optimal` mit kleinerem Plan (chg 2,95→2,70 / dis 2,39→2,19 kWh).
|
||||
- **Pitfall:** EMHASS-Add-on-Config liegt unter `/config/config.json` **im Container**, nicht in den Add-on-Options (dort nur Solcast). Dateiänderung im Race mit dem HA-Start wird ignoriert → bei Template-Entries einzeln `homeassistant.reload_config_entry` aufrufen, danach Werte prüfen.
|
||||
- **Offen:** `sensor_power_battery` = `batteries_power_out_total` (nur Entladung, beim Laden 0) — unkritisch, solange `set_use_battery_identification: false`. Ledger warnt jeden Lauf „price coverage only 56 %" (EPEX-Lücken 00:00–10:00, carry-forward 0,4217 €/kWh).
|
||||
|
||||
## [2026-11-03] free@home: Wanddisplay-Widgets via Lokal-API ausgelesen
|
||||
- **Zugang:** Local-API-User `Installer`, Passwort im HA-Config-Entry `freeathome` (nur über Dateisystem lesbar). VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **Widgets = Panel-Kanäle + `/pairings`:** Display `ABB6BC5495EA` „free@homeTouch 7\"" (Essbereich EG), 4×4-Raster, 9 Widgets belegt / 7 frei. API v1 hat **keinen** Panel-Endpoint.
|
||||
- **Pitfall:** Panel-Kanäle spiegeln keine Aktor-Zustände → Live-Status am Ziel-Aktor lesen.
|
||||
- Wiki `systems/homeassistant.md`, Skill-Ref `smart-home-automation/references/freeathome-local-api.md`, SolDoc `integrations/2026-11-03-freeathome-panel-widgets.md`.
|
||||
|
||||
## [2026-11-02] HEVC-Encoder-Ausschuss: Bitstream-Korruption als dritte Fehlerklasse
|
||||
|
||||
- **Fall:** `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime. `ffprobe` und Box-Parser meldeten alles korrekt (`hevc/hvc1/1080p`, `moov<mdat`, `hvcC=3 Arrays`, bytewise deckungsgleich mit einer funktionierenden Datei derselben Pipeline). Ursache: eigener VAAPI-Encode vom 30.10. mit 35 `CABAC_MAX_BIN`-Fehlern (~1/min), `rc=0` weil libavcodec concealte.
|
||||
- **Fix:** Original-Release neu geladen (FETiSH, 4,63 GB) → sofort spielbar (h264); parallel Re-Encode `libx265 crf24 medium` (44 fps ≈ 1,45× Realtime auf 4 vCPU) mit Gates Codec/Dauer/Größe/Atoms/**Volldekodierung 0 Zeilen**, Swap + Auto-Refresh-Watcher.
|
||||
- **Gescheitert:** erster Versuch mit `hevc_vaapi` → `No VA display found for device /dev/dri/renderD128` (rc 234). Grund: **worker-05 seit 01.11. 10:19 UTC NotReady** (kein Ping, ARP FAILED), Pod auf worker-04 rescheduled, dort nur `card0` — und `card0` als `-vaapi_device` scheitert mit `Failed to initialise VAAPI connection: -1`. Kein VAAPI im Cluster bis zum Node-Revival.
|
||||
- **Nebenprodukt:** HEVC-Stichproben-Audit der Bibliothek läuft (3×20 s je Datei); erste Treffer null. Wiki `systems/sabnzbd.md` + Skill `video-codec-compatibility` gepatcht, SolDoc `integrations/2026-11-02-hevc-bitstream-korruption-cabac.md`.
|
||||
|
||||
## [2026-11-02] HA-Automation Büro EG: Licht nach Präsenz + 15-min-Nachlauf
|
||||
- **Neu:** `buero_eg_licht_praesenz_nachlauf` (automations.yaml Z.1626): `binary_sensor.esp32_c3_buero_eg_presence` `on` → `switch.licht_buro` an; `off` 15 min → aus. `time_pattern /10`-Sweep nur als Restart-Recovery (kein Re-Assert, manuelles Ausschalten bleibt respektiert).
|
||||
- **Gebaut via REST:** `POST /api/config/automation/config/<id>` (moderne `triggers/conditions/actions`), Readback per GET, kein HA-Restart nötig. Entity-ID danach per WS `config/entity_registry/update` von `automation.buro_eg_licht_nach_prasenz_15_min_nachlauf` auf `…buero_eg_licht_praesenz_nachlauf` — Alias-Slugify transliteriert Umlaute.
|
||||
- **E2E:** On-Pfad live 2× (Trigger 07:18:47 / 07:19:45 → Licht an), Off-Pfad über Temp-Automation mit `for: 10s` (Prod: 15 min), Temp gelöscht, `offpath`-grep 0, keine HA-Log-Fehler.
|
||||
- **Befund:** Sensor meldet Präsenz in 30–120-s-Bursts (LD2410-typisch) → Nachlauf trägt die Logik; bei Fehl-Aus Sensor-Config prüfen. Wiki `systems/homeassistant.md` gepatcht.
|
||||
|
||||
## [2026-11-01] Zweite Beschaffungswelle: +24 Szenen (Submissed/AngeloGodshack/PascalsSubSluts) + Quarantäne-Inventar
|
||||
- **Sweep repariert:** discovery-Cap `max=250` (vorher 25 Zeilen), Szenen-Key = Brand+Datum+Performer mit Release-Token-Strip, Varianten-Merge (1080p AVC > 1080p HEVC > 720p). Alte Version lud dieselbe Szene 2–3× als 720p/1080p.
|
||||
- **Dedupe-Regel:** gegen `media/` über Datum **und** Performer; ohne Datum (LegalPorno-Jahresposts) nur Performer. Nur Performer allein hätte 3× `Mini Mitzix` als „neu“ gemeldet.
|
||||
- **Ergebnis:** 24 Szenen / 23 GB, `addurl` in einem Rutsch, 0 Fehlschläge. Bibliothek **557 Dateien / 555 NFOs** (550 mp4 + 5 mkv + 2 wmv), 0 ohne NFO, 0 falscher Owner, 0 `(2)`-Kopien. Jellyfin **555 Items** (Refresh 204, Scan Completed).
|
||||
- **Verteilung:** Submissed 14 (+5), PascalsSubSluts 16 (+15), AngeloGodshack 9 (+4).
|
||||
- **Quarantäne 163 GB klassifiziert:** A-safe 62 Dateien/91,9 GB löschbar (Dubletten, Gegenstück ≥ gleiche Auflösung), A-master 6× 2160p/42,3 GB behalten, B 3/2,6 GB Review, C 17/43,5 GB unique (davon 8× 2160p ~34 GB Downscale-Kandidaten).
|
||||
- **binsearch** ist entgegen der alten Skill-Notiz curl-scrapbar (`/search?...&max=250`, NZB per GET). Skill `usenet-binaries` korrigiert.
|
||||
|
||||
## [2026-11-01] NZB-Kanal binsearch + Sorter v13 (4 neue Studios) + 14 Szenen in der Bibliothek
|
||||
- **Quellenlage:** nzbindex (Download 404) und nzbking (nur .par2) untauglich → **binsearch.info** liefert echte Videoposts. NZB per **GET** `/nzb?<msgid>=on` (POST = 405), Einreihen per SAB `mode=addurl` statt `nzb-drop` (Drop+Cron = Doppel-Einreihung, 2×1,7 GB beobachtet).
|
||||
- **Sorter v13** (`a27c85e`): `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles` gemappt; `*angelogodshack*`-Wildcard nötig (LegalPorno-Branding), `^legalporno[._-][0-9]{4}[._-]`-Strip, Junk-Token `p0rnl0v3r`.
|
||||
- **Ergebnis:** +14 Szenen (8 Submissed, 1 PascalsSubSluts, 5 AngeloGodshack), 18,3 GB, 0 Fehlschläge; Bibliothek **525 Videos / 530 NFOs / 0 ohne NFO / 0 falscher Owner / 0 (2)-Kopien**; Jellyfin 530 Items (Refresh 204).
|
||||
- **Nebenarbeit:** 28 Tutorials-NFOs erzeugt (Studio `Tutorials`, Genre BDSM/Education), 5 root:root-NFOs in PublicDisgrace gefixt, 2 Früh-NFOs mit `studio=Kink.com` auf `Submissed` korrigiert.
|
||||
- **Offen:** `complete/` 105 GB Löschfreigabe, Quarantäne 163 GB, 7 stale Jellyfin-Rows (mkv/wmv), Disk 88 %.
|
||||
- SolDoc integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md; Wiki systems/sabnzbd.md (v13 + NZB-Quellen).
|
||||
|
||||
## [2026-11-01] Samsung QN90A persistent gerootet + Privacy-Stack via Vetro v0.3.5
|
||||
- **Root:** samsung-tv-root v0.0.12 (SVE-2025-50109) via Developer Mode, danach Vetro-Service installiert → **self-rooting bei jedem Boot** (Developer-Host-IP jetzt 127.0.0.1, SDB extern zu).
|
||||
- **Privacy verified:** DNS-Filter 21 Domains (Vetro restauriert je Boot), Voice-Stack aus (voice-all: 31 Apps geflaggt, 0 Prozesse live), ACR/tracking-all (18 Apps), HbbTV aus (dataService=19), FW-Auto-Update aus (autoupdate=0).
|
||||
- **Pitfalls:** Tizen-App-Graph — Einzelflags verlieren gegen referencedBy-Kanten, Quick-Win-Gruppen nehmen; pkgcmd -D exit 25 (wirkungslos auf diesem Build); sdbd-Client-Slot exklusiv (A2S-Installer blockt Root-Sessions); /wins-firmware-Semantik invertiert; Vetro-/dns-Payload braucht `action:"apply"`.
|
||||
- **Backups:** tv-privacy-backup-20261101.csv (431 Boot-Flags, Host+TV); Samsung-Partner-Zertifikat unter ~/.config/Apps2Samsung.
|
||||
- SolDoc integrations/2026-11-01-samsung-qn90a-vetro-privacy-stack.md + Hindsight; Wiki entities/samsung-qn90a.md NEU + index.md.
|
||||
|
||||
## [2026-10-30] CVE-2026-98432 Fleet-Sweep — 26/26 Kernel betroffen, drei Fix-Pfade
|
||||
- **Befund:** 8 PVE-Hosts (7.0.14-17/-19, Fix ab -25), 8 K8s-Nodes (7.1.8, Branch EOL), 8 Debian-12-VMs (6.1.187, Fix 6.1.190 **schon installiert**), Ubuntu-Node .100 (6.8.0-146, Fix 6.8.0-149 noch nicht released), HAOS 6.18.52. 29 LXC erben PVE-Kernel. 0 gepatcht.
|
||||
- **Exposition:** Einzige WAN-exponierte Kernel-Instanz ist CT99999 (Traefik-LXC auf proxmox7); K8s-Nodes sehen Internet nur über L7-Proxy (re-originated, keine IP-Options). Kein öffentlicher PoC, EPSS 0,39 %.
|
||||
- **Konflikt:** 7.1.8 ist gleichzeitig aes256k- und Cilium-kompatibel, aber EOL ohne Fix → nur 7.2.11 (Cilium-Canary) oder Cilium-Upgrade zuerst.
|
||||
- **Pitfalls:** `qm guest exec` JSON `"out-data" :` (Regex-Fehlalarm 17/17 NOAGENT); `${Version}` in `sh -c` wird im Gast expandiert → `ls /boot/vmlinuz-*` nutzen. „Installiert ≠ läuft" (reboot-required) ist Pflichtspalte.
|
||||
- SolDoc bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md + Hindsight; Wiki proxmox-cluster.md + rke2-kubernetes.md gepatcht; Skill `security-exposure-audit` um Kernel-Reboot-Regel erweitert.
|
||||
|
||||
## [2026-10-29] Autonomie-Fix v5.3 — Idle-Trigger + Abschluss-Kopplung (Fleet läuft ohne Anschub)
|
||||
- **Befund (Owner):** seit 28.10. 21:08 keine Aktivität, Karten kleben — kein Ausfall, sondern vier fehlende Kettenglieder (Backlog→Task, Leerlauf als Ereignis, Abschluss→Folgearbeit, Fortschritts-Watchdog).
|
||||
- **Fix (Commit f70fe30):** watcher 0.17.1 `IdleScheduler` (fleet-scheduler→ceo Planungs-Task bei ≥900 s Stille, Cooldown 1800 s, Backoff ×2, Reset nur bei echter Arbeit), board-service 0.18 (complete_task → Karte Fertig + Review-Task an VS-Owner), agent-image v5.3 (Beacon-FQDN, TOOL_HINT), submit_task.py fleet-scheduler-Sender + karte_id/vs.
|
||||
- **Beweis:** 08:39:51 idle_trigger (45108 s Stille) → CEO claim → Delegation mit karte_id → card_auto_fertig + review_task → „ABGENOMMEN" 08:58:41 → Release-Note; 09:13:51 Zyklus 2 autonom. 9/9 Sandboxes v5.3, Heartbeats grün, deadman pending 0.
|
||||
- **Pitfalls:** `--template` schließt `--env` aus (Startkonfiguration ins Image!); systemd-OIDC-Login braucht `Environment=HOME=/root` (sonst „Unknown gateway 'fleet'", Token lief 4 h ab und blockierte den Rollout).
|
||||
- **Nachtrag 10:40 — Lücke 4 geschlossen:** 5. Deadman-Kaskade `progress` (Commit `f098091`, `fleet-deadman@sha256:73cc5988…`): offener Task (`submitted|working`) mit mtime-Alter > 5400 s → ALARM + escalation an ceo. E2E ALARM 10:38:29 → RESOLVED 10:39:29, Unit-Test 13/13. Pitfall: Test-Tasks brauchen `uuid4()`-`task_id` (Watcher quarantänisiert sonst in Sekunden) und `status: working` (nicht claimbar).
|
||||
- **Autonomie-Bilanz 08:39–10:30 UTC ohne Owner-Kick:** 3 Idle-Trigger, 4 Karten Fertig, 4 Reviews, NAR-Zyklus (ciso-Freigabe → Karte `rueckbau-nar-tower-healthz-readonly`).
|
||||
- SolDoc architecture/2026-10-29-fleet-autonomie-idle-trigger-abschluss-kopplung.md (INDEX Architecture 16) + Hindsight; Wiki systems/agent-fleet.md neuer Abschnitt.
|
||||
|
||||
## [2026-10-28] p1-image v5.1 — Gateway-Disconnect-RCA (Scan-CPU) + NAR-Verfahren live (Owner-Mandat)
|
||||
- **RCA:** devops' Port-Scan-Loops (Tower-Zugang, nicht policy-admitted) trieben die 500m-Cgroup auf 100 % → CLI-Client verhungerte neben Daemon → IPC-Riss („Gateway disconnected"). Turns liefen im Daemon weiter (Sessions end_reason=None) — Worker fälschlich failed + paralleles Re-Execute. Fixes: Resume-on-Disconnect (900-s-Session-DB-Watch, complete mit finaler Antwort statt Re-Execute), NETZ-DISZIPLIN-Prompt, 500m-Quote als OFFEN vermerkt.
|
||||
- **NAR-Verfahren (Owner-Mandat):** Anträge `[NAR] <ziel>` an ciso (type review); CISO-Triage: unkritisch (Homelab-intern, read-only, temporär) = direkte Freigabe; kritisch (externer Egress, Schreibzugriff Produktion/Owner, Secrets, dauerhaft, Angriffsfläche) = Eskalation an tower-owner (`[NAR-ESKALATION]`, P1); Unsicherheit → immer eskalieren. Lane kodiert in 3 Schichten (submit_task.py+CM, watcher_main.py, board-service 0.16): tower-owner nur durch ciso, nur escalation|fyi. E2E bewiesen (ciso→tower-owner durch/3d07248c, ceo geblockt, Watcher waved durch).
|
||||
- **Rollout 9/9 fleet-v5.1** (Digest sha256:7f141019…, Commits d60b7c0/55dcc9a/c0666eb): Gateway-STS-Restart VOR Rollout (default_image wird nur beim Start gelesen), Portforward-Service neu gestartet, Digest je Pod verifiziert; board-service 0.16 (4ea9f7bf) + watcher 0.16 (77657260) synchron; CM fleet-submit-task mit NAR-submit_task.py synchronisiert (Pod-Restart nach CM-Update erzwingen).
|
||||
- SolDoc bug-fixes/2026-10-28-fleet-gateway-disconnect-scan-cpu-nar.md (INDEX 52) + Hindsight-Sync; Wiki agent-fleet.md v5.1-Abschnitt ersetzt v5.
|
||||
|
||||
## [2026-10-28] p1-image v4 — EACCES-Fix + Autonomie-Mandat für Tower-Weiterentwicklung scharf
|
||||
- Image `fleet-v4` (sha256:f7fc9e8b…, Commit 5e1b656): HERMES_HOME=/sandbox/.hermes (PVC statt /opt/data 1000:1000 → Erstart-EACCES-Klasse eliminiert), worker stderr 2000z + 1 Retry. Rollout 9/9 grün (Digest je Pod verifiziert), Canary-Erstart LLM RC=0.
|
||||
- Autonomie-Mandat: Backlog-Karte `dauer-tower-dev` (Owner) am Board; CEO-Self-Dispatch bewiesen (Task 8945e949 geclaimt, status working). Zyklus: Ideation→Priorisierung→Umsetzung→Test→Deploy→Retro, endlos.
|
||||
- Ops-Fixes: Gitea-SSH-Push-Adresse korrigiert (.200 statt .202 — Wiki trug falsch seit 17.09.); Gateway-Restart nach Digest-Pin nötig (Gateway liest gateway.toml nur beim Start); Port-Forward-Service auf .124 nach Pod-Restart neu starten.
|
||||
- SolDoc bug-fixes/2026-10-28-hermes-sandbox-hermes-home-eacces.md + Hindsight-Sync; Wiki gitea.md + agent-fleet.md aktualisiert.
|
||||
|
||||
## [2026-10-27 spät] board-service ToolError-Fix — MCP verdeckte Validierungsmeldungen (CEO-rc=1-Kette)
|
||||
- Root Cause CEO-E2E-Fail (Rollenbeschreibung devops): `add_release_note` limitiert eintrag auf 500 Zeichen → ValueError → MCP-SDK wandelt non-ToolError in UnexpectedToolError um → Agent sah nur "Error executing tool add_release_note" ohne Grund → Blind-Proben (Scratch-Skripte) bis max_turns=40 → Turn completed:False → hermes rc=1 (Fail-Sessions exakt api_call_count=40).
|
||||
- Fix Commit beb85d5: alle 54 raise ValueError → ToolError (is_error=True MIT lesbarer Message), Limits in Tool-Docstrings (eintrag≤500, titel≤200, body≤8000, thread_id nur bei chat). Image-Neubau, Digest-Pin sha256:6bf3890e…, Push auf canonical (SSH .200; HTTPS-Origin CA-broken), ArgoCD-Hard-Refresh (automated+selfHeal), Rollout grün.
|
||||
- Live-Verify im Pod: >500-Call → isError:true + "eintrag fehlt oder laenger als 500 Zeichen" lesbar; valider Call OK (Note eingetragen). CEO-Retry-Task c49978fe eingereicht via submit_owner_task.
|
||||
- Learnings: MCP-Server-Regel "Validierungen IMMER ToolError"; Signature rc=1+api_call_count==max_turns = verdeckter Tool-Fehler. SolDoc bug-fixes/2026-10-27-mcp-server-toolerror-statt-valueerror.md + Hindsight; Wiki agent-fleet.md board-service-Abschnitt aktualisiert (Digest, 9 Tools, Fix).
|
||||
|
||||
## [2026-10-27 spät] p0-e2e GRÜN — Phase 0.14 E2E-Abnahme 8/8, Phase 0 KOMPLETT
|
||||
- Alle Kriterien bewiesen: Owner-Kanäle (Idee→Backlog physisch, Neuer VS→CEO-Task a295dc32, Chat-Thread mit CEO-Antwort gerendert), Beacon 422/200, DB-Selftest (DROP verweigert), Deadman pending 9→0, Watcher-Kill→ALARM→Escalation-Task→Restore→RESOLVED (18:25–18:30 UTC komplett), Landlock 8/8 Nodes.
|
||||
- **Produktionsbug via E2E gefunden+gefixt:** tower-owner fehlte in VALID_SYSTEM_SENDERS (Commit 0a784fb hatte nur die Typ-Map erweitert — Gate 1 weist zuerst ab). Fix 992cdfb an Disk + CM-Embed. Zusätzlich board-service+watcher Images stale (0.8/0.7) → Neubau + Digest-Pins 69e806a5/92b1470b (89ed639).
|
||||
- **Vorfall (aufgeklärt+repariert):** DELETE-Test auf heartbeats ging DURCH (app_fleet = DML-Rolle, Annahme „verweigert" war falsch) → alle 8 Heartbeat-Zeilen gelöscht → durch 9 Repair-Heartbeats via Beacon wiederhergestellt, alle 5 Alt-Alarme RESOLVED, pending 9→0. Lektion: destruktive DB-Tests nur mit Prädikat; DDL (DROP) ist der richtige Scope-Check.
|
||||
- Landlock-Verifikation: kubectl-debug blockiert (TTY) — SSH-Pfad (id_ed25519_cloudinit debian@node) ist der zuverlässige Check.
|
||||
- SolDoc bug-fixes/2026-10-27-tower-owner-sender-whitelist-zwei-gates.md + INDEX 48; Wiki agent-fleet.md 0.14-Abschnitt + Phasen-Header.
|
||||
|
||||
## [2026-10-27 abend] p0-tower GRÜN — Fleet Control Tower live (DOM-Smoke 23/23)
|
||||
- Phase 0.13 abgeschlossen: Tower-Pod `fleet-tower-…-bsc2p` 1/1 (ns fleet), Image digest-gepinnt `sha256:0ddad265…` (Git==Live), Exposure über VIP 10.0.30.213 (neuer entryPoint `tower-internal` :8445, ipAllowList 10.0.20/40+WG, VLAN 30 ausgesperrt, eTP Local, TLS Interim-CA bis 24.01.2027). Kein DNS-Record → Zugang per VIP-IP wie fleet-webui.
|
||||
- Abnahme werkzeugbestimmt: DOM-Smoke **23/23 PASS** im Live-Pod (TOWER_URL=Pod-IP, Custom-Server lauscht auf os.hostname() statt 127.0.0.1 — Pitfall) + 5/5 `/api/fleet/*` 200 mit echten Daten (9 Agenten, 200 Journal-Einträge, Kanban). Offen: Owner-G1-Browsertest aus erlaubtem Segment.
|
||||
- Neue Learnings indexiert: Solution-Doc tooling/2026-10-27-nextjs-custom-server-docker-build.md (node-pty-Builder-Toolchain, kein Runtime-npm-ci, UID 1001 statt 1000, Child-Prozesse COPYen); PAT-017 traefik-ingressclass-silent-ignore (2. Inkarnation!); Evidence-Updates Gitea-OCI-Push (1P-Token als Docker-PW, Push-Log vs. manifest inspect) + ingressClass (eTP-Local-für-ACL); INDEX.md gepflegt.
|
||||
- Wiki agent-fleet.md: Phasen-Header 0.9 ✓ + 0.13 ✓, neuer Abschnitt p0-tower Live-Facts.
|
||||
|
||||
## [2026-10-27] CephFS-aes256k-Kernel-Fenster geschlossen — 8 Nodes auf 7.1.8, Cilium-7.2.9-Bruch entdeckt
|
||||
- 4 Fleet-Facilities (board-service, deadman, provisioning, spool-watcher) hingen 9 h an CephFS-EINVAL: Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf aes256k (32-Byte); Kernel 6.12.x-libceph hat 16-Byte-Limit (`libceph: secret too big 32`). Nur frische Mounts betroffen — RBD lief weiter (mounter rbd-nbd, Userspace).
|
||||
- Kernel-Upgrade 7.2.9 (trixie-backports) brachte CephFS-Mounts, brach aber Cilium 1.19.4 fatal (`FnSetRetval … R1 is not a scalar`, CrashLoop → CSI-Pods API-unreachable → Node netz-tot für Pods). Rollback auf 7.1.8 (Debs aus apt-Cache worker-04; linux-base-7.1.8 fehlt im Backports-Index) + rolling drain→reboot→verify→uncordon. Danach: Cilium/CSI grün, alle 4 Facilities 1/1, Immich-Backup-CronJob durchgelaufen (snapshot ccadb60e), Immich-Server pong.
|
||||
- IaC: Kernel-Pin `linux-image-amd64=7.1.8-1~bpo13+1` in `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4 (Commit 590cf2a; vorher state:latest = Zeitbombe). AGENTS.md-Worker-Tabelle war stale (.63 falsch) — Korrektur blockiert (write-protected, kein Owner-GO); kanonisch jetzt Wiki rke2-kubernetes.md (8 Nodes, VM-IDs korrekt).
|
||||
- Test-Artefakte geräumt (SC ktest/fusetest, PVCs, Pods); VK-Klartext-Reste /tmp/fleet-vk auf mgmt+runner gelöscht; ESO 9/9 SecretSynced. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`; Wiki ceph-cluster.md (Known Issues) + rke2-kubernetes.md gepatcht.
|
||||
|
||||
## [2026-10-26 mittag] p0-mcp ALLE 4 FACILITIES GRÜN + Deadman-Cold-Start-Fix + Design-Docs
|
||||
- **Phase 0.8 komplett:** org-registry + board-service + **telemetry**
|
||||
(601435d3) + **provisioning** (fa39b7cd) live, alle E2E-grün aus dem
|
||||
Cluster (ConfigMap-Pod-Muster), psql-Beweise erbracht. Baukasten-Muster
|
||||
dokumentiert (Solution-Doc architecture/2026-10-26-fleet-mcp-facility-baukasten.md).
|
||||
- **Deadman v2 (Cold-Start-Fix):** nie gesehene Agenten = pending (kein
|
||||
Alarm), Beacon-Unerreichbarkeit = EIN fail-closed-Alarm, DEADMAN-ALARM.md
|
||||
auf Board-PVC mit RESOLVED-Zeilen. Digest f700e772, Unit-Tests + live
|
||||
bewiesen (agents_pending 8, beacon_ok 1).
|
||||
- **Beacon 0.11 final:** psql heartbeats-Beweis (count=2, ceo 09:27 UTC).
|
||||
- **Design-Docs (blockieren 0.9/0.13):** sandbox-design.md (21,4 KB, 8
|
||||
Abnahmekriterien, VK-Platzhalter-Fluss, Strict-Gate-422, Blaupausen) +
|
||||
tower-design.md (17,2 KB, Fork-Inventar, 3 Tasks, Manifest-Deploy).
|
||||
- **Subagent-Bilan:** 600s-Timeout systematisch (API-Latenz) — Chair-direct
|
||||
ist der effektive Pfad; Config-Erhöhung child_timeout_seconds greift erst
|
||||
nach Session-Neustart.
|
||||
|
||||
## [2026-10-26 früh] p0-spool + p0-db GRÜN — Spool/Watcher E2E + Fleet-DB + ArgoCD-ignoreDifferences
|
||||
- **Phase 0.7 (Spool+Watcher) abgeschlossen:** `submit_task.py` (Schema-
|
||||
Validierung, Journal, `_invalid/`, fail-loud) + Watcher-Deployment
|
||||
`fleet-spool-watcher` (Image fleet-spool-watcher:fleet-v1, digest
|
||||
c51684fd…, 25/25 Smoke) live. E2E beide Richtungen bewiesen: completed
|
||||
(touch-CMD) + failed (exit-127-Writeback). CephFS-Pitfall gelöst via
|
||||
initContainer chown 1000:1000 (Root-Dir root:root). TASK_RUN_CMD-Override
|
||||
NUR via Git — ArgoCD selfHeal reverts kubectl-Patches sofort.
|
||||
- **Phase 0.10 (Fleet-DB) abgeschlossen:** CNPG `fleet-db` healthy, 7 Tabellen,
|
||||
App-User `app_fleet` als **CNPG Managed Role** (Bootstrap-Owner hat kein
|
||||
CREATEROLE — CREATE ROLE im Job failt, Managed Roles sind der Weg).
|
||||
DROP-Negativtest ok, App-Secret `fleet-db-app` via K8s-API-Readback.
|
||||
- **ArgoCD-Lektion (neu):** `jqPathExpressions` brauchen **jq-Punktnotation**
|
||||
(`.spec.probes`, Wildcards `[]`); JSON-Pointer-Syntax (`/spec/probes`) →
|
||||
`unexpected token "/"`, Mischform → `function not defined`. Plus: K8s-1.35
|
||||
`status.terminatingReplicas` blockte ALLE fleet-Syncs (ComparisonError) —
|
||||
Fix jsonPointers. Nach Application-Spec-Änderung `argocd app get root
|
||||
--refresh` (app-of-apps). Solution Doc:
|
||||
`docs/solutions/bug-fixes/2026-10-26-argocd-ignoredifferences-jq-syntax.md`
|
||||
- **Wiki:** systems/agent-fleet.md um p0-spool/p0-db-Live-Facts erweitert,
|
||||
Phasenliste aktualisiert (0.7 + 0.10 GRÜN).
|
||||
|
||||
## [2026-10-26 früh] p0-bifrost GRÜN — 9 VKs je Agent, Smoke + Prometheus bestätigt
|
||||
- **Phase 0.6 abgeschlossen:** 9 Virtual Keys (ceo-v3, cto-v2, ciso-v2, chro-v2,
|
||||
cmo-v2, agile-coach, coo-v2, devops-v2, research), Werte in 1P „Kubernetes ESO",
|
||||
ExternalSecrets `fleet-vk-<agent>` in NS fleet (ArgoCD fleet Synced/Healthy,
|
||||
Commit 5d5b26b + 5aa4d31), Mapping `fleet-truth/bifrost-vks.yaml`
|
||||
(→ `FLEET_BIFROST_API_KEY` für Phase 0.9). Smoke 9/9 HTTP 200, Deny-by-default
|
||||
403, Prometheus `bifrost_input_tokens_total` je Key 19–38.
|
||||
- **Pitfalls:** `POST /api/governance/virtual-keys` verwirft `allow_all_keys` →
|
||||
`PUT …/{id}` mit `key_ids:["*"]` (PATCH 405); echte API nur `/api/…`
|
||||
(`/api/v1/…` liefert SPA-HTML mit 200); Modellnamen brauchen `noris/`-Präfix;
|
||||
Reasoning-Modelle: Smoke über Status + usage, nicht Content; ESO-Defaults
|
||||
(`conversionStrategy/decodingStrategy/metadataPolicy`, `deletionPolicy: Retain`)
|
||||
in Git pinnen, sonst ArgoCD-Drift bei leerem Diff.
|
||||
- **Altlast:** 1P-Items `VK ceo (v2)`/`coo (v2)`/`cmo (v2)`/`devops (v2)` halten
|
||||
13-Zeichen-Platzhalter (401) — Löschung vorgeschlagen. 9 Alt-VKs noch aktiv
|
||||
(Deaktivierung = Owner-GO).
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-26-bifrost-virtual-keys-per-agent.md`
|
||||
|
||||
## [2026-10-25 spät] Fleet-Rebuild p0-image GRÜN — Gitea-OCI-Push-Kette + ESO-b64dec
|
||||
- **Phase 0.5 abgeschlossen:** Agent-Image `git.schoen.codes/dominik/hermes-agent:fleet-v1`
|
||||
= digest `sha256:32eda413…` in Gitea-Registry (1,07 GB), digest-gepinnt in
|
||||
OpenShell-Values (Commit 640e051), ArgoCD Synced/Healthy, gateway.toml
|
||||
`default_image` live. E2E: Kubelet-Pull 34,6 s, jq intakt. Pull-Secret
|
||||
`agent-fleet-registry-pull` out-of-band NS fleet.
|
||||
- **Solution Docs:** integrations/2026-10-25-gitea-oci-registry-push-chain.md
|
||||
(http-Realm-Bug Gitea 1.27, Traefik-499-Manifest-PITFALL: Blobs idempotent →
|
||||
einfach erneut pushen; port-forward überlebt keine SSH-Session) und
|
||||
bug-fixes/2026-10-25-eso-decodingstrategy-pruned-b64dec.md (ESO v2.2.0 prunt
|
||||
decodingStrategy → b64dec IM Template; Mischung = Doppel-Dekodierung schreibt
|
||||
Fehlerstring als Secret).
|
||||
- **Wiki:** systems/agent-fleet.md (Rebuild-v2.5-Abschnitt + Freeze-Status) und
|
||||
systems/gitea.md (Container-Registry-Sektion + Push-Runbook) aktualisiert.
|
||||
|
||||
## [2026-10-25 vormittag] Model-Split fleet-weit — 3 Modelle statt 1
|
||||
- Owner-Direktive: Last der Agenten auf unterschiedliche Modelle verteilen
|
||||
(glm-5.3, glm flash, deepseek). Release-Lane-Verfügbarkeit geprüft:
|
||||
glm-5-3, glm-5-3-flash, deepseek-v41-flash (alle 3 smoke-getestet durch
|
||||
Bifrost, 159–268 ms, VK-Policy erlaubt alle).
|
||||
- Rollen-Zuordnung: CEO/CTO/CISO = glm-5-3 · CHRO/CMO = glm-5-3-flash ·
|
||||
COO/devops = deepseek-v41-flash. Nur 4 CTs geändert (165/202/205/206),
|
||||
Config-Backups je CT.
|
||||
- **Pitfall DeepSeek V4.1:** lehnt Hermes-Default-`reasoning_effort` ab
|
||||
(HTTP 400 „must be low, high, xhigh, max or integer [1,100]") → alle
|
||||
Subagenten failen sofort rc=1. Fix: `agent.reasoning_effort: low` in
|
||||
/root/.hermes/config.yaml (CT 202/206). Flash unempfindlich.
|
||||
- **Pitfall Hermes-Config-Schema:** `api_key` (snake_case), nicht apiKey.
|
||||
- Verifikation: Chat-OK je CT, Bifrost-Metriken zeigen echte Verteilung
|
||||
(tok/s je Modell: glm-5-3 33,9k / deepseek 16,4k / flash 208; req/1h:
|
||||
1097/123/9), COO-Queue 1→0, devops-Queue 2→1 mit ok-Zeilen nach Fix.
|
||||
|
||||
## [2026-10-25 früh] Quittungs-Kaskade gebrochen — Poller v3.7 SILENT-ACK-KONSUM
|
||||
- Root Cause des Inbox-Staus (25.10.): **Quittungs-Kaskade** (ACK-of-ACK-of-ACK)
|
||||
— jede verarbeitete Mail erzeugt neue Quittungs-Mails; Zustrom ~179 Mails/h
|
||||
hielt exakt mit dem Abfluss Schritt. Poller-Durchsatz war NICHT das Problem
|
||||
(315 ok-Zeilen seit 23:10, chro 26→3 gedreht, Triage v3.6.2 fleet-weit OK).
|
||||
- **Hebel 1 (Hebel 2 = mailprompt.txt v2):** COMMUNICATION-STOP-Regeln in allen
|
||||
7 Agent-Prompts (terminale Quittungen, keine Meta-ACKs, max. 1 Dialogrunde).
|
||||
Deploy via base64 → je CT ERST dekodieren, DANN %AGENT%/%ROLE% substituieren.
|
||||
- **Hebel 2:** Poller v3.7 `is_ack_chain()` — reine ACK/Quittungs-Mails (Datei-
|
||||
namens-Muster) werden STILL konsumiert (mv → processed/), ohne LLM-Call.
|
||||
Corrigenda-Ausnahme (aktive Frage/Freigabe im Subject) bleibt regulär.
|
||||
Mock-Test am echten Backlog VOR Deploy: 27/43 CEO-Mails terminal, 16 regulär.
|
||||
- Verifikation fleet-weit (06:31–06:35 gestaffelt): CEO 43→12, CTO 72→26,
|
||||
CISO 52→30, CHRO 0, devops 1 binnen ~80 min; Zustrom 179/h → 11/30 min (−88 %).
|
||||
- Pitfall erneut bestätigt: patch-Fuzzy auf MD-Dateien → Duplikat-Zeilen,
|
||||
nach jedem Patch re-validieren. COO `archived=-19` Zählartefakt (Wiederver-
|
||||
arbeitung von already-processed) — kosmetisch, beobachten.
|
||||
- Wiki `systems/agent-fleet.md` Poller-/Mailprompt-Sektion → v3.7/COMMUNICATION-
|
||||
STOP; Board-Vollzug + Solution-Doc-Nachtrag + Hindsight folgen.
|
||||
|
||||
## [2026-10-24 spät] Fleet-Mail-Poller v3.6.2 — Triage-Root-Cause vLLM-Slotsättigung
|
||||
- Triage-Failserie (rc=124/request_failed seit v3.2) final gerootet: **vLLM-
|
||||
Slotsättigung** — Mail-Subagenten belegen vLLM-Sequenzen 8–15 min lang;
|
||||
Triage-Requests warten in der vLLM-Warteschlange bis zum Timeout.
|
||||
Prompt-Größe/Encoding als Ursachen widerlegt (Bisektion 2–13/53/106 kB).
|
||||
- Poller-Evolution heute: v3.4 (Retry/Gateway-Wait/K=3) → v3.5 (Chunk-Triage
|
||||
à 15, Fail-safe P2) → v3.6 Slotguard → v3.6.1 nummerierte Antworten
|
||||
(Output-15×-Reduktion, lokales Mapping) → **v3.6.2 (TTIMEOUT 900 s +
|
||||
TRIAGE_CAP 900 s: bei Sättigung sofort verarbeiten statt blockieren)**.
|
||||
- Verifikation 23:16–23:36: CEO 1/1 (p2/p3/p4), devops 1/1 (p1=3), CTO 2/2
|
||||
(p1=6), CHRO 2/1 echte P-Verteilungen; cap-Fail-safe griff designed;
|
||||
Volllast ceo-v2 3873 tok/s — System arbeitet, Priorisierung funktioniert.
|
||||
- Wiki `systems/agent-fleet.md` Poller-Abschnitt → v3.6.2; Solution-Doc
|
||||
Nachtrag 3 (Root-Cause-Chain + Pitfalls); Hindsight retain erfolgt.
|
||||
|
||||
## [2026-10-24] Agent-Fleet Triple-Incident: Zombie-Gateway + VK-Join-Bug + Triage-Timeout
|
||||
- „CEO 40 Mails + 0 tok/s" = 3 Ursachen: (1) verwaister Hermes-Gateway auf
|
||||
CT 161/164 frass Subagenten (0 CPU) — ExecStartPre-Cleanup auf allen 7
|
||||
fleet-mail-Units; (2) WebUI-Join las nach VK-Rotation die tote Alt-Reihe
|
||||
`ceo` statt `ceo-v2` (real 367 tok/s) — v0.3.4 R4-Alias-Join (Summierung,
|
||||
Unit-Test 10/10, E2E grün); (3) Triage-rc=124 bei >40 Mails → v3.3
|
||||
(head -c 2000 je Mail, Timeout 600 s; Fallback wäre FIFO gewesen).
|
||||
- Journal-Diagnose: `journalctl -t fleet-mail` (TAG), `-u` verschluckt
|
||||
Subagent-Zeilen → 2 h CISO-Blindheit. Solution-Doc + Hindsight indexiert.
|
||||
|
||||
## [2026-10-23] openshell_controller v0 live — 5-Bug-Kette + Clone-Blocker; Aufträge Tofu-Pipeline + W2/W3 an Konzern
|
||||
- B2 implementiert: Controller CT 160:8081 active, E2E grün (Health db:true,
|
||||
401, T08 + Strict-Gate 422 journalisiert). 5 Bugs gefixt (Hash-Typo, psql -t -A,
|
||||
@@ -612,3 +972,251 @@
|
||||
- DST: CEST→CET am So 25.10. — Cron-Umstellung (Morgen 0 6, Mittag 30 11, Abend 30 19 UTC) als Memory-Reminder dokumentiert.
|
||||
- **22.10. 20:15** Agent-Fleet Genesis W0: CEO deployed (CT 161, 10.0.30.162). Herzschlag→Beacon→PG/Prom verifiziert, Inferenz via Bifrost verifiziert (9× 200). W1-Board-Memo (Occam/Hadrian/Diogenes) vom CEO erarbeitet, liegt zur Genehmigung. Spec v5.2 (A15/ADR-018), Commit f8f43d7. Details: systems/agent-fleet.md.
|
||||
- **23.10. 06:45** Agent-Fleet W1: Board deployed (CT163 cto/Occam, CT164 ciso/Hadrian, CT165 chro/Diogenes — Vollklone CT161, sanitisiert, eigene Heartbeat-Timer). Ghost-Heartbeat-Zwischenfall (geerbte CEO-Timer, 1438 Rows) per Phase-Clustering gepurgt, 308 echte CEO-Rows erhalten. A16: Board hiret ab W2 kollektiv; Slim-Sizing für Worker. Spec v5.3, Commit d04935f. Details: systems/agent-fleet.md.
|
||||
|
||||
- **26.10. (Chair) p0-beacon 0.11 + p0-deadman 0.12 GRÜN** — Beacon: Deployment 1/1, healthz 200, E2E POST /heartbeat ceo → 200 + DB-Row, unbekannter Agent → 422, /metrics live. Drei Root-Causes behoben: fehlende `DATABASE_URL` (envFrom liefert nur Einzelkeys → secretKeyRef auf `uri`), Patch-Indent-Bug (`name:` neben statt unter `secretRef` → ArgoCD ComparisonError blockierte App-Sync), fehlende **Sequence**-Grants für app_fleet (BIGSERIAL → `permission denied for sequence heartbeats_heartbeat_id_seq`; GRANT USAGE,SELECT + ALTER DEFAULT PRIVILEGES in schema.yaml). Deadman: LLM-freier Watchdog (Image ohne hermes/LLM bewiesen), 3 Kaskaden (Agent-Silence 1800 s / Watcher-Tick 180 s / Gateway 120 s anhaltend), Edge-Trigger → 1 P1-Eskalation je Alarm an ceo, Heilung löscht Alert. Watcher v2 mit `_journal/watcher.tick` als Liveness-Signal. Kritischer Validator-Konflikt: from/to waren auf die 9er-Org beschränkt → System-Sender `deadman-watchdog` (nur type=escalation) ergänzt; Envelope-Feld ist `body`, `input` wird quarantäniert (9/9 Tasks durch validate_schema_loose bewiesen). E2E Watcher-Kaskade live: replicas 0 → Tick 105→300 s → ALARM bei 196 s + Task → replicas 1 → GEHEILT. Neue ArgoCD-Lektion: Jobs blockieren App-Sync bei Immutabilität; `Replace=true` scheitert (fehlender selector) → Job als **PostSync-Hook** (hook-delete-policy BeforeHookCreation). `kill -STOP 1` im Pod wirkungslos (PID-Namespace-Init). Details: systems/agent-fleet.md.
|
||||
|
||||
- **28.10. (Chair) fleet-v5: DeepSeek-400-Fix + Worker-Timeout-Deckel** — Root Cause: DeepSeek V4.1 (noris-vLLM) lehnt Hermes-Default reasoning_effort=medium mit HTTP 400 ab ("must be low, high, xhigh, max, or integer [1,100]"); devops/coo/research-Turns starben mit rc=1 + 0 API-Calls in <5s (Session-DB cli_close), GLM akzeptierte medium. Org-Standard: reasoning_effort max auf allen 9 Agenten (Owner-Entscheid). fleet-v5 (Digest sha256:2435aebd…, Commit 2169c12): start-agent.sh seedet/injiziert agent.reasoning_effort: max additiv-idempotent; worker LLM_TIMEOUT_SECONDS env-overridable Default 1800 s (hartes 600 s killte max-Effort-Turns: CEO 2f12c100, devops a831a78b). Smoke grün (Seed/Injektion/Override 42). Prepuller-DS-Pitfall: v3-Digest war beim v4-Rollout stehengeblieben — jetzt mitgepinnt. Rollout 18:07Z: 9/9 recreate auf v5. Solution Doc bug-fixes/2026-10-28-deepseek-reasoning-effort-400.md (Bug Fixes 50), Wiki agent-fleet.md v5-Sektion, Hindsight retain.
|
||||
|
||||
- **29.10. 05:0x (Chair) Traefik-interne EntryPoints nach ArgoCD-Sync verloren + Tower 0.15 Sandboxes-View** — Tower (.213) und fleet-webui (.212) waren ab 28.10. 22:21 down: ArgoCD-`proxy`-Sync (Rev 4ecb30e) fiel exakt mit Helm-Release #96 zusammen, das ohne HelmChartConfig-Werte renderte (keine `web-internal`/`websecure-internal`/`tower-internal`, kein allowCrossNamespace) — Pods blieben 1/1 Ready, Service-Endpoints 8/8 ready, nur die EntryPoints fehlten; nach Wiederherstellung der Config lief KEIN neuer Job (Controller reagiert nur auf Hash-Änderung). Fix: Kommentar in `valuesContent` → Push → ArgoCD-Sync → Release #97 mit allen Ports; verify 200 von 10.0.20.92, 403 von VLAN 30, `/api/fleet/sandboxes` 9 Agenten all_running. Tower 0.15 (Commit 4ecb30e, Digest 00a82fef…): fleet-native Sandboxes-View via read-only PromQL/kube-state-metrics (Upstream-Views brauchten Host-CLI). NAR-Eskalation edd15ff1 war bereits per `[APPROVE]` entschieden (devops hat GitOps-Grant umgesetzt). SolDoc bug-fixes/2026-10-29-traefik-interne-entrypoints-nach-argocd-sync-verloren.md (Bug Fixes 53), Skill traefik-proxy-administration gepatcht, Wiki systems/agent-fleet.md aktualisiert.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Sorter v11, HEVC-Rest, Jellyfin 215/215 grün** — 70 neue Downloads sortiert (0 übersprungen): PureTaboo 49, nzbindex-5 12, HogTied 8, nzbindex-4 1. Sorter v10 führte die **generische Serien-Ableitung** ein (Marken-Token vor Datum/E-Code → `media/<Marke>/` statt `OTHER`); v11 erweitert den Fallback auf `YYYY-MM-DD`-Namen und mappt `DigitalSin → He's in Charge`. Neue Serien: PureTaboo, SilkSub, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, KinkUniversity. Dedupe 8 Gruppen → 10 Verlierer (5,7 GB) nach `quarantine/dedup2/`. 66/70 waren bereits h264+AAC; die 5 HEVC-Dateien per VAAPI auf h264 umkodiert (BratTamer 479→991 MB, Lustery 688→1192, DungeonSex 753→1607, Deeper 605→1194, HogTied 460→835) — alle `ftyp→moov→free→mdat` = faststart, Originale in `transcode-originals/`, **HEVC-Rest 0**. Owner-Drift von 61 Dateien auf 1000:1000 korrigiert. **Jellyfin-Scan-Hänger (84 %) war der Ordner `Other`**, nicht die Datei und nicht die DB-Zeile (Canary-Beweis: gleiche Datei in `Solo` indexiert sofort) — Ordner aufgelöst, Strays nach `Deeper/`; Scan jetzt **Idle, 215 Items = 215 Videos, 215 NFOs**. Disk 608G/1008G (61 %). Pitfalls (Wiki sabnzbd.md): Pod-Rollout SIGKILLt laufende In-Pod-Transcodes (erst Deploy, dann Encode); Sorter-Script nur im sabnzbd-Container, VAAPI-ffmpeg nur im converter-Sidecar; faststart nie mit 200-KB-Sniffing prüfen (moov kann größer sein) — Atom-Kette lesen. SolDoc integrations/2026-10-29-jellyfin-scan-hang-other-folder.md. Offen: Quarantäne 82 GB (27 4K-Varianten mit 1080p-Gegenstück) wartet auf Lösch-GO; `_hold/src.mp4` 618 MB.
|
||||
|
||||
- **29.10. (Chair) Fleet-Autonomie Iteration 3: Identität (SOUL.md) + Ideations-Pflicht + Tower-Token-Anzeige** — Owner: „Loop läuft nicht sauber, keine neuen Ideen, Karten bewegen sich nicht, keine Token-Consumption." Drei unabhängige Root Causes: (1) **SOUL.md** (Identitäts-Slot des Hermes-Prompts, im Workspace `/sandbox/.hermes/`) enthielt nur generischen Boilerplate bzw. fehlte bei cto/research/devops → 9 rollenlose Agenten, `max_turns: 40` wurde mit Selbstbeschäftigung gefüllt (devops: 8,5 Mio Input-Tokens in 30 min, dann rc=1). (2) Tower zeigte `0 tok/s` bei realem Verbrauch: `rate()` liefert je VK mehrere Serien, `out[vk].in = v` überschrieb mit der letzten (meist 0) → `sum by (virtual_key_name)`. (3) Der Idle-Auftrag des Watchers sagte wörtlich „**Keine neuen Karten erfinden**" — Ideen waren im System verboten, die Organisation konnte nur den Seed-Backlog abarbeiten. Fix: `gen_soul.py` + `deploy_soul.sh` (9× SOUL.md 2,9–4,0 KB, `max_turns 20`, `reasoning_effort` je Rolle), `start-agent.sh` `ensure_soul()`, Tower `sha256:84a79b99…`, watcher 0.19 `sha256:93777fc0…` mit Pflicht-Schritt 4 IDEATION (<3 Karten `Neu` → genau EINE Idee: eigene Karte oder Ideations-Auftrag an Rotation cto/cmo/coo/research). Commits `a362144`, `1407c0e`, `ce38c34`, `3f9f0cd`. Beweise: Turns 32–138 s statt 30 min; Tower-Raten (ceo 4489 / ciso 3516 / devops 9424 tok/s) identisch mit Prometheus; Karte `rueckbau-nar-tower-healthz-readonly` Neu→In Bau→Fertig mit Review; **CEO nimmt eine Abnahme nicht ab** (ZURÜCKGEWIESEN + Nachbesserung); **ciso triagiert NAR als KRITISCH** und eskaliert an tower-owner; devops stellt `[CHANGE-ORDER]` an ciso. Pitfalls: SOUL.md liegt im PVC (Image-Rebuild ändert bestehende Sandboxes nicht), Idle-Task-Text schlägt SOUL-Mandat, `wert`/`machbarkeit` 1..10, Tower bindet auf Pod-Hostname, `pkill -f "<script>"` killt die eigene SSH-Session. SolDoc Architecture 17.
|
||||
|
||||
- **29.10. (Chair) Fleet 1b+2b: policy-service (enge GitOps-Bruecke) + Ideations-Schwelle <5** — Owner waehlte 1b (Agenten bekommen eigenes, enges Repo-Schreibwerkzeug) und 2b (Ideation erst unter 5 offenen Karten). Neu `fleet-policy-service` 0.1 (`sha256:8e7cb123…`, Commit `0e7f698`): MCP mit `policy_list/read/diff/commit/status`, schreibt ausschliesslich `clusters/main/fleet-truth/openshell-policies/<name>.yaml` via Gitea-Contents-API. Sechs Gates (Org-Mitglied, Rolle ciso|devops, Owner-Grant aus dem NAR-Verfahren, Pfad-Regex, striktes YAML ohne doppelte Keys, Read-back bytegleich) + Journal-Audit mit Host-Diff; Token nur im Pod. Beweise: 9/9 Negativfaelle fail-loud, echter Commit `538359a` als `Fleet devops`, und ein echter devops-Agent-Turn (60 s) aus dem Sandbox, der die Tools nutzt. watcher 0.20 (`sha256:21ea543c…`, `5279cdc`) setzt `<5`. Verdrahtung braucht drei Dinge: Service + Host in `sandbox-base.yaml` + `mcp_servers.policy` + Recreate. **Pitfalls:** abgelaufener OIDC-Token laesst delete+create scheitern (fail-closed, nichts geloescht); `-- sleep infinity` startet die Sandbox ohne Runtime (richtig: `start-agent.sh <agent> <model>`); Recreate = frisches PVC, und weil `/opt/hermes/fleet/soul/` nicht im Image liegt, **erzeugt jeder Recreate heute einen Agenten ohne Identitaet** (Landmine, Image-Rebuild offen); maskierte Tool-Ausgaben (venv-Pfad `202****1021`) bauen policies mit unmatchendem `binaries`-Pfad; `kubectl exec` im Sandbox hat kein DNS (bypasst Supervisor). **Zwei Befunde:** die „zurueckgebauten" NAR-Grants existierten nie als Policy-Datei (Karten trotzdem Fertig → Verifikations-Luecke), und `decide_owner_task`/`submit_owner_task` sind von jedem Agenten aufrufbar (Owner-Freigabe faelschbar; braucht Identitaets-Binding). SolDoc Architecture 18.
|
||||
|
||||
- **29.10. (Chair) Media-Library: Low-Res-Alternativen importiert + HEVC-Lücke aufgedeckt (Sorter v12)** — Owner: „go 1, die lowres alternativen auch in media schieben, kein upscaling". (1) **13,20 GB Duplikate gelöscht** (Quarantäne), jeweils erneut nachgewiesen: Octavia-Red-4K byte-identisch zur Bibliothekskopie (gleiche Größe + Head/Tail-Hash), Iris-Leon-4K = gleiche Szene wie 1080p (3029 s == 3029 s), Whitney-Doppel md5-identisch, Melissa-Stratton-480p = Bibliothek 1080p (2914 s). (2) **5 Low-Res-Uniques as-is nach `media/`** — 3× PureTaboo (544/576p, aus `milfan`-Namen manuell benannt), SexAndSubmission Lucy Mochi 480p, neue Serie `KinkySpa` (480p, 1 h 50). Höhe vor/nach Move geprüft: unverändert, **kein Upscaling**. NFO mit Plot-Zusatz „(Alternativfassung <n>p, nicht hochskaliert.)", Owner 1000:1000, ein Jellyfin-Refresh → 250 Items. (3) **Serien-Ordner-Kollision `Maxinex/` vs `MaxineX/`** gefunden (generischer Fallback vs. explizites Mapping): dieselbe Szene lag doppelt, v12-Dedupe greift nur bei identischem Zielnamen → HEVC-Duplikat (1080p, 301 MB) nach `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB) nach `MaxineX/`, leeren Ordner entfernt, beide NFOs mit richtigem Plot/Studio neu geschrieben. (4) **Root Cause der HEVC-Rückkehrer:** der Sorter prüft nur `stream=height`, nie `codec_name`; und der Converter-Daemon pollt `/config/convert-queue/*.job`, das seit Commit `643c318` („sorter->media statt 720p-enqueue") **niemand mehr füllt** → Sidecar läuft leer (`sleep 20`, Queue 0 Jobs). Vanna Bardot (HEVC 720p) manuell per VAAPI saniert (378→689 MB, `ftyp→moov→free→mdat`), Original gesichert → **HEVC-Rest 0**. Strukturfix (Codec-Gate + Enqueue, `TARGET_H` 720→1080, Original-Sicherung in `encode_one`) braucht Rollout → nur bei leerer Queue (2 Slots, 102,5 GB offen). Endstand: **250 Videos / 250 NFOs**, 0 ohne NFO, 0 falscher Owner, 0 `(N)`-Gruppen, 27 Serien-Ordner, Disk 543G/1008G (54 %), Quarantäne 289 MB. SolDocs: `integrations/2026-10-29-lowres-alternativen-import.md`, `integrations/2026-10-29-sabnzbd-hevc-enqueuer-fehlt.md`.
|
||||
|
||||
- **29.10. (Chair) Sammler-NZBs: 5 Szenen eingereiht + Automatik gebaut** — Owner: „starte alle nzb files in incomplete. gewährleiste, dass korrekt heruntergeladene nzbs aus sammlern künftig automatisch geladen werden". Befund: die Jobs `nzbindex.nzb-*` sind **Collection-NZBs**; ihr Payload enthält weitere `.nzb`-Dateien (12 in `incomplete/` aus `-9/-10/-7`, 1 in `complete/nzbindex.nzb-8/`), die SABnzbd als Dateien lädt, aber **nie einreiht** — bezahlter Traffic ohne Bibliotheksinhalt. Neu `/config/tools/nzb_harvest.sh` (PVC): XML-Parse als Reife-Test (unfertige NZBs sind NUL-vorbelegt), sha256-Ledger `/config/nzb-inbox/.ledger`, **Bibliotheks-Guard** (Serien-Ordner + ISO-Datum gegen `media/`), Einreihung per `mode=addlocalfile` + `script=convert720.sh`; Drop-Inbox `/config/downloads/nzb-drop` (SMB `downloads/nzb-drop`). Zwei Trigger: **Postproc-Hook** am Anfang des Sorters (Commit `d7a9fd9`, live via ConfigMap ohne Restart, Zeilen 17–23) für erfolgreiche Jobs + **Hermes-Cron `cbe8b52009a2`** alle 15 min (`no_agent`, silent) für gescheiterte. E2E-Beweis mit synthetischer Mini-NZB durch den echten Postproc-Weg (Queue-Slot „TestBrand - 2019-01-01 - Hook Probe", danach restlos entfernt). Ergebnis: **5 eingereiht, 9,9 GB** (TheUpperFloor 2011-10-20/21, TheTrainingOfO 2013-01-11/03-22, MaxineX Velvet Skye Part 3), **4 übersprungen** weil schon in der Bibliothek (10,7 GB nicht erneut geladen), 4 waren unvollständig → 3 inzwischen komplett+übersprungen, offen nur `2015-05-22 Savannah Fox` (kommt automatisch mit Job `-9`). Pitfalls: API von `127.0.0.1` braucht `Host: sabnzbd` (host_whitelist), Harvest muss **vor** der Junk-Quarantäne laufen. SolDoc `integrations/2026-10-29-sammler-nzbs-automatisch-einreihen.md`.
|
||||
|
||||
- **29.10. (Chair) Owner-Entscheide 4a+5a: Deadman-Kaskade `autonomy` + Phantom-Rückbau korrigiert** — 4a: neue Kaskade im Deadman (0.13.1, `508f0e60…`, `ff7e1b3`), die erkennt, wenn der Loop stillsteht, obwohl Arbeit möglich wäre: kein offener Agenten-Task, ≥1 Karte `Neu`, `idle_age > silence+backoff+600` UND `task_age > silence+600`; Schwelle selbstjustierend aus dem Journal (Backoff bis 4 h). Beweise: 11/11 Unit-Tests, isolierter E2E-Job im echten Image (Alarm-Task, DEADMAN-ALARM.md, Journal, Heilung), plus ein echter Live-Alarm — der allerdings vom noch laufenden Alt-Pod ohne die task_age-Regel kam (Fehlalarm 4 min nach Task-Ende) und damit genau die Regel bestätigt. Watcher 0.21 (`30fedca9…`, `85e1a40`) nimmt Owner-Tasks aus dem Idle-Gate (Ursache des 56-min-Stillstands). 5a: Der Owner hatte die beiden P1-Eskalationen 12:55 selbst mit APPROVE entschieden; devops hat daraufhin `openshell-policies/ceo-sandbox.yaml` **erfunden** (`b5643ea`, `egress: []` — schema-invalid, hätte einen CEO-Recreate ohne Netz hinterlassen) → revertiert (`0887212`), Korrektur-Task `6c226195` an devops, der den Befund selbst bestätigte und nichts weiter schrieb. Lektion: Agenten-Selbstauskunft ist kein Beweis (Commit beweist das Gegenteil), und `policy_commit` darf neue Dateien nicht ohne explizites Flag anlegen. SolDoc Architecture 19.
|
||||
- **29.10. (Chair) Worker-Disconnect-Regex + Single-Claim-Gate: Loop wieder autonom (v5.4 / board 0.16)** — Owner: „Loop läuft nicht sauber". Zwei Wurzeln: (1) `worker_loop.py` erkannte den CLI→Daemon-Disconnect nur am Präfix `Gateway disconnected`, das echte stderr langer Turns enthält aber nur `session_id: local-<64hex>` → im Daemon **fertig gelaufene** Turns (47–48 Msgs, 20 API-Calls, `end_reason=cli_close`) galten als Fehler, wurden retryt (Duplikate, 68k Input-Tokens) und Tasks failten; Fix `5de1763` (generischer session_id-Regex + Erfolgs-Check vor Disconnect-Pfad), Agent-Image **v5.4** `sha256:27a2f3a2…` (Commit `a8c07fd`) 9/9 rollout. (2) Der Agent hält die Board-MCP-Tools im Turn: CEO claimte **9 Tasks parallel** und ließ sie bei Turn-Ende offen; Watcher resettet `working` im Agents-Mode bewusst nicht → Waisen + Idle-Gate blockiert. Fix `1cf0560`: board-service **0.16** (`sha256:3318632c…`) mit **Single-Claim-Gate** — `claim_next_task` liefert bei eigenem working-Task `OK_OWN_ACTIVE` + genau diesen Task (Lease: max 1 pro Identität; Worker resumed statt stapelt). Beweise: In-Pod 2 Claims = dieselbe task_id; Bestand 1 working statt 9; Auto-Abarbeitung 16:29–16:41 (FYIs instant + 1 Eskalation mit echtem Ergebnis); **Autonomie-Kaskade feuerte produktiv 17:06:56** → CEO claimt 17:07:09. Eigener Incident: `kill -9 56` traf den Sandbox-Main-Prozess (ceo+devops phase=Error, exit 137) → nur Gateway-Recreate heilt; Regel: keine Sandbox-PIDs ohne cmdline-Check killen. Pitfalls: Digest-Präfix-Replace erzeugt 128-Zeichen-Frankendigest; Build+Push+Inspect im 420s-Terminalblock (Timeout ≠ Fehler, Zustand separat prüfen); `kubectl exec`-Heredoc liefert leer. SolDoc bug-fixes 54.
|
||||
- **29.10. (Chair) Owner-Grant Internet-Egress für research (OpenShell-Grenzen dokumentiert)** — Owner entschied zur NAR-Eskalation www.nvidia.com:443: research soll generell Internetzugriff bekommen. OpenShell 0.1.5 kann alle Hosts nicht (Upstream #3856): host '*'/'**'/'*.*'/'**.*' abgelehnt; hostless+allowed_ips autorisiert nur IP-Literale (Hostnamen scheitern mit policy_dns_ineligible, synthetische 198.18.0.x); '**.*.*' deckt alle Namen mit >=3 Labels. Umgesetzt: research-sandbox.yaml (Commit a2fe891) = Basis + zwei Endpoints (hostless CIDR-Klammer aus 51 oeffentlichen IPv4-Bloecken + Wildcard **.*.*, Ports 80/443, identische allowed_ips wegen Overlap-Constraint), live per policy set v3 ohne Recreate. Beweise: www.nvidia.com 307, docs.nvidia.com 200; 2-Label nvidia.com, K8s-API 6443 und Metadata 169.254.169.254 weiter DENY; ceo-Gegenprobe DENY (Scope research-only). Fuer 2-Label-Domains Advisor aktiviert (agent_policy_proposals_enabled, proposal_approval_mode=auto) bzw. NAR mit exaktem Host. Eigenen CHANGE-ORDER des Agents an devops als gegenstandslos geschlossen (haette engere Datei geschrieben -> Grant-Verlust beim Recreate); Verifikations-Task ea9b135f an research gestellt. SolDoc integrations 14.
|
||||
- 2026-10-29 18:25 - agent-fleet: Research-Internet via Reader-Proxy (r.jina.ai) live; L4-Bypass + 0.1.6 als Wege ausgeschlossen (Gateway-Error, Release-Notes); SOUL/Policies-Commits b91e559, 3a739f0; E2E-Task 3a19f80a 75 s, arXiv:2606.15549 unabhaengig verifiziert; Pitfall: kubectl exec ohne Supervisor-DNS.
|
||||
- 2026-10-29 19:05 - agent-fleet: Watcher 0.22 live — Idle-Gate ignoriert tower-owner-Tasks, Pick-Regel ueberspringt rueckbau-*; E2E 18:55-19:00: Trigger→CEO→owner-mvtk8gaf In Bau→devops-Delegation→Ideation tower-kosten-ampel. Digest 3e3c6ff0…, Commit 989c4a6. SolDoc bug-fixes/2026-10-29-fleet-watcher-idle-gate-tower-owner-block.md
|
||||
- 2026-10-30 06:25 - agent-fleet: Tower 0.20 live (Tasks-View, Task-Detail, /healthz, /api/status, Re-Dispatch-Badge) + board-service 0.20 (`redispatch_task`) + watcher 0.23 (Envelope-Whitelist); E2E: Dead-Letter-Task 01956904 → cc6c6f97 → ceo lieferte Rollenbeschreibung; Builds jetzt in-cluster via Kaniko (Runner-VM 200 ext4-Journal-Hang). SolDocs bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md + tooling/2026-10-30-kaniko-in-cluster-build-pipeline.md.
|
||||
- 2026-10-30 06:27 - agent-fleet: deadman 0.13.2 live — progress-Kaskade ignoriert Owner-Lane (drittes Vorkommen der Semantik-Luecke); progress/open_tasks 0, gateway_ok 1.
|
||||
- 2026-10-30 06:20 - sabnzbd: QuickTime spielt HEVC nicht — Ursache `hev1` statt `hvc1` (Apple/AVFoundation akzeptiert nur hvc1) + stale Jellyfin-MediaStreams nach In-Place-Ersetzung. Fix: `-tag:v hvc1` im Encode, Bestand per lossless Remux (`-c copy -tag:v hvc1`), ein Library-Refresh. Owner bestaetigte Wiedergabe. HEVC-Lauf: 30/278, 95,4 -> 24,3 GB (-75 %). Pitfalls: orphan ffmpeg 8,6 h GPU-Blockade nach abgebrochenem exec; `export -f log` fehlte; Selbst-Kill durch PID-Filter in eigener Kommandozeile (2x Exit 137). SolDoc integrations/2026-10-30-hevc-quicktime-hvc1.md
|
||||
- 2026-10-30 06:45 - agent-fleet: watcher 0.24 live — verwaiste Claims werden requeued (7200s, max 3 -> blocked); Live-E2E gruen; Kreis requeue->claim->complete geschlossen.
|
||||
- 2026-10-30 08:15 - systems/mgmt-runner neu: „ext4-Hang" VM 200 als Pool-Latenz entlarvt (jbd2 Ø 739ms commit, fsync 10 kB/s, Sequenzial 1,4 GB/s); Root-Disk auf hdd_disk (HDD-OSDs mit slow ops); Regel: Builds nur via Kaniko.
|
||||
- 2026-10-30 08:45 - sabnzbd: 4K-Einzelstueck auf 1080p skaliert (5,26 GB -> 893 MB, -83 %, hvc1, Dauer identisch, GPU-`scale_vaapi`). Dabei **Batch-Bug** gefunden: Faststart-Gate mit 2-MB-Fenster verwarf 23 fertige Encodes (moov endet bei 3,18 MB/61 min) -> v3 mit 16-MB-Fenster + entschaerfter Bedingung, Worklist 338, laeuft. SolDoc integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md; Skill video-codec-compatibility gepatcht.
|
||||
- 2026-10-30 08:50 - agent-fleet: board-service 0.22 (dismiss_owner_task) + Owner-Lane-Disziplin (FLEET-POLICIES 1.3, ciso-SOUL live). 13 Owner-Tasks geschlossen, Inbox 0. Entscheid: Kaniko bleibt Builder, Gitea-Actions-DinD verworfen (cp-01-Disk 7,7 GB frei).
|
||||
- 2026-10-30 09:50 - agent-fleet: p1-e2e-flow 4/4 GRUEN live (Kette Owner->CEO->cto->Abnahme 13 min inkl. Karte Fertig; FYI ohne Antwort-Task; Envelope-Quarantaene; Egress-Deny rc=7). Strukturbefund: 10 von 13 devops-Tower-Change-Orders nicht integriert, Chair ist Deploy-Deckel.
|
||||
- 2026-10-31 06:52 - proxmox3: eigener Watchdog-Test kostete 2 h Ausfall. **Ursache im Skript, nicht in der Hardware:** `cat .../carrier || echo 1` — bei administrativ down liefert die Datei `Invalid argument`, `|| echo 1` machte daraus "gesund". v1 lief 2 h alle 20 s mit exit 0 und unternahm nichts; auch die Rueckfallebene des Tests hatte denselben Denkfehler (`"" != "0"`). Watchdog v2 deployed: Tri-State (1/0/-1), `IFF_UP`-Flags, MGMT-IP-Check auf vmbr1, `ifreload -a`, kein `modprobe` mehr, flock. Risikofrei gegen Dummy-Interface `nictst0` verifiziert. Recovery war nur per Power-Cycle moeglich (Boot 06:40:49). Danach: PVE 8/8 quorate, Ceph 17/17 up+in / 530 PGs clean, K8s 8/8 Ready. SolDoc bug-fixes/2026-10-31-nic-watchdog-carrier-blindspot.md
|
||||
- 2026-10-31 13:35 - systems/schoenkitchen: **Wertstromanalyse** (VS-1 Content, VS-2 Software) in `docs/value-stream.md` + HTML-Karte. Gemessen: 200.000 Rezepte aus 22 Quellen (224.036 Sitemap-URLs, 89,3 % Ausbeute), seit 24.10. **0 neue/Tag** (Target-Gate), %C&A 67 %, 200k Embeddings+Semantik vom Frontend **ungenutzt**, Konsum läuft am Frontend vorbei (Generator KW43–45 vs. 18 UI-Plan-Items aus W30). Software: 104 Tage kein Commit, CI `|| true` (Gate offen), Deploy `:latest` + `git-overlay`-Init (Prod läuft Git-HEAD), 1 Replica/Recreate. Kernthese: Engpass von Angebot → **Verwertung + Frische** verschoben. Wiki-Seite auf Ist-Stand gezogen (74k→200k, Roadmap veraltet).
|
||||
- 2026-11-01 07:55 - systems/homeassistant: **BLE-Trilateration ausgebaut** — 11 Shelly Gen2/3 + 2 ESPHome = 13 aktive Scanner (vorher 5), Bermuda 13/13, alle Mode auto. Shelly-Scanner nur per HA-Options-Flow `ble_scanner_mode=auto` freischaltbar (RPC `BLE.SetConfig enable` wirkt NICHT, `BLE.GetStatus` bleibt leer — kein Fehler). Shelly = passiv (connectable=false) → GATT braucht ESPHome. `shellypro4pm` Area Garten gesetzt → Repair `scanner_without_area` weg (Bermuda-Area-Cache: Config-Entry reload nötig, WS-Command existiert nicht). esp32c3-supermini (90:DA:72:88:EB:42) offline.
|
||||
- 2026-11-01 09:20 - systems/homeassistant: **Area-Korrektur Sauna-Scanner + neue Bermuda-Falle** — Shelly „Strommessung Sauna" sitzt in der Garage (EG), Sauna steht auf dem Garagendach (Dachterrasse OG); Area `garage` von floor=None auf `eg` gesetzt, Shelly-Gerät + 3 Phasen-Kinder + BT-Record auf `garage`. Erkenntnis: Bermuda attribuiert Scanner-Areas über den **Bluetooth-Geräte-Record** (`Name (MAC)`), nicht über das Shelly-Gerät — bis der BT-Record stimmte, blieb „Dachterrasse/OG" trotz Reload. Zusätzlich Options-Flow-Detail: `ble_scanner_mode` Enum disabled/auto/active/passive, Default auto, Wert im REST/WS-Listing unsichtbar; A/B 13→12→13. Skill-Referenz + Solution Doc nachgezogen.
|
||||
- 2026-11-01 12:40 - systems/homeassistant: **BLE-Kalibrierung korrigiert** — ref_power gilt PRO GERÄT (nicht pro Scanner); Geometrie gemessen: 18/27 Geräte von ≥3 Scannern gesehen, iPhone indoor nur 2 → Innenraum-Proxy-Dichte ist der Engpass, nicht Kalibrierung. Fix: Output-0 (Brunnenstein) → Garten, Shelly-Entry-Titel 'Stromverbrauch Heizung' → 'Strommessung Wärmepumpe'. Tool: ~/workspace/bermuda_calib.py.
|
||||
- 2026-11-01 13:50 - systems/sabnzbd: **Codec-Audit komplett** (507 Videos): 164 HEVC/hvc1 (32%), 338 h264, 2 WMV3, 3 defekt (2x `.hevc_`-Temp ~1,9 GB, 1 Tutorial-MP4 moov fehlt). HEVC-Lauf stoppte 30.10. 17:56 (Manifest 126 Eintraege, kein ffmpeg aktiv). Fortsetzung blockiert: GPU-Node worker-05 (ms-a2-2) dunkel, worker-04 ohne renderD128 -> CPU-x265 unrentabel. Audit-Rohdaten: /config/convert-state/scan.tsv im Pod.
|
||||
- 2026-11-01 13:50 - entities/haus-grundrisse neu: Grundrisse EG/OG abgelegt (`assets/haus/`), Raum-Mapping OG vom Owner (Schlafen=Büro Sarah, Kind2=Schlafzimmer, Kind1=Cleo). Vision-Auswertung offen (Backend 502/WASM).
|
||||
- 2026-11-01 19:20 - systems/galera-maxscale: **MariaDB 11.8.9 rolling, 3/3 Synced, kein App-Ausfall** — Drift 11.4.12/12/13 erkannt, Stufe 1 alle auf 11.4.13, Stufe 2 node-fuer-node 11.4.13->11.8.9 (db3->db2->db1, Master zuletzt), `galera-4 26.4.27` unveraendert. `.72` per IST (5 s), `.73`/`.71` per SST (mariabackup-Stream, danach ~2 min Schema-Init). Verifiziert: VIP .70:3306 offen, gitea+5x ha_recorder ueber MaxScale verbunden, wsrep_last_committed +4/30 s, 0 ERROR-Zeilen, Gitea HTTPS 200, Schemas 116/25/16/13 Tabellen. Pitfalls: drain auf Master verboten -> `maintenance`; `maxctrl clear server X <state>` braucht State-Arg; Repo-Dateiname `.sources` vs `.list` je Node; apt auf HDD-Ceph ~10 min/Node -> nohup im Node. Logischer Dump verworfen (13 MB/min, ~6 h) -> Rollback = qm-Snapshots VM300/301/302. Naechster Schritt: Repo-Suite deb12->deb13 (trixie), Version bleibt 11.8.9. SolDoc migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md
|
||||
- 2026-11-01 20:10 - systems/jellyfin: **StashDB-Metadaten-Pipeline** — 439/506 Szenen (87 %) mit Original-Englisch-Plot, Studio, Datum, Cast, Regie; 31 Collections als Studio-/Serien-Kategorien; 437 NFOs ersetzen die Boilerplate. Fallstricke: `searchStudio` token-basiert (DeviceBondage→0, Device→*Device Bondage*), `performers` nur `INCLUDES` (EQUALS = Serverfehler, Recovery lief 5 min mit 0 Treffern), `text` matcht nur Titel → Cast nur via `searchPerformer`-ID, Pfad-Prefix `/media` vs `/config/downloads/media` normalisieren. Jellyfin-Write = voller DTO per `POST /Items/{id}` (204), Collections `POST /Collections?name=…&ids=…`. 67 ohne Match (28 Tutorials nicht in StashDB). SolDoc integrations/2026-11-01-stashdb-metadata-pipeline.md
|
||||
- 2026-11-01 20:15 - systems/jellyfin: **Dauerbetrieb** — StashDB-Enricher (`~/workspace/media_meta/`) + Cron `7264208b70b0` (6h, no_agent, still bei Leerlauf). 437 Items Tag `StashDB`, 67 Tag `nosdb` (zweiter Anlauf inkl. Performer-Recovery: 0 weitere Treffer). Sorter bewusst unangetastet (GitOps + Rollout killt Transcodes). Secrets: JF in `~/.hermes/secrets/media_meta.env`, StashDB-Key via `op read`.
|
||||
- 2026-11-01 19:05 - systems/agent-fleet: **Watcher 0.26 fyi-Retention live** — `phase_archive()` verschiebt fyi älter 1 Tag per os.replace nach `_archive/` (Move, nie Delete; max 250/Lauf, alle 300 s, Journal `fyi_archived`). Digest `sha256:aeb6efc6…ad30beb`, Smoke 32/32. Zwei Läufe: **319 fyi archiviert**, top-level 1574→1255, Rest 345 fyi alle ≤1,0 d. **Korrektur einer Fehlaussage:** von 664 fyi waren 651 `completed` — nur **12 `submitted`** blockierten das Idle-Gate. Kaniko-Pitfalls: interne Gitea-CA (`--skip-tls-verify-registry`), `BLOB_UPLOAD_UNKNOWN` + lügende `--digest-file` (Wahrheit = Pushed-Zeile; `--compressed-caching=false` + frischer Pod). SolDoc bug-fixes/2026-11-01-fyi-retention-archive.md
|
||||
- 2026-11-01 19:10 - systems/sabnzbd: **Sorter-Stillstand beendet** — `script = Default` in ini (kein Postproc!) + 3 Skript-Bugs (case-sensitiv, 15 Marken fehlten, obfuskierte Ordner) + Retry-Automat wiederholte permanente Fehler. 11 Dateien sortiert, Jellyfin 504→516, Disk 90→88%%.
|
||||
- 2026-11-01 19:56 - systems/rke2-kubernetes: **ArgoCD-Sync-Blocker entkoppelt** — App `fleet` hing 1,5 h an `DaemonSet/fleet-agent-image-prepuller` (8/7 ready, worker-05 Unknown): ArgoCD bewertet DS erst ab `numberReady==desiredNumberScheduled` als Healthy. `resource.customizations.health.apps_DaemonSet` mit enger Toleranz (nur dieses DS, genau 1 Node, ab 2 → Progressing) → Settings-Reload ohne Restart, laufender Op wurde `Succeeded`, App `Synced/Healthy`. Dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`), weil argocd-cm Helm-managed ist. Nebeneffekt: der Op rollte das Watcher-Deployment aus Git neu aus → Retention-Env + `_archive`-Init-Container erst dadurch live (`set image` hatte sie übersprungen). SolDoc bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md
|
||||
- 2026-11-01 20:05 - systems/sabnzbd: **Sorter-Sweep-Watchdog** (Cron `57900310b6e5`, 30 min) + Retry-Automat um Postproc-Klasse erweitert (`nachbearbeitung wurde abgebrochen`, `no such file`) → Sarah18-Wrack weg. Befund: `complete/` = 104 GB, darin **0 Videos** (67 GB Anime + 37 GB RAR-Sets + 89 NFO/JPG-Huelsen) → Loeschung braucht GO.
|
||||
- 2026-11-01 20:45 - systems/agent-fleet: **Karten-Bewertungs-Sweep live** (board-service 0.23 `2d8d3026`, watcher 0.25 `580773d3`, Commits 801409c/e8ef165/a233597). Zwei Zustell-Blocker behoben: (1) Dedupe filterte auf `type: review` — ein fachlicher Abnahme-Task (`working`, vs-fleet-rebuild) sperrte 40 fällige Karten → `_is_card_review_task()` = Sender-Diskriminator; (2) `board-service` fehlte in der **Hardcode-Kopie** der Sender-Allowlist im Watcher (`watcher_main.py` importiert nichts) → 4 Tasks `accepted` + 1 s später `quarantined`, Automatik meldete 40 min Erfolg ohne Zustellung. `accepted` ist Schreib-, `task_claimed` ist Zustellbeweis. Regressionsschutz `spool/test_sender_sync.py` (AST, 14 Checks). E2E: 5 Karten an ceo zugestellt (`c5473d17`), Karten unverändert `Neu`, Folgelauf ohne Doppel-Task. Pattern PAT-018 (`patterns/automatik-erfolg-kein-zustellbeweis.md`), Skill-Ref `agent-fleet-operations/references/spool-delivery-contract.md`, SolDoc bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
- 2026-11-01 21:55 - systems/galera-maxscale: **Welle 4 komplett — alle 5 DB-Nodes auf Debian 13 trixie, Kernel 6.12.113** (schließt CVE-2026-98432 für diese Tier). Galera: MariaDB 11.8.9+maria~deb13, galera-4 26.4.27-deb13, 3/3 Synced/wsrep_ready=ON; MaxScale 24.02.9~trixie-1 auf .81/.82, VIP .70:3306 offen. Ablauf: MaxScale zuerst (.82→.81), dann Galera db1→db2→db3 (Master zuletzt via `maintenance`, weil `galeramon` keinen switchover kennt). Pitfalls: cloud-init 25.1.4 schrieb auf .81 leeres netplan → DHCP/IP-Verlust (Fix 99-static-eth0.yaml per MAC + cloud-init-Netz aus); Repo-Namen driften (`mariadb.sources` vs `mariadb.list`, `fluent-bit.list` auf .72/.73); apt auf HDD-Ceph ~10-20 min/Node → nohup + `=== END`-Sentinel. E2E: Gitea 200 (1.27.0), Immich pong. Seafile-502 vorbestehend (VM203 ai-inference-01 gestoppt). SolDoc migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md
|
||||
- 2026-11-01 21:25 - systems/agent-fleet: **Deadman-Alarm an toten ceo umgeleitet** (Commit `7b621ad`, deadman 0.13.3 `d8dbc57a`, watcher 0.27 `ced4430b`). Vorfall: ceo-Sandbox `PHASE Error` ab ~18:43, Deadman erkannte korrekt, legte Alarm mit `to: ceo` → 1 h 43 m ungesehen, 73 Tasks Rückstau. Fix: `alarm_recipient()` leitet bei `source_key == agent:<ALARM_TARGET>` an `tower-owner`. Sender-Matrix in allen drei Ebenen erweitert (submit_task.py, watcher_main.py, CM-Kopie). Tests: test_alarm_routing 19/19, sender_sync 0 Fehler, echter Validator im Pod 6/6. ceo wiederhergestellt (stop→start nach OIDC-Login). Pattern PAT-019. Offen: Reconcile-Loop für PHASE Error, OIDC-Refresh-Token
|
||||
- 2026-11-02 - systems/proxmox-cluster: **CVE-2026-98432 Reststatus live geprüft** — PVE 8/8 `7.0.14-26-pve`, alle 29 LXC erben das (Edge CT99999 inkl.), Galera/MaxScale 5 VMs `6.12.113`, RKE2 7/8 Nodes `6.12.113` (worker-05/VM102 gestoppt), Debian-VMs 107/200/230 `6.1.0-54`, HAOS `6.18.58-haos`. **Offen nur:** Ubuntu .100 (6.8.0-146 läuft, 147 installiert, Fix 6.8.0-149 laut CVE-JSON weiter pending → Mitigation statt Patch) und worker-05 (Kernel beim Start prüfen, evtl. noch 7.1.8). SolDoc Reststatus-Abschnitt ergänzt.
|
||||
- 2026-11-02 - systems/rke2-kubernetes: **worker-05 (VM102) wieder online** — `qm start 102` auf ms-a2-2, Kernel `6.12.113+deb13`, Node `Ready`, 13 Pods laufen, GPU-Passthrough (AMD Granite Ridge, amdgpu, /dev/dri/renderD128) ok. Ursache des Ausfalls war **`onboot: 0`** + Host-Boot am 01.11. 11:31, kein Crash/CVE. `qemu-guest-agent` fehlte im Gast (PVE zeigte "agent: down" trotz gesundem Gast) → nachinstalliert, `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO).** CVE-2026-98432 damit 25/26 zu, nur Ubuntu .100 offen.
|
||||
- 2026-11-02 11:45 - systems/agent-fleet: **CEO-Sandbox wieder voll operativ — drei Egress-Gates entkoppelt** (Image `v5.5` `013bfac8`, Commits `d36f334`/`d431f6d`/`5d039ea`, Policy-Push `5d039ea`). Nach dem Landlock-Fix (Hermes real `/usr/local/hermes`, `/opt/hermes` Symlink) war `ceo` 2 h ohne Netz; die acht anderen Agenten unberuehrt. Ursachenkette: (1) Landlock verweigerte Spawn des Entrypoints (Pfad nicht in `read_only`); (2) Network-Broker matcht `binaries[].path` exakt — reale Interpreterpfad fehlte; (3) Gateway staged neue Endpoint-Namen als `staged unapproved ... for TCP policy review`, Default `--approval-mode manual` haelt jede Proposal im Review-Inbox -> Create mit `--approval-mode auto` noetig. Freigabe kommt eine Runde spaeter (`CONFIG:PUBLISHED ... mapped ... ~20 s`), erster Heartbeat 11:09:36 noch FAIL, ab 11:19:36 alle 300 s `hb ok`. Endstand: 9/9 Agent-Pods, 10/10 Deployments, `deadman_silence_seconds{ceo}=292` (<300), alle `deadman_alert_active=0`; ceo arbeitet Tasks ab (u. a. `a9bd0470` Deadman-Eskalation, `49f6f7cf` review von board-service). Pitfalls: Policy-YAML nie per `sed` (Muster kuerzte `/opt/hermes/tools/.../python3.14` auf `/opt/hermes/` — YAML blieb gueltig, Regel matchte kein Binary); `policy set` scheitert live an Bestandspfaden -> `policy update`; Diagnose nur via Supervisor-Log, `kubectl exec` umgeht die Policy. SolDoc bug-fixes/2026-11-02-ceo-egress-landlock-pfad-und-policy-approval.md; Skill-Ref `agent-governance-runtimes/references/openshell-sandbox-provisioning.md` um Abschnitt "Policy liveness" erweitert.
|
||||
- 2026-11-02 12:35 - systems/agent-fleet: **Rollout v5.5 auf alle 9 Agenten abgeschlossen** (Digest `013bfac8`). Ablauf je Agent: tar-Backup aus dem Pod -> `openshell sandbox delete` -> `create --approval-mode auto` -> Ready -> `kubectl cp` + `tar xzf --no-overwrite-dir` -> Egress-Check; Skript `~/workspace/fleet-rollout/`, Backups `~/fleet-workspace-backups/`, Logs daneben. 8/8 fehlerfrei (coo Pilot, dann chro/agile-coach/cmo/research/cto/devops/ciso), ~1-7 min je Agent nach Erstpull (3m48s). **Recreate kostet den Workspace**: PVC haengt per OwnerRef an der Sandbox, neuer PVC; Groessen nach Restore deckungsgleich (cto 84, ciso 117, devops 113, research 38, cmo 30, agile-coach 8, chro 6, coo 1 MB). **Egress-Freigabe ist asynchron**: Supervisor staged DNS-Namen und reicht selbst Policy-Chunks ein (`add-rule allow_fleet_beacon_...`, resolved_from:sandbox), Gateway auto-approvet bei leerem Prover-Delta (CONFIG:APPROVED, Revision Loaded) — bis zum naechsten Heartbeat-Zyklus 5-10 min, dann `hb ok`. Endstand: 9/9 Pods neuer Digest, 9/9 hb ok, deadman_alert_active alle 0 (max Stille 230 s), 10/10 Deployments, Quarantaene unveraendert 64, 0 Tasks `working`. Offen: 32 Tasks an tower-owner (Owner-Lane, kein Agenten-Backlog). Aufgeraeumt: 7 abgeschlossene Build-Pods im NS fleet geloescht.
|
||||
- 2026-11-02 13:16 - systems/sarah-hermes: **Compression-Stall behoben** — `model.context_length` 131072→262144, `compression.context_timeout_seconds: 300`, `context_total_ceiling_seconds: 900` (Backup `config.yaml.bak-20261102-131314`, Restart 13:13:33). Verifiziert `resolve_context_compression_timeouts() → (300.0, 900.0)`, Preflight-Threshold 131.072 statt 45.875. Gleiche Werte in lokaler Runner-Instanz gesetzt (Backup `config.yaml.bak-20261102-131606`), dort threshold 0.5 → 131.072 statt 524.288. Offen: Waise-PID 521 (PPID 1, keine Sockets) nach systemd-Restart; `fallback_providers: []` weiter leer.
|
||||
- 2026-11-02 13:3x - systems/noris-ai: **Context-Fenster an Hermes gepinnt** — Bifrost liefert `max_context_length` nur verschachtelt (`input_modalities[].supported_inputs`), Hermes parst Top-Level und fiel auf Hardcodes zurück (deepseek 128k statt 1.048.576, glm-5-3 1.310.720 statt 1.048.576, gpt-oss 256k statt 131k). Fix: `model.context_length: 1048576` (lokal default + 4 Profile + Sarah VM107) + Per-Modell-Overrides `providers.noris.models.<id>.context_length` aus dem Live-Katalog (29 Fenster). E2E: `lcm_status` 1.048.576 / threshold 524.288 (lokal), 367.001 (Sarah). SolDoc bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md
|
||||
- 2026-11-02 14:25 - systems/homeassistant: **EMHASS-v2 3 Tage still ausgefallen — Token in /tmp + Publish-Pfad maskierte es.** Cron `a32005d62226` starb beim Host-Boot 30.10. an `FATAL: token file missing` (/tmp volatil, `no_agent`+deliver=local → niemand sah es); `automation.trigger_emhass` postete weiter per `/action/publish-data` die LETZTE Zeile des 3 Tage alten Plans (frische Timestamps, eingefrorene Werte p_batt 0/SoC 99,57). Zweiter Blocker nach Token-Fix: `every 15m`-Anker auf Minute ≡0 gedriftet → Race-Guard `REFUSED rc=2` dauerhaft. Fix: Token kanonisch `~/.hermes/secrets/ha_token.txt` + `/tmp`-Symlink + `ha-token-ensure.sh`, Cron auf `4,19,34,49 * * * *`, neuer Watchdog `3a99e3837250` (>75 min Plan-Alter / <10 h Horizont, Telegram). E2E: manuell 14:09 + Cron-Tick 14:19 `status ok`, CSV 48 Zeilen Optimal. Nebenbefund: SoC 8,8 % (BYD ~6 %, Marstek 14,8 %), Plan C kommandiert 2500 W Marstek-Entladung trotz EMHASS-Hold; alter Watchdog `a2a1b429bc2e` seit 25.09. pausiert + SSH-Klartextpasswort in jobs.json. SolDoc bug-fixes/2026-11-02-emhass-v2-token-tmp-silent-3d-outage.md
|
||||
- 2026-11-02 16:19 - systems/homeassistant: **EMHASS-Produzent nach Home Assistant verlagert (AppDaemon) — Token-Klasse eliminiert, EMHASS-Add-on unangetastet.** AppDaemon-Add-on `a0d7b954_appdaemon` v0.19.3 (Store, `boot: auto`, bekommt HA-URL+Token automatisch vom Supervisor) führt jetzt die App `emhass_optimizer` aus (`:04/:19/:34/:49`), Quelle `~/scripts/emhass_app/` (Kern per AST verbatim aus v2). Parity: 19/19 unittest + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs Shadow, 48 Slots, 0 Warnungen). E2E: Cutover 16:04, erster Einzelproduzent 16:19 mit CSV-Mtime 16:19:00 und identischem Plan (5 Entlade-/7 Ladeslots, SoC 8,1→10 %). Hermes-Cron `a32005d62226` pausiert = Rollback. **Watchdog-Fix:** Frische wird jetzt an `sensor.p_batt_forecast` (>90 min) gemessen, nicht mehr an `plan_last_forecast`; die `plan_*`-Sensoren schreibt ein neuer Display-only-Cron `4bc13a052329` (`:05/:20/:35/:50`). Pitfalls: `scp` geht auf HAOS nicht (tar over ssh), AppDaemon kann die EMHASS-CSV nicht lesen (Verify über Attribute), AppDaemon-Config liegt unter `app_configs/` nicht `/config/appdaemon`. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md
|
||||
- 2026-11-03 05:49 - systems/homeassistant: **5 h stiller EMHASS-Ausfall durch eigenen Idempotenz-Bug — gefixt, Watchdog auf CSV-Mtime umgestellt.** AppDaemon-App skippte ab 01:04 jeden Tick mit `already ran for slot …`: `_slot_key` enthielt nur Datum + `minute//15` (4 Keys/Tag), also lief die Optimierung nur 4×/Tag um 00:xx; CSV stand auf 00:49. Warum unbemerkt: der Watchdog maß `sensor.p_batt_forecast`, und `automation.trigger_emhass` ruft alle 15 min `publish_data` → frische Zeitstempel bei eingefrorenem Plan (dieselbe Maske wie beim 3-Tage-Ausfall); `plan_*` frischte der Display-Publisher ebenfalls alle 15 min auf. Fix 1: Key `%Y%m%d_%H%M`. Fix 2: Watchdog prüft jetzt CSV-Mtime (>40 min) + Horizont, Overrides `EMHASS_MAX_AGE_MIN`/`EMHASS_CSV_PATH`; Alarmpfade getestet (stale rc=1, unlesbar rc=1, gesund rc=0). Fix 3: App-Arg `run_on_start` für Sofort-Zyklus nach Deploy. E2E: Zwangszyklus 05:49:45 (Plan 5/8 Slots, SoC 4,3→10 %, 12 Warnings = 77 % Preis-Coverage um 05:49, normal) und planmäßiger Tick 06:04:00 (CSV 06:04:00). Offen: `automation.trigger_emhass` deaktivieren (redundant + dauerhafte Maskierung) — braucht Owner-GO. SolDoc architecture/2026-11-02-emhass-producer-appdaemon-cutover.md (Nachtrag)
|
||||
- 2026-11-03 06:40 - systems/homeassistant: **`automation.trigger_emhass` deaktiviert (Owner-GO).** Sie rief nur alle 15 min `rest_command.emhass_publish_data`, übermalte damit eingefrorene Pläne mit frischen Zeitstempeln und war die zentrale Maske beider EMHASS-Ausfälle. YAML: `initial_state: false` (Backup `automations.yaml.bak-20261103-0620`), `automation.turn_off` + `automation.reload` je HTTP 200, Entity `state=off`. Nachweis: um 06:45 blieb `p_batt_forecast` auf 06:34 (statt wie sonst auf 06:45 aufgefrischt), `last_triggered` unverändert; Produzent (AppDaemon) publiziert weiter im 15-min-Takt.
|
||||
|
||||
- 2026-11-02 15:5x - systems/sabnzbd: **4 VAAPI-korrupte HEVC-Files per Re-Fetch repariert (Option B), HEVC zurueckgefuehrt.** Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx: Release per Binsearch -> `publish_nzb.py` -> Sorter-Insert-Dedupe (gleiche Dauer +-2 s, gleiche Hoehe -> groessere Datei gewinnt, korrupte nach `quarantine/dedup-sorter/SexAndSubmission/`) -> Volldekodierung 0 Fehlerzeilen -> software libx265 crf24 (hvc1, faststart) -> Gates -> Tausch, Original nach `transcode-originals/`. Endstand alle vier `hevc,hvc1,1080`, Dauer-Delta 0, 13 GB h264 -> 3,2 GB HEVC (Alexa 4,41->1,14 GB), Jellyfin 553 Items / Scan Idle. **Gate-Falle:** Converter-Sidecar hat kein python3 -> `GATE FAIL Dauer` bei identischen Werten; Gates+Swap gehoeren in den App-Container. BoundGangBangs: nur 10,8-GB-Rar-Set (`part0.nzb`) -> kein Re-Fetch, Re-Encode bleibt. Offen (eigenes GO): quarantine 171 G, complete 105 G, transcode-originals 17 G gesunde Master, 2 WMV3-Twins 1,98 GB. SolDoc integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md
|
||||
- 2026-11-03 06:25 - systems/agent-fleet: **Loops greifen wieder** — 52 Karten auf `Bewertet` hatten sich gestaut, weil der Bewertungs-Sweep `Neu→Bewertet` schiebt, der Idle-Trigger aber nur `Neu` kannte (CEO-Notiz: „0x Neu; 43 Bewertet"). Fix: Umsetzungs-Sweep im board-service 0.26 (`3d0a5945…`) mit Stall-Erkennung, Sender-Allowlist review+build (3 Kopien), watcher 0.31 (`7bcb5be2…`, Idle kennt Neu|Bewertet), deadman 0.13.4 (`a2ef7364…`, zaehlt Bewertet mit). Darunter lag ein zweiter Ausfall: alle Agenten-Turns scheiterten (24 Tasks mit `FAILED_TURN_NOTICE` als „completed" maskiert) — Ursachen: Recreate ohne `--policy` (Gateway „no policy"), ohne `--provider`, Provider mit 13-Zeichen-Platzhaltern statt der 42-Zeichen-VKs, Roh-IP 10.0.30.210 vom Proxy nicht abgefangen, Credential-Handle nur bei passendem Profil-Host getauscht. Fixes: neun Provider-Credentials erneuert (Werte via stdin), Profil `fleet-bifrost` auf `bifrost.agent-fleet.svc.cluster.local` umgestellt, Rollout mit `--policy --provider --env FLEET_BIFROST_BASE_URL=<DNS> --approval-mode auto`. Verifiziert: coo/cto antworten in 20-37 s, Bewertet 44→41 / In Bau 1→4, 9/9 hb ok, Deadman 0/14. Offen: Worker-Guard gegen FAILED_TURN_NOTICE. SolDoc bug-fixes/2026-11-03-fleet-loops-bewertet-sackgasse-inferenz.md
|
||||
- 2026-11-05 19:2x - systems/agent-fleet: **Review-Gate 4/4 live + Sandbox-Auto-Heilung E2E bewiesen.** (a) Agenten-Accounts ciso/cto/coo/cmo mit je eigenem Token (Secret `fleet-review-tokens`, out-of-band), Branch-Protection `main` in dominik/schoenkitchen: required_approvals=4, Whitelist nur diese vier, Merge nur `fleet-bot`, `dismiss_stale`+`block_on_rejected_reviews`; empirisch: `read` genuegt fuer Kommentar (201) und Review-Approval (200), kein Push-Recht noetig. Pitfalls: Statuscheck-Kontext muss exakt `CI / test (pull_request)` heissen (sonst blockiert ein nie-gruener Check jeden Merge), und `gitea_pr_comment` hat KEINE Gate-Wirkung — cto gab sein Verdikt zuerst als Kommentar ab, formal zaehlt nur `gitea_pr_review` mit eigenem Account. Serverseitig prueft `gitea_gate.py` (board-service 0.29) 4/4+CI vor dem Merge nach; Merge-Versuch als ceo -> `{"ok": false, "error": "nur 0/4 Freigaben"}`. Erstes Ergebnis PR #2: 3x REQUEST_CHANGES mit komplementaeren Befunden (coo: Router nicht in app.py/Migration fehlt/Runbook; cto: toter Code/Store ohne Tests/TOCTOU in speichere_wahl; cmo: technische IDs/stumme Fehler/unbeschriftete Buttons) -> Nachbesserung an devops (Task 5b47ece7). (b) `fleet-sandbox-healer.sh` + systemd-Timer 2 min auf mgmt-runner: erkennt Suspended=True bzw. Ready=False>300s, OIDC-Refresh headless, stop->start, 150 s Ready-Wartezeit, fyi an ceo; Grenzen 1 Sandbox/Takt, 3 Versuche/6 h, Pause bei Rollout. Scharfer Kill-Test: default--gitops 19:12:01 PodTerminated -> 19:15:02 Started -> Ready 1/1. **Zwei teure Pitfalls:** systemd-Units brauchen `Environment=HOME=/root` (sonst `Unknown gateway 'fleet'` — sieht wie abgelaufenes Token aus, weil der Auth-Check denselben Aufruf nutzt), und `kubectl … | python3 - <<'PY'` laesst das Heredoc stdin fressen (JSONDecodeError) -> `python3 <(cat <<'PY' … PY)`. IaC `clusters/main/fleet/ops/sandbox-healer/` Commit b652bb0. (c) Watcher 0.38.1 (`sha256:cc325dcb…`): `tower-owner` darf `type=review` einlegen — vorher quarantaenierte der Watcher Chair-Review-Auftraege. SolDocs bug-fixes/2026-11-05-sandbox-auto-heal-home-pitfall.md + architecture/2026-11-05-gitea-review-gate-4von4.md
|
||||
- 2026-11-06 06:43–06:56 - systems/ubuntu-host: **CVE-2026-98432 behoben.** Ceph-Gate (4/4 MON, 17/17 up+in, 533 PGs clean; nur 8 Slow-Ops-WARN) bestanden, `apt-get full-upgrade` (25 Pakete, 848 MB inkl. linux-firmware-Splits) installierte 6.8.0-149.149, `ceph osd set noout`, Reboot: Kernel nach 1m46s, sshd nach 7m17s; läuft `6.8.0-149-generic`, 22/80/8000/9443/2049 + HTTPS 200 + 5 Container, noout nach OSD-Rückkehr entfernt, PGs wieder 533 active+clean, Slow-Ops 8→7. **Pitfalls:** `pgrep -f "apt-get -y"` matcht den eigenen Warte-Loop → `pgrep -x apt-get`; `systemctl --failed` zeigt stale `ceph-osd@8`/`ceph-mon@ubuntu` (OSD 8/18 bzw. MON nie in monmap → auf n5pro, seit ≥02.11. failing); homebridge/tgtd scheitern an `Exec format error` der Init-Skripte (unabhängig). Mitigation-Sysctls bleiben aktiv.
|
||||
- 2026-11-08 23:5x - systems/galera-maxscale + agent-fleet: **Galera-Totalausfall GELÖST + CEO-Re-Admit E2E + Master-Submit-Gate v2.1 live.** (a) Recovery: Bootstrap VM300 nach Leichen-Kill (grastate wird von lebendem mariadbd auf 0 zurückgeschrieben!), sequentieller Rejoin mit Synced-Wait je Node (active≠Synced!), Online-Disk-Resize während laufendem SST (302: 50→85G, 300: 80→115G — 2×Datadir-Regel), TimeoutStartSec=900-Dropin (Ceph slow-ops machte Engine-Recovery langsamer als systemd-Default). 3/3 Synced ab 19:31 UTC, MaxScale SELECT 1 OK. (b) Kette: Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms statt 15-s-Hang) → openshell-Login via ssh -tt PTY-Background + SSH-Tunnel + browser_vault (1P-Item um Origin id.schoen.codes erweitert via op item edit --template; kein TOTP — 28.09.-Incident löschte Registrierungen) → sandbox delete+create ceo → Pod 1/1, HB 17 s, 10/10 Agents frisch. (c) CO-Bündel B: Artefakt unter /sandbox/fleet-change-orders/2026-11-08-co-buendel-b/ (SHA OK, Diff=NUR CO-Delta), Config v2.1 mode=enforce installiert (v2.0 .bak), Loader-Test OK, 6 gitops-Parallellinien im Register konsolidiert (Fertig+[CONSOLIDATED]). Register-Pitfall: Annotations dürfen NICHT in die ID-Zelle (CARD_ID_RE) — nur Titel-Zelle; get_backlog fällt ganz aus bei Bruch (fail-loud), Reparatur via Python-Fixer. (d) rollenspiegel-split: Paket DOCH da (SHA alle OK) — echter Gate = ciso-Sign-off, Chair-Quittung im CO-Ordner hinterlegt. Pitfalls: qm guest exec b64-Muster für komplexe Skripte; heartbeats-Tabelle fleet-db/ns fleet, Spalte received_at; geschlossene Tasks nehmen keine answer_attention mehr an → Quittung ins CO-Paket. SolDocs: operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md (+ infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md aus Frühtag)
|
||||
- 2026-11-09 06:0x - systems/homeassistant: **f@h-Zombie-Session gefixt (2. Rezidiv).** Symptom: keine Events mehr seit 08.11. 16:31, set_datapoint-IqTimeout, aber 0x „Connection with SysAP lost" über Nacht (slixmpp glaubte connected) — ausgelöst durch Event-Loop-Blockaden in der Galera-SST-Stunde (SASL-cryptExchange- + decryptPubSub-Fehler hinterließen desyncte Session). SysAP gesund (REST 200, 5222 OK). Fix: docker restart homeassistant → E2E-Beweis über HA-Service-Call turn_on: off→on in 3,0 s (+ Rück). Watchdog-Lücke: kein setup_error/HA-up/Memory-ok → Failure-Mode unsichtbar; Härtungsvorschlag Stufe 0c Kanari-Staleness beim Owner eingereicht. Pitfall: REST-datapoint-Pfade 404en auf dieser Firmware — E2E via HA-API.
|
||||
- 2026-11-10 19:08 - systems/ubuntu-host: **CVE-2026-98432 Re-Check: kein Handlungsbedarf.** Tracker-Meldung „released" kam nach dem Fix vom 06.11. Gate erneut bestanden (4/4 MON, 17/17 up+in, 533 PGs active+clean; 8 Slow-Ops-WARN unverändert). `apt-get full-upgrade` = 0 Pakete, Kandidat=installiert=6.8.0-149.149, `uname -r`=6.8.0-149-generic seit 06.11. 07:47, kein reboot-required. **Kein Reboot** (3 OSDs auf dem Host, Nullnutzen). Ports 22/80/8000/9443/2049, HTTPS 9443=200. Offen: Slow-Ops 8 OSDs (osd.1,3,6,7,8,10,11,17), gemischte Daemon-Versionen 20.2.4/20.2.5, Load ~6.9 durch ceph-osd; stale Failed-Units (ceph-mon@ubuntu, ceph-osd@8, homebridge, logrotate, tgtd) unverändert seit Boot. Lehre: Zielversion zuerst gegen `uname -r` prüfen, bevor ein Reboot-Cron losläuft.
|
||||
|
||||
## 2026-11-15 (2) — Fleet-CTs gelöscht, Galera-02 offline migriert, HA-Regeln analysiert
|
||||
|
||||
- **VM 301 (mariadb-02) proxmox7 → proxmox6** (offline, sauberer MariaDB-Stop), Galera danach 3/3 synced.
|
||||
Stolpersteine: (1) HA-Regel `na-vm301` pinnt die VM auf proxmox5/6/7 → `qm migrate n5pro` wird abgelehnt,
|
||||
CRM startet sie auf proxmox5 (528 MB frei!); (2) `ha-manager set --state started` VOR Migrationsende →
|
||||
`request_start_balance` → VM springt auf den alten Knoten zurück. Richtig: state=started lassen, nur
|
||||
`ha-manager migrate vm:301 <ziel>`. (3) Erster Boot → emergency mode (root locked) → `qm reset` → zweiter
|
||||
Boot ok, MariaDB per IST rein.
|
||||
- **9 Fleet-CTs (160,161,163,164,165,201,202,205,206) gelöscht** nach vzdump auf PBS `noris_v4`
|
||||
(je 4 Snapshots, jüngster 10:17–10:36 UTC, extern per `pvesm list` verifiziert) und Cross-Ref-Scan
|
||||
über alle 8 Nodes (keine Fremdreferenzen). Disks mit entfernt (`rbd ls vm_disks` = 0). Die Fleet läuft
|
||||
jetzt in K8s (NS `fleet` 20 Pods / 11 Deployments, NS `agent-fleet` 4 Pods).
|
||||
- **HA-Regel-Befund:** `galera-anti-300-301` und `galera-anti-300-302` sind wirkungslos — sie enthalten nur je
|
||||
EIN Resource (`vm:301` bzw. `vm:302`); Grund: **VM 300 ist nicht HA-managed** (`cannot use unmanaged
|
||||
resource(s) vm:300`). Nur `galera-anti-301-302` greift. Fix braucht erst `ha-manager add vm:300`, dann
|
||||
Ressourcen-Listen vervollständigen; `na-vm301` (und `na-vm310`) sind Pflaster auf dieser Lücke und sollten weg.
|
||||
- Neue Bilanz: ms-a2-1 frei 23,8 GB, proxmox7 11 GB, proxmox4 7,5 GB, proxmox6 6,1 GB, proxmox5 5,7 GB.
|
||||
|
||||
## 2026-11-17 — PVEHighCPU n5pro: 720p-Batch, nicht der Cluster
|
||||
|
||||
- Alarm `pve_cpu_usage_ratio{node="n5pro"}` 0,91 über 43 h. Ursache: **manueller Batch**
|
||||
`/root/sweep/applefix720.sh rest720.txt 3` (seit 15.11. 16:48, aus SSH-Session
|
||||
`session-5169.scope`), 3× ffmpeg libx265 `-threads 8` = 24 Threads auf 24 Kernen, nice 0.
|
||||
Nicht corosync/pmxcfs — der reguläre `conv-n5pro.service` lief und loggte nur
|
||||
„keine Kandidaten".
|
||||
- Fix ohne Arbeitsverlust: `renice -n 19` + `ionice -c3` + `CPUQuota=800%` auf den Session-Scope
|
||||
→ Encoder 20→8 Kerne, Host 90 %→45 %, Gäste unberührt (8 nice-0-Testthreads holten 780 %).
|
||||
**Falle: systemd `CPUQuota=25%` = 25 % eines Kerns**, nicht des Hosts.
|
||||
- Job läuft weiter (365/439 Dateien, 74 offen, ~18 h bei 8 Kernen).
|
||||
Doku: `docs/solutions/infrastructure/2026-11-17-n5pro-high-cpu-transcode-batch.md`,
|
||||
Skill `video-library-maintenance` um die Hypervisor-CPU-Regeln erweitert.
|
||||
|
||||
## 2026-11-15 (3) — HA-Audit abgeschlossen, 14 HA-Services
|
||||
|
||||
- **Regeln:** `galera-anti-300-301`/`-300-302` repariert (brauchten `ha-manager add vm:300`, sonst
|
||||
„cannot use unmanaged resource"), `na-vm301` und `na-vm310` gelöscht. 7 Regeln, alle wirksam.
|
||||
- **Neu in HA:** ct:141 monitoring, ct:99999 traefik, ct:108 gitea, vm:117 rke2-worker-03 —
|
||||
vorher alle ohne `mp*`/`dev*`/`hostpci` geprüft, Uptimes unverändert (kein Gast neu gestartet).
|
||||
- **Control-Plane bewusst NICHT in HA:** etcd liegt auf lokalem NVMe (`scsi1: local-lvm` 10G →
|
||||
`/var/lib/rancher/rke2/server/db/etcd`), Failover ist damit unmöglich. `vm:122` aus HA entfernt,
|
||||
dafür `onboot=1` auf allen drei CPs (112 hatte 0). Redundanz liefert etcd selbst (3er-Quorum).
|
||||
- **Gelöscht (Owner-GO):** CT 110 (VLAN-Testcontainer v. 22.09.2025, 1,1 GiB) und CT 199
|
||||
(Fleet-Gründungscontainer „ceo" v. 23.10.2026: /root/fleet mit CHARTER/spec/org.yaml + 78-MB-
|
||||
Hermes-state.db, 4,7 GiB). Beide vorher per `debugfs` auf dem read-only gemappten RBD gelesen,
|
||||
PBS-Snapshots (je 3, keep-last=3) bleiben als Restore-Pfad. Cluster jetzt 58 Gäste / 40 laufend.
|
||||
- **Weitere Leichen gelöscht (Owner-GO):** CT 103 (LXC-Template base-103, unreferenziert), CT 904
|
||||
(mariadb-node4, Tag plb_exclude_db), CT 121 (community-script docker, 03/2026), VM 501 (MaxScale1,
|
||||
plb_exclude_maxscale), VM 991 (test-mariadb-01, RBD-Kopie vm-300-disk-0-test). Alle RBD-Bilder
|
||||
entfernt verifiziert. Cluster 60→53 Gäste (40 laufend).
|
||||
- **WICHTIG — NICHT gelöscht: VM 9000/9002 (debian-12/13-cloudinit)** sind **VM-Templates** und
|
||||
harte IaC-Abhängigkeiten: epic-2-k8s/tofu/main.tf `template_vm_id=9000`/`gpu_template_vm_id=9002`
|
||||
(Clone für CPs + GPU-Worker), epic-7-mariadb-vm/tofu/main.tf `vm_id=9000` (2×),
|
||||
epic-8-sarah-hermes/tofu/variables.tf default 9000. Löschen bricht jedes `tofu apply`.
|
||||
Vor jedem Löschen: `.tf`-Referenzen greppen, nicht nur den PVE-Bestand ansehen.
|
||||
- **Nicht HA-fähig:** ct:150/153 technitium-dns (rootfs local-lvm), ct:151 frigate (`/dev/dri`),
|
||||
vm:102/114 worker-05/02 (hostpci GPU). Doku: docs/solutions/infrastructure/2026-11-15-pve-ha-rules-audit.md
|
||||
|
||||
## 2026-11-15 — Cluster-Rebalancing (Capacity + Failure Domains), mit Zwischenfall
|
||||
|
||||
- **Move 1 (ok, mit Panic):** VM 300 mariadb-01 proxmox4→ms-a2-2, `qm migrate --online`, 79 s,
|
||||
483 ms Downtime. Danach **Gast-Kernel-Panic im futex-Pfad** → `qm reset` → EXT4-Recovery des
|
||||
115-GB-Ceph-Volumes (33 s) → MariaDB startete ins Mount-Race (Errcode 13 auf /var/lib/mysql)
|
||||
→ `systemctl restart mariadb` → GCache-Recovery → **IST** → 3/3 synced. Kein Datenverlust.
|
||||
- **Move 3 (ok):** Ceph-MON proxmox4 entfernt → **3 MONs** (proxmox5, ms-a2-1, n5pro), quorum ok.
|
||||
- **Move 4 (ok):** 9 Fleet-CTs auf ms-a2-1 `memory 8192→2048`, `swap 1024→512` (sind **CTs**, nicht VMs!)
|
||||
→ ms-a2-1 committed 140,5 GB (153 %) → 86,5 GB (94 %).
|
||||
- **Move 5 (teil, ok):** proxmox7 CTs 119 pbs 8→4 GB, 123 ollama 4→2 GB, 104 paperless 4→2 GB.
|
||||
- **Bewusst gestoppt:** Move 2 (VM 301 mariadb-02 proxm7→n5pro) — ein zweites Galera-Mitglied
|
||||
zu migrieren, während die Panic-Ursache unklar ist, gefährdet das Quorum.
|
||||
- **Offen/destruktiv:** `ubuntu`-CRUSH-Bucket mit osd.2/15/17 (kein PVE-Node, 18 % Kapazität);
|
||||
EC-Pool `media_ec` mit `failure_domain=osd` trotz 7 OSDs auf n5pro.
|
||||
- Neue Bilanz: proxmox4 78 % (frei 7,9 GB), ms-a2-2 50 %, n5pro 67 %, ms-a2-1 94 %,
|
||||
proxmox3 102 %, proxmox7 201 % (Config, frei 5,4 GB), proxmox5 104 %, proxmox6 97 %.
|
||||
- Doku: `~/docs/solutions/infrastructure/2026-11-15-pve-migration-mariadb-kernel-panic.md`;
|
||||
Pitfall-Dreizeiler im Skill `proxmox-ve-administration`.
|
||||
|
||||
## 2026-11-13 — Cron 'Abend-Reflexion' (personal-coach) 400er gefixt
|
||||
|
||||
- Symptom: `HTTP 400: DeepSeek V4.1 reasoning_effort must be low, high, xhigh, max…` bei
|
||||
einem Job, der gar kein Modell pinnt → **Fallback-Fire**.
|
||||
- Zwei Defekte: `cron.model: vllm/release/glm-5-2` ist per Virtual Key **403 model_blocked**
|
||||
→ jeder Fire wanderte in die Fallback-Kette; `agent.reasoning_effort` war leer, und
|
||||
deepseek-v41-flash lehnt `""`/`medium` ab (nur low/high/xhigh/max oder int 1–100).
|
||||
- Beweismatrix gegen ai.noris.de: glm-5-3 akzeptiert alles, glm-5-3-flash high/max,
|
||||
deepseek-v41-flash nur high/max → `high` ist der einzige gemeinsame Nenner.
|
||||
- Fix personal-coach: `agent.reasoning_effort: high` + `cron.model: vllm/release/glm-5-3`
|
||||
(Backup `config.yaml.bak-20261113-pre-reasoning`). Run via
|
||||
`hermes cron run 8c9e9ab50892 --profile personal-coach` → succeeded, Abend-Reflexion
|
||||
mit echten Daten (93,3 kg, 5,56 h Schlaf) ausgeliefert.
|
||||
- Latent offen (nicht angefasst): `infra-sre` + `nutrition-coach` haben
|
||||
`reasoning_effort: ''` → gleicher 400er, sobald dort ein Fallback auf DeepSeek greift;
|
||||
`dynamic-coach` + Default-Profil haben `cron.model: glm-5-2` (gesperrt, aber durch
|
||||
`max` bzw. Fallback abgedeckt).
|
||||
- Doku: `docs/solutions/bug-fixes/2026-11-13-cron-deepseek-reasoning-effort.md`;
|
||||
Skill `cronjob` um die Pitfall-Zeile erweitert.
|
||||
|
||||
## 2026-11-12 21:2x — Earnie vollständig konfiguriert (parallel, read-only)
|
||||
|
||||
- Fünf Konfigdateien gegen Earnies eigene JSON-Schemas validiert und in **beide** Config-Pfade
|
||||
gelegt (`/config` + `/data/earnie_env/config`); kanonische Bindings `ess.<id>.…`/`inv.<id>.…`.
|
||||
- Blocker-Kette: `deferred=True` (Refs unvollständig) → `export_tariffs[..].k_push_cent` fehlt
|
||||
→ Legacy-Key `sens_ess_soc` → gelöst durch UI-Migration `dm4.required_signal_activation`
|
||||
(Backup `/config/backups/pre-migration-dm4-dm4-20261112T202005Z`).
|
||||
- Telemetrie über eigenen Push-Dienst `earnie_push.py`/`earnie-push.service` (10 s, Peer
|
||||
10.0.30.230) statt 649-Zeilen-HA-Paket; sechs Signale, verifiziert im Earnie-Log.
|
||||
- Erster echter Plan 21:22: Preis 35,36 ct (deckungsgleich mit unserem EPEX-Sensor),
|
||||
SoC 5,0 %, Netzbezug 2,22 kW, `outcome=ok`, alle `set_ess_*` mit „mapping incomplete"
|
||||
übersprungen → keine Steuerung, EMHASS unberührt.
|
||||
- Doku: `docs/earnie/2026-11-12-earnie-live-setup.md`; Wiki `systems/earnie-hems.md`.
|
||||
|
||||
## 2026-11-12 — HA-VM CPU-Typ kvm64 → x86-64-v2-AES (Earnie-Blocker)
|
||||
|
||||
- `qm set 106 --cpu x86-64-v2-AES` (Backup `/root/vm106-config.bak-20261112-161151`),
|
||||
Kaltstart. Downtime 25 s, HA-Core nach 70 s, alle Add-ons nach ~5 min.
|
||||
- Grund: Earnie-Image (Python 3.14) zieht numpy 2.5.4/pandas 3.1.0/pyarrow 26.0.0/highspy
|
||||
1.15.1 als `manylinux_2_28+`-Wheels → x86-64-v2 (SSSE3/SSE4.x/POPCNT) Pflicht.
|
||||
EMHASS (Python 3.12, numpy 2.2.6, `manylinux_2_17`) lief auf kvm64 problemlos — daher
|
||||
fiel es nie auf. Alle 8 Nodes können v2 → migrationssicher.
|
||||
- Earnie v2.7.0 danach `started` + `healthy` (0 Restarts), UI via Ingress :8501.
|
||||
- EMHASS/AppDaemon/evcc/Frigate alle `started`; Frigate-Container `healthy`, API 0.18.2.
|
||||
- AppDaemon-Guard hat beim Boot korrekt geblockt (`get-config failed: Connection reset`),
|
||||
statt in einen toten Solver zu posten; Zyklus 17:19 dann 96/96 echte Preise (Auktion
|
||||
für morgen veröffentlicht), load 36,3 kWh aus dem neuen Profil, `Optimal`.
|
||||
|
||||
## 2026-11-12 — EMHASS Preis-Gate + 15-min-Raster, Earnie-Bewertung
|
||||
- `emhass_prices.py` neu: Tiering Sensor → energy-charts → gelernter 28-Tage-Tagesgang, Gate blockiert Phantompreis-Pläne (real 58 %+42 % Shape live).
|
||||
- `optimization_time_step` 30 → 15 (96 Slots), `slot_min: 15` im Producer + Mismatch-Block.
|
||||
- Rolling Load Profile: `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00); 3 Bugs in `emhass_build_profile.py` gefixt.
|
||||
- Neue Seite [[systems/earnie-hems]], Referenz [[reference/emhass-cascade-automation-architecture]] aktualisiert (deficit_cost 0.0, Raster, Preise).
|
||||
- Solution Doc: `docs/solutions/bug-fixes/2026-11-12-emhass-phantom-price-gate.md`.
|
||||
|
||||
## 2026-11-14 — Technitium DNS HA (LAN-Resolver + Adblock) live
|
||||
- CT150 `10.0.30.150` (proxmox6, Primary) + CT153 `10.0.30.153` (n5pro, Secondary), unprivileged, 1C/1G/4G RBD, onboot.
|
||||
- Technitium **v15.6.2**; Cluster `dns.internal.schoen.codes`, Config-Sync 300 s, Blockliste HaGeZi Multi Pro (227.848 Domains).
|
||||
- **VIP 10.0.30.149** (keepalived, VRID 51, unicast, nopreempt, Check TCP:53 + API:5380) — Failover in ~4 s gemessen.
|
||||
- Omada-DHCP (bleibt bei Omada, nur 2 DNS-Felder): `10.0.30.149` + `1.1.1.1`. Echte Client-Queries kommen an.
|
||||
- Upstream: 1.1.1.1/1.0.0.1 + Cloudflare-v6; `recursion` per NetworkACL auf private Ranges begrenzt.
|
||||
- Monitoring: `blackbox_dns` + `blackbox_http` (:5380) in kube-prometheus-stack, PrometheusRule `technitium-dns-rules`.
|
||||
- **Nebenbefund:** `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** → Prometheus lädt sie nicht; alle Alt-Regeln (NodeDown, Galera, Ceph, Blackbox, PBS) sind im K8s-Stack **inaktiv**. Offener Punkt.
|
||||
- Fallstricke: community-scripts-Bootstrap 404 (Framework nach `community-scripts/core`), HaGeZi-URL `hosts/` → `wildcard/`, Cluster-Join nur per FQDN-URL.
|
||||
- Neue Seite [[systems/technitium-dns]], [[reference/ip-map]] ergänzt.
|
||||
|
||||
## 2026-11-15 — Beschattungsautomatik Wohnzimmer (Ecowitt-Lux + Sonnenstand)
|
||||
- Fassaden: WZ-Tür + Fenster 1 = **143° SO**, Fenster 2 = **233° SW** (90° versetzt), free@home-Jalousien (Pos + Lamellen).
|
||||
- Entscheidung über 2 Template-Binary-Sensoren: `kt` = Ecowitt-Lux ÷ Clear-Sky-Lux (Haurwitz, 110 lm/W) ≥ 0,45 **und** Einfallswinkel ≤ 75° **und** Sonnenhöhe ≥ 8° — statt fester Lux-Schwelle (Winter-Sonne bringt nur ~20 klx, Sommer >100 klx).
|
||||
- 4 Automations: 4-min-Bestätigung → Öffnungsgrad (20 %) + Lamellen (25 %); Release nach 10 min nur wenn Rollladen noch auf Beschattungsposition (Manuell-Schutz).
|
||||
- 8 Helper (1 boolean + 7 number), Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer".
|
||||
- E2E live: 08:37 Release (exakt 10:00 nach Sensor-off), 08:42 Shade (exakt 4:00 nach Sensor-on), echte Fahrzeiten 25–40 s.
|
||||
- Pitfalls: `reload_core_config` legt neue Helper NICHT an (→ `input_number.reload`/`input_boolean.reload`); HA-Templates haben kein `radians()`; Umlaute in Entity-Namen → unbrauchbare IDs.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-11-15-beschattungsautomatik-ecowitt-sonnenstand.md`; Details [[systems/homeassistant]].
|
||||
|
||||
### Nachtrag 15.11. ~09:00 UTC — Anti-Flatter am Ausfahr-Trigger
|
||||
- Owner sah Rollläden „wieder hochfahren" (waren meine Verifikations-Läufe 08:37/08:45) und markierte damit ein echtes Design-Problem: Ausfahren hing an derselben kt-Schwelle (0,45) wie das Einfahren → jede dickere Wolke hätte nach 10 min geöffnet und 4 min später wieder geschlossen.
|
||||
- Fix: Ausfahr-Automationen triggern jetzt auf **Template** `elev > 0 and (elev < 8 or inc > 88 or kt < 0.2)` mit `for: 15 min` (Geometrie-Ende oder echte Trübung), nachts kein Öffnen. Gerenderte Fälle geprüft: live false / kt 0,11 true / az 235 true / elev 5 true / elev −5 false.
|
||||
- 2026-11-15 10:55 - systems/homeassistant: **BLE-Proxy Wäscheraum (10.0.50.206) auf ESPHome 2026.10.2 geflasht** — Ursache der Hänger war WLAN-Starvation durch das 1100/1100-ms-BLE-Scanfenster (ESPHome 2026.10 warnt selbst); Fix 320/300 ms. Vorher 36 Requests/6 min mit 2 Aussetzern (1,0 s / 2,9 s) und Ping bis 317 ms, danach 18/18 in 3 min ohne Aussetzer, worst 0,15 s, Ping max 35 ms. Neue Diagnose-Entities (Uptime, WiFi-Signal, Heap, Reset-Grund, Restart-Button) + `project:`-Metadaten für künftige HA-Update-Entity. YAML/Secrets liegen jetzt in /config/esphome/; Original war verloren (Device am 09.09. vom MacBook geflasht).
|
||||
|
||||
### Nachtrag 15.11. 11:54 UTC — Owner: „zu dunkel" → Schwellen kalibriert
|
||||
- Beide WZ-Rollläden standen seit 08:46 (SO) bzw. **09:42:56 (SW, produktiv!)** auf Beschattung; der 15-min-Release griff nicht, weil ich kurz zuvor die Helligkeits-Freigabe komplett entfernt hatte (nur Geometrie/kt<0,2). Bei 16 klx / kt 0,43 blieb es also dunkel.
|
||||
- Owner-Kalibrierpunkt: **16.144 lx / kt 0,43 / Sonnenhöhe 21,3° / inc 53° = zu dunkel**; echte Wintersonne morgens 18,9 klx / kt 0,83 = angenehm.
|
||||
- Neue Schwellen: Einfahren **kt ≥ 0,52 UND ≥ 15.000 lx**, Ausfahren **kt < 0,45** (5 min) — Hysterese-Band 0,07. Nachts kein Öffnen.
|
||||
- Rollläden sofort auf 100/100 gefahren, beide Sensoren `off`. Dashboard-Karte um `beschattung_lux_min` + `beschattung_klarbeit_aus` erweitert (jetzt 9 Helper).
|
||||
|
||||
### 15.11. 14:05 UTC — Heizung: Raum-Sollwerte gesenkt + WW-Peak-Logik (Owner: „go a")
|
||||
- **Befund:** Haus 23,5 °C Kernbereich, kein Nachtprofil (Nacht=Tag), Bad/Schminken/Windfang 7 Tage auf **100 % Ventilhub** (Ziele 26,5/24/28 °C unerreichbar). Heizkurve selbst unauffällig (29,2 °C VL bei 0 °C außen, Spreizung 1,2 K, 0–4 Starts/Tag).
|
||||
- **Ursache:** Raum-Sollwert an der WP (24 °C) ist der Heizkurven-Parameter; zwei Automationen schrieben Normal=24 bzw. Reduziert=23/24.
|
||||
- **Umgesetzt (mit Rücklesung):** Normal 24→**23**, Reduziert 23→**21** (21,5 von HA verworfen: step=1 → HTTP 500), Komfort bleibt 24; 11 Raumthermostate −1 bis −1,5 K (Bad 23,0, Windfang 20,0); `komfort_heizung` + `normaltemperatur` **off**; neu `ww_peak_blockade_14_30` / `ww_peak_ende_20_30` / `ww_schutz_unter_40_c`.
|
||||
- **Sofortwirkung:** Ventile Wohnen 100→50 %, Essen 79→19 %, Bad/Schminken/Windfang 100→0 %; VL 27,8→26,8 °C.
|
||||
- **Gelernt:** HA kann Automations sehr wohl per `POST /api/config/automation/config/{id}` anlegen (verifiziert, HA 2026.10.4) — „nur YAML" ist falsch. ViCare-Cloud-Writes sind asynchron (~30–60 s). Doc: `docs/solutions/architecture/2026-11-15-waermepumpe-raumsollwert-ist-heizkurve.md`, Wiki: `systems/heizung-viessmann.md`.
|
||||
- **Offen:** Heizgrenze (~14 °C) nur in ViCare-App; Auslöser der Einmaligen WW-Ladung 09:35 unbekannt; Kurven-Verifikation bei < −3 °C (21./22.11.).
|
||||
|
||||
### Nachtrag 15.11. 12:50 UTC — „Beschatten gerade nicht notwendig" → Temp-Gate
|
||||
- 11:47 hatte die Automatik korrekt beschattet (Sonnenausbruch: 30–36 klx, kt 0,83–0,97), Raum aber nur **22,3 °C**. Owner will im November Licht, keine Kühlung.
|
||||
- Umbau: Beschattung = **Wärmeschutz** — neue Bedingung Raumtemperatur ≥ 24 °C (`input_number.beschattung_raum_temp_min`, Sensor `sensor.wohnzimmer_abb700c81313_wohnzimmer_temperature`) und `einfall_max` 75° → **40°** (Streiflicht zählt nicht mehr).
|
||||
- Nebenbefund: die Morgen-Flatterei (08:19→09:01→10:41→10:52) kam vom Oszillieren des kt um die Schwelle; mit dem Temp-Gate ist sie strukturell weg.
|
||||
- Rollläden alle auf 100/100, Sensoren `off` (22,3 °C < 24 °C). Dashboard erweitert (Raumtemp + Schwelle).
|
||||
|
||||
### 16.11.2026 — Beschattung: Temperatur-Gate raus, Median-Glättung rein + free@home-Ausfall
|
||||
- Owner-Vorgabe: „kein temperaturbasiertes Beschatten; helligkeit: kurze peaks nach oben und unten ignorieren."
|
||||
- Neues Modell: `sensor.helligkeit_geglaettet` (Median der letzten 7 Messwerte, trigger-basiertes Template mit Ringpuffer im Attribut) ersetzt den Instant-Wert; Entscheidung nur `elev >= 5°` + `inc <= 25°` + `Median-Lux >= 8.000`; Ausfahren = Sensor 10 min off (nur tagsüber). Alle Temperatur-/kt-Gates entfernt (Helper gelöscht), Dashboard-Karte auf 1 Boolean + 7 Number reduziert.
|
||||
- Prüffälle gerendert: Morgen frontal → BESCHATTEN, 11:47-Streiflicht → offen, 13:56 frontal → BESCHATTEN, Regen/Dämmerung → offen.
|
||||
- **Pitfall:** `input_number.reload` übernimmt geänderte `min`/`max` NICHT → Core-Restart nötig.
|
||||
- **Incident:** Nach den Core-Restarts free@home `setup_error`, alle Cover `unavailable` (~35 min). SysAP selbst wedged (`/sysap` 15–49 s, `/configuration` Timeout, Web-UI 000). Recovery: `rescue.py reboot` (reboot(0)) → SysAP ~4 min weg → `docker restart homeassistant` → Entry nach **4 min 20 s** `loaded`, alle Cover wieder da. `rescue.py probe` GETALL_TIMEOUT ist KEIN Health-Oracle.
|
||||
|
||||
@@ -43,9 +43,13 @@ Hermes automation.
|
||||
- Limit the number of SecretStores that reference 1Password
|
||||
- Consider caching secrets locally to reduce API pressure
|
||||
- Never run `op` in tight loops — always add delays for batch operations
|
||||
- **Nie `op read` pro Watchdog-Tick:** statische Secrets (HA-Long-Lived-Token, API-Keys) in einen lokalen 0600-Cache legen, `op` nur on-miss/401. Ein 15-Minuten-Watchdog macht sonst 96 Reads/Tag und wird bei jedem Limit blind (2026-11-06: free@home-Watchdog meldete „BLIND (RuntimeError)").
|
||||
- **Bei anhaltendem Limit (>10 min ohne lokalen Verursacher) zuerst ESO prüfen:** `kubectl logs -n external-secrets deploy/external-secrets --since=10m | grep -c "rate limit exceeded"`. Fehlschlagende ExternalSecrets mit kurzem `refreshInterval` erzeugen einen Retry-Sturm, der die Quote dauerhaft verbraucht.
|
||||
- 5 ES mit `refreshInterval: 1h` (authelia-oidc-jwks/-secrets, postgres-main-db, paperless-ai-secret/-oidc-secret) sind die üblichen Verdächtigen — Rest steht auf 12h.
|
||||
|
||||
## Evidence
|
||||
|
||||
- Hit twice: Jul 2026 (initial discovery) and during token corruption investigation
|
||||
- Solution doc: `docs/solutions/architecture/2026-07-24-1password-account-level-rate-limit.md`
|
||||
- MEMORY.md entry: "1P CLI:3 vaults R/W. Rate-limit=acct-level. Stop ESO, wait 1hr, no polling."
|
||||
- **2026-11-06:** free@home-Watchdog (Cron `43612c6d52b6`) täglich „BLIND: kann HA-Status nicht prüfen (RuntimeError)" — Ursache `op read` pro 15-min-Tick. Parallel: ESO (`onepasswordSDK`, ClusterSecretStore `onepassword-store`) im Retry-Sturm — 38 × „rate limit exceeded" in 10 min, 5 ExternalSecrets `SecretSyncedError` bei `refreshInterval: 1h`. HA selbst gesund (Entry `freeathome` = `loaded`, SysAP HTTP 200). Fix Watchdog: Cache-first-Token + dynamischer PVE-Node (VM 106 war von ms-a2-2 auf proxmox3 gewandert, hardcodierter Node → Rettungs-Reboot unmöglich). SolDoc `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
|
||||
@@ -0,0 +1,84 @@
|
||||
---
|
||||
pattern_id: PAT-018
|
||||
title: "Erfolgsmeldung einer Automatik ist kein Zustellbeweis — dateibasierte Queues validieren zweimal"
|
||||
category: integration
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-10
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-spool, board-service, spool-watcher, submit_task]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md
|
||||
- bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md
|
||||
related_skills: [devops/agent-fleet-operations]
|
||||
---
|
||||
|
||||
# Erfolgsmeldung einer Automatik ist kein Zustellbeweis
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein Automatik-Dienst meldet Erfolg (Log-Zeile, `rc=0`, `{"result":"OK","task_id":…}`,
|
||||
MCP-`OK_*`) — aber der erzeugte Auftrag existiert nirgends:
|
||||
|
||||
- `grep` nach dem Sender findet **0** Dateien im Spool,
|
||||
- die Zielgröße bleibt unverändert (Karte `Neu`, Dead-Letter-Eintrag weg),
|
||||
- im Journal stehen **zwei** Events zur selben `task_id`: `accepted` **und**
|
||||
`quarantined`.
|
||||
|
||||
Der Dienst läuft stundenlang „grün" und arbeitet nichts ab.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Der Spool hat **zwei unabhängige Validierungsschichten**:
|
||||
|
||||
| Schicht | Datei | Zeitpunkt | Sichtbar für den Einleger? |
|
||||
|---|---|---|---|
|
||||
| Einleger | `spool/submit_task.py` (`VALID_SYSTEM_SENDERS`, `VALID_SYSTEM_SENDER_TYPES`) | beim Schreiben | ja (Rückgabewert) |
|
||||
| Watcher | `spool/watcher/watcher_main.py` (`SUBMIT_SYSTEM_SENDERS`, `SUBMIT_SYSTEM_SENDER_TYPES`, `validate_schema_loose`) | beim Scan, Sekunden später | **nein** |
|
||||
|
||||
Der Watcher-Pod hat `submit_task.py` nicht im Image und hält eine **Hardcode-Kopie**
|
||||
derselben Konstanten. Wer nur eine Seite pflegt, erzeugt Drift: Der Einleger
|
||||
akzeptiert, der Watcher quarantäniert (`_invalid/`), und `accepted` wird **vor**
|
||||
der Quarantäne geschrieben — der Aufrufer sieht nur den Erfolg.
|
||||
|
||||
Zweite Ausprägung derselben Klasse: Der Watcher prüft das Envelope-Schema
|
||||
strikt (uuid4-`task_id`, Status-Enum, Feld-Whitelist). Ein Erzeuger, der eigene
|
||||
IDs oder Zusatzstatus schreibt, wird erst beim Scan abgewiesen.
|
||||
|
||||
## Mitigation
|
||||
|
||||
1. **Zustell-Indikator prüfen, nicht den Rückgabewert:**
|
||||
`grep -l "^from: <sender>" <spool>/*.yaml | wc -l` → muss > 0 sein.
|
||||
2. **Journal nach der `task_id` fragen:** `accepted` + `quarantined` in
|
||||
derselben Sekunde beweist Einleger-schuld-frei / Watcher-schuld-tragend.
|
||||
3. **`_invalid/*quar-<id>.yaml` prüfen** — der Envelope ist meist inhaltlich
|
||||
korrekt und kann nach dem Fix unverändert zurück in den Spool
|
||||
(`mv` statt Neuerzeugung, IDs/Bodies bleiben).
|
||||
4. **Beide Konstanten-Dateien patchen**, dann Sync-Test laufen lassen
|
||||
(`spool/test_sender_sync.py`, AST-Vergleich beider Dateien).
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Sync-Test für Duplikate:** Wo eine Konstante bewusst doppelt liegt, muss ein
|
||||
Test die Gleichheit erzwingen (`test_sender_sync.py`: Sendermengen,
|
||||
Typ-Mapping je Sender, keine Kollision System-Sender/Org-Agent).
|
||||
- **Erfolg erst behaupten, wenn zugestellt:** Automatik-Trigger loggen „ok"
|
||||
erst bei `task_claimed` / Datei im Spool nach dem Scan — nicht bei `accepted`.
|
||||
- **Typen sind Format, nicht Absicht:** Dedupe/Filter nie auf einen Typ stützen,
|
||||
den auch Menschen benutzen (`review` = fachliche Abnahme **und** Sweep-Auftrag).
|
||||
Diskriminator ist der Sender (`from`).
|
||||
- **Automatik-Tasks nicht mit `karte_id` versehen**, wenn sie nur aktivieren
|
||||
sollen — sonst koppelt `complete_task` die Karte blind auf `Fertig`.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-10-30** — Re-Dispatch verletzte den Envelope-Vertrag (synthetische
|
||||
`task_id`, `status: re-dispatched`, Zusatzfelder) → zwei `quarantined`-Events,
|
||||
Dead-Letter-Eintrag weg. SolDoc
|
||||
`bug-fixes/2026-10-30-fleet-redispatch-envelope-contract-quarantine.md`.
|
||||
- **2026-11-01** — Karten-Bewertungs-Sweep: `board-service` fehlte in der
|
||||
Watcher-Kopie der Sender-Allowlist; 4 Tasks quarantäniert, 12 Karten blieben
|
||||
unbewertet, Sweep meldete `cards=5` als Erfolg. Zusätzlich sperrte ein
|
||||
fachlicher `review`-Task (`Abnahme: deadman-rezidiv-research-4`, `working`)
|
||||
den Value Stream `vs-fleet-rebuild` mit 40 fälligen Karten. SolDoc
|
||||
`bug-fixes/2026-11-01-fleet-karten-review-sweep-zustellkette.md`.
|
||||
@@ -0,0 +1,57 @@
|
||||
---
|
||||
pattern_id: PAT-020
|
||||
title: "PBS/Datastore meldet ENOSPC bei <100 % — ext4-Reserve + Dedup verdecken den Vollstand"
|
||||
category: storage
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-09
|
||||
last_updated: 2026-11-15
|
||||
related_systems: [pbs-offsite, pve-cluster, openstack-cinder]
|
||||
related_solution_docs:
|
||||
- docs/solutions/bug-fixes/2026-09-30-offsite-pbs-saturation-gc-rescue.md
|
||||
- docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md
|
||||
related_skills: [devops/proxmox-ve-administration, devops/volume-capacity-incident-response]
|
||||
---
|
||||
|
||||
# PBS-Datastore voll: ENOSPC bei 94 % und „erfolgreiche" Backups ohne Platz
|
||||
|
||||
## Symptom
|
||||
|
||||
- PVE-Storage (`pvesm status`) zeigt 94–95 % und **0 KiB frei**; `df` im Gast: `0 frei, 100 %`.
|
||||
- PBS-Journal: `unable to create backup group ... No space left on device (os error 28)`,
|
||||
zusätzlich `backup ended but finished flag is not set`.
|
||||
- Verwirrend: **es erscheinen weiterhin neue Snapshots** mit aktuellen Daten im Store.
|
||||
- GC-Tasks laufen mit Status **OK**, ohne nennenswerten Platzgewinn.
|
||||
|
||||
## Root Cause
|
||||
|
||||
1. **ext4-Reserved-Blocks (Default 5 %)** sind für den PBS-Worker unerreichbar, weil
|
||||
Datastore-IO als User `backup` läuft. Bei 800 GiB Volume sind das ~40 GiB, die
|
||||
`df` als „belegt" führt, obwohl sie frei sind — aber eben nicht für PBS.
|
||||
Prozentanzeige und ENOSPC widersprechen sich dadurch scheinbar.
|
||||
2. **Dedup-Volltreffer**: Snapshots, deren Chunks alle schon existieren, brauchen nur
|
||||
wenige KB Metadaten und passen auch bei 0 frei noch rein → Backups „gelingen",
|
||||
während echte Änderungen seit Wochen nicht gesichert sind.
|
||||
3. Kapazität ist **nicht** über PVE steuerbar (PBS-Storage hat kein `size`-Feld);
|
||||
sie hängt am darunterliegenden Blockdevice (Cinder-Volume, RBD, ZFS-Dataset…).
|
||||
|
||||
## Mitigation
|
||||
|
||||
- Sofort: `tune2fs -m 1 <dev>` → ~4 % des Volumes werden nutzbar (nicht-destruktiv, online).
|
||||
- Nachhaltig: Blockdevice vergrößern (Cinder `openstack volume set --size N` mit
|
||||
Microversion ≥ 3.42 für in-use, dann `rescan` + `resize2fs` im Gast) **oder** Retention kürzen.
|
||||
- Bei Vollstand hilft GC nur, wenn echte Pending-Removals existieren.
|
||||
|
||||
## Prevention
|
||||
|
||||
- Alert auf absoluten freien Platz und Growth-Rate, nicht allein auf Prozent.
|
||||
- `tune2fs -m 1` bei großen PBS-Datastores sofort nach dem Anlegen.
|
||||
- RPO-Bewertung nie über „neuester Snapshot vorhanden", sondern über die
|
||||
ENOSPC-Historie und den Chunk-Zuwachs (`du -s .chunks` über Zeit).
|
||||
|
||||
## Evidence
|
||||
|
||||
- 2026-09-30: Offsite-PBS 40 KiB frei von 844 GB, 43/46 Backups rot; GC holte
|
||||
132,7 GiB Pending-Removals → Rescue. (Vorfall 1)
|
||||
- 2026-11-15: Offsite-PBS erneut voll (747/787 GiB, 0 frei), ENOSPC seit 20.10.;
|
||||
Volume 800→980 GiB + `-m 1` → 208 GiB frei, Sync-Catch-up läuft. (Vorfall 2)
|
||||
@@ -44,3 +44,9 @@ The entry records WHAT changed, WHY, and WHETHER it helped (if validated).
|
||||
| 2026-10-11 | devops/seafile-api | patched | references/seafile-bulk-migration.md um Welle-2-Guardrails erweitert: synchronized-as-Gate (Trim-Parser), Status-Tabellen-Truncation unter Last, Heal-Pass, --from0-Exclude-Engineering, Byte-Verification statt du, mv-across-ZFS-Datasets, pkill-in-eigener-Shell-Falle, Locale-abhängige rsync-stats; Disk-Stand 285G/46G aktualisiert | tested | accepted | docs/solutions/workflows/2026-10-11-seafcli-wave2-status-parsing-prefill-race-orchestration.md |
|
||||
| 2026-10-17 | productivity/imap-file-delivery | patched | Pitfall-Tabelle +2: verschachtelte FETCH-Tupel (rekursiv flattening statt dat[0].decode) und RFC2047-q-kodierte Subjects (decode_header+Klartext-Vergleich statt Rohmatch) — sonst FALSE NEGATIVE trotz APPENDUID-OK | tested | accepted | docs/solutions/integrations/2026-10-17-imap-append-verification-rfc2047-tuple-pitfalls.md |
|
||||
| 2026-10-19 | devops/rke2-cluster-administration | patched | Neue Reference `references/cilium-networkpolicy-traps-2026-10-19.md` (4 stumme CNP-Fallen: Selektion⇒Default-Deny, `[{}]`=Null-Allow, service.name≠Identity-Label, VIP-SNAT⇒world) + Description-Link; L3 deckte Cilium-NP zuvor nicht ab (nur LB-Pool) | tested | accepted | docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md |
|
||||
| 2026-11-02 | devops/ai-noris-inference-api | patched | Context-Fenster-Pitfall ergänzt: Bifrost liefert max_context_length verschachtelt; Hermes-Fallback 128k/1.31M/256k; Fix via model.context_length + providers.noris.models.<id>.context_length | tested | accepted | docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md |
|
||||
| 2026-11-05 | security/security-exposure-audit | patched | Auth-Bypass-Regel ergänzt: sshd-libc per `ldd` prüfen (musl-Loader ≠ musl-sshd), fünf AND-Bedingungen für sshhole.com | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-05 | cronjob | patched | Pitfall ergänzt: `monitor_script` braucht bloßen Dateinamen (+x, Shebang); `bash /abs/pfad` macht den Monitor blind; Agent-Prompt-SSH-Zugang vor Scharfstellen live testen | tested | accepted | docs/solutions/bug-fixes/2026-10-30-cve-2026-98432-fleet-exposure.md |
|
||||
| 2026-11-15 | devops/network-reconnaissance | patched | Pitfall ergänzt: zip(ips, as_completed(futures)) misattribuiert Alive-IPs (77/91 Ghosts im Weekly-Scan); Korrektur: pool.map oder {fut: ip}-Dict; Cross-Check gegen ip-map | tested | accepted | docs/solutions/bug-fixes/2026-11-15-network-scan-ip-attribution-bug.md |
|
||||
| 2026-11-15 | openscad-functional-parts | patched | Pitfalls +2: (1) OpenSCAD 2021.01 CLI-Quirks — kein `--render`, `-o` relativ zur .scad-Datei, STL default ASCII (`--export-format binstl`), `color()` im PNG-Export ignoriert, Framing via `--viewall --autocenter`; (2) Regel «Passungskonus in fester Außenkontur ⇒ Wand geht gegen 0», Wand an beiden Enden rechnen | tested | accepted | docs/solutions/workflows/2026-11-15-konus-passung-wandstaerke-vorab-pruefen.md |
|
||||
| 2026-11-15 | devops/proxmox-ve-administration | patched | Ref `openstack-offsite-pbs-2026-07.md`: Abschnitt "Kapazität vergrößern" ergänzt — `openstack volume set --size` (kein `volume extend` in OSC 10.1), Mikroversion ≥3.42 für in-use, rescan+resize2fs+tune2fs -m 1, ENOSPC-Trugschluss bei vollem Dedup-Store | tested | accepted | docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md |
|
||||
|
||||
@@ -0,0 +1,51 @@
|
||||
---
|
||||
pattern_id: PAT-017
|
||||
title: "Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert (404 ohne Log)"
|
||||
category: networking
|
||||
severity: medium
|
||||
status: active
|
||||
first_observed: 2026-10-23
|
||||
last_updated: 2026-10-27
|
||||
related_systems: [rke2-kubernetes, traefik, agent-fleet]
|
||||
related_solution_docs: [integrations/2026-10-23-traefik-ingressroute-ingressclass-ignored-404.md]
|
||||
related_skills: []
|
||||
---
|
||||
|
||||
# Traefik-K8s: CRD-Routen ohne ingressClass werden still ignoriert
|
||||
|
||||
## Symptom
|
||||
IngressRoute (oder andere Traefik-CRD) mit korrektem Host/Path/TLS-Setup liefert
|
||||
404 (Traefik-Default), obwohl LoadBalancer, entryPoint und Backend alle
|
||||
funktionsfähig sind. Kein Fehler im Traefik-Log, Objekt ist per kubectl sichtbar.
|
||||
|
||||
## Root Cause
|
||||
Traefik läuft mit Provider-Filter
|
||||
`--providers.kubernetescrd.ingressClass=traefik`. Objekte ohne die Annotations
|
||||
`kubernetes.io/ingress.class: traefik` UND `traefik.io/ingress.class: traefik`
|
||||
werden vom CRD-Provider komplett verworfen — still, ohne Log-Eintrag.
|
||||
|
||||
## Mitigation
|
||||
Beide Annotations am CRD setzen:
|
||||
```yaml
|
||||
metadata:
|
||||
annotations:
|
||||
kubernetes.io/ingress.class: traefik
|
||||
traefik.io/ingress.class: traefik
|
||||
```
|
||||
Wirkung sofort (Router matcht). Nebenerkenntnis 27.10.: Für ipAllowList-Zwang
|
||||
am VIP-LB braucht es `externalTrafficPolicy: Local` am LB-Service — bei
|
||||
`Cluster` SNATet Cilium die Client-IP weg und die ACL blockt fälschlich alles.
|
||||
|
||||
## Prevention
|
||||
- Vor Deploy einer neuen Traefik-CRD: gegen eine bereits funktionierende
|
||||
Route diffen und die ingressClass-Annotations kopieren.
|
||||
- Review-Checkliste für Exposure-PRs: ingressClass-Annotations? eTP Local bei
|
||||
ACL? EntryPoint-Länge ≤15 Z. (Chart kürzt)?
|
||||
|
||||
## Evidence
|
||||
- 2026-10-23: fleet-webui (VIP .212) — Original-Incident, 404 → Fix
|
||||
Commit-Kette 37f40ec…1d35b1f; Solution-Doc integrations/2026-10-23.
|
||||
- 2026-10-27: Fleet Control Tower (VIP .213) — **zweite Inkarnation**,
|
||||
identisches Bild, Fix Commit 8d201bf (8d201bf..0ddad265-Kette). DOM-Smoke
|
||||
23/23 PASS danach. Evidence-Update im Solution-Doc.
|
||||
- MEMORY.md-Pointer ergänzt.
|
||||
@@ -0,0 +1,93 @@
|
||||
---
|
||||
pattern_id: PAT-019
|
||||
title: "Watchdog-Alarm an das ausgefallene Ziel — Erkennen ohne Empfänger und ohne Remediation"
|
||||
category: infrastructure
|
||||
severity: high
|
||||
status: active
|
||||
first_observed: 2026-11
|
||||
last_updated: 2026-11-01
|
||||
related_systems: [fleet-deadman, fleet-spool, openshell-sandbox, tower-owner]
|
||||
related_solution_docs:
|
||||
- bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md
|
||||
- bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md
|
||||
related_skills: [devops/agent-fleet-operations, devops/watchdog-design-verification]
|
||||
---
|
||||
|
||||
# Watchdog-Alarm an das ausgefallene Ziel
|
||||
|
||||
## Symptom
|
||||
|
||||
Ein überwachter Dienst ist stundenlang tot und **niemand merkt es**, obwohl
|
||||
der Watchdog messbar korrekt gearbeitet hat:
|
||||
|
||||
- `deadman_alert_active{source="agent:ceo"} 1` — der Alarm ist gesetzt
|
||||
- im Spool liegt ein P1-Task mit korrektem Text
|
||||
- aber: `to: ceo` — **der Empfänger ist der ausgefallene Dienst selbst**
|
||||
- der Task bleibt 1 h 43 m auf `submitted`, das Board zeigt keine Reaktion
|
||||
|
||||
Der Ausfall wird zufällig entdeckt (hier: beim Prüfen einer anderen
|
||||
Funktion), nicht durch die eigene Überwachung.
|
||||
|
||||
## Root Cause
|
||||
|
||||
Drei Defekte, die einzeln harmlos wirken und zusammen einen stillen Ausfall
|
||||
ergeben:
|
||||
|
||||
1. **Adressierung an das überwachte Objekt.** `submit_escalation()` nutzte
|
||||
eine Konstante `ALARM_TARGET = "ceo"`. Fällt genau dieses Ziel aus, wartet
|
||||
der Alarm bei dem Prozess, der nicht antworten kann. Die Überwachung hat
|
||||
keinen vom Ziel unabhängigen Empfänger.
|
||||
2. **Erkennen ohne Remediation.** Der Watchdog legt einen Task und eine
|
||||
Alarm-Datei — er heilt nicht. Ist der einzige Heilungsweg ein manueller
|
||||
Login (hier: OIDC ohne Refresh-Token), ist der Ausfall für die Automatik
|
||||
unlösbar und bleibt stehen, bis ein Mensch zufällig hinsieht.
|
||||
3. **Kein Reconcile für den Fehlerzustand.** Die Sandbox stand auf
|
||||
`PHASE Error`; der Controller erzeugt den Pod nicht neu. Ein Pod-Verlust
|
||||
wird damit permanent, statt sich selbst zu reparieren.
|
||||
|
||||
## Mitigation
|
||||
|
||||
- **Empfänger entkoppeln:** Alarm-Routing, das den Ausfall des Alarm-Ziels
|
||||
erkennt und an einen unabhängigen Kanal umleitet (hier: `tower-owner`,
|
||||
kein Agent, eigenes Deployment):
|
||||
|
||||
```python
|
||||
def alarm_recipient(self, source_key):
|
||||
if source_key == f"agent:{ALARM_TARGET}":
|
||||
return OWNER_TARGET
|
||||
return ALARM_TARGET
|
||||
```
|
||||
|
||||
- **Body trägt den Heilungsweg**, nicht nur den Befund: konkrete Befehlsfolge
|
||||
inkl. Vorbedingungen (Login).
|
||||
- **Validierungsmatrix mitziehen:** Ein neuer Empfänger braucht Einträge in
|
||||
*allen* Validierungsebenen (siehe PAT-018), sonst wird der umgeleitete Alarm
|
||||
quarantäniert — der Fix erzeugt dann denselben stillen Fehler erneut.
|
||||
|
||||
## Prevention
|
||||
|
||||
- **Frage bei jedem Watchdog:** „Wer empfängt den Alarm, wenn genau dieser
|
||||
Empfänger der Ausfall ist?" Ist die Antwort „derselbe", fehlt ein Kanal.
|
||||
- **Alarm-Zustand muss von außen sichtbar sein**, nicht nur im Zielsystem:
|
||||
Prometheus-Metrik + Board-Datei + unabhängiger Empfänger.
|
||||
- **Jeder Watchdog braucht eine Remediation-Stufe** (Self-Heal, Reconcile)
|
||||
oder eine dokumentierte Eskalation an einen Menschen — Erkennen allein ist
|
||||
ein Logbuch.
|
||||
- **Fehlerzustände brauchen einen Reconcile-Loop:** `PHASE Error` /
|
||||
`CrashLoopBackOff` / `Terminating` (ohne Finalizer-Fortschritt) heilen sich
|
||||
nicht selbst.
|
||||
- **Token-Abhängigkeiten als Betriebs-Sperre behandeln:** fehlt ein
|
||||
Refresh-Token, ist die Automatik nach Ablauf handlungsunfähig — genau dann,
|
||||
wenn sie gebraucht wird.
|
||||
|
||||
## Evidence
|
||||
|
||||
- **2026-11-01:** `ceo`-Sandbox `PHASE Error` ab ~18:43 UTC. Deadman erkannte
|
||||
die Stille korrekt (1858 s > 1800 s), legte `06aa7d55` mit `to: ceo` —
|
||||
1 h 43 m ungesehen. Heilung nur manuell (OIDC-Login + `sandbox stop/start`),
|
||||
73 Tasks Rückstau. Fix `7b621ad`, deadman `0.13.3`, watcher `0.27`.
|
||||
SolDoc `bug-fixes/2026-11-01-deadman-alarm-an-toten-ceo.md`.
|
||||
- **2026-11-01 (früher):** `openshell-0` hing 168 min in `Terminating`
|
||||
(Gateway-Wedge) — kein Sandbox-Controller, keine Pod-Recreation. Gleiche
|
||||
Klasse: Fehlerzustand ohne Reconcile. SolDoc
|
||||
`bug-fixes/2026-11-01-heartbeat-ausfall-openshell-gateway-wedge.md`.
|
||||
@@ -26,17 +26,22 @@ EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
└───────────────────────────────────────┘
|
||||
```
|
||||
|
||||
## EMHASS Configuration (16 kWh Virtual Battery)
|
||||
## EMHASS Configuration (12,32 kWh Virtual Battery)
|
||||
|
||||
> **Korrigiert 03.11.2026:** Kapazität war mit 16000 Wh angesetzt (Annahme BYD 11 kWh),
|
||||
> real nutzbar sind 7,2 kWh (SMA SBS, aus 10 T Lade-/Entladehistorie gemessen) + 5,12 kWh
|
||||
> (Marstek) = **12320 Wh**. `sensor.total_soc` rechnet seit dem Fix mit demselben Nenner,
|
||||
> sonst wäre die SOC-Kurve inkonsistent zur Modellkapazität.
|
||||
|
||||
| Parameter | Value | Hinweis |
|
||||
|-----------|-------|---------|
|
||||
| `battery_nominal_energy_capacity` | 16000 | BYD 11k + Marstek 5k kombiniert |
|
||||
| `battery_nominal_energy_capacity` | 12320 | SMA 7,2 kWh nutzbar + Marstek 5,12 kWh |
|
||||
| `battery_charge_power_max` | 6700 | 4200 (BYD) + 2500 (Marstek) |
|
||||
| `battery_discharge_power_max` | 6700 | dto. |
|
||||
| `battery_charge_efficiency` | 0.9 | Konservativ, gemischt |
|
||||
| `battery_discharge_efficiency` | 0.9 | dto. |
|
||||
| `battery_target_state_of_charge` | 0.15 | 15% Reserve (geändert von 0.30 am 2026-10-02) |
|
||||
| `battery_soc_deficit_cost` | 0.5 | Strafe für Unterschreitung |
|
||||
| `battery_soc_deficit_cost` | 0.0 | live 12.11.: Strafe ist AUS (Wiki hatte 0.5) |
|
||||
| `battery_minimum_state_of_charge` | 0.1 | 10% Hard Floor |
|
||||
| `battery_maximum_state_of_charge` | 1.0 | 100% |
|
||||
| `set_battery_dynamic` | True | Dynamische Peeling erlaubt |
|
||||
@@ -44,6 +49,43 @@ EMHASS (LP Solver) → sensor.smart_battery_target
|
||||
| `sensor_battery_state_of_charge` | `sensor.total_soc` | Gewichteter Gesamt-SoC |
|
||||
| `sensor_power_battery` | `sensor.batteries_power_out_total` | Entladeleistung |
|
||||
| `use_websocket` | True | |
|
||||
| `optimization_time_step` | **15** | seit 12.11.2026 (war 30) → 96 Slots/24 h |
|
||||
| `battery_stress_cost` | 0.0 | kein Wear-Cost im LP |
|
||||
| `battery_soc_final_reward_factor` | 0.0 | Ende-SoC unbewertet |
|
||||
|
||||
## Preise & Gate (neu 12.11.2026)
|
||||
|
||||
`emhass_app/emhass_prices.py` ersetzt den Carry-forward-Pfad. Drei Tiers:
|
||||
1. **Sensor** `sensor.epex_spot_data_total_price` — hält nur *heute* (96×15 min)
|
||||
2. **energy-charts Day-Ahead** (SMARD/Bundesnetzagentur, CC BY) — per Least-Squares
|
||||
auf das Endkunden-Niveau gefittet (gemessen 12.11.: a=+0,1529, b=1,190). Optional,
|
||||
429/404 sind normal (Auktion erst ab ~13:00 veröffentlicht).
|
||||
3. **Gelernter Tagesgang** — 28-Tage-Median je Viertelstunde aus der
|
||||
Recorder-Historie des Preissensors; Cache `price_shape.json`, Refresh 03:30.
|
||||
|
||||
**Gate:** erste 12 Slots echt, real ≥40 %, Carry-forward ≤25 %, estimated ≤60 % →
|
||||
sonst kein Solve, kein Publish, persistent_notification + Ledger `blocked`.
|
||||
Realität 09:00–13:00: ~58 % echt + 42 % Shape (das ist der Ersatz für die
|
||||
Phantom-Nachtpreise, nicht ein Fehler).
|
||||
|
||||
**Slot-Raster:** `slot_min: 15` in `apps.yaml` setzt `core.SLOT_MIN/N_SLOTS`;
|
||||
die App vergleicht beim Start mit `optimization_time_step` und blockiert bei Mismatch.
|
||||
|
||||
## Lastprofil: statisch war 30–40 % zu niedrig (12.11.2026)
|
||||
|
||||
Das Profil vom 08.10. (Median aus 02.–08.10.) rechnete mit **27,4 kWh/Tag**. Die
|
||||
Messung aus dem Recorder ergab für 05.–11.11.: 39,2 / 52,9 / 48,9 / 14,5* / 42,8 /
|
||||
**69,0** / 40,8 kWh (Do–Mi; *08.11. Sonntag mit Recorder-Lücke, nur 7,8k statt ~50k
|
||||
Samples). Der Plan unterschätzte die Hauslast also systematisch um 30–40 %.
|
||||
|
||||
Konsequenzen, umgesetzt:
|
||||
- `emhass_profile_refresh.sh` + Cron `ccf94ac266c6` (So 04:00) baut das Profil wöchentlich
|
||||
aus der Recorder-Historie neu, testet, deployt, verifiziert den nächsten Zyklus.
|
||||
- Builder überspringt Tage mit `< MIN_SAMPLES_PER_DAY` (20k) Samples, sonst vergiftet
|
||||
eine Recorder-Lücke Median und Wochenend-Ratio; bei nur einem Wochenendtag wird
|
||||
das Wochenendprofil aus Wochentag × Ratio skaliert statt aus einem Samstag.
|
||||
- **Sauna-Overlay nutzt `max(profil, 8600 W)` statt `+8600 W`**: das rollierende Profil
|
||||
enthält historische Sauna-Sitzungen, mit `+=` wäre der Saunatag doppelt gezählt.
|
||||
|
||||
## ⚠️ Known Pitfall: set-config Full Overwrite
|
||||
|
||||
|
||||
+4
-1
@@ -47,9 +47,12 @@ modified: "2026-09-30"
|
||||
## Infrastructure VMs (10.0.30.x)
|
||||
| IP | Host | Service |
|
||||
|----|------|---------|
|
||||
| 10.0.30.149 | — | **Technitium DNS VIP** (keepalived/VRRP 51, floatet zwischen .150/.153) |
|
||||
| 10.0.30.150 | CT150 technitium-dns-01 (proxmox6) | DNS-Cluster-Primary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.153 | CT153 technitium-dns-02 (n5pro) | DNS-Cluster-Secondary, Web-UI :5380, TLS :53443 |
|
||||
| 10.0.30.66 | sarah-hermes (VM107, n5pro) | Sarahs Hermes: WebUI :8787 (LAN-only, pw) + TG-Bot (geplant) |
|
||||
| 10.0.30.99 | CT111 | Immich (n5pro), Migration zu K8s geplant |
|
||||
| ~~10.0.30.100~~ | ubuntu | **STALE (10.10. verifiziert):** VLAN-30-IP nach NAS-Crash 03.10. verloren (nie persistiert), ARP dead. Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
|
||||
| 10.0.30.100 | ubuntu | **ZURÜCK (15.11. verifiziert):** SSH 9.6p1 Ubuntu-13.20 antwortet wieder; Host-Keys (RSA/ECDSA/Ed25519) identisch mit 10.0.20.100 → derselbe NAS-Host, VLAN-30-IP wieder aktiv. Ob beabsichtigt: offen (Legacy-Route seafile_old → .30.100:8081 beachten). Kanonischer Host-Zugang: **10.0.20.100** (VLAN 20) |
|
||||
| 10.0.30.105 | — | ~~Gitea~~ CT108 GESTOPPT 2026-09-17 (Archive: /home/debian/git-archive/ct108-final/) |
|
||||
| 10.0.30.124 | VM200 | IaC Runner (DHCP), SSH `debian` |
|
||||
| 10.0.30.141 | CT141 | Monitoring (Prometheus/Grafana) |
|
||||
|
||||
+1390
-12
File diff suppressed because it is too large
Load Diff
+48
-26
@@ -3,18 +3,18 @@ title: Ceph Cluster
|
||||
category: systems
|
||||
tags: [ceph, storage, rbd, ec-pool, osd]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-09-26"
|
||||
modified: "2026-11-15"
|
||||
---
|
||||
|
||||
# Ceph Cluster
|
||||
|
||||
## Overview
|
||||
- **Cluster ID**: 204c8171-e0b1-4f40-9de2-a7cfe4ef68d9
|
||||
- **Health**: HEALTH_WARN — "Monitors are configured to allow creation of insecure key types" (cosmetic, CVE-2025-30156 fixed)
|
||||
- **Version**: 20.2.4 (tentacle) — all 17 OSDs
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH), 4 MONs (proxmox5, proxmox4, ms-a2-1, n5pro), MGR on n5pro (standbys: px5/6/7/a2-1)
|
||||
- **Health**: HEALTH_WARN (2026-11-15) — `BLUESTORE_SLOW_OP_ALERT` 7 HDD-OSDs (chronisch seit ≥08.11.), `DB_DEVICE_STALLED_READ_ALERT` osd.1/6/11 (DB liegt auf demselben HDD-Spindle, 5s-read-timeout). Keine PG-/Datenprobleme. 15.11.: osd.7+osd.10 per crush-reweight entlastet, seither 18 PGs remapped/backfill.
|
||||
- **Version**: 20.2.4 (tentacle) — 14 OSDs; 3 OSDs bereits 20.2.5 (Minor-Skew)
|
||||
- **Nodes**: 8 Proxmox hosts (proxmox2 removed from CRUSH); **MONs: 3** (proxmox5, ms-a2-1, n5pro) — mon.proxmox4 am 2026-11-15 10:22 entfernt (Service disabled); MGR active: **ms-a2-1** (seit ~2 Wochen, standbys proxmox6/5/7/n5pro)
|
||||
- **OSDs**: 17 (10 HDD, 7 SSD), all up/in
|
||||
- **Capacity**: ~33 TiB total, 9.0 TiB used, 24 TiB avail
|
||||
- **Capacity**: 33 TiB total, 14 TiB used, 19 TiB avail (42.98 %); 5.4 TiB Nutzdaten, 2.68M Objekte
|
||||
- **Pools**: 13 pools, 533 PGs (532 active+clean, 1 scrubbing)
|
||||
|
||||
## OSD Layout
|
||||
@@ -23,39 +23,43 @@ modified: "2026-09-26"
|
||||
|-----|-------|------|------|----------|-------|
|
||||
| 1 | hdd | 3.7 TiB | n5pro | 1.0 | |
|
||||
| 2 | ssd | 1.8 TiB | ubuntu | 1.0 | Moved to ubuntu host |
|
||||
| 3 | ssd | 233 GB | proxmox4 | 0.05 | 2026-09-30: reweighted 0.05 nach Full-Drama (war 1.0) — Plate 238G, sonst backfillfull |
|
||||
| 3 | ssd | 238 GB | proxmox4 | 1.0 | CRUSH-Weight auf 0.04999 gesetzt (statt reweight 0.05) — Plate 238G, sonst backfillfull |
|
||||
| 4 | ssd | 227 GB | proxmox3 | 0.30 | Small, reweighted down |
|
||||
| 5 | ssd | 150 GB | proxmox5 | 0.30 | Small, reweighted down |
|
||||
| 6 | hdd | 3.6 TiB | n5pro | 1.0 | |
|
||||
| 7 | hdd | 931 GB | proxmox7 | 0.95 | |
|
||||
| 7 | hdd | 1002 GiB | proxmox7 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 89.8 % voll) |
|
||||
| 8 | hdd | 3.6 TiB | ubuntu | 1.0 | |
|
||||
| 9 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 10 | hdd | 931 GB | proxmox6 | 0.95 | |
|
||||
| 10 | hdd | 982 GiB | proxmox6 | 0.95 | 2026-11-15: CRUSH-Weight 0.931→**0.75** (war 78,4 % voll) |
|
||||
| 11 | hdd | 2.8 TiB | n5pro | 1.0 | |
|
||||
| 12 | ssd | 1.9 TiB | n5pro | 1.0 | |
|
||||
| 13 | ssd | 1.8 TiB | ms-a2-1 | 0.95 | |
|
||||
| 14 | ssd | 1.8 TiB | ms-a2-2 | 0.95 | |
|
||||
| 15 | ssd | 1.8 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 18 | hdd | 3.6 TiB | ubuntu | 1.0 | New |
|
||||
| 17 | hdd | 2.7 TiB | ubuntu | 1.0 | 81.8 % voll (Stand 15.11.) |
|
||||
| 18 | hdd | 3.6 TiB | n5pro | 1.0 | 20.8 % voll |
|
||||
|
||||
> OSDs 0+2 (old proxmox2) destroyed 2026-07-25. osd.2 reassigned to ubuntu host as new SSD.
|
||||
> OSDs 15, 17, 18 added since last wiki update (ubuntu host expanded).
|
||||
> OSDs 15 (ubuntu) und 17 (ubuntu, 2.7 TiB) kamen später dazu; osd.18 sitzt auf n5pro (Stand 15.11.2026, `ceph osd tree` verifiziert).
|
||||
|
||||
## Pools
|
||||
|
||||
| Pool | Name | Type | Size | Min | CRUSH Rule | PGs | Notes |
|
||||
|------|------|------|------|-----|------------|-----|-------|
|
||||
| 1 | cephfs_data | replicated | 3 | 2 | 0 (any) | 32 | autoscale off |
|
||||
| 2 | cephfs_metadata | replicated | 3 | 2 | 2 (ssd) | 32 | autoscale off |
|
||||
| 3 | vm_disks | replicated | 3 | 2 | 2 (ssd) | 128 | autoscale on |
|
||||
| 4 | .mgr | replicated | 3 | 2 | 2 (ssd) | 1 | |
|
||||
| 5 | rbd | replicated | 3 | 2 | 1 (hdd) | 32 | autoscale on |
|
||||
| 6 | hdd_disk | replicated | 3 | 2 | 1 (hdd) | 112 | nopgchange=true |
|
||||
| 7 | tm_disks | replicated | 2 | 2 | 1 (hdd) | 128 | target_size 2TiB |
|
||||
| 8 | media_ec | erasure 4+1 | 5 | 4 | 3 (hdd, osd-level) | 128 | ec_overwrites |
|
||||
| 9 | media_meta | replicated | 3 | 2 | 0 (any) | 32 | |
|
||||
| 10 | .rgw.root | replicated | 3 | 2 | 0 (any) | 1 | |
|
||||
| Pool | Name | PGs | Stored | %USED | Notes |
|
||||
|------|------|-----|--------|-------|-------|
|
||||
| 1 | cephfs_data | 32 | 1.7 TiB | 66.6 | autoscale off, MAX AVAIL 864 GiB |
|
||||
| 2 | cephfs_metadata | 32 | 409 MiB | 0.05 | Rule 2 (ssd) |
|
||||
| 3 | vm_disks | 128 | 1.6 TiB | 64.6 | autoscale on, MAX AVAIL 802 GiB |
|
||||
| 4 | .mgr | 1 | 136 MiB | 0.02 | |
|
||||
| 5 | rbd | 32 | 22 GiB | 2.4 | size=2 → IO-Block bei Host-Ausfall (s.u.) |
|
||||
| 6 | hdd_disk | 128 | 2.3 TiB | 72.8 | size=2, nopgchange |
|
||||
| 7 | tm_disks | 128 | 27 KiB | 0 | size=2, target_size 2TiB |
|
||||
| 10 | .rgw.root | 1 | 1.6 KiB | 0 | |
|
||||
| 11 | cephfs_ssd_data | 32 | 14 GiB | 1.7 | neu, SSD-CephFS |
|
||||
| 12 | cephfs_ssd_meta | 16 | 161 MiB | 0.02 | neu |
|
||||
| 13-15 | default.rgw.log/control/meta | je 1 | ~7 KiB | 0 | RGW-Altlast |
|
||||
|
||||
> **Pool 8 `media_ec` (EC 4+1) und Pool 9 `media_meta` existieren nicht mehr** (Stand 15.11.2026, df listet 13 Pools / 533 PGs). Entfernt seit dem letzten Wiki-Stand — wer media_ec referenziert (Skripte, RBD-Maps), prüfen.
|
||||
> PG-Summe 15.11.: 32+32+128+1+32+128+128+1+32+16+1+1+1 = 533 ✓
|
||||
|
||||
## CRUSH Rules
|
||||
- **Rule 0** (replicated_rule): default root, host-level placement
|
||||
@@ -65,6 +69,19 @@ modified: "2026-09-26"
|
||||
|
||||
## Known Issues
|
||||
|
||||
### MON 3 statt 4 — GEWOLLT (Owner-Bestätigung 2026-11-15)
|
||||
`systemctl disable --now ceph-mon@proxmox4` + `ceph mon remove proxmox4` am 15.11. 10:22 → monmap epoch 137, Ranks neu nummeriert (0=proxmox5, 1=ms-a2-1, 2=n5pro). **Zielzustand ist 3 MONs** (Quorum 3/3, Toleranz 1 Ausfall). Kein Wiederaufbau von proxmox4 geplant — proxmox4 bleibt reiner OSD-Host (osd.3).
|
||||
Nebenbefund 05:15: mon.n5pro war kurzzeitig down (MON_DOWN 1/4) und rejointe.
|
||||
|
||||
### MON_DISK_LOW auf n5pro — BEHOBEN (2026-11-15)
|
||||
Ursache: n5pro Root-FS (pve-root, 39 G) war zu 67 % belegt → 33 % frei, Schwelle `mon_data_avail_warn=30` → WRN/Clear-Zyklen 10:25–10:40. Kein Ceph-Datenproblem.
|
||||
Fix (15.11.): `apt-get clean` (-3.2 G) + `journalctl --vacuum-size=1G` (-2.8 G) → **51 % belegt / 19 G frei**; zusätzlich `ceph crash archive-all && ceph crash prune 30` → Crash-DB 285 → 0 Reports. MON_DISK_LOW ist aus `ceph health detail` verschwunden.
|
||||
Rest: lokale Daemon-Crash-Dumps liegen weiter auf den Hosts (n5pro 276 M, ubuntu 520 M, Stand 07.08.) — nicht ceph-verwaltet, nur manuell zu löschen (Owner-GO).
|
||||
|
||||
### aes256k-Kernelfenster: CephFS-Kernel-Mounts brauchen exakt Kernel 7.1.8 (2026-10-27, AGING 31.10.)
|
||||
Ceph 20.2.4 tentacle rotiert alle CephX-Keys auf **aes256k** (32-Byte-Secrets). Kernel 6.12.x-libceph: 16-Byte-Limit → frische CephFS-Kernel-Mounts failen mit `libceph: secret too big 32` / EINVAL. Kernel **7.1.8+deb13** unterstützt 32-Byte-Secrets; **7.2.9 bricht Cilium 1.19.4** (fatal `FnSetRetval … R1 is not a scalar`, CrashLoop). → **K8s-Nodes auf 7.1.8-1~bpo13+1 pinnen** (IaC: `epic-2-k8s/ansible/dist-upgrade-bookworm-to-trixie.yml` Phase 4, Commit 590cf2a). RBD unberührt (mounter: rbd-nbd = Userspace). Fallback `mounter: fuse` (SC-Param, NICHT `fuseMountOptions` — wird ignoriert). Diagnose-Falle: Userspace `mount.ceph` 18.2.7 lehnt aes256k selbst ab → manuelle Host-Mount-Tests wertlos; nur `add_key()`-Reproducer oder echte CSI-Mounts testen den Kernel. Solution Doc: `docs/solutions/bug-fixes/2026-10-27-rke2-cephfs-aes256k-kernel-fenster-cilium.md`
|
||||
**UPDATE 2026-10-31 (Welle C komplett):** CVE-Rolling-Session hat alle 8 Nodes auf **6.12.113** gezogen und **7.1.8 aktiv gepurged** (apt history 07:04–07:39). Der 7.1.8-Pin ist als Principal obsolet — 6.12.113 trägt den CVE-2026-98432-Fix, 7.1.8 nicht (Build 2026-08-20). Alle frischen Kernel-CephFS-Mounts sind clusterweit kaputt (Bestandsmounts überlebten die Reboots nicht): fleet-board, fleet-spool, fleet-build-src, immich-library, immich-thumbs, gitea-shared-storage + policy/provisioning/watcher/tower/deadman-Pods. RBD unberührt (rbd-nbd = Userspace). Gitea läuft weiter (Mount überlebte diesmal, aber Pod-Neustart riskant bis Heilung). AES-128-Downgrade (16B-Keys) GESCHEITERT: MON 20.2.4 lehnt `ceph auth import` mit AQ-Format ab (EINVAL Malformed input [buffer:3]), alle 50+ Entitäten sind Ag-Präfix (aes256k). Verbleibende Pfade: (a) **mounter: fuse** in cephfs/cephfs-ssd SCs (SolDoc-Fallback, Userspace-Overhead, keine Reboots, clusterweit sofort wirksam), (b) 7.1.8-Rollback aus apt-Cache (verworfen durch Parallel-Session, CVE-ungeschützt), (c) Cilium-Upgrade ≥1.19.5 + Kernel 7.2.x (langfristig, prüfen ob FnSetRetval-Fix geflossen).
|
||||
|
||||
### HEALTH_WARN: Insecure Key Types (2026-09-26)
|
||||
Monitors allow insecure key types. Cosmetic warning — CVE-2025-30156 already fixed in 20.2.4.
|
||||
Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not already set).
|
||||
@@ -73,9 +90,14 @@ Fix: `ceph config set mon mon_allow_insecure_global_id_reclaim false` (if not al
|
||||
osd.4 (227GB, proxmox3) and osd.5 (150GB, proxmox5) reweighted to 0.30 — too small for meaningful capacity.
|
||||
Consider removing from CRUSH or replacing with larger drives.
|
||||
|
||||
### full_ratio TEMPORÄR 0.94 (Stand Anfang Okt)
|
||||
Nach Cold-Power-Desaster auf 10.0.20.100 wurde `mon_osd_full_ratio` temporär auf 0.94 angehoben.
|
||||
**OFFENER TASK: nach abgeschlossenem Drain/Backfill auf 0.90 zurücksetzen** (sonst greifen Full-Schutzmechanismen zu spät).
|
||||
### Full-Ratios angehoben (Stand 2026-11-15)
|
||||
`full_ratio 0.97`, `backfillfull_ratio 0.94`, `nearfull_ratio 0.94` (statt Default 0.95/0.90/0.85). Ursprung: Cold-Power-Desaster 10.0.20.100. **OFFENER TASK: nach Drain/Backfill zurück auf Default** — sonst greifen Full-Schutzmechanismen später. Engpass-OSD: osd.7 (proxmox7, 1 TB) 89.8 % → bei 94 % stoppt Backfill; Pool-Headroom (MAX AVAIL) nur ~0.8 TiB (cephfs_data 0.86, hdd_disk 0.85, vm_disks/cephfs_ssd 0.80).
|
||||
|
||||
### Size=2-Pools (rbd, hdd_disk, tm_disks): IO-Block bei Host-Ausfall (2026-11-14 gemessen)
|
||||
Diese Pools haben size=min_size=2 (Rule 1, hdd). Fällt ein Host mit beteiligtem OSD, sinkt die PG unter min_size → **I/O blockiert** (nicht nur degraded) bis der Host zurück ist.
|
||||
- Simulation aus pg dump (ubuntu-Ausfall, OSDs 2/15/17): 175 PGs betroffen (hdd_disk 85, rbd 18, tm_disks 72 — letztere leer). Real nach Shutdown: 17 PGs inactive, 319 PGs / 29.7 % Objekte degraded.
|
||||
- Betroffene laufende Workloads (Dauer-Hänger, kein Datenverlust): CT104 Paperless, CT111 Seafile+Immich-Library, CT151 Frigate, VM300/302 Galera, VM200 IaC-Runner.
|
||||
- Mitigations: (a) size auf 3 heben (sauber, kostet Platz), (b) temporär min_size=1 für das Wartungsfenster (Single-Copy-Risiko). Beides = Owner-GO. Ref: Skill `ceph-cluster-administration` → planned-multi-node-shutdown-2026-09-21.md (Follow-up 2026-11-14).
|
||||
|
||||
### NVMe-Controller-Death auf ubuntu + Recovery (2026-09-30, PAT-014)
|
||||
Kingston SFYRDK2000G (PCI 03:00.0) starb (state=dead, VG verschwand) → osd.2 down/out.
|
||||
|
||||
@@ -0,0 +1,92 @@
|
||||
---
|
||||
title: "Earnie HEMS — Bewertung gegen die eigene EMHASS-Logik"
|
||||
category: reference
|
||||
tags: [earnie, hems, emhass, milp, vergleich, homeassistant]
|
||||
created: "2026-11-12"
|
||||
modified: "2026-11-12"
|
||||
---
|
||||
|
||||
# Earnie HEMS vs. eigene EMHASS-Kaskade
|
||||
|
||||
Quelle: https://github.com/JochenTCC/Earnie (source-available, **nicht** OSI-Open-Source:
|
||||
privat erlaubt, kommerziell nur mit Zustimmung, Banner-Pflicht, PR = Rechteabtretung an
|
||||
den Rechteinhaber). Stand 12.11.2026: v2.7.0 stable, 2.8.0-dev, ~1540 Commits, 6300+ Tests.
|
||||
|
||||
## Architektur-Vergleich
|
||||
|
||||
| | Earnie | Unsere Kaskade |
|
||||
|---|---|---|
|
||||
| Solver | eigenes MILP (PuLP/CBC, `optimizer/` ~100 Module) | EMHASS-Add-on (LP/MILP) |
|
||||
| Raster / Horizont | 15 min / bis 48 h (`sunrise_window`) | 15 min (seit 12.11.) / 24 h |
|
||||
| Im Modell | Batterie (multi-ESS) + EV/Wallbox-Ströme + WP/Pool (RC-Thermik) + generische Geräte + Wärmestab + Import-Cap + Export-Limit + Curtailment | nur die virtuelle Batterie (12,32 kWh), `number_of_deferrable_loads: 0` |
|
||||
| Preis | Edibert (EPEX DA/ID, aWATTar/Tibber) + Preismodell für Lücken | Sensor → energy-charts → gelernter 28-Tage-Tagesgang (12.11.) |
|
||||
| PV | forecast.solar | Solcast (3 Tages-Pools, `auto_dampen`) |
|
||||
| Last | `cons_data` (24 Monate), Wochentag/Stunde, Temperatur, thermische Modelle | statisches Median-Profil + wöchentlicher Rebuild |
|
||||
| Zielfunktion | Energie + Batterie-Wear (ct/kWh) + Curtailment-Strafe + Terminal-SoC + Sunrise-SoC-Min + Tie-Breaker | nur Energie (`costfun: profit`), `battery_stress_cost 0.0`, kein Terminal-SoC |
|
||||
| Regelkreis | deviation_rules/facts/timeline, delivery tracking, Savings-Ledger mit Referenzleiter L0–L3, Cycle-Recorder + Replay (Plan-Hash) | Ledger + Physik-Check + Gate, **kein** Kontrafaktual |
|
||||
| Anbindung | EHAL (Loxone / HA+evcc / OpenEMS), HA ist **push-only** (HA → Earnie, Sollwerte über `status.json`) | EMHASS-Add-on + AppDaemon + HA-Kaskade (BYD Modbus 802/803, Marstek force_mode, EVCC hold) |
|
||||
|
||||
## Wo Earnie voraus ist
|
||||
Prognose (Preis-Lücken per Modell statt Carry-forward), Geräteflexibilität
|
||||
(EV/WP/Geräte im MILP), bewertete Zielfunktion (Wear, Terminal-SoC), und ein
|
||||
**messbarer** Mehrwert (Referenzleiter L2−L3, Ledger). Dazu HA-YAML-Paket mit
|
||||
Watchdog-Automation und Fail-safe-Werten für den Ausfall-Fall.
|
||||
|
||||
## Wo unsere Lösung vorn bleibt
|
||||
~770 Zeilen eigener Code statt ~100 Optimizer-Module; keine Lizenzfrage im
|
||||
Firmenkontext; das Zweibatterie-Kaskadenmodell (BYD 44425/44427 + Marstek force_mode)
|
||||
existiert bei Earnie in dieser Form nicht; Verifikation (Sign-Beweise, Payload-Parität,
|
||||
Gate) ist methodisch sauber.
|
||||
|
||||
## LIVE seit 12.11.2026 21:22 — plant mit echten Daten, schreibt nichts
|
||||
|
||||
```
|
||||
MILP-Entscheidung 21:00 | Preis=35.36 ct | SoC=5.0% | Netzbezug 2.22 kW
|
||||
MILP Steuerbefehl: AUTOMATIK (0.00 kW, Ziel-SoC 99%) | outcome=ok, 33 s
|
||||
```
|
||||
- **Konfig-Dateien** liegen in BEIDEN Pfaden (Earnie löst je nach Pfad verschieden auf):
|
||||
`/mnt/data/supervisor/app_configs/20b22c55_earnie/` (=`/config`) **und**
|
||||
`.../apps/data/20b22c55_earnie/earnie_env/config/`. Fünf Dateien: `config.json`
|
||||
(`ehal.backend=ha`, `live_scenario_id=live`), `components.json` (WR `sma_sbs`,
|
||||
ESS `byd`/`marstek`, PV `dach` 16 kWp), `house_profiles.json` (Profil `schoen`, DE,
|
||||
49.2217/11.3109), `tariffs.json` (Import `de_hermes_spot_15min` = 1,19×EPEX+15,29 ct,
|
||||
Export `de_einspeisung_fix_8_9`), `backtesting_scenarios.json` (Live-Szenario-Refs).
|
||||
- **Bindings müssen kanonisch sein**: `ess.<id>.sens_ess_soc`, `inv.<id>.sens_inv_power_pv`;
|
||||
nur plant-level unqualifiziert (`sens_grid_power_active`). Legacy-Keys → Loader-Fehler.
|
||||
- **Migration nur über die UI** (Konfigurations-Migration → *Backup anlegen und migrieren*).
|
||||
`scripts.migrate_inverters_once` per CLI erzeugt Legacy-Keys und scheitert danach.
|
||||
- **Telemetrie** kommt nicht über das HA-YAML-Paket (649 Zeilen + HA-Core-Neustart),
|
||||
sondern über `earnie_push.py` + `earnie-push.service` auf dem Hermes-Host
|
||||
(systemd, 10-s-Takt, Log `/home/debian/logs/earnie_push.log`): Netz aus
|
||||
`sensor.netzfluss_saldo`, PV `sensor.pv_production`, ESS-SoC BYD/Marstek, ESS-Leistung
|
||||
signed aus discharge−charge. Push-Ziel `http://10.0.30.10:8541`.
|
||||
- **Writes bleiben aus**: `set_ess_*` ohne HA-Entität → „mapping incomplete", EMHASS-Kaskade
|
||||
bleibt alleiniger Writer. Für Produktivbetrieb: Adapter (BYD Modbus 44425/44427,
|
||||
Marstek force_mode) **und** EMHASS-Kaskade abschalten.
|
||||
- Details: `docs/earnie/2026-11-12-earnie-live-setup.md`.
|
||||
|
||||
## Stand des Parallelbetriebs (B)
|
||||
- Add-on-Repo `https://github.com/JochenTCC/ha-addon-earnie` in HA registriert
|
||||
(`ha store add`), Add-on `20b22c55_earnie` **v2.7.0 installiert**, Status `stopped`
|
||||
→ schreibt nichts.
|
||||
- **Gelöst 12.11.2026 (Owner-GO):** VM 106 lief mit `cpu: kvm64`. Ursache ist nicht Earnie,
|
||||
sondern der Wheel-Stack: das Image (Python 3.14) enthält numpy 2.5.4 / pandas 3.1.0 /
|
||||
pyarrow 26.0.0 / highspy 1.15.1 als `manylinux_2_28+`-Wheels, die per `-march=x86-64-v2`
|
||||
kompiliert sind (SSSE3, SSE4.1, SSE4.2, POPCNT). Zum Vergleich: das EMHASS-Add-on läuft
|
||||
mit Python 3.12 + numpy 2.2.6 (`manylinux_2_17`, alte SSE2-Baseline) problemlos auf derselben VM.
|
||||
**Fix:** `qm set 106 --cpu x86-64-v2-AES` (migrationssicher — alle 8 Cluster-Nodes haben
|
||||
die vollen vier Flags; `host` hätte Live-Migration zwischen Intel und AMD gebrochen).
|
||||
Downtime: VM 25 s, HA-Core wieder da nach 70 s, alle Add-ons nach ~5 min.
|
||||
Danach: Earnie `state: started`, Container `healthy`, 0 Restarts.
|
||||
- **Offen:** Add-on-Optionen stehen noch auf `auto_start_main: true` und `timezone: Europe/Vienna`.
|
||||
Der HA-CLI dieser Version fehlt ein `options`-Subkommando, Supervisor überschreibt
|
||||
`options.json` beim Restart, und REST/WS-`hassio/*` sind mit dem vorhandenen Token 401.
|
||||
→ einmalig in der UI (Einstellungen → Apps → Earnie → Konfiguration). Solange keine
|
||||
Hauskonfiguration existiert, kann der Daemon nichts schreiben (keine EHAL-Bindings).
|
||||
- Danach: `auto_start_main` bleibt **false**, bis das Signal-Mapping steht (HA pusht an
|
||||
Earnie :8541, Sollwerte über `status.json`, Ingress-UI :8501). Mapping: BYD+SMA = ESS 1,
|
||||
Marstek = ESS 2, EVCC = Wallbox.
|
||||
|
||||
## Vergleichs-Ergebnis (12.11.)
|
||||
Option A (eigene Logik ausbauen) ist umgesetzt: Preis-Gate+Fallback, 15-min-Raster,
|
||||
Rolling Load Profile. Option B (Earnie parallel) ist installiert, hängt an der VM-CPU.
|
||||
@@ -3,12 +3,18 @@ title: MariaDB Galera + MaxScale
|
||||
category: systems
|
||||
tags: [mariadb, galera, maxscale, database, ha]
|
||||
created: "2026-07-24"
|
||||
modified: "2026-10-04"
|
||||
modified: "2026-11-12"
|
||||
---
|
||||
|
||||
# MariaDB Galera + MaxScale
|
||||
|
||||
## Galera Cluster (3/3 Synced)
|
||||
**Version (2026-11-01, nach Welle 4): MariaDB 11.8.9 (`-deb13`), `galera-4 26.4.27-deb13`,
|
||||
OS Debian 13 trixie, Kernel `6.12.113+deb13-amd64`** auf allen 3 Nodes. Rolling: 11.4.12/13 → 11.8.9
|
||||
(Runbook `docs/solutions/migrations/2026-11-01-galera-11.4-to-11.8.9-rolling.md`), danach OS-Suite
|
||||
bookworm → trixie (`docs/solutions/migrations/2026-11-01-welle4-bookworm-trixie-maxscale-galera.md`).
|
||||
Nebeneffekt: Kernel 6.12.113 schließt **CVE-2026-98432** für diese Tier.
|
||||
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| db1 | VM300 | proxmox4 | n5pro, proxmox3, proxmox4 | 10.0.30.71 |
|
||||
@@ -21,6 +27,7 @@ Rollen (Master/Slave) dynamisch — 10.10. war db2 Master. Anti-Collocation-Rule
|
||||
- **1Password `mariadb-root` Item:** PASSWORT IST FALSCH — stimmt nicht mit `/root/.my.cnf` überein
|
||||
|
||||
## MaxScale Proxy (HA)
|
||||
**Stand 2026-11-01 (Welle 4): beide Nodes Debian 13 trixie, Kernel `6.12.113`, MaxScale `24.02.9~trixie-1`** — Upgrade .82 zuerst, dann .81; VIP blieb durchgehend erreichbar.
|
||||
| Node | VM | Aktuell auf (10.10.) | Erlaubte Nodes (HA-Rule) | IP |
|
||||
|------|----|----------------------|--------------------------|----|
|
||||
| MaxScale-01 | VM310 | proxmox7 | proxmox4, proxmox5, proxmox7 | 10.0.30.81 (:8989 Admin) |
|
||||
@@ -40,6 +47,13 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
- VM310/311 (MaxScale): Fluent Bit aktiv
|
||||
|
||||
## Bekannte Issues
|
||||
- **2026-11-13 (3. Tag — 06:00-Fenster externally verursacht, Morgen-Briefing entlastet):** Recipe-Scraper-Crash in `db_count()` zum 3. Tag in Folge (06:00:28, pymysql 2013). Neu heute: COUNT hing **>122 s** im Fenster 06:01–06:04 (PROCESSLIST "Sending data"), ab 06:05 **4× 0,0 s** instant — die 52,4 s vom 12.11. sind kein fixer Strukturwert, sondern Cache-/Blockade-abhängig. Galera selbst gesund (3/3 Synced, wsrep_ready=ON, Flow Control aus, Uptime 4,5 d). **Morgen-Briefing (parallel 06:00) als Verursacher widerlegt** — dessen Scripts greifen nicht auf recipes-DB zu; am 10.11. lief COUNT während des Briefings durch. Ursache des Fensters offen: Backup-Jobs/Cron auf DB-VMs prüfen (neben Ceph osd slow-ops seit 08.11.). SolDocs: `bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md` + Nachtrag im 11-12-Doc.
|
||||
- **2026-11-12 (Wiederholung → systematisch):** Recipe-Scraper-Crash um 06:00 UTC in `db_count()` zum 2. Tag in Folge. Isolierte Messung: `SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), `SELECT 1` + Handshake instant. Die Query ist strukturell ~52 s langsam — SCRAPER-seitiges `read_timeout=60` zu knapp (Fix: read_timeout 300 im Scraper, s. systems/recipe-scraper). Buffer-Pool/Ceph-I/O der Galera-Nodes weiter im Blick (osd slow-ops seit 08.11. offen). Details + SolDoc: `docs/solutions/bug-fixes/2026-11-12-recipe-scraper-dbcount-timeout-galera.md`.
|
||||
- **2026-11-10 (beobachtet, selbst geheilt):** Transienter Stall via VIP .70 — `SELECT 1` instant, aber `SELECT COUNT(*) FROM recipes` hing 30 s (read-timeout), Wiederholung 1,2 s; wsrep_cluster_size=3. Recipe-Scraper-Cron-Crash um 06:01 UTC war die Folge; Retry 2 Min. später lief sofort. Vermutlich Flow-Control-Blip oder träger kalter Node nach Recovery. Beobachten; bei Wiederholung osd/Node-Last prüfen.
|
||||
- **2026-11-08 (GELÖST): Komplettausfall seit 07.11. ~23:03 UTC** — Ceph `BLUESTORE_SLOW_OP_ALERT` (8 OSDs) → Storage-Stall → InnoDB double-write flush hang auf allen 3 Nodes → keine Primary Component >20 h. **Recovery 08.11. 15:3x–19:31 UTC (3/3 Synced, stabil ≥4 h):** Leichen killen (D-state mariadbd), Bootstrap VM300 (grastate→1 NACH Prozess-Kill; galera_new_cluster trotz 'Job canceled' ok), sequentieller Rejoin 301/302 mit Synced-Wait je Node, **Online-Disk-Resize während laufendem SST** (VM302 50→85G, VM300 80→115G — Joiner braucht ≈2× Datadir, sonst ENOSPC mid-SST), `TimeoutStartSec=900`-Dropin gegen slow-I/O-Recovery. Danach Kette grün: MaxScale `SELECT 1` OK → Authelia-Restart (OIDC 200/62 ms, Auth-EP 303/45 ms) → CEO-Re-Admit E2E (siehe systems/agent-fleet) → ceo-HB 17 s, 10/10 Agents. Offen: IaC-Nachzug (Disk-Größen + Dropin), Ceph slow-ops beobachten. SolDoc: `docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
- **Welle-4-Fallen (2026-11-01, bookworm→trixie):** (a) `cloud-init 25.1.4-1+deb13u1` schreibt auf MaxScale-01 ein LEERES `50-cloud-init.yaml` (netplan-Status `disabled-by-generator`, `KeyError: 'recoverable_errors'`) → systemd-networkd fällt auf DHCP zurück, Host verliert seine statische IP (10.0.30.81 bekam .108). Fix: eigenes `/etc/netplan/99-static-eth0.yaml` (match `macaddress`, `set-name: eth0`, `dhcp4: false`, statische Addr/GW/DNS, mode 600) + cloud-init-Netzwerkkonfig deaktivieren. **Vor jedem OS-Upgrade `ls /etc/netplan/` + `dhcp4: true` prüfen.** (b) Repo-Dateien je Node unterschiedlich: `mariadb.sources` (deb822, .71/.81/.82) vs. `mariadb.list` (.72/.73); zusätzlich `fluent-bit.list` auf .72/.73 (bookworm→trixie mitswitchen, sonst apt-Fehler). (c) `galeramon` (nicht `mariadbmon`) kennt KEINEN manuellen Switchover — Master-Wechsel nur über `maxctrl set server <master> maintenance` (Monitor promotet automatisch), danach `clear server <node> maintenance`. (d) Nach Kernel-Reboot Rejoin ~2 min (`activating` → `Joining` → `Synced`), MaxScale zeigt dabei `Joining` im Statusfeld.
|
||||
- **Rolling-Upgrade-Fallen (2026-11-01):** `maxctrl set server <master> drain` → 400 („server is master"); Master nur per `maintenance` ausleitbar, Monitor promotet automatisch. `maxctrl clear server <name>` braucht den State: `clear server db2 drain`. Repo-Dateiname je Node verschieden (`mariadb.sources` deb822 auf .71, `mariadb.list` auf .72/.73). apt auf HDD-Ceph ~10 min/Node → als `nohup`-Skript im Node laufen lassen.
|
||||
- **Repo-Suiten:** `mariadb-server/11.8` = 11.8.9 identisch für bookworm **und** trixie; `11.4` hat **keine** trixie-Suite (404) → OS-Wechsel erst nach 11.8, dann nur Suite-Tausch.
|
||||
- **2026-10-04 (GROSSER VORFALL): Ext4-Volume-Label `MARIADB_DATA` auf allen 3 Galera-Datadisks verlor sich** (Ursache ungeklärt, Symptome ab 04.10. ~07:58 MESZ). fstab montiert per `LABEL=MARIADB_DATA` mit `nofail` → Boot ging durch, aber `/var/lib/mysql` blieb LEER → mariadb crashte im Loop (Permission denied auf leeres Dir). Reparatur: `e2label <dev> MARIADB_DATA` je Disk (VM300 im Gast, VM301/302 offline via `rbd map` + mount auf Hypervisor) → Reboot. **Pattern: bei leerem /var/lib/mysql trotz intakter fstab IMMER `tune2fs -l` → "volume name" prüfen.** Galera-Recovery: Bootstrap-Kandidat per gvwmstate/grastate-Mtimes bestimmt (VM301, letzte View 38={301,300}), `safe_to_bootstrap: 1` offline in grastate geschrieben → 301 startete als PC, 300 jointe sofort, 302 folgte (IST 570871→570923, Delta nur 52 Tx). Ende: 3/3 Synced, MaxScale beide aktiv, VIP offen.
|
||||
- **2026-09-29:** VM302 Zombie-State nach Migration (QEMU running, Services tot, QGA down). Behoben via Stop+Start; SST-Rejoin ~2-3min. Siehe `docs/solutions/bug-fixes/2026-09-29-vm302-zombie-postmigration-galera-rejoin.md`
|
||||
- **QEMU-Cmdline-Falle:** `-incoming unix:/run/qemu-server/NNN.migrate -S` bleibt nach Migration im Prozess-String — KEIN Beweis für "paused". Immer `qm monitor <vmid> <<< 'info status'` prüfen.
|
||||
@@ -51,3 +65,11 @@ Anti-Collocation: 310⊥311. **2026-10-10:** Beide Failover-VMs (301, 310) live
|
||||
## Related
|
||||
- [[systems/proxmox-cluster]]
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Totalausfall-Recovery (08.11.2026) — MERKEN
|
||||
**Wenn alle 3 Nodes down sind:** Positionen mit `mariadbd --wsrep-recover --user=mysql` vergleichen (gibt `Recovered position: <uuid>:<seqno>`); **höchste seqno = Bootstrap-Node** (nicht `safe_to_bootstrap` vertrauen — wird durch Fehlversuche zurückgesetzt). Dann dort `safe_to_bootstrap: 1` setzen + `galera_new_cluster`, danach die anderen **sequenziell** mit `systemctl start mariadb` joinen (SST automatisch; parallel joinen scheitert mit „No donor candidates temporarily available").
|
||||
**Zugriff, wenn SSH gebannt/passwortlos gesperrt ist:** nur PVE-API + qemu-guest-agent (Token: 1P-Vault Proxmox, Item „PVE API Token hermes", Feld `password` = voller Token `root@pam!hermes=<uuid>`; API `https://10.0.20.30:8006/api2/json`, `POST /nodes/<node>/qemu/<vmid>/agent/exec`).
|
||||
**Fallen:** mariabackup kann kein Remote-Backup (nur Percona); `mbstream` liefert bei fehlgeschlagenem Pipe-Stream rc=0 mit 0 Bytes → immer `du -sh` prüfen; nie `rm -rf /var/lib/mysql` vor erfolgreicher Kopie.
|
||||
**Symptom-Kette oben:** Gitea-CrashLoop (`packets.go:58 unexpected EOF` nach 30 s) → Gitea-SSH-LB .200:22 refused → ArgoCD kann nicht syncen → gesamter GitOps-Deploy blockiert.
|
||||
**Disk-Headroom-Regel (08.11. bewährt):** Joiner braucht ≈2× Datadir frei, SONST ENOSPC mid-SST — Online-Resize während laufendem SST geht (`qm disk resize <vmid> scsi1 <ziel>` + `resize2fs /dev/sdb` im Gast). Heute: VM302 50→85G, VM300 80→115G. Zusätzlich `TimeoutStartSec=900`-Dropin (slow-I/O-Recovery > systemd-Default). Heartbeat-Verifikation: `kubectl -n fleet exec fleet-db-1 -c postgres -- psql -U postgres -d fleet -c "SELECT agent_id, MAX(received_at), age FROM heartbeats …"` (Spalte heißt `received_at`, nicht `created_at`; DB-Cluster `fleet-db` in ns fleet, nicht postgres-main).
|
||||
SolDoc: `~/docs/solutions/infrastructure/2026-11-08-galera-totalausfall-sst-recovery.md` + `~/docs/solutions/operational/2026-11-08-galera-totalfailure-recovery-ceo-readmit.md`
|
||||
|
||||
+26
-1
@@ -43,6 +43,30 @@ modified: "2026-09-27"
|
||||
- **DinD Pitfalls:** docker:27-dind creates docker.sock as directory → use TCP mode (--host=tcp://, --tls=false). act_runner:0.2.13 has no docker CLI → use nc for port check. act_runner:0.2.13 doesn't auto-register → wrapper script needed.
|
||||
- **Solution Doc:** `docs/solutions/bug-fixes/2026-07-24-gitea-actions-k8s-runner-task-assignment-bug.md`
|
||||
|
||||
## Container Registry (OCI, seit 25.10.2026 verifiziert push+pull-fähig)
|
||||
|
||||
- **Repos:** `git.schoen.codes/v2/dominik/hermes-agent` (Fleet-Agent-Image, digest-gepinnt
|
||||
`sha256:32eda413…` = Tag `fleet-v1`, 1,07 GB) und `dominik/beacon` (Iteration 1).
|
||||
- **Zertifikat:** Internes Wildcard `*.schoen.codes` via ESO/1P (`git-schoen-codes-tls`,
|
||||
template `b64dec`, Commit e8b006b) — Traefik serviert es per SNI. Push/CI NUR gegen
|
||||
`git.schoen.codes`; `git.familie-schoen.com` terminiert am externen Proxy mit
|
||||
LE-Cert (deckt familie-schoen.com, nicht *.schoen.codes) und erzeugt den
|
||||
http-Realm-Bug.
|
||||
- **KNOWN BUG (Gitea 1.27.0):** Token-Realm-URL wird per
|
||||
`GuessCurrentHostURL` aus Request-Headern gebaut, nicht aus ROOT_URL. Ohne
|
||||
`X-Forwarded-Proto` (öffentlicher Pfad) → `realm="http://…/v2/token"` → Docker
|
||||
stript Auth beim 301→https-Redirect → anonymes Token → **Push 401** (Pull
|
||||
klappt, wenn Repo public). Intern hinter Traefik: Header vorhanden, Realm https.
|
||||
- **Push-Runbook:** (1) `docker login git.schoen.codes` VOR dem Push; (2) bei
|
||||
HTTP 499 am Manifest-PUT NICHT neu anfangen — Blobs sind idempotent drin,
|
||||
einfach erneut pushen; (3) kubectl port-forward überlebt keine SSH-Session und
|
||||
ist für Bulk-Pushes zu langsam; (4) tags/list zeigt nur Tags mit eigener
|
||||
Manifest-Revision — Beweis via `GET /v2/…/manifests/<tag>` (200).
|
||||
- **Kubelet-Pull:** Node-DNS löst git.schoen.codes auf; Pull-Secret
|
||||
`agent-fleet-registry-pull` (NS fleet, default-SA imagePullSecrets, out-of-band,
|
||||
nicht im Git). E2E: 1,07 GB in 34,6 s auf rke2-cp-01.
|
||||
- **Solution Doc:** `docs/solutions/integrations/2026-10-25-gitea-oci-registry-push-chain.md`
|
||||
|
||||
## IaC Remotes
|
||||
- iac-homelab hat EINEN remote: `origin` = K8s Gitea (git.schoen.codes)
|
||||
- Alter CT108 remote wurde entfernt (CT108 decommissioned)
|
||||
@@ -51,8 +75,9 @@ modified: "2026-09-27"
|
||||
- **Key:** `~/.ssh/id_ed25519_gitea-hermes-push` (hermes-agent@gitea-push)
|
||||
- **1Password:** "Gitea Hermes Push Key" (ID: lqaebdtewj5xatvpzfrkag73v4)
|
||||
- **Gitea Key ID:** 4 (title: hermes-agent-push, user: dominik)
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.202:22/dominik/iac-homelab.git HEAD:main`
|
||||
- **Verwendung:** `GIT_SSH_COMMAND="ssh -i ~/.ssh/id_ed25519_gitea-hermes-push -o StrictHostKeyChecking=no" git push ssh://git@10.0.30.200:22/dominik/iac-homelab.git HEAD:main` (SSH-LB-IP ist **10.0.30.200** — NICHT .202; .202 = alte/andere Adresse, Verbindung timed out. Beweis 28.10.: Port-22-Check von .124 und .213 OK auf .200, BLOCKED auf .202.)
|
||||
- **Wichtig:** Gitea HTTP (Port 3000) hat keine externe IngressRoute — SSH (Port 22 via LoadBalancer) ist der einzige zuverlässige Weg für Git-Pushes von außerhalb K8s.
|
||||
- **Anti-Pattern „Gitea ist down" (01.11.2026):** Ein Fleet meldete wochenlang „Gitea :3000/:80 unerreichbar, Merge-Pipeline blockiert" — **alles Fehlschlüsse**. (a) `10.0.30.200` hat nie :3000/:80 (nur SSH-LB 22→31441; :80 = Traefik .203; `gitea-http` ist headless ClusterIP, nur in-cluster). (b) ICMP auf Cilium-LB-VIPs schlägt **immer** fehl → `ping` 100 % Loss ist kein Ausfallindiz; Erreichbarkeit per TCP-Connect je Port messen. (c) Der echte Blocker war Auth: Pod `1/1 Running`, 0 Restarts, Log `services/auth/basic.go:145 UserSignIn: user's password is invalid [uid: 1, name: dominik]` — das HTTPS-Token in `origin`/`k8s` war tot. **Lehre: bevor „down" gemeldet wird, `kubectl -n gitea get svc,pods` + `kubectl -n gitea logs deploy/gitea` lesen; Push-Recht per `git push --dry-run <remote> <branch>` testen (zeigt `* [new branch]` ohne etwas zu übertragen — `ls-remote` beweist nur Leserecht).**
|
||||
|
||||
## Known ArgoCD Issues (Sep 2026)
|
||||
- **`gitea` app:** Sync=Succeeded, Health=Progressing — Ingress hat keine LoadBalancer IP (Traefik reporting gap). Kosmetisch, Funktionalität OK.
|
||||
|
||||
@@ -0,0 +1,79 @@
|
||||
# Heizung — Viessmann CU401B S + free@home-Zonen
|
||||
|
||||
Stand 15.11.2026. Wärmepumpe in VM106 (HA), Anbindung über **ViCare-Cloud** (kein lokales Modbus).
|
||||
|
||||
## Anlage
|
||||
|
||||
| Komponente | Detail |
|
||||
|---|---|
|
||||
| Wärmepumpe | **CU401B S** (Vitocal), Verdichter 13 kW, 5.027 Starts / 12.540 h (11/2026) |
|
||||
| Heizkreis | **kein Raumfühler** (`climate.vicare_heating → current_temperature = null`) → rein außentemperaturgeführt |
|
||||
| Heizkurve | `number.cu401b_s_steigung_der_heizkurve` = **0,4**, `…_verschiebung_der_heizkurve` = **−7 K** (unverändert) |
|
||||
| Sollwerte | Komfort **24** · Normal **23** (15.11. von 24) · Reduziert **21** (von 23) |
|
||||
| Programm | `normal` / preset `home`; „Reduziert" greift nur bei Preset `eco` |
|
||||
| Raumebene | 11 × ABB-free@home-Thermostate → Heizungsaktor 12-fach (ABB295E71C51) |
|
||||
| Ventilrückmeldung | `sensor.fbh_*_valve_volume_flow` in **%** (0–100), nicht l/h |
|
||||
| WW | `water_heater.vicare_water` Soll 46 °C, Hysterese 4/4 K, Sekundärtemp. 58 °C |
|
||||
|
||||
## Messwerte (7 Tage, 08.–15.11.2026)
|
||||
|
||||
- VL 29,2 °C bei 0 °C außen · 27,6 °C bei 7 °C · Spreizung VL−RL **1,2 K** (hoher Volumenstrom, FBH)
|
||||
- Verdichter 0–4 Starts/Tag, 6–22 h/Tag, Modulation 4–17 % (max 59 % = WW)
|
||||
- Strom **17 kWh/Tag** (Heizung ~11,7 · WW ~5,5) · WW-Ladung ~3 h/Tag, 09–14 UTC
|
||||
- Gebäudekennlinie U ≈ 100–115 W/K → Heizlast ~3,5 kW bei −12 °C; Bedarf dort ~31–32 °C VL
|
||||
|
||||
## Raum-Sollwerte (seit 15.11.2026)
|
||||
|
||||
Wohnen 22,5 · Essen/Küche 22,5 · Büro 22,0 · WC 22,0 · Flur EG 21,0 · Gang OG 21,0 ·
|
||||
Bad 23,0 · Schminken 22,0 · Windfang 20,0 · Kind Cleo 21,5 · Schlafen 19,5
|
||||
|
||||
Vorher: 23,5 / 24 / 23,5 / 23 / 23 / 23,5 / 26,5 / 24 / 28 / 22,5 / 20 — Bad, Schminken,
|
||||
Windfang hingen dadurch dauerhaft auf 100 % Ventilhub.
|
||||
|
||||
## Automationen
|
||||
|
||||
| Entity | Status | Funktion |
|
||||
|---|---|---|
|
||||
| `automation.komfort_heizung` (1728332355765) | **off** | setzte Normal=24 + Reduziert=24 bei PV>3 kW & SoC>95 % |
|
||||
| `automation.normaltemperatur` (1728332529463) | **off** | setzte trotz Namen Reduziert=23 + Normal=24 bei PV<3 kW |
|
||||
| `automation.dhw_master_pv_optimierung_peak_shaving` (1775711216800) | on | Einmalige WW-Ladung bei PV/SOC, Flag `input_boolean.dhw_onetimecharge_today` |
|
||||
| `automation.dhw_onetimecharge_reset` | on | setzt das Tages-Flag zurück (YAML, nicht via API lesbar) |
|
||||
| `automation.dhw_onetimecharge_when_dhw_charging_active` | off | Duplikat, deaktiviert |
|
||||
| `automation.ww_peak_blockade_14_30` (1763220000001) | on (neu) | WW-Soll 46 → **44** ab 14:30, nur wenn keine WW-Ladung läuft |
|
||||
| `automation.ww_peak_ende_20_30` (1763220000002) | on (neu) | WW-Soll zurück auf 46 um 20:30 |
|
||||
| `automation.ww_schutz_unter_40_c` (1763220000003) | on (neu) | Notfall: Speicher < 40 °C für 10 min → Soll 46 |
|
||||
| `automation.morgen_profil_an_04_30` (1763220000010) | on (neu) | **04:30** Morgen-Profil: Bad **28,0** · Wohnen/Essen 23,0 · Flure 22,0 · WC 22,5 |
|
||||
| `automation.morgen_profil_aus_07_00` (1763220000011) | on (neu) | **07:00** zurück auf Basis (Bad **26,0** Dauerheizen · Wohnen/Essen 22,5 · Flure 21,0 · WC 22,0) |
|
||||
|
||||
**Wichtig:** HA kann Automations per `POST /api/config/automation/config/{id}` anlegen und
|
||||
per `DELETE` löschen (verifiziert 15.11.2026, HA 2026.10.4) — die verbreitete Annahme
|
||||
„geht nur per YAML" stimmt nicht.
|
||||
|
||||
## Preisbild / Lastverschiebung
|
||||
|
||||
EPEX-Slots (`sensor.epex_spot_data_market_price`, `data`-Attribut mit 96 Slots):
|
||||
09–13 Uhr billig (0,272–0,288 €/kWh), 14:30–20:30 teuer (bis 0,3667), Spread 9,7 ct (36 %).
|
||||
Deferrable loads: WW (thermischer Puffer), Sauna (`input_datetime.sauna_startzeit` 19:00 → ins
|
||||
billige Fenster, 7 kW ≈ 0,90 €/Lauf), Spüler, Waschmaschine/Trockner (nur Push, kein Auto-Start).
|
||||
|
||||
## Morgen-Profil (Owner-Wunsch 15.11.)
|
||||
|
||||
Beobachtung im 7-Tage-Datensatz bestätigt: **05:30–07:00 Uhr** Ventile Wohnen 99 %, Essen 93 %,
|
||||
Kinderzimmer 95 % offen — Ursache waren die alten Sollwerte 23,5/24 °C, nicht die Kurve.
|
||||
Bad überschoss danach auf **24,3 °C (07–09 Uhr)**.
|
||||
|
||||
Umgesetzt 04:30–07:00 (nicht 5:30 — FBH-Trägheit ~2 h, sonst wirkt die Öffnung erst nach 7:00):
|
||||
Bad **28,0** · Wohnen 23,0 · Essen 23,0 · Flur EG 22,0 · Gang OG 22,0 · WC 22,5 → 07:00 zurück auf Basis.
|
||||
**Bad-Basis = 26,0 (Dauerheizen, Owner-Wunsch „warme Füße")** — Ventil steht dadurch permanent auf 100 %.
|
||||
Physikalische Decke: bei 100 % Ventil und 29 °C VL waren in 7 Tagen max. **23,6 °C** Raumtemperatur drin;
|
||||
28 °C ist also ein Schalter für „Ventil immer auf", kein erreichbarer Sollwert. Fußboden-Oberfläche
|
||||
dabei ~26–27 °C. Mehr nur über Komfort-Preset (+1 K Kurve), hydraulischen Abgleich des Bad-Kreises
|
||||
oder Zusatzheizung (Handtuchheizkörper/IR).
|
||||
|
||||
## Offene Punkte
|
||||
|
||||
- **Heizgrenze** (~14 °C) nur in der ViCare-App prüfbar — bei 7–13 °C Außentemp heizt die Anlage sonst gegen Solar-/Fremdwärme.
|
||||
- **Einmalige WW-Ladung 15.11. 09:35** hatte keinen Automationstreffer (`dhw_master` zuletzt 14.11.) → Auslöser unbekannt.
|
||||
- **Bad**: 26,5 °C war nie erreichbar (max. 23,6 bei 100 % Ventil). Bei weiterer Kurvenabsenkung prüfen, ob 23 °C noch gehalten werden.
|
||||
- Verifikation der Kurve erst bei **< −3 °C** außen (Prognose: 21./22.11., min −1,5 °C).
|
||||
- `number.*` der ViCare-Integration: **step = 1** → halbe Kelvin werden mit HTTP 500 abgelehnt; Writes wirken verzögert (~30–60 s).
|
||||
+178
-8
@@ -3,7 +3,7 @@ title: "Home Assistant"
|
||||
category: systems
|
||||
tags: [homeassistant, smart-home, mqtt, automation]
|
||||
created: "2026-09-27"
|
||||
modified: "2026-10-11"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# Home Assistant
|
||||
@@ -11,10 +11,17 @@ modified: "2026-10-11"
|
||||
> Smart Home Zentrale auf Proxmox. Steuerung, Automatisierung und Benachrichtigungen.
|
||||
|
||||
## Infrastruktur
|
||||
- **Host:** `10.0.30.10` (HAOS VM)
|
||||
- **SSH:** `hassio@10.0.30.10` (PW: 1P Vault "Hermes")
|
||||
- **Host:** `10.0.30.10` (HAOS VM **106** auf proxmox3, 4 Cores / 16 GB, bios ovmf)
|
||||
- **CPU-Typ:** `x86-64-v2-AES` (seit 12.11.2026, vorher `kvm64`; Config-Backup
|
||||
`/root/vm106-config.bak-20261112-161151` auf proxmox3). Kaltstart nötig, damit der
|
||||
Typ greift. Grund: moderne Python-Wheels (numpy 2.5, pandas 3.1, pyarrow 26,
|
||||
manylinux_2_28+) verlangen SSSE3/SSE4.1/SSE4.2/POPCNT. Alle 8 Cluster-Nodes können
|
||||
das, `host` wäre nicht migrationssicher.
|
||||
- **SSH:** Port 22222, Key `~/.ssh/id_ed25519_proxmox`, user `root`
|
||||
- **URL:** `https://homeassistant.familie-schoen.com`
|
||||
- **Container:** `homeassistant` (Docker)
|
||||
- **Container:** `homeassistant` (Docker); Add-ons werden nach Core-Start gestartet
|
||||
(`startup: application`) — nach einem VM-Neustart braucht es ~5 min bis AppDaemon,
|
||||
EMHASS, evcc und Earnie wieder laufen.
|
||||
|
||||
## MQTT
|
||||
- **Broker:** Mosquitto Add-on v7.1.1 auf localhost:1883
|
||||
@@ -34,6 +41,40 @@ modified: "2026-10-11"
|
||||
- **Push:** GENAU EIN kombinierter (Titel+Verdict+Objekte+Bild) nur bei KRITISCH ∨ KI-Fail ∨ Person (24/7, v3.1)
|
||||
- Siehe [[systems/frigate]] + Solution Doc `bug-fixes/2026-10-10-frigate-notification-spam-review-alerts.md`
|
||||
|
||||
### Büro EG: Licht nach Präsenz (ID `buero_eg_licht_praesenz_nachlauf`, seit 02.11.2026, Stand 14.11.)
|
||||
- **Trigger:** `binary_sensor.esp32_c3_buero_eg_presence` → `on` schaltet `switch.licht_buro` an — **nur wenn dunkel**; `off` für **2 min** schaltet aus (Nachlauf; Nutzer-Historie: 15 → 5 → 2 min am 14.11.)
|
||||
- **Helligkeits-Gate:** `sensor.wetterstation_illuminance` (Wetterstation Beleuchtungsstärke, outdoor) **< 7000 lx** = Licht erlaubt. Schwellen-Historie (jeweils Nutzer-Vorgabe „ab der aktuellen Helligkeit"): 500 → 1.500 lx (14.11., 1.300 lx) → **7.000 lx (16.11., 6.400 lx)**. Outdoor-Lux ist nur ein **Proxy** für die Büro-Helligkeit (Nordseite/trüb ≠ Outdoor-Wert). Sensor `unavailable`/`unknown` → Licht wird eingeschaltet (Fail-safe Richtung Licht). Zusätzlicher Trigger `numeric_state below 7000 for 3 min` → bei Dämmerung einschalten, wenn Präsenz schon an ist (sonst käme nie eine neue Präsenzflanke)
|
||||
- **Bewusst KEIN Ausschalten bei Helligkeit** (Heuristik-Veto: würde manuelles Einschalten überfahren); „Sonne raus → Licht aus" wäre ein separater Trigger mit Bestätigungszeit
|
||||
- **Sweep:** `time_pattern /2` (Nutzer-Wert) — nur Restart-Recovery: Licht an + Präsenz ≥2 min aus → aus. Kein Re-Assert auf `on` — manuelles Ausschalten bei Anwesenheit bleibt respektiert
|
||||
- **Sensor-Verhalten:** ESP32-C3 (10.0.50.147, Büro EG) meldet Präsenz in 20–60-s-Bursts mit Lücken von 15 s bis 6 min (Log 16.11. 08:00–09:00) → mit 2-min-Nachlauf fällt das Licht in längeren Lücken aus. Lux-Tagesgang 16.11.: 06:00 35 lx → 07:15 ~6.400 → 08:15–08:45 13.000–20.000 → 09:15 ~5.900 lx. **Offene Verbesserungen:** (a) Indoor-Lux (BH1750 am Büro-ESP32) statt Outdoor-Proxy, (b) LD2410-Hold/Absence-Timeout im ESPHome prüfen, (c) Nachlauf ggf. zurück auf 5 min
|
||||
- **E2E verifiziert 14.11. (nach Umbau):** hell 8.537 lx + Präsenzflanke → Licht bleibt aus; fake 300 lx + Präsenzflanke → Licht an; echter 5-min-Nachlauf (Presence off 09:01:26 → Licht aus 09:06:28, Trace `choose/2`), Sweep-Läufe davor korrekt untätig. **Schwellen-A/B (14.11., gleiche Helligkeit ~1.280–1.300 lx):** Flanke 15:23:13 mit 500 lx → bleibt aus (`choose/3/conditions/0`), Flanke 15:24:13 mit 1500 lx → Licht an (`choose/0/sequence/0`). **16.11. gleiches Muster bei ~6.000 lx:** Flanke 09:11:26 mit 1500 lx → bleibt aus, Flanke 09:15:49 mit 7000 lx → Licht an 09:15:50 (`choose/0/sequence/0`). **2-min-Nachlauf (nach Umstellung):** Presence off 15:28:14,56 → Trigger 15:30:14,56 (exakt 2:00) → Licht aus 15:30:16,10, Trace `choose/2`
|
||||
- **Pitfall:** Nutzer hatte die Automation zwischenzeitlich selbst editiert (5 min, Sweep /2) — blindes `POST` überschreibt das. Alte Config war aus dem Automation-Trace (`ws trace/get`) rekonstruierbar; seither gilt: vor Overwrite `GET` + Diff
|
||||
- Entity-ID nach Anlegen via WS-Entity-Registry umbenannt (Alias-Slugify verschluckt Umlaute: „Büro"→`buro`, „Präsenz"→`prasenz`)
|
||||
|
||||
## Beschattungsautomatik Wohnzimmer (15.11.2026)
|
||||
|
||||
**Fassaden (Owner-Angabe):** Wohnzimmertüre (`ABB240561F51/ch0000`) + Wohnzimmerfenster 1 (`ch0001`) = **143° Südost**; Wohnzimmerfenster 2 (`ch0002`) = **233° Südwest** (90° versetzt). Alle drei sind free@home-Jalousien (Pos + Lamellen, Features 143).
|
||||
|
||||
**Entscheidung (Fassung 16.11.2026, Owner: „kein temperaturbasiertes Beschatten, kurze Helligkeits-Peaks ignorieren"):**
|
||||
- **Helligkeit geglättet:** `sensor.helligkeit_geglaettet` (trigger-basiertes Template, **Median der letzten 7 Messwerte** — ein einzelner Peak kann den Wert nicht bewegen; ~3,5 min bei 30-s-Report). Roh bleibt `sensor.wetterstation_illuminance`.
|
||||
- **Beschattet, wenn** `elev >= beschattung_sonnenhoehe_min (5°)` **und** `Einfallswinkel <= beschattung_einfall_max (25°)` **und** `Median-Lux >= beschattung_lux_min (8.000)`. Kein Temperatur-Gate, kein kt-Gate mehr (kt nur noch Diagnose-Attribut).
|
||||
- **Ausfahren:** Sensor `off` **10 min**, nur bei Sonnenhöhe > 0 (der Sensor ist das einzige Abbild der Wahrheit — keine separaten Ausfahr-Schwellen).
|
||||
- Attribute: `einfallswinkel`, `helligkeit_gefiltert`/`helligkeit_roh`, `klarheit_kt`, `sonnenhoehe`.
|
||||
- Fassaden: Suedost 143° (Tür + Fenster 1) / Suedwest 233° (Fenster 2).
|
||||
|
||||
**Aktorik (automations.yaml, 4 Stück):** `beschattung_wz_so_sonne_einfahren` / `_sonne_raus`, `beschattung_wz_sw_sonne_einfahren` / `_sonne_raus`
|
||||
- Einfahren: Sensor `on` **4 min** (`for`) → `cover.set_cover_position` (Öffnungsgrad, Default **20** — Owner-Korrektur 15.11.: „ein bisschen weiter runter") → warten bis Position ±6 → `cover.set_cover_tilt_position` (Lamellen, Default 25) → 20 s später Verifikation, bei Abweichung >8 % `persistent_notification`
|
||||
- Ausfahren (Stand 15.11. 12:00 UTC): **eigener Template-Trigger 5 min** — `elev > 0` und (`elev < 8` **oder** `inc > 88°` **oder** `kt < input_number.beschattung_klarbeit_aus` 0.45) → 100/100, **nur wenn die Rollläden noch auf der Beschattungsposition stehen** (Manuell-Schutz, kein Überschreiben von Handeingriffen). Kein Re-Assert während aktiver Beschattung. Die Ausfahr-Schwelle liegt **0,07 kt unter** der Einfahr-Schwelle (Hysterese-Band) — nicht gleich setzen, sonst flattert es bei jeder Wolke. Nachts (`elev <= 0`) kein Öffnen (Privatsphäre) — das macht die Abend-Szene.
|
||||
- Kein Zeit-Gate: nur Sonnenstand + Helligkeit.
|
||||
|
||||
**Tuning:** Dashboard „Haus" → View **Rollos** → Karte „Beschattung Wohnzimmer" (1 `input_boolean` + 10 `input_number` + Raumtemperatur).
|
||||
|
||||
**Pitfalls (live erlebt):**
|
||||
- `homeassistant.reload_core_config` legt **neue** YAML-Helper NICHT an — dafür `input_number.reload` / `input_boolean.reload` (danach sind sie sofort da).
|
||||
- HA-Templates: **kein** `radians()`/`degrees()`; `sin/cos/acos` rechnen im Bogenmaß, `pi`/`e` sind vorhanden → `R = pi/180` selbst multiplizieren. `sin(30,'deg')` ignoriert die Einheit (Ergebnis = sin(30 rad)).
|
||||
- free@home-Cover invertieren intern (`100 - position` / `100 - tilt`): HA-Position 0 = zu, 100 = offen; HA-Tilt 100 = Lamellen offen.
|
||||
- Entity-IDs aus Namen mit Umlauten/Klammern werden unbrauchbar → Sensornamen bewusst „Suedost"/„Suedwest".
|
||||
|
||||
## Notify Services
|
||||
| Service | Status |
|
||||
|---------|--------|
|
||||
@@ -66,6 +107,45 @@ modified: "2026-10-11"
|
||||
- NUT (APC Back-UPS ES 700G via ms-a2-1, `10.0.20.92:3493`, User monuser; Sensors `sensor.apc_*`; Entry `5e1d2138235140eb9b476e9d6779c228`; deployed via `iac-homelab/epic-9-ups-nut`)
|
||||
- Various sensors (Xiaomi BLE, etc.)
|
||||
|
||||
## Zigbee / Zigbee2MQTT (Stand 10.11.2026)
|
||||
- **Stack:** Z2M Add-on `45df7312_zigbee2mqtt` **2.14.3-1**, zigbee-herdsman 11.2.0, **ZHC 26.125.0**; Addon-Zugriff nur über HA-Ingress-WS (Details: Skill-Ref `smart-home-automation/references/zigbee2mqtt-remote-diagnosis.md`)
|
||||
- **Coordinator:** SONOFF Dongle-M, EmberZNet 7.4.5 [GA], EZSP 13, **TCP** `tcp://10.0.50.145:6638`
|
||||
- **Netz:** Kanal **25**, PAN 33072; 8 Geräte (5× Schlafzimmer-Lampen, Esszimmertür, Garagentor-Neigungssensor, Wetterstation)
|
||||
- **permit_join:** nur via `switch.zigbee2mqtt_bridge_permit_join` (254-s-Fenster, Refresher-Loop beim echten Pairing); `mqtt.publish` auf `zigbee2mqtt/bridge/request/permit_join` wird von der Broker-ACL **still verworfen**
|
||||
- HA-MQTT-Entry-Titel `192.168.100.27` ist kosmetisch/veraltet — Discovery läuft normal
|
||||
|
||||
### Shelly/Ecowitt WS90 (gekoppelt 10.11.2026, Zigbee-Variante)
|
||||
- **IEEE `0xc02cedfffe774579`**, `EndDevice`, interview complete, FW `251015/v1.1.6@62`, Manufacturer Shelly, Model-ID `WS90`
|
||||
- **22 Entities** `sensor.wetterstation_*` / `binary_sensor.wetterstation_rain_status` / `button.wetterstation_identify` (Auto-Discovery, keine Handarbeit)
|
||||
- Alle 12 Reportings + 7 Bindings von ZHC selbst provisioniert (inkl. `precipitation`); **keine** manuellen Reporting-Fixes nötig
|
||||
- **Einheiten real:** pressure **hPa** (nicht kPa wie Z2M-Doku), Wind **km/h** (nicht m/s), precipitation mm `total_increasing`
|
||||
- Live-Nachweis: humidity 51→42 % / Wind + Richtung / Gust innerhalb 95 s
|
||||
- Battery **73 %** (0 %-Anfangsproblem nach Sonnenlicht aufgelöst); `capacitor_voltage` lädt mit Sonne; `voltage` unknown
|
||||
- **Kein** `weather.`-Entity von Z2M — Wetterzustand nur als `sensor.wetterstation_weather_condition` (z. B. „cloudy")
|
||||
|
||||
### DWD-Integration hg1337/homeassistant-dwd (installiert 15.11.2026)
|
||||
- **HACS** (`hg1337/homeassistant-dwd` v2026.10.0, Category `integration`), Core-Restart nötig zum Laden; Setup via Config-Flow: Station **P339 „Freystadt-Oberndorf"** (14 km, Messdaten+Forecast), `current_weather: hybrid`, `forecast: true` → `weather.freystadt_oberndorf`
|
||||
- **`weather.get_forecasts` hourly: 244 Einträge MIT `precipitation_probability`** (met.no kann das nicht!) + precipitation, cloud_coverage, dew_point, pressure, wind_gust_speed
|
||||
- DWD-Config-Flow-Falle: **max. EIN aktiver Flow pro Integration** — halbfertige Flows blockieren mit Abort `already_in_progress`; erst den hängenden Flow zu Ende führen (flow_id behalten!), nicht neue starten
|
||||
- `sensor.regenwahrscheinlichkeit_6h_dwd` (trigger-basiertes Template, /30 min, DWD hourly, **max** `precipitation_probability` der nächsten 6 h) — 2. Block-Item in configuration.yaml `template:`-Liste
|
||||
|
||||
## Wetter-Dashboard (gebaut 15.11.2026)
|
||||
- **View „Wetter"** im Default-Dashboard (Tabs: Home/Jalousien/Licht/**Wetter**) — via `lovelace/config/save` gebaut, View-Path `wetter`
|
||||
- **HACS-Karten (installiert 15.11.):** `clock-weather-card` (pkissling), `lovelace-hourly-weather` (decompil3d), `weather-radar-card` (jpettitt, DWD-Quelle), `lovelace-windrose-card` (aukedejong), `MeteoalarmCard` (MrBartusek) — alle via HACS-WS (`hacs/repositories/add` + `hacs/repository/download`, Category `plugin`), Ressourcen verifiziert (HTTP 200)
|
||||
- **Aufbau:** Meteoalarm-Card (DWD-Warnstufe) → Grid 2-spaltig: Clock-Weather (Forecast met.no + Ist-Temperatur vom WS90 via `additional_sensors`), Hourly-Weather (12 h), DWD-Regenradar (2 h), Windrose (WS90 Wind), ApexCharts Luftdruck (absolut, 48 h) + ApexCharts Regen 7 Tage (`precipitation` mit `group_by: delta/1h`) → Entitäten-Liste „Regen & Bewässerungs-Gates" (Warnstufen, regen_heute/monat/7_tage/regenprognose_6h, beide Gates)
|
||||
- **Konventionen:** Mushroom/native Cards erlaubt, Bubble Card verboten (Skill `home-assistant-dashboard-conventions`); die 5 Custom-Cards sind Wetter-spezifische Ausnahmen nach Nutzer-Freigabe
|
||||
- **Offen:** „go DWD" — hg1337/homeassistant-dwd via HACS installieren, `regenwahrscheinlichkeit_6h` (DWD `precipitation_probability` hourly) als zweites Gate-Kriterium; DWD-Vorhersage könnte auch `clock-weather-card`/`hourly-weather` füttern
|
||||
|
||||
## WS90-Regen-Automationen (gebaut 15.11.2026)
|
||||
- **A — Regen-Sperre:** `binary_sensor.bewaesserung_regen_sperre` (Template-Config-Flow) = `rain_status` on ∨ `sensor.regen_heute` ≥ 3 mm ∨ `sensor.regenprognose_6h` ≥ 0,5 mm (met.no-Mengensumme) ∨ `sensor.regenwahrscheinlichkeit_6h_dwd` ≥ 60 % (DWD-Wahrscheinlichkeit). Fail-open (unbekannte Werte = 0 = nicht sperren). **Zwei unabhängige Vorhersage-Quellen** — das Gate sperrt, wenn eine von beiden Regen meldet.
|
||||
- **B — Statistik:** `sensor.regen_heute`/`sensor.regen_monat` (utility_meter daily/monthly auf `sensor.wetterstation_precipitation`), `sensor.regen_7_tage` (statistics `change`, 168 h), `sensor.regenprognose_6h` (trigger-basiertes Template in configuration.yaml, /30 min + Start, `weather.get_forecasts` hourly, **Summe** `precipitation` der nächsten 6 h — met.no hourly hat **keine** `precipitation_probability`, Wahrscheinlichkeits-Gate daher unmöglich).
|
||||
- **C — Frost/Sturm:** `binary_sensor.bewaesserung_frost_sturm_sperre` = Temp < 3 °C ∨ Böen > 40 km/h ∨ Sensoren unavailable (**fail-closed, bewusst: tote Station = keine Bewässerung**).
|
||||
- **D — DWD-Push:** `automation.dwd_warnung_freystadt_push_ab_stufe_3` (automations.yaml, id `dwd_warnung_freystadt_push_20261115`): `numeric_state` above 2 auf `sensor.stadt_freystadt_aktuelle_warnstufe` → Push `notify.mobile_app_iphone_dominik` mit `warning_1_headline`/`warning_1_description` (+ Hinweis bei warning_count > 1).
|
||||
- **E2E:** Gates mit echtem Wetter (−1,3 °C, rain_status on → beide `on`); DWD-Push via State-Override 1→3 mit TEST-Attributen (`last_triggered` 06:56:48Z), danach State+Attribute restoriert; `check_config` grün (nur bekannter Dimmer-Schlafzimmerlicht-Fehler).
|
||||
- **Files:** configuration.yaml (Template-Block als Item in bestehendem `template:`-Block eingefügt), automations.yaml (Append); Backups `*.hermesbak-20261115` im selben Ordner. Rollback: Backup zurückkopieren + `template.reload` + `automation/reload`.
|
||||
- **Verwaltung:** Gates/Statistik-Entities via Config-Flow-Options (GUI) änderbar; `regenprognose_6h` via configuration.yaml; verwaiste Entität `sensor.regenwahrscheinlichkeit_6h` (erste Version, Wahrscheinlichkeits-Ansatz) ist per Registry `disabled_by: user` versteckt — endgültiges Löschen nur via UI (WS-Delete-Command fehlt in 2026.10).
|
||||
- **Pumpe noch offen:** `switch.bewaesserungspumpe` trägt die Gates noch nicht als Bedingung — Klärung „wie wird die Pumpe heute geschaltet?" steht aus. Gate-Bedingungs-Snippet: Skill `irrigation-rain-gates`.
|
||||
|
||||
## Xenia Kaffeemaschine (Stand 11.10.2026)
|
||||
- ESP32 FW 3.9, IP 10.0.50.128 (VLAN 50, SSID IoT), REST `/api/v2/overview` (enthält MA_CUR_PWR in A!), `/api/v2/machine/data|status|control`
|
||||
- **WARNUNG: MA_CUR_PWR ist AMPERE** — Power (W) = MA_CUR_PWR × Spannung L1 (`sensor.sn_3007105790_metering_voltage_l1` ≈ 234 V)
|
||||
@@ -76,17 +156,25 @@ modified: "2026-10-11"
|
||||
|
||||
## EMHASS Batteriesteuerung
|
||||
- **Endpoint:** `http://10.0.30.10:5000` (v0.18.4)
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle 16 kWh Batterie (BYD 11k + Marstek 5k).
|
||||
- **Architektur:** EMHASS = Sole Optimizer. Virtuelle Batterie **12,32 kWh** (SMA SBS 7,2 kWh nutzbar + Marstek 5,12 kWh). Bis 03.11.2026 stand hier fälschlich 16 kWh (11k + 5k) — gemessen aus 10 Tagen Lade-/Entladehistorie, siehe unten.
|
||||
- **Config API:** `POST /set-config` überschreibt GESAMTE Konfig (kein Partial-Update!). Immer alle Felder senden. Siehe Solution Doc `integrations/2026-10-02-emhass-set-config-overwrite-pitfall.md`.
|
||||
- **Akuelle Config (2026-10-02):**
|
||||
- Capacity 16000Wh, Charge/Discharge 6700W, Efficiency 0.9
|
||||
- **Aktuelle Config (2026-11-03):**
|
||||
- Capacity **12320 Wh**, Charge/Discharge 6700 W, Efficiency 0.9 (Backup: `/config/config.json.bak-20261103` im Add-on-Container)
|
||||
- ⚠️ `config.json` liegt im Add-on unter `/config/config.json`, NICHT über die Add-on-Options (dort nur Solcast-Keys). Änderung = Datei editieren + `docker restart app_5b918bf2_emhass`.
|
||||
- Target SoC 0.15 (15%), Min SoC 0.1, Max SoC 1.0
|
||||
- `set_battery_dynamic: True`, `set_use_battery: True`
|
||||
- SoC sensor: `sensor.total_soc`, Power sensor: `sensor.batteries_power_out_total`
|
||||
- **Kaskaden-Automation** (`1774430238377`, ON): EMHASS target → BYD (803 Auto default, 802 bei `target<=0 && pv<100`) + Marstek (Rest via `sensor.marstek_target_power`)
|
||||
- **Template Sensoren:** `sensor.smart_battery_target` (EMHASS), `sensor.marstek_target_power` (Plan A: smart_target − actual_BYD_discharge). `sensor.sma_target_power` ENTFERNT (Double-Counting Bug).
|
||||
- **Cutover (2026-10-09):** v2 (`emhass_optimizer_v2.py --publish --allow-grid-charge`) ist EINZIGER Produzent; Cron `a32005d62226` (runner `emhass-optimizer-v2-runner.sh`). v1 + Shadow-Collector `d046e808f543` + Watchdog `19aef2351273` pausiert = Rollback-Hebel. Race-Guard 30/20 s. Details: [[reference/emhass-cascade-automation-architecture]]
|
||||
- **Cutover 2 (2026-11-02 16:19): Produzent lebt jetzt IN Home Assistant.** AppDaemon-Add-on `a0d7b954_appdaemon` (v0.19.3, `boot: auto`), App `emhass_optimizer` unter `/mnt/data/supervisor/app_configs/a0d7b954_appdaemon/apps/` (Quelle: `~/scripts/emhass_app/`: `emhass_core.py` = per AST verbatim aus v2 extrahierte Mathematik, `emhass_cycle.py` = Input-Phase, `emhass_app.py` = Trigger/POST/Verify/Ledger). Trigger `:04/:19/:34/:49`, Ledger `/share/emhass/ledger.jsonl`, Fehler → `persistent_notification`. **Kein Long-Lived-Token mehr im Produktionspfad** (AppDaemon bekommt HA-URL+Token automatisch vom Supervisor); EMHASS-Add-on bleibt unangetastet (nur `/action/dayahead-optim` + `/action/publish-data`). Hermes-Cron `a32005d62226` **pausiert = Rollback** (`cronjob_manage resume`, Token-Symlink existiert weiter). Parity-Nachweis: 19/19 Unit-Tests Kern↔v2 + Payload-Gate `PARITY OK` (v2 `--dump-payload` vs. Shadow, 48 Slots, 0 Warnungen). E2E 16:04 (Cutover) und 16:19 (erster Einzelproduzent, CSV synchron 16:19:00). SolDoc `architecture/2026-11-02-emhass-producer-appdaemon-cutover.md`
|
||||
- **Publish-Pfadbruch 11.10. (GEFIXT ~20:30 UTC):** Nach HA-Core-Restart (Recorder-Incident) DEADLOCK: `p_batt_forecast`/`soc_batt_forecast`/`plan_*` sind set_state-Entities (überleben Restart NICHT), v2 liest sie hart → jeder Tick FATAL → nichts publizierte je wieder. Zweiter RC: `rest_command`-URLs `localhost:5000` — HA läuft im HOST-Netz, Addon in HassIO-Bridge; nach Restart connection-reset (10.0.30.10:5000 ging stets). Fix: beide URLs → `http://10.0.30.10:5000` (Backup `configuration.yaml.bak-20261011-restcmd`) + `rest_command/reload`. Heal-Pattern: `POST :5000/action/publish-data` direkt ans Addon. Verifikation: v2-Tick 20:32 komplett, plan_* 48 Slots, Kaskade folgt. ⚠️ Legacy-Automation „Trigger EMHASS" (*\/15): dayahead-call 400 (Payload ohne pv/load-Arrays) — funktional durch v2-Cron abgedeckt, disable/fix offen. Solution Doc `integrations/2026-10-11-emhass-publish-path-break-after-restart.md`
|
||||
- **Token-Pfad (seit 02.11.2026):** HA-Token kanonisch `~/.hermes/secrets/ha_token.txt` (0600, aus 1P `op://Hermes/ewviwqhnpcpd2tg2gh5jbv76xm/password`), `/tmp/ha_token.txt` nur Symlink; `~/.hermes/scripts/ha-token-ensure.sh` heilt fehlenden Symlink/Token bei jedem v2-Lauf. Grund: /tmp wurde beim Boot 30.10. geleert → v2-Cron starb 3 Tage still (`FATAL: token file missing`), während `automation.trigger_emhass` per `/action/publish-data` weiter die **letzte Zeile** des alten Plans postete (frische Zeitstempel, eingefrorene Werte).
|
||||
- **Cron-Schedule (seit 02.11.2026):** `a32005d62226` nicht mehr `every 15m` (Anker driftet in den Race-Guard → dauerhaft `REFUSED rc=2`), sondern `4,19,34,49 * * * *` Europe/Berlin.
|
||||
- **Watchdog:** `3a99e3837250` `check_emhass_plan_freshness.sh`, stündlich :12, silent-on-healthy, Alarm wenn die **Result-CSV-Mtime** >40 min alt ist oder der Plan-Horizont <10 h (Telegram). ⚠️ **Keine Sensor-Zeitstempel als Liveness nutzen:** `automation.trigger_emhass` ruft alle 15 min `rest_command.emhass_publish_data` und frischt `p_batt_forecast`/`soc_batt_forecast` bei eingefrorenem Plan auf (dieselbe Maske wie beim 3-Tage-Ausfall); der Display-Publisher tut dasselbe für `plan_*`. Nur `opt_res_latest.csv` schreibt ein echter `dayahead-optim`. Test-Overrides `EMHASS_MAX_AGE_MIN` / `EMHASS_CSV_PATH`. Der alte Kaskaden-Watchdog `a2a1b429bc2e` ist seit 25.09.2026 pausiert (und enthält ein SSH-Klartextpasswort in `cron/jobs.json`).
|
||||
- **`automation.trigger_emhass` (1774260225020) ist seit 03.11.2026 06:40 OFF** (`initial_state: false`, Backup `automations.yaml.bak-20261103-0620`). Sie rief nur alle 15 min `rest_command.emhass_publish_data` und hat damit einen eingefrorenen Plan mit frischen Zeitstempeln übermalt — die zentrale Maske beider EMHASS-Ausfälle. Der Produzent publiziert selbst; die Automation ist nicht mehr nötig.
|
||||
- **Incident 03.11. 01:04–05:49 (5 h still):** Idempotenz-Bug in der App — `_slot_key` war `%Y%m%d_{minute//15}` → nur 4 Marker/Tag, danach `already ran … skip` für jeden weiteren Tick (Optimierung lief nur 4×/Tag um 00:xx). Fix: Key `%Y%m%d_%H%M`; App-Arg `run_on_start` als Ops-Hebel für Sofort-Zyklus nach Deploy. Warum unbemerkt: Watchdog maß `p_batt_forecast`, das die Publish-Automation alle 15 min auffrischte → jetzt CSV-Mtime. Verifiziert: Zwangszyklus 05:49:45 + planmäßiger Tick 06:04 nach dem Fix.
|
||||
- **Display-Publisher (seit 02.11.):** Cron `4bc13a052329` (`:05/:20/:35/:50`, `no_agent`) → `emhass-extra-publisher-runner.sh` → `emhass_extra_publisher.py`. Spiegelt die EMHASS-CSV (per SSH, read-only) in `sensor.plan_pv_forecast` / `plan_netz_forecast` / `plan_last_forecast` fürs Akku-Dashboard. Optimiert **nie**; braucht den HA-Token nur zum Schreiben dieser drei Anzeige-Sensoren.
|
||||
- **Historie:** Phase-2 Shadow (08.10., Dual-Solve, Deferrables als Phantom-Last entfernt, CSV 17 Spalten); Arbitrage-Flip produktiv (08.10. 22:20, `set_nocharge_from_grid` false).
|
||||
- **Backup:** `.bak.20261001_175804` für configuration.yaml + automations.yaml
|
||||
- **NFS-Backups (Fix 2026-10-07):** Supervisor-Mounts `Backup_NFS` (usage=backup) + `Medien_NFS` (usage=media) → **10.0.20.100:/pool01_n2_redundant/HomeAssistant** (vorher tote 10.0.30.100, verloren beim NAS-Crash-Reboot 03.10.). Volle automatische Backups ~03:27 UTC nightly. Monitoring: Hermes-Cron `2006a91fba21` (Alert bei Backup-Alter >30h). Lösungsdoku: `docs/solutions/bug-fixes/2026-10-07-ha-audit-nfs-mount-failure-after-nas-crash.md`
|
||||
@@ -125,7 +213,7 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
## Garagentor (free@home ch0003) — Flanken-Toggle-Semantik
|
||||
- **Kanal:** `switch.garagentor` = free@home Schaltaktor `ABB20C351F51/ch0003`, treppenlicht-parametriert (Kanal nach Aktivierung AN bis Timer-Ablauf). `cover.garagentor` = Template-Cover darüber (open/close = je EINE Kanalaktivierung).
|
||||
- **Motor toggelt auf JEDE Kanalflanke.** Einzelimpuls = sauber Umschalten (belegt: 17:51 Puls → schloss in ~90s). **Zwei schnelle Flanken = Start-Stopp** (belegt: 17:07 mein OFF→ON-Doppelpuls, 17:48 Nutzer-Doppelklick — jeweils blieb das Tor offen!). Doppelklick-Gewohnheit wirkt der Schließfahrt aktiv entgegen.
|
||||
- **BUG (seit 05.10.):** `switch.garagentor` = `unknown`, 0 Logbook-Events — Statusrückmeldung SysAP→HA für ch0003 tot. SysAP-REST braucht Credentials (401 anon + admin/admin), SSH-Addon gestoppt → Diagnose dort blockiert.
|
||||
- **BUG (seit 05.10.):** `switch.garagentor` = `unknown`, 0 Logbook-Events — Statusrückmeldung SysAP→HA für ch0003 tot. SysAP-REST-Zugang ist bekannt (Local-API-User `Installer`, s. Abschnitt „free@home Local-API" unten), SSH-Addon gestoppt.
|
||||
- **Automations (2026-10-10, REST-config):** `warn_offen_beim_verlassen` (Person weg >2min + Garagentor/Esszimmertür offen → time-sensitive Push mit CLOSE_GARAGE-Button) + `garagentor_push_close` **v8 Single-Edge** (Guards: offen+90s stabil+45s Anti-Doppeltipp; EIN switch.turn_on, KEIN turn_off-Präludium; 45s-Verifikation per Neigungssensor; Retry erst nach 480s; ehrliche Fehler-Push). Tag `warn_offen_beim_verlassen` aktualisiert Notifications.
|
||||
- Nur 2 physische Öffnungssensoren im Haus: Garagentor (Neigungssensor+Cover) + Esszimmertür (`binary_sensor.esszimertur_contact`, Aqara). free@home-Panels sind Taster, KEINE Fensterkontakte.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-10-freeathome-garage-impulse-toggle-semantics.md`
|
||||
@@ -138,10 +226,92 @@ Aggregation: `sensor.pv_production` = min_max über 5 Sensoren (2×SMA grid_powe
|
||||
- **Kollateral 12.10.:** Automation „Dimmer Schlafzimmerlicht" (1697532906675) von HA deaktiviert (Trigger-Entity bei setup_error aus Registry geräumt). Analyse: leere Action-Hülle ohne Wirkung — echte Logik in „Helligkeit Schlafzimmerlicht"/`script.adjust_lights_schlafzimmer` (intakt). Empfehlung: löschen.
|
||||
- **Migrations-Kandidat:** kingsleyadam/local-abbfreeathome-hass (REST+WS statt XMPP; SysAP-Kompatibilität verifiziert: REST 200, WS-Frame-Empfang ok, restApiStatus enabled). Impact: 152 Entities, 29 Refs automations.yaml, 241 Refs Lovelace. **WebSocket live getestet 12.10.: verbindet + pusht.**
|
||||
- **Watchdog AKTIV (12.10.):** Cron-Job `43612c6d52b6` (jede 15 min, script-only, still bei Gesundheit, Telegram-Alert bei Intervention): `setup_error` ≥30 min → automatischer `reboot(0)` via persistentem Rescue-Kit `/config/fah_rescue/rescue.py` (HA-Container, überlebt Recreation) → SysAP-HTTP-Wait ≤8 min → `reload_config_entry` → Verifikation. Schutz: 6h-Reboot-Cooldown, Lock, Blind-Alert 1×/Tag, Throttle-Hinweis 1×/Tag. Lokal: `~/.hermes/scripts/fah_watchdog.py` (`--selftest` prüft Kette read-only).
|
||||
- **Watchdog-Reparatur 06.11.2026 (war blind + interventionsunfähig):** Meldung „BLIND (RuntimeError)" kam, weil `get_token()` bei **jedem** Tick `op read` gegen 1Password machte — Service-Account war rate-limitet („Too many requests"; Reads ~1.000/h + Tageslimit). Zweiter, schwererer Defekt: `guest_exec()` hardcodete `root@10.0.20.93` (ms-a2-2), VM 106 lief aber auf **proxmox3** → `Configuration file nodes/ms-a2-2/qemu-server/106.conf does not exist`, der Rettungs-Reboot hätte nie gefeuert. Fix: Token cache-first aus `~/.hermes/secrets/ha_token.txt` (1P nur on-miss/401, Fallback auf Cache bei 1P-Ausfall) + `resolve_pve_host()` via `pvesh get /cluster/resources --type vm`. Verifiziert: `--selftest` → „Kette intakt" (ECHOTEST_OK, GETALL_OK 40,8 s), Entry `freeathome` = loaded. 1P-Limit hielt >8 min an (kein lokaler Verursacher-Prozess) — betrifft alle `op`-Skripte. Solution Doc: `docs/solutions/bug-fixes/2026-11-06-fah-watchdog-blind-1p-ratelimit-node.md`.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-10-12-freeathome-sysap-xmpp-rpc-wedge-reboot-fix.md`
|
||||
|
||||
## HA-Freeze via Memory-Leak + Verbindungs-Fix (Stand 08.11.2026)
|
||||
- **Freeze (2× am 08.11.):** HAOS-VM 106 (12 GB) erstarrte — Kernel lebte (ICMP ok), Userspace tot (:8123 refused, SSH-Banner-Timeout, Guest-Agent down) → nur `qm reset` hilft. Kernel-Beweis des toten Boots: 391× „Under memory pressure" ab 14:51 (10,3 h nach Boot). **RCA: freeathome v1.0.12-Reconnect-Pathologie** (wait_for_connection/aiohttp ohne Timeout, blockierende SSL-Init im Event-Loop, reconnect=True → Client-Akkumulation) als Reaktion auf die SysAP-XMPP-Session-Instabilität. SysAP selbst gesund (REST 200, WS 101, 5222 connectet). Solution Doc: `docs/solutions/bug-fixes/2026-11-08-ha-freeze-freeathome-xmpp-leak.md`.
|
||||
- **Fix 1:** Integration **v1.0.13** (PR #317 „monitor no longer stops updates") via `update/install` + Core-Restart. **E2E bewiesen:** REST-Write `ABB24F351F51.ch0001.idp0000=1` → `switch.techniklicht` in **1,5 s** in HA aktualisiert (XMPP-Event-Stream intakt).
|
||||
- **Fix 2:** VM-RAM **12→16 GB** (`qm set 106 --memory 16000`; balloon=0 → Stop/Start nötig; Node-Headroom vorher geprüft).
|
||||
- **Fix 3 — Watchdog gehärtet:** Stufe 0: `ha_http_up()`+`vm_agent_alive()` beide tot = Freeze → nach 2 Ticks (~30 min) **autom. `qm reset 106`** (6 h Cooldown, Boot-Verifikation 10 min). Stufe 0b: **Memory-Probe je Tick** → `~/.hermes/scripts/ha_mem_log.jsonl`; Alerts ab HA-Container 9,5 GiB / avail<1,5 GiB / Steigung ≥250 MiB/h (2-h-Fenster). Selbsttest + Tick grün.
|
||||
- **Pitfalls:** HAOS-Host-Shell = busybox-artig: `/dev/tcp` gibt FALSE NEGATIVE, `nc`/`python3` fehlen → TCP-Tests via `docker exec homeassistant python3` (socket.create_connection). `curl -m telnet://` Exit 28 beweist nichts. HA-Log-Dateien: `.log.1` war von **2025** (Jahreszahl beim Grep prüfen!), aktuelles Log nur im Journal (`docker logs`). journald volatile → Kernel-Beweise des Vorboots nach Reboot weg. Custom-Integration-Logger WARNING-gefiltert → fehlende INFO-Zeilen sind kein Beweis. Cron-Fehler „worker exited before ownership acknowledgement" = Hermes-Dispatch, nicht Skript (failure_streak beobachten).
|
||||
|
||||
|
||||
## free@home Local-API & Wanddisplay-Widgets (Stand 03.11.2026)
|
||||
- **Zugang:** REST `https://10.0.50.40/fhapi/v1/api/rest`, HTTP Basic, User `Installer`; Passwort im HA-Config-Entry `freeathome` (`01K6JFZYN6J1FWDSTEHD5H4BHK`) — nur über das Dateisystem lesbar. VM 106 läuft auf **proxmox3 (10.0.20.30)**, nicht auf .93.
|
||||
- **API v1:** configuration, devicelist, device, datapoint, pairings, sysap, notification, virtualdevice, ws. Swagger `https://10.0.50.40/swagger/`, Spec `/fhapi/v1/openapi.yaml`. **Kein Panel-/Widget-Endpoint.**
|
||||
- **Display:** `ABB6BC5495EA` „free@homeTouch 7\"" (deviceId 1038), Raum Essbereich (EG) — **nur ein Display im SysAP** (die drei HA-HomeKit-Einträge sind Bridge-Accessories, keine Panels).
|
||||
- **Widgets = Panel-Kanäle `ch0000`–`ch000f` + `/pairings`:** 9 belegt, 7 frei; leere Slots auto-benannt `" 1,<row>,<col>"` (4×4-Raster, Kanalindex zeilenweise). Kanäle `ch0010`–`ch001c` = Türsprech-Funktionen.
|
||||
- **Live-Status** nur über Ziel-Aktor-`odp` lesen — Panel-Kanäle sind eigene, nicht gespiegelte Datapoints.
|
||||
- Solution Doc: `docs/solutions/integrations/2026-11-03-freeathome-panel-widgets.md` · Skill-Ref: `smart-home-automation/references/freeathome-local-api.md`
|
||||
|
||||
## BLE-Proxies / Trilateration (Stand 01.11.2026)
|
||||
|
||||
**Bermuda** (Entry `01M1CF5AT5FAKMBHTMVCX0DRBS`) = Trilateration. HA hat KEINEN lokalen BT-Adapter (VM, `manager.adapters = {}`), alles läuft über Remote-Scanner.
|
||||
|
||||
| Proxy | Typ | Area | connectable |
|
||||
|---|---|---|---|
|
||||
| shellypro3em-08f9e0e98b9c ("Stromverbrauch Heizung") | Shelly | Heizraum | ❌ |
|
||||
| shellypro3em-08f9e0e952e0 ("Strommessung Sauna") | Shelly | **Garage (EG)** — Gerät sitzt in der Garage, nur die Sauna steht auf dem Garagendach (Dachterrasse OG) | ❌ |
|
||||
| shellyplus1-d0ef76d91930 ("Bewässerungskreis vorne") | Shelly | Garten | ❌ |
|
||||
| 6× shellyplus1 (Beete/Hochbeete/hinten/mitte/Pumpe/Licht Terrasse Gartenhaus) | Shelly | Garten | ❌ |
|
||||
| shellyplus1-a0a3b3c396e4 ("LED Streifen Windfang") | Shelly | Windfang | ❌ |
|
||||
| shellypro4pm-841fe89726d0 | Shelly | Garten (gesetzt 01.11.) | ❌ |
|
||||
| ble-proxy (10.0.50.206) | ESPHome **2026.10.2** | Wäscheraum | ✅ |
|
||||
| esp32c3-supermini-buero-eg (10.0.50.147) | ESPHome | Büro EG | ✅ |
|
||||
| esp32c3-supermini (90:DA:72:88:EB:42) | ESPHome | System | OFFLINE |
|
||||
|
||||
→ 13/13 aktive Proxies (`sensor.bermuda_global_active_proxy_count`), alle Mode **auto**; jede Shelly liefert 5–21 distinkte Geräte/Minute (Diagnostics `data.devices[*].stamps`, 45-s-Fenster).
|
||||
|
||||
**Area-Zuordnung der Scanner (Falle 01.11.):** Bermuda nimmt die Area NICHT vom Shelly-Gerät, sondern vom **Bluetooth-Geräte-Record** (`"<Name> (<MAC>)"`, angelegt von der bluetooth-Integration). Beide Records müssen dieselbe Area haben, sonst gewinnt der BT-Record. Beispiel Sauna: Shelly-Gerät + 3 Phasen-Kinder auf `garage` gesetzt → Bermuda zeigte weiter „Dachterrasse (OG)", bis auch der BT-Record `Strommessung Sauna (08:F9:E0:E9:52:E2)` auf `garage` stand. Danach: `area_name=Garage`, `floor_name=EG`. Area `garage` hatte floor=None → auf `eg` gesetzt.
|
||||
|
||||
**Shelly als BLE-Scanner freischalten (der einzige Weg, 01.11. verifiziert):** nicht per RPC (`BLE.SetConfig enable=true` reicht NICHT, `BLE.GetStatus` bleibt `{}`), sondern HA-Options-Flow der Shelly-Integration:
|
||||
1. `POST /api/config/config_entries/options/flow` `{"handler": <shelly entry_id>}` → Formular mit **einem** Feld `ble_scanner_mode`: `disabled | auto | active | passive`, **Default `auto`**
|
||||
2. `POST /api/config/config_entries/options/flow/<flow_id>` `{"ble_scanner_mode":"auto"}` → `create_entry` (löst Reload des Shelly-Entry aus)
|
||||
3. Verify: Shelly-Scanner erscheint im BT-Manager (`scanning=true`, `last_detection` frisch) — Device-seitig bleibt `BLE.GetStatus` leer, das ist normal.
|
||||
4. Beweis (A/B, 01.11.): `disabled` → Scanner weg (13→12), `auto` → wieder da (12→13). Die Option ist die Steuerung; der Wert selbst ist im REST-/WS-Entry-Listing NICHT sichtbar (`options={}`) — nicht als Statusquelle nutzen, sondern die Scanner-Liste prüfen.
|
||||
|
||||
**Wichtig:**
|
||||
- Shelly-Scanner sind **passiv** (`connectable=False`) → GATT-Geräte (LD2410-Presence, Schlösser, aktive Sensoren) brauchen ESPHome-Proxies.
|
||||
- 13 Scanner > 3 Slots → HA `bluetooth.auto_scheduler` teilt Scan-Fenster (15 s) im Round-Robin zu; nicht auf `always` stellen (2,4-GHz-Kollision).
|
||||
- Bermuda cached Scanner-Areas beim Setup → nach Area-Änderung Config-Entry reloaden (REST `POST /api/config/config_entries/entry/<id>/reload`; WS `config_entries/reload` existiert NICHT). Repair-Issue `scanner_without_area` verschwindet danach.
|
||||
- Neue Distanz-Sensoren (`sensor.*_ble_distance_to_<scanner>`) entstehen erst beim Bermuda-Reload; Werte `None` = Scanner hört das Gerät aktuell nicht.
|
||||
- Distanzen sind unkalibriert (Default `ref_power=-55`, attenuation 3). **Korrektur 01.11.: `ref_power` ist PRO GETRACKTEM GERÄT** (iPhone/Tag/Schlüssel), NICHT pro Scanner — Bermuda-Entity `number.<device>_ble_calibration_ref_power_at_1m_0_for_default`, `0` = Default. Pro Scanner gibt es nur `attenuation` (Pfadverlust-Exponent, `options.attenuation=3`). Kalibrierung = Gerät auf 1 m neben einen Scanner legen, `sensor.<device>_ble_nearest_rssi` (Default deaktiviert → `config/entity_registry/update disabled_by=null` + Bermuda-Reload) samplen, Median als `ref_power` setzen. Werkzeug: `~/workspace/bermuda_calib.py {status,sample,apply,geometry}`.
|
||||
- **Geometrie ist der eigentliche Engpass, nicht die Kalibrierung** (Messung 01.11., 30-s-Fenster): 18 von 27 BLE-Geräten werden von ≥3 Scannern gleichzeitig gesehen (Top: 11) — aber **nur im/am Garten**, weil 9 der 13 Scanner dort hängen. Indoor (iPhone Dominik) sieht genau **2** Scanner (`BLE Proxy`, `Büro EG`), beide ESPHome → Area-Ausgabe fürs iPhone unbrauchbar (`Wäscheraum` bei 8,3 m). Vor weiterer Kalibrierung: mehr ESPHome-Proxies indoor (Wohnen/Schlafen/Essen).
|
||||
- `sensor.<device>_ble_nearest_rssi` / `_nearest_scanner` sind per Default **disabled**; nach dem Aktivieren braucht es einen Bermuda-Entry-Reload, sonst 404 im State-Machine.
|
||||
- Config-Entry-**Titel** umbenennen geht per WS `config_entries/update {"entry_id":..,"title":..}` (existiert, im UI nicht dokumentiert); `config_entries/reload` existiert dagegen nicht (nur REST).
|
||||
- **`$HA_TOKEN` in der Host-Env ist veraltet (401)** — funktionierender Token liegt in `/tmp/ha_token`. Skripte müssen die Datei bevorzugen, sonst 401 auf jedem API-Call.
|
||||
- Shelly-Devices haben Kind-Geräte (Pro3EM `Phase A/B/C`, Pro4PM `Output 0..3`); Area-Zuweisung nur am Eltern-Gerät reicht nicht — Kinder können vereinzelt ohne Area bleiben (Fix 01.11.: `Output 0`/„Brunnenstein" → Garten via `config/device_registry/update`).
|
||||
|
||||
## BLE-Proxy Wäscheraum: OS-Update + WLAN-Starvation-Fix (15.11.2026)
|
||||
- **Ist → Soll:** ESPHome **2026.8.2** (Build 09.09.) → **2026.10.2** per OTA (Upload 7,2 s, Commit 0,72 s). Gerät: `ble-proxy`, MAC C8:C9:A3:C8:65:2C, Board `esp32dev` (klassischer ESP32, 4 MB).
|
||||
- **Symptom:** sporadische 1–3-s-Aussetzer auf der API (36 Requests/6 min → 2× 1,0 s und 2,9 s), Ping-RTT bis 317 ms, ein TCP-RST auf 6053 bei lebendem ICMP, Handshake-Abbrüche nach mehreren Connect-Zyklen → „hängt sich auf".
|
||||
- **RCA:** `esp32_ble_tracker` lief mit **interval 1100 ms / window 1100 ms** (Vollduty). ESPHome 2026.10 warnt selbst: *„BLE scan window of 1100ms with wifi on the same radio starves wifi… keep the window at or below 600ms"*. BLE-Scan und WLAN teilen sich den Funk → WLAN wird periodisch ausgehungert.
|
||||
- **Fix:** `interval: 320ms / window: 300ms` + `debug`-Sensoren. **Beweis nach Flash:** 18/18 API-Requests in 3 min, **0 slow / 0 fail, worst 0,15 s**; Ping 10/10, max 35 ms; Heap free 114,9 KB, Fragmentation 25 %.
|
||||
- **Neue Entities** (Namen mit Area-Präfix `wascheraum_ble_proxy_*`): `uptime`, `wifi_signal` (−52 dBm), `heap_free`, `heap_max_block`, `heap_fragmentation`, `reset_reason`, `esphome_version`, `button.restart`.
|
||||
- **Warum vorher kein Update möglich war:** HA legte keine `update`-Entity an (Config ohne `project:`-Metadaten), und im ESPHome Device Builder auf HA lag **keine YAML** — `/config/esphome` wurde erst am 30.10. frisch initialisiert, im Juli-Vollbackup existiert kein `esphome/`-Ordner. Geflasht worden war das Gerät am 09.09. vom **MacBook** (dort lag das OTA-Passwort).
|
||||
- **Quelle der Wahrheit jetzt:** `/config/esphome/ble-proxy.yaml` + `/config/esphome/secrets.yaml` (Key `ble_proxy_api_key`, `iot_wifi_password`, `ota_password`). OTA-Passwort (aus dem Mac-secrets) bleibt in der neuen Firmware gesetzt und liegt jetzt in 1Password: Item **`ESPHome OTA ble-proxy`** (Vault Hermes). Der IoT-WLAN-PSK liegt in 1P-Item **`WLAN IoT`**.
|
||||
- **Pitfalls:** (1) `esphome upload --password` ist der **MQTT**-Parameter — OTA-Passwort kommt ausschließlich aus `ota: password:` im YAML. (2) Falsches OTA-Passwort bricht vor jedem Schreibzugriff ab (risikolos). (3) `qm guest exec` killt den Prozessbaum, wenn der Agent-Timeout greift — Compile nur mit `--timeout 1500` fahren. (4) IoT-WLAN-PSK steht **nicht** in 1Password und ist in der Omada-Cloud-UI nicht lesbar; per API `GET /{omadacId}/api/v2/sites/{siteId}/setting/wlans/{gid}/ssids` → `pskSetting.securityKey` (Csrf-Token aus einem echten SPA-Request nötig).
|
||||
|
||||
## Related
|
||||
- [[systems/frigate]] — NVR Integration
|
||||
- [[systems/noris-ai]] — LLM Vision Provider
|
||||
- [[reference/ip-map]] — IP Assignments
|
||||
- [[reference/emhass-cascade-automation-architecture]] — Kaskaden-Architektur Details
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432: geschlossen** (2026-11-02) — HAOS VM106 läuft `6.18.58-haos` (Fix ab 6.18.56/57). Kernel-Check via `qm guest exec 106 -- uname -r` (QGA aktiv, VM liegt auf proxmox3).
|
||||
|
||||
## free@home Zombie-Session (09.11.2026 — 2. IqTimeout-Rezidiv, gefixt)
|
||||
- **Failure-Mode:** Nach Event-Loop-Blockaden (Galera-SST-Sturm/Ceph-slow-ops 08.11. 19:01–19:21) blieb die XMPP-Session zombie: slixmpp „connected" (keine Connection-lost-Warnungen mehr, kein setup_error), aber set_datapoint → IqTimeout, keine PubSub-Events (Kanari stale). SysAP gesund. Watchdog blind dagegen (HA up, Memory ok).
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec auf VM106) → Integration lädt, **E2E: turn_on via HA-API → State-Change in 3,0 s**.
|
||||
- **E2E-Verifikation IMMER über HA-Service-Call** (testet den XMPP-Write-Pfad), nicht REST-datapoint-PUT (404t auf dieser Firmware — auch /configuration zeigt keine Datapoints, weder alt noch neu).
|
||||
- **Offen:** Watchdog-Stufe 0c Kanari-Staleness (Vorschlag an Owner).
|
||||
|
||||
## free@home setup_error 12./13.11.2026 — SysAP-Reboot wirkungslos, Core-Restart = Fix
|
||||
- **Verlauf:** 12.11. 16:18 UTC Entry `setup_error` (28/29 Entities `unavailable`), Log `IqTimeout` auf `RemoteInterface.getAll`. Watchdog feuerte 13.11. 05:11 den SysAP-Reboot (`REBOOT_ACKED`, SysAP-HTTP nach ~3 min wieder da), `reload_config_entry` blieb `setup_error`; HA-Retry um 06:13 weiter `IqTimeout`, danach Retry-Backoff erschöpft (letzte Logzeile 06:17 — **Stille ≠ gesund**).
|
||||
- **Diskriminator:** SysAP-REST `/configuration` = 200 in 3 s (62 Geräte), `/sysap` 200, TCP 5222 offen ⇒ kein Server-Wedge, sondern **clientseitiger slixmpp-Desync**.
|
||||
- **Fix:** `docker restart homeassistant` (qm guest exec @ proxmox3) 07:10 → `not_loaded` → `setup_in_progress` 07:14:18 → `loaded` 07:14:48. Alle 28 ABB-Entities available (nur `button.garagentor` = `unknown`, bekannter ch0003-Status-Bug), Temperatursensoren pushen wieder (07:15:41).
|
||||
- **E2E:** `light.schaltaktor_4_fach_16a_reg_abb208351f51_ankleidelicht` turn_on → `on` (07:15:03), turn_off → `off` (07:15:05), beide HTTP 200.
|
||||
- **Watchdog Stufe 2 (13.11. ergänzt):** Wird nach `reboot(0)` + reload der Entry nicht `loaded` UND liefert SysAP-REST `/configuration` 200 → automatischer `docker restart homeassistant` (State `last_core_restart`, 6-h-Cooldown, 1 Throttle-Meldung/Tag, Boot-Wait 6 min). Ohne REST-200 gibt es **keinen** Core-Restart (dann ist der SysAP das Problem) — nur Alert. Verifiziert: `--selftest` grün, Tick bei gesundem Entry still + State-Reset.
|
||||
- **Pitfall:** `rescue.py probe` meldet `GETALL_TIMEOUT_OR_FAIL 45.0s` auch bei gesunder Integration (zweite Installer-Session parallel zu HA + 45-s-Hardtimeout) → nicht als Health-Oracle nutzen; Entscheidung über Entry-State + REST.
|
||||
|
||||
+4
-2
@@ -6,11 +6,13 @@
|
||||
|
||||
| Eigenschaft | Wert |
|
||||
|---|---|
|
||||
| URL | `https://photos.familie-schoen.com` → Traefik-LB 10.0.30.203 → K8s |
|
||||
| URL | `https://photos.familie-schoen.com` → WAN-Traefik CT99999 `photos`-Router → **10.0.30.203** (K8s `traefik-lb`) → IngressRoute `immich/immich` → `immich-server:2283` |
|
||||
| Alt-Host | `immich.familie-schoen.com` → **301-Redirect** auf photos (WAN-Middleware `immich-to-photos`, 30.10.26). Legacy-Route auf CT111 `.99:2283` damit entfallen |
|
||||
| Namespace | `immich` |
|
||||
| Version | v3.3.1 (Upgrade von v3.2.2 am 09.10. via GitOps, Commit `3ff08c4`) |
|
||||
| Assets | **86.316** (85.960 unique Checksums) — Stand 10.10. nach NAS-Ingest |
|
||||
| Storage | cephfs-PVC 500Gi (Library ~365 G, 73 %), tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
|
||||
| Storage | **`pv-fuse-immich-library`** (500Gi CephFS, statisches PV mit `mounter: fuse`, seit 31.10.26) + `pv-fuse-immich-thumbs` (100Gi); Subvolume `csi-vol-305a46d8…` unverändert. tägliches Restic-Backup 04:09 (218,8 GiB, 14 Snapshots) |
|
||||
| ⚠️ CephFS-Mount | Kernel-CephFS **unbrauchbar** (aes256k 32 B vs. 16-B-Limit) → Fuse-Mounter. Details `systems/rke2-kubernetes.md`. P1-Ausfall 31.10.: Immich 503, 8 Pods blockiert → nach Fuse-Umstellung 200 |
|
||||
| ArgoCD-App | `immich`, Path `clusters/main/immich/implemented`, Repo `canonical` (HEAD) |
|
||||
| Deployments | `immich-server` (6Gi-Limit, 2Gi-Req, **pinned rke2-worker-01** — OOM-Fix 10.10., Commit `6ce2a0a`), `immich-machine-learning`, `immich-valkey` |
|
||||
| DB | `postgresql` namespace, `postgres-main-1`, DB `immich` (CNPG-managed) |
|
||||
|
||||
+85
-2
@@ -24,11 +24,14 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
| Admin-Login | 1P-Item **„Jellyfin Login dominik"** (Vault Kubernetes ESO), User `dominik`, IsAdministrator |
|
||||
|
||||
## Bibliothek
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`, 6 Serienordner als Folder: DeviceBondage (8), DungeonSex (26), ErikaLust (5), SexAndSubmission (36), TheTrainingOfO (6), TheUpperFloor (25) — **106 Videos, verifiziert 19.10.**.
|
||||
- Library **„Mediathek"** (`collectionType=homevideos`), Pfad `/media`. Stand **29.10.2026: 215 Videos, 215 NFOs** in 25 Serienordnern (Jellyfin 1:1 = 215 Items, Scan verifiziert) (PureTaboo 42, Deeper 45, KinkUniversity 1, SexAndSubmission 26, TheUpperFloor 18, BratTamer 16, DeviceBondage 13, DungeonSex 13, HogTied 8, TheTrainingOfO 6, ErikaLust 5, He's in Charge 4, Lustery 3, BFTP18/NerdPervert/KinkTestShoots 2, AnalVids/BellesaFilms/BoundGangBangs/BukkakeFest/EnjoyX/GlowingDesire/MajorHotWife/SilkSub/TheLifeErotic 1).
|
||||
- **Kollaps-Falle**: Movies-Typ fasst mehrere Dateien pro Ordner zu 1 Film + unsichtbaren Extras zusammen. Szenen-Bibliotheken besser als `homevideos` oder untypisiert anlegen (zeigen jede Datei einzeln; NFO-Parsing identisch).
|
||||
- **Zombie-Items-Falle**: Alte Movie-Items auf gleichen Pfaden überleben Library-Delete+Recreate in `jellyfin.db` (pfadbasiertes Keying) und lassen jeden Scan leer laufen („Validating" ohne Enumeration). Heilung: Full-DB-Reset — ArgoCD selfHeal aus, scale 0, `mv /config/data/jellyfin.db* /config/dbbackup-<datum>/`, Wizard-Flag reset, Neu-Bootstrap. Backup: `/config/dbbackup-20261019/` auf jellyfin-config-PVC.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert.
|
||||
- **„Other"-Ordner-Falle (29.10.2026)**: Ein Medien-Unterordner namens **`Other`** lässt den Library-Scan dauerhaft bei **84 %** hängen — Endlosschleife im .NET-Prozess (PID 1 verbrennt CPU, **kein** ffmpeg/ffprobe-Subprozess), Item-Zahl bleibt konstant, DB-Zeile bleibt Stub (`RunTimeTicks=null`, `DateLastSaved=null`). Beweisführung: derselbe bekanntermaßen gute Canary-Film hängt in `Other`, wird aber in einem anders benannten Ordner (`Solo`) sofort indexiert → **Ordnername, nicht Dateicontent**. Weder Re-Encode des Videos noch Löschen der DB-Zeile hilft. Fix: Ordner umbenennen/auflösen; Strays in einen bestehenden Serienordner legen. Diagnose-Trick: Task-State `Running` + `CurrentProgressPercentage` eingefroren, `videos=<konstant>`.
|
||||
- NFOs (Kodi-Stil, vom SABnzbd-Sorter generiert) werden gelesen: Title/Plot/Genre/Studio/Actors/Year verifiziert. **NFO-Pflicht**: jedes Video hat ein gleichnamiges `.nfo` (Stichprobe 215/215 am 29.10.).
|
||||
- Scheduled Tasks „Extract Chapter Images" + „Generate Trickplay Images" + „Migrate Trickplay" haben **leere Trigger** (RO-Media-Mount darf nie beschrieben werden).
|
||||
- **Feste Pfadliste-Falle (13.11.2026)**: Die Mediathek hat **pro Serie einen Einzelpfad** (`/media/<Serie>`); neue Sorter-Ordner werden **nicht** automatisch indexiert (0 Items trotz Dateien auf Platte). `POST /Library/VirtualFolders/Paths?name=Mediathek` mit Body `{"Name":"<Serie>","Path":"/media/<Serie>"}` → **204, aber wirkungslos**, wenn `/config/root/default/<Serie>/` fehlt (Log: `Could not find a part of the path '…/<Serie>.mblink'`). Sauberer Weg: `mkdir -p /config/root/default/<Serie>` **plus** `.mblink` selbst schreiben (`printf '/media/<Serie>' > /config/root/default/Mediathek/<Serie>.mblink`, chmod 644, root:root) → **Pod-Restart** → Pfad erscheint in `Locations`, Scan indexiert. Stand 13.11.: 56 Pfade, 58 Ordner auf Platte.
|
||||
- **Collections entstehen nicht automatisch**: `POST /Collections?Name=<Serie>&Ids=<id,id,…>` (HTTP 200) je Serie mit ≥1 Item; Cover danach via `jf_collection_covers.py`.
|
||||
|
||||
## API-Fallen (12.2) — Details: Solution Doc s.u.
|
||||
1. Auth-Header heißt jetzt **`Authorization: MediaBrowser ...`** (nicht mehr `X-Emby-Authorization` → sonst 400 ArgumentNullException).
|
||||
@@ -46,6 +49,69 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
- Neue Medien landen automatisch via SABnzbd-Sorter in `/media/<Serie>/` (Postproc-Skript, CM `sabnzbd-postproc-script`).
|
||||
- Bekannte Data-Hygiene-Aufgabe (19.10.): Alt-Salvage-MKVs (~600 MB 720p) liegen neben frischen 1080p/4K-MP4s derselben Szene (8 Paare in DeviceBondage, ~5 GB); Löschung nur nach GO.
|
||||
|
||||
## Stale MediaStreams nach In-Place-Ersetzung (30.10.2026)
|
||||
|
||||
Wird eine Mediendatei **unter gleichem Pfad** ersetzt (Transcode/Remux), behält Jellyfin den alten DB-Stand: es meldet weiter den alten Codec und die alte Dateigröße. Der Client bekommt dann DirectPlay mit falschem Codec angeboten und bricht ab (real: Datei war `hevc`, DB sagte `h264 High 4.418 GB` → QuickTime verweigerte).
|
||||
|
||||
**Fix:** genau ein `POST /Library/Refresh` (HTTP 204), Scan läuft async; danach stimmen `Size` und `MediaStreams` (`hevc Main 1920×1080 ~2.4 Mbit`). Verifikation über `GET /Items?...&Fields=Path,MediaSources,MediaStreams`.
|
||||
|
||||
**Regel:** Nach jeder In-Place-Ersetzungswelle ein Refresh — **nicht** mehrere parallel (wiederholte POSTs brechen den laufenden Scan ab). Wiederholte Refreshes während eines laufenden Batch sind unbedenklich, weil die Ersetzung atomar per `mv` passiert.
|
||||
|
||||
## Green-Artefacts auf AppleTV trotz sauberem Profil (01.11.2026)
|
||||
|
||||
Titel `TheUpperFloor - 2011-10-20 - Aiden Starr …` (HEVC Main 720p, hvc1, yuv420p, bt709) spielte in Swiftfin nicht — grüne Artefakte, Rest der Serie (H.264) problemlos. ffprobe sah **unauffällig** aus; Ursache war **echte Bitstream-Korruption**: volles `ffmpeg -i … -f null -` ergab 31 `CABAC_MAX_BIN`-Warnings. FFmpeg-Softdecoder toleriert das still, Apples HW-HEVC-Decoder artefaktet/grün.
|
||||
|
||||
**Diagnose-Praxis:** ffprobe reicht nicht — bei Playback-Problemen immer Full-Decode-Scan (`ffmpeg -v error -i FILE -f null -`), Non-CABAC-Zeilen zählen. Doppel-Editlist mit `media_time=-1` war hier Nebenschauplatz (Remux `-c copy -ignore_editlist 1` half nicht — Korruption sitzt in den Frames, nur echter Transcode löst).
|
||||
|
||||
**Repertoire (in-place Repair):** Original nach `/config/transcode-originals/<case>/` moven → Transcode nach `_hold` (`libx265 preset superfast crf19 -tag:hvc1`, ~55 min für 60-min-720p) → `chown 1000:1000` + atomic `mv` aufs Ziel → Jellyfin-Pod-Restart erzwingt Re-Inspection (Startup-Scan vergleicht Size/Date) → `_hold`-Temp löschen. Falls API-Key vorhanden: `POST /Library/Refresh` statt Restart.
|
||||
|
||||
**Fallstricke:** (1) fg-ffmpeg >300 s stirbt am Tool-Timeout → halbes MP4 ohne moov; immer `nohup … &` detachen und pollen. (2) Jellyfin-API-Tokens aus `Devices`-Tabelle können widerrufen sein (401 trotz Vorhandensein) — Restart ist der robuste Fallback.
|
||||
|
||||
## archive.org als Torrent-freie Zweitquelle (31.10.2026)
|
||||
|
||||
Usenet liefert keine Shibari-/BDSM-Tutorials (nzbindex null; Alternativ-Indizes JS-Walls), TPB nur per Torrent (Veto). **archive.org Advanced Search** (`advancedsearch.php?q=…&output=json`) + **Metadata-API** (`/metadata/<id>`) + Direktdownload (`/download/<id>/<file>`) lieferten 28 Tutorial-Videos (2,73 GB): BDSM-Skills-Serie, BDSM 101, Mistress Clarissa's Bondage 101 u. a. — alle h264-MP4, AppleTV-Direct-Play.
|
||||
|
||||
- **Ablage:** `/media/Tutorials/` (eigener Ordner, 28 Items — kein generischer Sammelordner).
|
||||
- **Throttle-Falle:** archive.org drosselt pro Verbindung auf ~130 KB/s; sequenziell unbrauchbar. Lösung: **Range-Chunking** (4-MB-Chunks, 32 parallel/Datei, 3 Dateien gleichzeitig) → 1,4 GB in ~8 min.
|
||||
- **Integration:** tar-Stream via `kubectl exec -i` in die PVC, `chown 1000:1000`, **ein** `POST /Library/Refresh`, Item-Delta +28 verifiziert. `.hevc_*`-Temps im FS zählen nicht (Jellyfin ignoriert sie absichtlich).
|
||||
- Details: `docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md`
|
||||
|
||||
## StashDB-Metadaten-Pipeline (01.11.2026)
|
||||
|
||||
Bibliothek nach Studio/Serie kategorisiert + Original-Beschreibungen ersetzt die 475 Boilerplate-NFOs.
|
||||
**Crew:** `dschoen`; API-Key in 1Password-Vault **Hermes** (Item *StashDB API Key*), lokal `/tmp/stashdb_key`.
|
||||
|
||||
### API
|
||||
- Endpoint `https://stashdb.org/graphql`, Header **`ApiKey: <JWT>`** (kein Bearer, kein Cookie). `me{ name }` als Auth-Beweis.
|
||||
- Der Key ist ein JWT (`{"sub":"APIKey"}`) — funktioniert unabhängig vom Browser-Login.
|
||||
|
||||
### Matching-Strategie (3 Stufen, 439/506 = 87 % Trefferquote)
|
||||
1. `queryScenes` mit `studios:EQUALS` + `date:EQUALS` — eindeutig, höchster Score (Feld `release_date` ist `YYYY-MM-DD`).
|
||||
2. Studio + Titeltext.
|
||||
3. **Performer-ID** (`performers: {modifier: INCLUDES}`) für undatierte Dateien.
|
||||
|
||||
### Fallstricke (alle verifiziert)
|
||||
- **`searchStudio` ist token-basiert:** „DeviceBondage" → 0 Treffer, „Device" → *Device Bondage*. CamelCase splitten und mit Einzelwort probieren, sonst bleiben ganze Studio-Familien (Kink-Sites) ungematcht.
|
||||
- **`performers` akzeptiert kein `EQUALS`** — Serverfehler *„unsupported modifier EQUALS for scene_performers.performer_id"*. Nur **`INCLUDES`** liefert Szenen.
|
||||
- **`text` durchsucht nur Titel**, nicht Darsteller und nicht Description. Cast-Suche geht ausschließlich über `searchPerformer` → Performer-ID.
|
||||
- Score-Gate: akzeptieren nur wenn **Studio ODER Datum** passt — sonst rutschen Fremd-Studios durch (Textsuche liefert 30 Treffer über alle Studios).
|
||||
|
||||
### Schreiben
|
||||
- **Jellyfin-Update:** `POST /Items/{id}` mit **vollem DTO** (nicht PATCH): `Overview`, `Studios[{Name}]`, `Tags[]`, `PremiereDate`, `ProductionYear`, `People[{Name,Type:Actor|Director}]`, `Genres`. Antwort **204**, Read-Back bestätigt.
|
||||
- **Collections** (Kategorisierung nach Studio/Serie): `POST /Collections?name=<Brand>&ids=a,b,c` → `{Id}`; Nachfüllen via `POST /Collections/{id}/Items?ids=…`. 31 Boxsets, 439 Items.
|
||||
- **Pfad-Mapping:** Jellyfin sieht `/media/<Brand>/…`, SAB-Pod `/config/downloads/media/<Brand>/…` — Prefix normalisieren, sonst 0 Treffer trotz 504 Items.
|
||||
- **NFO:** Kodi-`<movie>`-XML mit `<uniqueid type="stashdb">`, Plot im Original-Englisch, `<actor>`, `<tag>`, `<studio>`; per `tar` + `kubectl cp` in die PVC (nicht Datei-für-Datei).
|
||||
|
||||
### Rest
|
||||
67 ohne Match: 28 Tutorials (nicht in StashDB) + undatierte Einzelfälle. 7 Matches haben leeres `details`-Feld bei StashDB (Titel/Cast/Datum gesetzt, Plot fehlt). Diese 67 sind am 01.11. mit Tag **`nosdb`** markiert (zweiter Anlauf inkl. Performer-Recovery brachte **0** weitere Treffer) — sie werden nicht mehr abgefragt, außer mit `--retry`.
|
||||
|
||||
### Automatisierung für Neuzugänge (01.11.2026)
|
||||
- **Enricher:** `~/workspace/media_meta/stashdb_enrich.py` — idempotent; nimmt Jellyfin-Items **ohne** Tag `StashDB`/`nosdb`, matcht (3 Stufen inkl. Performer-Recovery), schreibt NFO + `POST /Items/{id}`, hängt in die Brand-Collection, markiert Nicht-Treffer mit `nosdb`.
|
||||
- **Wrapper:** `~/workspace/media_meta/run_enrich.sh` — lädt `~/.hermes/secrets/media_meta.env` (JF-Token, 600) und holt den StashDB-Key via `op read 'op://Hermes/xsjfcmeo23rgleyu2xovvkb3aq/credential'`. Kein Key im Repo, kein `/tmp`-Cache nötig.
|
||||
- **Cron:** Job `7264208b70b0` (*StashDB-Metadaten für Neuzugänge*), `0 */6 * * *`, `no_agent`, Skript `~/.hermes/scripts/media_meta_nightly.sh` → stdout **leer wenn nichts passiert** (Watchdog-Muster), Log `~/workspace/media_meta/enrich.log`.
|
||||
- **Nicht** im Sorter (ConfigMap `postproc-scripts`) verankert: Sorter-Änderungen laufen über GitOps, und ein Pod-Rollout killt laufende Transcodes. Der Cron läuft host-seitig, deployt NFOs per `tar`+`kubectl cp` und braucht keinen Rollout.
|
||||
- Idle-Lauf = **0 s** (alle Items getaggt), Voll-Lauf mit 67 Kandidaten ≈ 160 s.
|
||||
|
||||
## Related Solution Docs
|
||||
- `docs/solutions/integrations/2026-10-19-jellyfin-12-bootstrap-api-breaking-changes.md`
|
||||
- `docs/solutions/bug-fixes/2026-10-19-cilium-networkpolicy-four-traps.md`
|
||||
@@ -54,3 +120,20 @@ Selbst gehosteter Medienserver für die Adult-Szenen-Bibliothek (Kink.com/Series
|
||||
- [[systems/sabnzbd]] — Downloader, Sorter, Media-PVC-Owner
|
||||
- [[systems/rke2-kubernetes]] — Cluster, LB-IPAM
|
||||
- [[reference/ip-map]]
|
||||
|
||||
## Kinder-/Familien-Trennung & JF12-User-Verwaltung (08.11.2026)
|
||||
**Modell: Porn hinter Passwort, Familie offen.**
|
||||
- Libraries: `Mediathek` (homevideos, 51 Brand-Pfade), `Filme` (movies, /media/Filme), `Serien` (tvshows, /media/Serien), `Collections` (boxsets).
|
||||
- User `familie`: **kein Passwort**, EnabledFolders=[Filme,Serien] → ATV-Standardlogin.
|
||||
- User `privat`: Passwort (1P: "Jellyfin privat (Porn-User)"), EnabledFolders=[Mediathek,Collections].
|
||||
- `dominik`: Admin, Vollzugriff (Passwort).
|
||||
|
||||
**Pitfalls JF 12.2 (teuer gelernt):**
|
||||
1. **POST /Users = UpdateUser** (route shadowing) → User-Creation via API unmöglich; Legacy /Users/CreateByName existiert nicht. Lösung: DB-Klon einer bestehenden Users-Row (Id/Username/InternalId/NormalizedUsername neu, Permissions-Zeilen mitklonen).
|
||||
2. **MaxActiveSessions=0 beim Klonen = Todesfalle**: Sessions "1/0" → `/Items` liefert leere/abgeschnittene Ergebnisse (wirkte wie Permission-Bug!). Immer `MaxActiveSessions=-1` setzen.
|
||||
3. **Auth-Header**: JF12 liest `Authorization: MediaBrowser Client=..., App=..., Device=...` — `X-Emby-Authorization` ohne `App=` → `ArgumentNullException(request.App)`.
|
||||
4. **User-Sichtbarkeit**: client-relevant sind `/Users/{uid}/Views` + `/Users/{uid}/Items`; das generische `/Items` mit User-Token ist unzuverlässig.
|
||||
5. **Library-Mitgliedschaft** hängt an `AncestorIds`-Kette bis zur CollectionFolder-Row (`/config/root/default/<Name>`), nicht an Policy.
|
||||
6. **DD-Pull einer aktiven WAL-SQLite = Korruptionsbombe** ("database disk image is malformed"). IMMER: Server stoppen (ArgoCD selfHeal OFF!) → db+wal+shm als Triplett ziehen → lokal prüfen → VACUUM INTO → zurückspielen inkl. Löschen von -wal/-shm.
|
||||
7. **Nuklearer Library-Rebuild ist der saubere Fix** wenn Pfad-Chirurgie den Baum verstümmelt: Libraries löschen → neu anlegen (Create mit 1 Pfad, Rest via POST /Library/VirtualFolders/Paths mit JSON-Body {"path","name"}) → Vollscan → Collections neu erzeugen (/Collections?Name=&Ids=&IsLocked=true) → Policies auf IDs setzen.
|
||||
8. **Shell-Chaining ohne && + unbemerktes leeres VACUUM** hat mal eine 0-Byte-DB deployed — Deploy-Schritte immer mit Gates/Verifikation.
|
||||
|
||||
@@ -0,0 +1,52 @@
|
||||
# mgmt-runner-01 (VM 200) — Build-/Ops-VM
|
||||
|
||||
**Stand:** 2026-10-30
|
||||
|
||||
## Zweck
|
||||
Kontroll-VM für `kubectl`, `helm`, `openshell`-CLI, Port-Forwards, OIDC-Login,
|
||||
Kaniko-Anteile. Bis 29.10. auch Docker-Build-Host für Fleet-Images.
|
||||
|
||||
## Harte Fakten
|
||||
- VM 200 auf **ms-a2-1 (10.0.20.92)**, 30 GB, Debian, Uptime > 38 Tage
|
||||
- Root-Disk: `hdd_disk:vm-200-disk-0` — `aio=io_uring, cache=none, discard=on, ssd=0, iothread=1`
|
||||
→ **RBD-Pool `hdd_disk` = HDD-OSDs** (Gast sieht `rotational=1`)
|
||||
- SSH: `ssh -i ~/.ssh/id_ed25519_proxmox root@10.0.30.124`, `KUBECONFIG=/root/.kube/config`
|
||||
|
||||
## Der „ext4-Hang" ist eine Fehldiagnose (30.10.2026 vermessen)
|
||||
Symptom war: Tower-Build hing ~24 min, `jbd2` in D-State, „direkte 4K-Writes 5,7 kB/s".
|
||||
Messung ergab **kein** transienter Hang, sondern Dauerlatenz des Pools:
|
||||
|
||||
| Test | Ergebnis |
|
||||
|---|---|
|
||||
| `dd` 200 MB `oflag=direct` | **1,4 GB/s** — Sequenzial-I/O unauffällig |
|
||||
| `sync` | 3,5 s |
|
||||
| 2000 × 1 KB, je `conv=fsync` | **Timeout nach 180 s**, `jbd2/sda1-8` in D-State |
|
||||
| `/proc/fs/jbd2/sda1-8/info` | **Ø 739 306 µs (739 ms) commit**, 972 ms running, 3,09 M Transaktionen |
|
||||
| `docker build` (alpine + 300-MB-Layer) | rc=0, **78 s** — einfacher Build geht |
|
||||
|
||||
→ Sequenzial I/O gesund, **fsync-Metadaten katastrophal** (normal 5–30 ms Commit).
|
||||
Ursache: Disk liegt auf `hdd_disk`, dessen OSDs zu den 8 „slow operations in
|
||||
BlueStore" gehören (`ceph health detail`: osd.1,6,7,8,10,11,17,18; Pool-IO
|
||||
55/28 MiB/s). `discard` ist **nicht** die Ursache — der fsync-Test lief ohne Deletes.
|
||||
|
||||
## Gitea-Actions als Build-Pfad: verworfen (30.10.2026, Owner: „Kaniko bleibt")
|
||||
Actions ist enabled, Runner `id 61` läuft (Labels `self-hosted:host`,
|
||||
`ubuntu-latest`, `docker`; Pod auf **rke2-cp-01**). Für unsere 1-GB-Images
|
||||
trotzdem untauglich: (1) `docker-data` ist ein `emptyDir` 20 GiB auf dem
|
||||
Root-FS von cp-01 — 39,2 GB total, **7,7 GB frei (80 %)**, dieselbe Platte wie
|
||||
etcd; ein Agent-Image braucht 4–6 GB Peak. (2) Kein `docker`-CLI im
|
||||
Runner-Container (`docker: not found`) → `runs-on: self-hosted` kann nicht
|
||||
bauen; `runs-on: docker` bräuchte erst DOCKER_HOST-Plumbing. (3) Track Record:
|
||||
genau 1 Lauf in `iac-homelab` (04.10., failure), 134 Pod-Restarts in 26 Tagen.
|
||||
Entscheid: **Kaniko bleibt der Builder**, Actions höchstens später als Trigger
|
||||
auf einen Kaniko-Job (SA + enges RBAC), nie als DinD-Build auf cp-01.
|
||||
|
||||
## Konsequenz (Betriebsregel)
|
||||
- **Keine Docker-Builds auf VM 200.** Fleet-Images werden in-cluster via **Kaniko**
|
||||
gebaut (watcher 21 s, board-service 28 s, Tower 4m56s) und digest-gepinnt.
|
||||
- Der Runner bleibt Control-Plane (kubectl/openshell/tunnel) — dort stören
|
||||
fsync-Latenzen nicht.
|
||||
- Git-Operationen mit vielen kleinen Dateien auf dem Runner sind entsprechend
|
||||
langsam — nicht als „kaputt" fehldeuten.
|
||||
- Echter Fix wäre Disk-Move auf `ceph-flash` (VM aus, Offline-Move) — bewusst
|
||||
zurückgestellt, braucht Owner-GO.
|
||||
@@ -32,3 +32,25 @@ modified: "2026-07-24"
|
||||
## Related
|
||||
- [[systems/loki-fluentbit]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
## Alerting-Reparatur 2026-11-14
|
||||
|
||||
- `clusters/main/monitoring/prometheus-rules.yaml` ist eine **ConfigMap** — Prometheus lädt sie NICHT.
|
||||
Ersatz: `infra-alerts-rules.yaml` (PrometheusRule, Label `release: monitoring`), 17 Alerts:
|
||||
node (6), ceph (4), blackbox (4), galera (3).
|
||||
- **Ceph**: Scrape-Job zeigte auf die Standby-MGRs (.50/.60/.70) → HTTP 200, aber **0 Metriken**.
|
||||
Aktiver MGR ist `10.0.20.92` (`ceph mgr services`) — als viertes Target ergänzt.
|
||||
- **Galera**: `mysql_up=0` auf allen Nodes. Ursache: `exporter`-User hatte ein anderes Passwort als
|
||||
`/etc/mysqld_exporter/.my.cnf` (drei Nodes, zwei verschiedene Passwörter). Passwort aus .71 auf
|
||||
alle Nodes verteilt + `ALTER USER`. Zusätzlich blockte **ufw auf .71** Port 9104 (nur CT141 erlaubt)
|
||||
→ Regeln für die 8 RKE2-Node-IPs ergänzt.
|
||||
- **Tote Targets entfernt**: 10.0.20.10/.20 (proxmox1/2, 2026 entfernt) aus node_exporter + ICMP.
|
||||
- **PBS offsite** 213.95.54.60: ICMP geblockt → TCP-Probe auf :8007 statt Ping.
|
||||
- Disk-Regeln schließen `/boot/efi` aus (ESP ist naturgemäß >85% voll → Dauer-Fehlalarm).
|
||||
- **pve-exporter**: lag auf CT141 (seit Wochen aus). Ersatz als K8s-Deployment im Namespace monitoring
|
||||
(Namespace `monitoring`, `pve-exporter.yaml`), Token `exporter@pve!monitoring` per ESO aus 1P
|
||||
(Vault `Kubernetes ESO`, Item `PVE exporter monitoring`). Bild: `ghcr.io/prometheus-pve/prometheus-pve-exporter:3.7.0`
|
||||
(**`prompve/pve-exporter` existiert auf Docker Hub nicht mehr**). PVE-Regeln aktiv, `pve_up`=166 Serien.
|
||||
- **ArgoCD-Falle**: Eine hängende Sync-Operation (Deployment erreicht progress deadline) blockiert ALLE
|
||||
späteren Commits der App — neue Dateien kommen an, Änderungen an bestehenden nicht. Fix:
|
||||
`kubectl patch application <app> --type json -p '[{"op":"remove","path":"/operation"}]'`.
|
||||
|
||||
@@ -65,6 +65,28 @@ httpx.ReadError: [Errno 32] Broken pipe
|
||||
**Diagnose:** `curl code=000` bei erfolgreichem `time_connect`/`time_appconnect`
|
||||
⇒ Modell-Backend defekt, nicht Infrastruktur. Siehe [[patterns/llm-backend-hang-diagnosis]] (PAT-015).
|
||||
|
||||
## Context-Fenster (Hermes-Auflösung, 2026-11-02)
|
||||
|
||||
Der Katalog liefert `max_context_length` **verschachtelt**
|
||||
(`input_modalities[].supported_inputs = {value, unit}`, Bifrost schema 2.4).
|
||||
Hermes parst nur Top-Level-Keys → erkennt die Werte nicht und fällt auf
|
||||
`DEFAULT_CONTEXT_LENGTHS` zurück. Deshalb sind die Fenster in den Hermes-
|
||||
Instanzen **explizit gepinnt**:
|
||||
|
||||
| Ebene | Key | Wirkung |
|
||||
|---|---|---|
|
||||
| Default-Modell | `model.context_length` | nur für das konfigurierte Default-Modell (Scope-Check in `agent_init`) |
|
||||
| Jedes Modell | `providers.noris.models.<id>.context_length` | greift auch bei Wechsel/Fallback |
|
||||
|
||||
Gesetzt (E2E via `lcm_status` verifiziert): lokal default + 4 Profile +
|
||||
Sarah-Hermes (VM107) = **1.048.576**; Per-Modell-Overrides aus dem Live-Katalog
|
||||
(29 Fenster), u. a. `glm-5-3` 1.048.576 (vorher hardcodiert 1.310.720),
|
||||
`gpt-oss-120b` 131.072, `qwen3.8-27b` 262.144.
|
||||
|
||||
Ohne Pin: `deepseek-v41-flash` → 128.000 (Catch-all `deepseek`),
|
||||
`glm-5-3` → 1.310.720, unbekannt → 256.000. Details:
|
||||
`docs/solutions/bug-fixes/2026-11-02-hermes-context-length-bifrost-nested.md`.
|
||||
|
||||
## Verbraucher
|
||||
- **Hermes Agent** — seit 2026-10-20 **alle 5 lokalen Profile** (`default`,
|
||||
`dynamic-coach`, `infra-sre`, `nutrition-coach`, `personal-coach`) auf
|
||||
@@ -87,3 +109,19 @@ httpx.ReadError: [Errno 32] Broken pipe
|
||||
- [[systems/paperless]] — OCR via ds-v4-flash
|
||||
- [[systems/sarah-hermes]] — Verbraucher, Ausfall 2026-10-02
|
||||
- [[patterns/llm-backend-hang-diagnosis]] — PAT-015
|
||||
|
||||
## 11.11.2026 — Upstream-VK gewechselt, Bifrost-Volume-Incident, Log-Retention
|
||||
|
||||
- **Upstream-Key** der Fleet-Bifrost ist jetzt der neue ai.noris.de-VK (Endung `…5a34`).
|
||||
Kette: 1P `noris-api-key/credential` → ESO `bifrost-noris-key` → Env `NORIS_API_KEY`.
|
||||
Der Key gilt nur auf ai.noris.de; gegen den lokalen Bifrost ist er 401.
|
||||
- **Incident:** Bifrost-CrashLoop, Meldung `/app/data is not writable` — echte Ursache
|
||||
**ENOSPC**: `logs.db` 20,97 GB im 20-Gi-PVC. Fix: PVC auf 40 Gi erweitert (jetzt 50 %).
|
||||
- **Log-Retention:** `client_config.log_retention_days` stand auf **365**, jetzt **14**
|
||||
(PUT `/api/config` mit vollem `client_config`). Bestehende 21 GB altern aus; für
|
||||
sofortige Freigabe müsste `logs.db` in einem Wartungsfenster gelöscht werden
|
||||
(ArgoCD selfHeal verhindert `scale --replicas=0`).
|
||||
- **Nicht verfügbar in OSS:** Projects (Enterprise-Feature) und per-VK-Budgets über API
|
||||
(`POST /api/governance/budgets|rate-limits` → 405; `…/budgets/{id}/override` erwartet
|
||||
einen in `config.json` deklarierten Budget-Eintrag). Per-Agent-Trennung bleibt
|
||||
Accounting über die 17 VKs (Prometheus `bifrost_input_tokens_total`).
|
||||
|
||||
@@ -3,7 +3,7 @@ title: Proxmox VE Cluster
|
||||
category: systems
|
||||
tags: [proxmox, virtualization, lxc, qemu, pve]
|
||||
created: "2026-04-28"
|
||||
modified: "2026-09-30"
|
||||
modified: "2026-10-30"
|
||||
---
|
||||
|
||||
# Proxmox VE Cluster
|
||||
@@ -22,7 +22,7 @@ modified: "2026-09-30"
|
||||
|
||||
|
||||
## Cluster-Konfiguration
|
||||
- **Version:** PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25)
|
||||
- **Version:** PVE 9.2.20, Kernel **7.0.14-26-pve auf allen 8 Nodes** (rolling 2026-10-30)
|
||||
- **Nodes:** 8 (Quorum OK, proxmox2 dauerhaft entfernt)
|
||||
- **Hypervisoren:** 10.0.20.x
|
||||
- **Guests:** ~30 LXC + ~10 QEMU VMs
|
||||
@@ -32,10 +32,43 @@ modified: "2026-09-30"
|
||||
- **hdd_templates:** CT Templates
|
||||
- **Ceph RBD:** ceph-flash, ceph-hdd Pools (über K8s CSI)
|
||||
|
||||
### Backup-Storage (Stand 2026-11-15)
|
||||
- **`noris_v4`** (PBS CT119 auf proxmox7, Datastore `noris`) = Primary; nächtlicher vzdump 23:00.
|
||||
- **`noris_offsite`** = PBS `pbs-remote` auf OpenStack-VM 213.95.54.60 (Datastore `offsite`), gespeist per Push-Sync `push-offsite` von CT119 täglich 03:00 (`transfer-last 3`, `remove-vanished`).
|
||||
- **Kapazität Offsite:** Cinder-Volume `pbs-data` ist **980 GiB** (max. des 1000-GiB-Projektquota, 20 GiB Boot), ext4 964 GiB, Reserve auf **1 %** gesenkt. Stand 15.11.: 747 GiB belegt → **~208 GiB frei (~5–6 Wochen bei ~180 GiB/Monat)**. **Quota-Erhöhung bei noris ist der nächste Schritt** (Ziel 2–3 TiB).
|
||||
- Volumes lassen sich **nicht** über PVE vergrößern: `openstack volume set --size N` (Microversion ≥ 3.42 für in-use) → `rescan` + `resize2fs` im Gast. Details: `docs/solutions/bug-fixes/2026-11-15-offsite-pbs-volume-extend.md`, Pattern PAT-020.
|
||||
|
||||
|
||||
## Netzwerk
|
||||
- VLAN-basiert, Bridge vmbr0
|
||||
- IP-Schema: 10.0.X.Y — siehe [[concepts/network-architecture]]
|
||||
|
||||
## Wake-on-LAN (eingerichtet 2026-10-30)
|
||||
|
||||
MACs liegen clustergespeichert in `/etc/pve/nodes/<node>/config` als `wakeonlan:`-Key.
|
||||
Gesetzt mit `pvesh set /nodes/<node>/config --wakeonlan <MAC>` (funktioniert auch für **offline** Nodes, weil pmxcfs geteilt ist).
|
||||
Wecken: `pvenode wakeonlan <node>` → Ausgabe `Wake on LAN packet send for '<mac>'`.
|
||||
|
||||
| Node | IP | MAC (vmbr0 = bond0 = physisches NIC) | `Wake-on` |
|
||||
|---|---|---|---|
|
||||
| proxmox4 | 10.0.20.40 | `e4:b9:7a:f5:cc:67` | g |
|
||||
| proxmox5 | 10.0.20.50 | `e4:b9:7a:f5:d9:6f` | g |
|
||||
| proxmox6 | 10.0.20.60 | `e4:b9:7a:f3:15:85` | g |
|
||||
| proxmox7 | 10.0.20.70 | `e4:b9:7a:f5:cb:7e` | g |
|
||||
| n5pro | 10.0.20.91 | `38:05:25:37:8e:08` | g |
|
||||
| ms-a2-1 | 10.0.20.92 | `38:05:25:39:39:44` | g |
|
||||
| ms-a2-2 | 10.0.20.93 | `38:05:25:39:3c:a4` | g |
|
||||
| proxmox3 | 10.0.20.30 | `e4:b9:7a:f5:db:ce` | g |
|
||||
|
||||
**Aktivierung + Persistenz:** `ethtool -s <nic> wol g`, dauerhaft über systemd-Unit `wol-enable.service` (oneshot, `RemainAfterExit=yes`, `ExecStart=/usr/sbin/ethtool -s <nic> wol g`) auf allen 7 Nodes.
|
||||
NIC-Namen: `enp1s0` (proxmox4–7), `nic0` (n5pro), `nic1` (ms-a2-1/2). `bond0` selbst unterstützt kein WoL-ioctl → immer das Slave-NIC konfigurieren.
|
||||
|
||||
**Grenzen:** WoL weckt nur aus sauberem Soft-Off (S5). Ein hart gefencter/hängender Node (Watchdog-Reset, Kernel-Panic) reagiert **nicht** — dann hilft nur Strom/Reset. Im BIOS müssen „Wake on PCIe/LAN" aktiv und „ErP/EuP" deaktiviert sein.
|
||||
|
||||
**proxmox3 (2026-10-30, 20:5x):** MAC nachgetragen, `wol-enable.service` aktiv. **Alle 8 Nodes vollständig.**
|
||||
|
||||
**⚠️ proxmox3-Instabilität:** Der Node stirbt seit dem Fencing-Vorfall ~3–4 min nach jedem Boot (2× beobachtet: 19:5x und 20:5x). In dem Fenster lief Ceph voll auf 17/17 OSD / 533 PGs. Kein SSH/Ping danach, `osd.13` down. Gegenmaßnahme: `onboot: 0` für VM102/VM112 in `/etc/pve/nodes/proxmox3/qemu-server/` (Backups `.bak-20261030`) — verhindert Auto-Start beim Boot; offene Diagnose über `journalctl -b -1` sobald der Node wieder erreichbar ist.
|
||||
|
||||
## Fluent Bit (Logging)
|
||||
- Alle 9 Hosts haben Fluent Bit aktiv
|
||||
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
|
||||
@@ -71,6 +104,16 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
||||
live NICHT (affinity.cfg verifiziert 30.09.) — nur resource-affinity vs 128/139.
|
||||
|
||||
## Bekannte Probleme
|
||||
- **CVE-2026-98432 (IPv4-TCP-Options-UAF, CVSS 9.8) — GESCHLOSSEN 30.10. 16:15 UTC:**
|
||||
Alle 8 Nodes rolling auf **7.0.14-26-pve** (Fix ab 7.0.14-25), 8/8 quorate, kein
|
||||
`reboot-required`. Damit auch alle 29 LXC inkl. **Internet-Edge CT99999** abgesichert;
|
||||
PwnEscape (CVE-2026-99999) mit gleichem Update erledigt.
|
||||
SolDoc `2026-10-30-cve-2026-98432-fleet-exposure.md` (Welle A+B).
|
||||
- **osd-keyring-preSTART (30.10. verifiziert):** `ceph-osd-prestart.sh` reaktiviert bei JEDEM
|
||||
Start aus OSD-Metadaten und überschreibt den Keyring → nach Rotation `handle_auth_bad_method`.
|
||||
Fix: `~/workspace/ceph-osd-keyring-sync.sh` + systemd-Drop-in auf allen 8 Nodes + .100.
|
||||
Tritt weiter auf, wenn ein OSD-Verzeichnis (tmpfs) leer neu aufgebaut wird:
|
||||
dann `ceph-volume lvm activate --bluestore <id> <fsid>`. 30.10. so osd.10/osd.18 gerettet.
|
||||
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
|
||||
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
|
||||
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
|
||||
@@ -98,6 +141,15 @@ pvesh get /cluster/resources --type vm # Alle VMs/CTs
|
||||
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
|
||||
Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
|
||||
> ✅ **HA-Reaktivierung abgeschlossen (31.10., ~15:05):** Clusterweit `pve-ha-lrm` + `pve-ha-crm`
|
||||
> re-enabled und gestartet (8/8 Nodes). CRM-Master proxmox3, fencing armed. Alle 10 HA-Gäste
|
||||
> `started` (ct:127, vm:106/122/128/139/230/301/302/310/311); **`vm:128` (worker-01) nachgetragen**
|
||||
> mit `max_relocate=3/max_restart=2` (war beim CRM-Stop im `deleting`-Zustand hängengeblieben —
|
||||
> CRM hat den Löschvorgang beim Start sauber abgeschlossen). Der `freeze`-Status im
|
||||
> `ha-manager status` war ein Artefakt des gestoppten CRM, keine echte Freeze-Konfiguration.
|
||||
> Pitfall: `ha-manager add` während deaktiviertem CRM → service bleibt im `deleting`-Übergang
|
||||
> stecken; Auflösung = CRM starten, Abschluss abwarten, dann add.
|
||||
|
||||
**Resource-Affinity (negative = anti-collocation):**
|
||||
|
||||
*RKE2 Control Plane (etcd-Quorum braucht 2/3):*
|
||||
@@ -162,6 +214,34 @@ Seit 2026-09-29: RKE2 CP/Worker + Hermes hinzugefügt.
|
||||
> - Bei gleichzeitigem HA-Add + Anti-Collocation-Violation kann HA-Manager deadlocks (beide VMs auf `migrate` fest). Lösung: eine VM temporär aus HA entfernen, manuell migrieren, dann re-add.
|
||||
> - Online-Migration von VMs mit hohen Memory-Writes (>12GB dirty pages) kann `broken pipe` fehlschlagen. Offline-Migration (stop→migrate→start) als Fallback.
|
||||
|
||||
## Bekannte Probleme
|
||||
|
||||
### proxmox3: r8169-Link-Drop ~2–5 min nach Boot (2026-10-30)
|
||||
- **Symptom:** Node bootet, ist 2–5 min erreichbar, dann `r8169 enp1s0: Link is Down` ohne Re-Negotiate. Host läuft weiter (Journal bis zum Power-Cut), ist aber komplett isoliert: alle Ceph-Heartbeats „no reply", NUT `No route to host`, SSH/Ping tot. Ceph fällt auf 16/17 OSD, ~7 PGs undersized (0,4 %).
|
||||
- **Verwechslungsgefahr:** Sieht wie Host-Crash aus, ist aber reiner Linkverlust. Frühere „Ausfälle" am selben Tag waren **Power-Taster-Kurzdruck** (`systemd-logind: Power key pressed short.` → `Powering off...`), weil der Node unerreichbar wirkte.
|
||||
- **Beleg im Journal:** `journalctl -k -b -1 | grep 'Link is '` — Link Down mit Zeitstempel, danach nichts bis zum nächsten Boot.
|
||||
- **Ursache (These):** `LnkCtl: ASPM L1 Enabled` an Bridge `00:1c.0` **und** NIC `01:00.0` (Realtek RTL8168h, PCIe x1) + Kernelwechsel `7.0.14-19` → `7.0.14-26-pve` bei Welle B. Andere Nodes laufen `-26` stabil, haben aber andere NICs.
|
||||
- **ASPM-Fix im OS ist BLOCKIERT (2026-10-30 verifiziert):**
|
||||
- `pcie_aspm=off` in der Cmdline ist gesetzt (`/etc/default/grub`, Backup `grub.bak-20261030`), aber **wirkungslos**: Kernel meldet `ACPI FADT declares the system doesn't support PCIe ASPM, so disable it` → `/sys/module/pcie_aspm/parameters/policy` bleibt `[default]` und nicht schreibbar (`WRITE_FAIL`).
|
||||
- Der L1-Bit ist **firmware-/BIOS-gesetzt** und wird vom Kernel nicht angefasst (bleibt `ASPM L1 Enabled`).
|
||||
- `setpci -s 00:1c.0 CAP_EXP+10.w` schlägt fehl: **`Lockdown: setpci: direct PCI access is restricted`** — Ursache ist **Secure Boot** (`mokutil: SecureBoot enabled`, Lockdown-Policy `integrity`), nicht fehlende Rechte.
|
||||
- ⇒ **ASPM lässt sich nur im BIOS** abschalten (`PCIe ASPM Support = Disabled`), also bei physischem Zugang. Alternativ Hardware: Kabel/Switch-Port tauschen.
|
||||
- EEE ist als Ursache ausgeschlossen (`EEE status: not supported`), PCI-Runtime-PM ebenfalls (`power/control=on`, `active`).
|
||||
- **Gegenmaßnahme (aktiv, v2 seit 2026-10-31):** `/usr/local/sbin/nic-watchdog.sh` + `nic-watchdog.timer` (alle 15 s). Log: `/var/log/nic-watchdog.log`.
|
||||
- **v1 war blind (Vorfall 2026-10-31):** v1 las `cat /sys/class/net/enp1s0/carrier || echo 1` — ist das Interface **administrativ** down, liefert die Datei `Invalid argument`, und `|| echo 1` machte daraus **„gesund"**. Folge: Watchdog lief 2 h alle 20 s durch, beendete sich jedes Mal sofort mit exit 0, unternahm nichts — der Node blieb netzlos, obwohl der Host gesund weiterlief (Ceph „no reply", NUT `No route to host`). Zusätzlich: `modprobe -r r8169` hätte die Bond-Mitgliedschaft zerstört.
|
||||
- **v2 (deployed + getestet 2026-10-31):** unterscheidet `carrier=1` / `carrier=0` / `carrier=-1 (unlesbar = admin-down)` und prüft zusätzlich `IFF_UP` (Flags-Bit 0x1) **und** ob `vmbr1` die MGMT-IP `10.0.20.30` trägt. Handelt in allen drei Fällen: `up` → `down/up` + `ethtool -r` → **`ifreload -a`** (Bond/Bridge/VLAN idempotent nachziehen). **Kein `modprobe`** mehr. `flock` gegen Parallel-Läufe. Backup: `nic-watchdog.sh.v1-bak`.
|
||||
- **Test-Methode (risikofrei):** Dummy-Interface `nictst0`, `IFACE=nictst0 BRIDGE=lo MGMIP=127.0.0.1 SKIP_IFRELOAD=1` — gesund ⇒ kein Log; `ip link set nictst0 down` ⇒ v2 loggt `admin=down carrier=-1` und bringt es hoch. **Kein Live-Test an `enp1s0`** (siehe Lehre unten).
|
||||
- **Lehre (2026-10-31):** Ein „Link absichtlich kappen"-Test ist auf einem Produktions-PVE-Node **nicht risikoarm**. Ein fehlerhafter Test-Helper hat proxmox3 für 2 h vom Netz getrennt; Recovery nur per Power-Cycle. Künftig: Detektionslogik immer gegen Dummy-Interface testen, nie gegen das einzige Uplink.
|
||||
- **Merke:** `qm start 102` auf proxmox3 hing am Ceph-I/O-Pfad und wurde als Mitauslöser verdächtigt — VM102 lebt inzwischen auf ms-a2-2 (siehe Verteilungstabelle), Config dort starten.
|
||||
|
||||
## INC-2026-11-01: ms-a2-2 dunkel beim VFIO-Bind (worker-05 tot)
|
||||
|
||||
**Ablauf:** VM 102 (rke2-worker-05) saß nach Evakuierung auf n5pro OHNE hostpci0 (GPU folgt bei Migration nicht). Restore-Versuch: Offline-Migrate nach ms-a2-2 → hostpci0-Zeile reparieren (siehe Fallstrick) → `qm start` → **ganzer Node dunkel um 11:19:49** (Corosync lost, LRM heartbeat stirbt). Verdacht: VFIO/Reset-Konflikt an Granite-Ridge-iGPU (Reset-Warnung `Inappropriate ioctl` trat direkt vorher auf).
|
||||
**Fallstrick Config-Zeile:** Kommentar `#hostpci0 EVAKUIERT-temporaer (...)%3A 0000:01:00.0,...` enthielt Wert+Annotation in einer Zeile — Blank-Commenting macht die Zeile unparsable. Korrekt: `hostpci0: 0000:01:00.0,pcie=1,rombar=1`.
|
||||
**Workload-Rettung (GitOps-korrekt):** ArgoCD selfHeal revertee kubectl-Notfallpatches 2× → Fix im iac-homelab-Repo (sabnzbd `nodeName` + jellyfin `nodeSelector` → rke2-worker-04, commit f6ef8e3) + Autosync kurz disablen während live-gepatcht wurde. Zombie-VolumeAttachment (pvc-e2c76c95 an worker-05) blockierte PVC-Reschedule → VA löschen. Force-delete (--force --grace-period=0) für an toter Node hängende Pods.
|
||||
**Ergebnis:** SAB+Jellyfin healthy auf worker-04 (CPU-Encoding statt VAAPI — worker-04 hat nur card0, KEIN renderD128). Queue unversehrt (41 Slots/131 GiB), Pause während Umbau aufgehoben.
|
||||
**OFFEN:** ms-a2-2 revival (phys. Zugriff/console wahrscheinlich nötig — BMC?), danach VM 102 zurück + hostpci0 NUR mit VFIO-Sicherheiten (Romfile/Primary-GPU-Optionen prüfen, vorher console-access testen). worker-04-Pinning dann reverten.
|
||||
|
||||
## Related
|
||||
- [[systems/ceph-cluster]]
|
||||
- [[systems/rke2-kubernetes]]
|
||||
|
||||
@@ -3,7 +3,7 @@ title: "Recipe Scraper v8 (Nutrition-Coach)"
|
||||
category: systems
|
||||
tags: [recipes, scraping, nutrition-coach, galera, curl-cffi]
|
||||
created: "2026-10-12"
|
||||
modified: "2026-10-12"
|
||||
modified: "2026-11-18"
|
||||
---
|
||||
|
||||
# Recipe Scraper v8 — Nutrition-Coach-Profil
|
||||
@@ -12,6 +12,61 @@ modified: "2026-10-12"
|
||||
> `vllm/release/glm-5-3-flash`) füttert die Galera-Recipe-DB (10.0.30.70 via
|
||||
> MaxScale, DB `recipes`, User `recipe_app`). Ziel: 200.000 Rezepte.
|
||||
|
||||
## Status 2026-11-10: ZIEL ERREICHT — Cron ist No-Op
|
||||
- DB: **200.000/200.000** (= `TARGET = 200_000`, Skript-Zeile 29) → v8.1 beendet
|
||||
sich sofort mit "Already at 200000 recipes" (Exit 0): 0 neue Rezepte, keine
|
||||
Quellen, keine Post-Scrape-Pipeline. Verhalten ist **by design**.
|
||||
- Cron-Task-Beschreibung ("77.000+ Rezepte in der DB") ist veraltet.
|
||||
- **Aktion nötig (Owner-Entscheidung):** `TARGET` im Skript anheben oder Cron
|
||||
deaktivieren — sonst liefert jeder weitere Lauf dieselbe 0-Ausbeute.
|
||||
- Erster Anlauf 06:01 UTC crashte in `db_count()` (Error 2013, 60-s-Timeout)
|
||||
— Galera kurzzeitig träge (s. galera-maxscale Bekannte Issues 10.11.);
|
||||
Retry 06:03 UTC erfolgreich. **Neue Regel: nach DB-Timeout 1× retryen, bevor
|
||||
Diagnose gestartet wird.**
|
||||
|
||||
## Status 2026-11-12: db_count-Crash jetzt SYSTEMATISCH (2. Tag in Folge)
|
||||
- 06:00:25 UTC: erster Lauf crashte wieder in `db_count()` (Error 2013,
|
||||
60-s-read_timeout). **Kein Blip mehr:** isolierte Messung ergab
|
||||
`SELECT COUNT(*) FROM recipes` = **52,4 s** (read_timeout 120 s), Handshake +
|
||||
`SELECT 1` instant — die Query ist strukturell langsam, das Skript-Timeout
|
||||
(60 s, Zeile ~89 `read_timeout=60`) ist zu knapp.
|
||||
- Retry 06:02:43 UTC: lief durch, wieder Target-reached-No-Op
|
||||
("Already at 200000 recipes", Exit 0). 0 neue, keine Quellen, keine Pipeline.
|
||||
- **Fix-Empfehlung (Owner-GO nötig, 1 Zeile):** im Scraper
|
||||
`recipe_scraper_v8_intl.py` Zeile ~89 `read_timeout=60` → `read_timeout=300`
|
||||
(genau wie bereits 12.10. in allen Pipeline-Scripts passiert — der Scraper
|
||||
selbst wurde dabei vergessen). Bis dahin wird der 06:00-Lauf weiter
|
||||
intermittierend crashen und nur per Retry durchlaufen.
|
||||
|
||||
## Status 2026-11-13: 3. Crash-Tag — Fenster These verfeinert, Retry-Regel bestätigt
|
||||
- 06:00:28 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— 3. Tag in Folge. Retry 06:04:14: Exit 0, No-Op (0 neue, keine Quellen).
|
||||
- **Neue Messdaten:** COUNT hing im Fenster 06:01–06:04 **>122 s** (PROCESSLIST
|
||||
"Sending data"), ab 06:05 **4× 0,0 s** instant. → Die 52,4 s vom 11.12. sind kein
|
||||
fixer Strukturwert: Die Dauer ist Cache-/Blockade-abhängig. read_timeout=300-Fix
|
||||
(Owner-GO ausstehend) hätte heute gereicht; robusteste Ergänzung wäre ein späterer
|
||||
Cron-Zeitpunkt (z. B. 06:30) oder DB-seitige Zeilenzahl-Caches.
|
||||
- **Morgen-Briefing als Verursacher widerlegt** (parallel 06:00, aber keine
|
||||
recipes-DB-Zugriffe in dessen Fetch-Scripts; 11.10 lief COUNT während des
|
||||
Briefings durch). Ursache des 06:00-Fensters bleibt offen (DB-Infrastruktur
|
||||
prüfen: Backup-Jobs/Cron auf Galera-VMs, Ceph osd slow-ops seit 08.11.).
|
||||
- SolDoc Tag 3: `docs/solutions/bug-fixes/2026-11-13-recipe-scraper-0600-count-timeout-transient.md`
|
||||
(+ Nachtrag im 11-12-Doc).
|
||||
|
||||
## Status 2026-11-18: Crash-Rezidiv nach 4 Tagen — Störung TÄGLICH, nur Schwere variiert
|
||||
- 06:00:29 UTC: erster Lauf crashte in `db_count()` (Error 2013, 60-s-read_timeout)
|
||||
— erstes Rezidiv nach 4 Tagen. Retry 06:01:53: instant durch, Exit 0, No-Op
|
||||
(0 neue, keine Quellen, keine Pipeline; DB weiter bei 200.000).
|
||||
- **Wichtigste Korrektur:** Die „crashfreien" Tage 11-14 bis 11-17 waren keine
|
||||
sauberen Tage — `scraper_v8.log` zeigt 37–60 s Gesamtlaufzeit (≈ COUNT-Dauer,
|
||||
da vor `db_count()` nur lokale Loads passieren): täglich gestört, nur knapp
|
||||
unter dem 60-s-Timeout. Modell: Störung im 06:00-Fenster an jedem Tag; Crash
|
||||
nur bei COUNT >60 s (11-10, 11-11, 11-12, 11-13, 11-18).
|
||||
- 06:00-Fenster-Ursache weiter offen (DB-Infra-Job ~05:45–06:05 UTC prüfen:
|
||||
mariabackup/ANALYZE/Timer auf Galera-VMs). Fix-Vorschlag weiter offen
|
||||
(Owner-GO): `read_timeout=60`→`300` (Zeile ~89) oder Cron auf 06:30.
|
||||
- SolDoc-Nachtrag 11-18 im 11-13-Doc.
|
||||
|
||||
## Architektur
|
||||
- **Skript:** `~/.hermes/profiles/nutrition-coach/scripts/recipe_scraper_v8_intl.py`
|
||||
(Venv: `~/.hermes/venv-recipe/`, curl_cffi 0.16.3 für Chrome-TLS-Fingerprints)
|
||||
|
||||
@@ -21,9 +21,57 @@ modified: "2026-10-19"
|
||||
| cp-01 | 10.0.30.51 | Control Plane |
|
||||
| cp-02 | 10.0.30.52 | Control Plane |
|
||||
| cp-03 | 10.0.30.53 | Control Plane |
|
||||
| worker-01 | 10.0.30.63 | Worker |
|
||||
| worker-04 | 10.0.30.64 | Worker |
|
||||
| worker-05 | 10.0.30.65 | Worker (GPU renderD128 ✅ on ms-a2-2; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
|
||||
| worker-01 | 10.0.30.61 | Worker (VM 128, proxmox5) |
|
||||
| worker-02 | 10.0.30.62 | Worker (VM 114, ms-a2-1, 8c/24G, gebaut 26.10.) |
|
||||
| worker-03 | 10.0.30.63 | Worker (VM 117, ms-a2-2, 8c/24G, gebaut 26.10.) |
|
||||
| worker-04 | 10.0.30.64 | Worker (VM 139, n5pro) |
|
||||
| worker-05 | 10.0.30.65 | Worker (VM 102, ms-a2-2, GPU renderD128 ✅; 30.09. OOM-Zombie-Freeze behoben, siehe PAT-010) |
|
||||
|
||||
**8 Nodes, v1.35.6+rke2r1, alle auf `6.12.113+deb13-amd64` (Stand 2026-10-31, Welle C abgeschlossen).**
|
||||
|
||||
> ✅ **CVE-2026-98432 geschlossen (31.10.)** — Welle A (8/8 VMs), B (8/8 PVE-Nodes) und C (8/8 RKE2-Gäste)
|
||||
> sind durch. Alle RKE2-Knoten rolling auf `6.12.113+deb13-amd64` (DSA-6568-1), jeweils per `boot_id`-Wechsel
|
||||
> bewiesen, 7.x-Backports gepurged, `GRUB_DEFAULT=0` überall, `linux-image-amd64` auf **allen 8** Nodes auf
|
||||
> `6.12.113-1` gepinnt (sonst keine automatischen Kernel-Security-Updates!).
|
||||
> SolDocs: `2026-10-31-cve-98432-wave-c-kernel-612113.md`, `2026-10-30-cve-2026-98432-fleet-exposure.md`.
|
||||
> **Pitfall:** Metapaket `linux-image-amd64` aus Backports zieht beim Purge des 7.x-Kernels **7.2.11 nach** statt
|
||||
> downzugraden → `--allow-downgrades` + Version pinnen, sonst verweist `grub.cfg` auf einen Kernel ohne
|
||||
> `/boot/vmlinuz-*` (Boot-Risiko). SolDoc `2026-10-31-apt-backports-kernel-meta-trap.md`.
|
||||
|
||||
> ⚠️ **worker-05 (VM102) war 01.–02.11. offline — `onboot: 0`, nicht CVE und kein Crash.** ms-a2-2 bootete am
|
||||
> 01.11. 11:31 (Folge des 30.10.-Crashes); die VM hatte **keinen** `qmshutdown`-Task, sie fehlte nur in der
|
||||
> Autostart-Liste. `qm start 102` (ms-a2-2 = 10.0.20.93) → 6 min später `Ready`, Kernel `6.12.113+deb13`,
|
||||
> GPU-Passthrough `0000:01:00.0` (AMD Granite Ridge, amdgpu, `/dev/dri/renderD128`) ok, 13 Pods laufen.
|
||||
> `qemu-guest-agent` war im Gast **nicht installiert** → PVE zeigte dauerhaft `agent: down` bei völlig gesundem
|
||||
> Gast; nachinstalliert (static unit, `/etc/rc2.d/S01`), `qm agent 102 ping` OK. **Offen: `qm set 102 --onboot 1` (Owner-GO)** —
|
||||
> sonst fehlt die GPU-Kapazität nach jedem ms-a2-2-Reboot still im Cluster.
|
||||
|
||||
> ✅ **CephFS-Blocker GELÖST (31.10.) — statische Fuse-PVs, kein Datenumzug.**
|
||||
> Ursache bleibt: Kernel-CephFS kann nur 16-Byte-Keys (`libceph: secret too big 32`), Tentacle 20.2.4 prägt
|
||||
> **ausschließlich `aes256k`** (32 Byte); `--key_type aes128/aes256/gcm` wird abgelehnt, Legacy-`aes` ist per
|
||||
> CVE-2025-30156 gesperrt. Kernel-Mount-Pfad ist **architektonisch** tot (`crypto.c` 6.12.107/113 identisch;
|
||||
> `aes256k` erst ab Linux 7.0, und Kernel 7.2 killt Cilium ≤1.19.7 → Sackgasse).
|
||||
> **Umgesetzt:** 5 Volumes auf **statische PVs mit `mounter: fuse`** auf demselben Subvolume
|
||||
> (`pv-fuse-immich-library/-thumbs`, `pv-fuse-fleet-spool/-board/-build-src`, alle `Retain` + `Prune=false`).
|
||||
> Ablauf je Volume: Snapshots → PVC/PV ersetzen (alte PVs `Retain`!) → neues PV+PVC → App wieder hoch.
|
||||
> Ergebnis: Immich 503→200 (66 ms), 8 blockierte Pods `Running`, Mount `ceph-fuse on /data type fuse.ceph-fuse (rw)`,
|
||||
> Schreibtest OK, Subvolume-`bytes_used` unverändert (400.283.771.738 B). Git: `fbd65c4` (PVCs mit `volumeName`,
|
||||
> PV-Manifeste unter `clusters/main/{immich,fleet}/static-fuse-pvs.yaml`), ArgoCD `Synced/Healthy`.
|
||||
> **Pitfalls:** (1) `spec.csi.volumeAttributes` + `spec.volumeName` sind immutable — nur neue PV/PVC-Objekte helfen;
|
||||
> (2) PVC-Löschung hängt an PV- bzw. PVC-Protection → Owner-Deployment erst auf 0 skalieren;
|
||||
> (3) ArgoCD `selfHeal` der Root-App setzt eine temporäre Auto-Sync-Pause sofort zurück — Git-Manifest muss
|
||||
> `volumeName` tragen, sonst Dauer-OutOfSync; (4) `find /data` über 400 GB via Fuse dauert >10 min (nicht im
|
||||
> Vordergrund laufen lassen). SolDoc `2026-10-31-cephfs-aes256k-kernel-key-blocker.md`.
|
||||
|
||||
> ✅ **cp-02 etcd-Corruption (30.10.) REPARIERT** — Symptom: `handleHeartbeat`-Panic, 62 Restarts,
|
||||
> `failed hash kv request` (Rev 56385011, etcd 3.6.12). Ablauf: `etcdctl member remove d238e162111d5865`
|
||||
> auf cp-01 → auf cp-02 `systemctl stop rke2-server`, **kein** `mv` des Mountpoints (ext4 auf `/dev/sdb`,
|
||||
> `Device or resource busy`), stattdessen Inhalte innerhalb des Mounts nach `etcd/broken-20261030/`
|
||||
> verschieben (member, name, config) → `start rke2-server` → Rejoin als Learner, neue Member-ID
|
||||
> `16b9fcd7c4a32825`. **Verifiziert:** 3/3 Member Started, kein Learner, alle 8 Nodes Ready.
|
||||
> Quorum war nie gefährdet (cp-01 + cp-03). Altdaten 598 M in `broken-20261030/` (Aufräumen optional).
|
||||
> Historie: cp-02 wurde schon am 03.10. so repariert (`etcd.old` vorhanden) — Wiederholungstäter-Knoten,
|
||||
> bei Welle C zuerst beobachten.
|
||||
|
||||
## Storage
|
||||
- **Ceph CSI**: ceph-flash (fast/default), ceph-hdd-replica (bulk), cephfs, cephfs-ssd, ceph-media-ec
|
||||
@@ -83,6 +131,7 @@ modified: "2026-10-19"
|
||||
## Known Pitfalls
|
||||
- `enableServiceLinks: false` bei Apps deren Service-Name mit Env-Vars kollidiert (z.B. Paperless `PAPERLESS_PORT`)
|
||||
- ArgoCD `--force` kann nicht mit ServerSideApply kombiniert werden
|
||||
- **1 NotReady-Node blockiert die ganze Sync-Welle:** ArgoCD (2.14) bewertet ein DaemonSet erst ab `numberReady == desiredNumberScheduled` als Healthy → App bleibt ewig `OutOfSync`/`Progressing`, kein Rollout. Fix: `resource.customizations.health.apps_DaemonSet` in `argocd-cm`, enge Toleranz (nur `fleet/fleet-agent-image-prepuller`, genau 1 fehlender Node, ab 2 wieder `Progressing`); dauerhaft in `epic-2-k8s/helm/argocd/values.yaml` → `configs.cm` (Commit `3b79a80`). `hard refresh` und `kubectl set image` entblocken NICHT. SolDoc `bug-fixes/2026-11-01-argocd-daemonset-health-sync-blocker.md`
|
||||
- CoreDNS: `hosts` configBlock nicht params
|
||||
- etcd Defrag monatlich (CronJob)
|
||||
|
||||
|
||||
+280
-8
@@ -3,7 +3,7 @@ title: SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
category: systems
|
||||
tags: [sabnzbd, usenet, k8s, vaapi, ffmpeg, appletv, smb, argocd-gitops]
|
||||
created: "2026-10-19"
|
||||
modified: "2026-10-19"
|
||||
modified: "2026-11-01"
|
||||
---
|
||||
|
||||
# SABnzbd Usenet Downloader + VAAPI AppleTV-Converter
|
||||
@@ -12,18 +12,169 @@ modified: "2026-10-19"
|
||||
SABnzbd 5.1.3 (LinuxServer-Image) im Namespace `sabnzbd` auf RKE2, gepinnt auf **rke2-worker-05** (einziger GPU-Node). Web/API `http://10.0.30.206:8080`, SMB `\\10.0.30.206\downloads` (Sidecar alpine:3.20, fruit/streams_xattr). PVC `sabnzbd-config` **1 Ti** (Ceph-RBD `hdd_disk`, online-resized 500Gi→1Ti am 19.10.; FS-Resize braucht Pod-Restart — `FileSystemResizePending` bis Remount), Mount `/config`. IaC: `iac-homelab/clusters/main/sabnzbd/` (ArgoCD-App `sabnzbd`).
|
||||
|
||||
## Container
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne; Mappings zusätzlich Deeper/AnalVids/BFTP18)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s
|
||||
- **sabnzbd** (LSIO, PUID 1000): Download-Engine, Postproc-Script `convert720.sh` (Name historisch; seit v8 = **Sorter**: sortiert Masters direkt in `media/<Serie>/` + NFO; 720p/1080p-Resolution-Gate, 480p/4K → Quarantäne)
|
||||
- **converter** (Sidecar, `linuxserver/ffmpeg:latest`, **privileged**): Daemon `converter-daemon.sh`, pollt `/config/convert-queue/*.job` alle 20 s; wird zusätzlich für Ad-hoc-VAAPII-Transcodes genutzt
|
||||
- **samba** (Sidecar): SMB-Share `downloads`
|
||||
- Init: seed-config (ersetzt fetch-ffmpeg, seit v4-Tag obsolete)
|
||||
|
||||
## Sorter (Stand v13, 01.11.2026, Commit `a27c85e`)
|
||||
- **Serien-Ableitung ist seit v10 generisch**: bekannte Marken sind explizit gemappt (Kink-Set, ErikaLust, Deeper, AnalVids, BFTP18, BratTamer, PureTaboo, SilkSub, Lustery, NerdPervert, KinkTestShoots, MajorHotWife, TheLifeErotic, BukkakeFest, BellesaFilms, HogTied, DigitalSin→`He's in Charge`); **Fallback** leitet die Serie aus dem führenden Marken-Token vor einem Datum (`Marke.26.09.15.…` **und** `Marke.2026-09-15.…`) bzw. vor einem E-Code (`Lustery.E2240.…`) ab → neue Brands landen nicht mehr bei `OTHER`, sondern automatisch in `media/<Marke>/`.
|
||||
- Naming: `<Serie> - YYYY-MM-DD - <Titel>.ext` (ohne Datum, wenn keins im Namen) + gleichnamige `.nfo` (title/premiered/year/studio/plot/genre/actor).
|
||||
- **Kollisionen werden seit v12 dedupliziert**: existiert der Zielname, werden Höhen und Dauern beider Dateien geprobt. Dauer-Differenz **≤2 s** → gleiche Szene: Keeper = höhere Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup-sorter/<Serie>/`. Differenz **>2 s** → andere Szene, altes ` (N)`-Suffix bleibt. (v11 und früher erzeugten bei jeder Kollision eine vollwertige Zweitkopie — 33 Duplikate = 85,4 GB in einem Batch; SolDoc `~/docs/solutions/integrations/2026-10-29-sorter-erzeugt-n-duplikate.md`.)
|
||||
- **Resolution-Gate**: <700p oder >1100p → Quarantäne (nie löschen). Junk (`.url`, `.sfv`, Werbung) → Quarantäne.
|
||||
- **⚠️ KEIN Codec-Gate** (Stand v12): der Sorter liest nur `stream=height`, nie `codec_name`. HEVC/x265 und Nicht-AAC-Audio wandern ungeprüft nach `media/`. Siehe „Converter-Pipeline" — der Enqueuer fehlt seit `643c318`.
|
||||
- Freie Titelformen wie `xxx - <Actor> - <Brand> - <Titel> - <Actor2> - <Jahr> - milfan.ext` parst der Sorter nicht sinnvoll → **vor** dem Lauf auf `Marke.<Titel>.ext` vornormalisieren (oder manuell einsortieren).
|
||||
- `exit 0` immer: ein Sortierfehler darf einen Download nie als „failed" markieren.
|
||||
|
||||
**v13 (01.11.2026) — vier Studios ergänzt:** `Submissed`, `PascalsSubSluts`, `AngeloGodshack`, `FutileStruggles`.
|
||||
Wichtig dabei: `*angelogodshack*` **Wildcard** (LegalPorno postet als `LegalPorno.2026.<Performer>.AngeloGodshackOriginal.XXX.1080p.MP4-P2P`),
|
||||
`^legalporno[._-][0-9]{4}[._-]` im `norm_title` strippen, und Junk-Token `p0rnl0v3r` (Zahl-3-Schreibweise).
|
||||
Serie/Studio/Genre/Desc sind für alle vier gepflegt; verifiziert an 14 Dateien (`Submissed - 2026-07-26 - Dragon Fruit.mp4`, `AngeloGodshack - Nikol Raklova.mp4`).
|
||||
|
||||
## NZB-Beschaffung (Quellen-Lage 01.11.2026)
|
||||
|
||||
| Quelle | Status |
|
||||
|---|---|
|
||||
| `nzbindex.com` | Suche (JSON-API) ok, **jeder Download-Pfad 404** → unbrauchbar |
|
||||
| `nzbking.com` | NZB-Download ok, aber für die Ziel-Posts nur **.par2** indexiert → unbrauchbar |
|
||||
| `binsearch.info` | **funktioniert**: Suche-HTML + echter NZB-Download |
|
||||
|
||||
```bash
|
||||
# NZB holen: GET (POST → 405!), Msgid = base64-Checkbox-Name aus der Suchseite
|
||||
curl -G "https://www.binsearch.info/nzb" --data-urlencode "<msgid>=on"
|
||||
# Einreihen ohne Drop-Ordner-Race:
|
||||
curl -s -G "http://127.0.0.1:8080/api" --data-urlencode "mode=addurl" \
|
||||
--data-urlencode "name=https://www.binsearch.info/nzb?<msgid>=on" \
|
||||
--data-urlencode "apikey=$KEY" --data-urlencode "output=json"
|
||||
```
|
||||
|
||||
**Pitfall:** NZB in `nzb-drop/` legen + Harvest-Cron ist eine **Race** — Manual-Lauf und Cron reihen denselben Post doppelt ein (2×1,7 GB beobachtet). `mode=addurl` liefert eine `nzo_id` und umgeht den Ordner.
|
||||
**Suchterm-Regel:** binsearch UND-verknüpft die Wörter eines Terms — `pascals.sub.sluts` findet nichts, `pascals` 17 Posts, `angelogodshack` 23, `submissed` 26. Immer **einen kurzen, unterscheidbaren Token ohne Punkte** nehmen. Nischen-Brands (ShinyBound, BrutalMaster, Tieable, FrenchBondage, CinematicKink, BornToBeBound, Bondage Cafe) sind dort **gar nicht** indexiert — nicht mit ähnlichen Treffern auffüllen.
|
||||
|
||||
**Discovery-Kette (01.11.2026, 24 Szenen/23 GB, 0 Fehlschläge):** `nzb_sweep.py` (max=250, Szenen-Key = Brand+Datum+Performer, Release-Token gestrippt, Varianten 1080p AVC > 1080p HEVC > 720p) → `nzb_plan_filter.py` (Dedupe gegen `media/` über Datum+Performer; ohne Datum nur Performer) → `queue_sweep.sh` (`mode=addurl`). `"status":true` ohne Leerzeichen — Erfolg am `nzo_ids`-Key prüfen, nicht am Status-Text.
|
||||
|
||||
SolDoc `~/docs/solutions/integrations/2026-11-01-nzb-beschaffung-binsearch-addurl.md`.
|
||||
|
||||
## Sammler-NZBs (Collection-Payload) → automatisch zurück in die Queue
|
||||
|
||||
**Problem:** „Sammler" sind Collection-NZBs, die als Payload weitere `.nzb`-Dateien enthalten
|
||||
(z. B. `nzbindex.nzb-9` mit 9 Szenen-NZBs zwischen hunderten rar/par2-Dateien). SABnzbd lädt diese
|
||||
NZBs als gewöhnliche Dateien herunter und reiht sie **nicht** selbst ein — der Inhalt bleibt liegen.
|
||||
29.10. lagen 12 solche NZBs in `incomplete/` (aus Jobs `-9`, `-10`, `-7`) und 1 in `complete/`.
|
||||
|
||||
**Mechanik** — `/config/tools/nzb_harvest.sh` (PVC, überlebt Rollouts):
|
||||
|
||||
| Baustein | Zweck |
|
||||
|---|---|
|
||||
| XML-Parse als Reife-Test | eine noch schreibende/abgebrochene NZB ist kein wohlgeformtes XML (Preallocation → NUL-Padding) → nächster Lauf prüft erneut |
|
||||
| Ledger `/config/nzb-inbox/.ledger` (`sha256[:16]` pro Zeile) | Idempotenz, nie zweimal einreihen |
|
||||
| Bibliotheks-Guard | Serien-Ordner + Datum aus dem NZB-Namen gegen `media/<Serie>/` → bereits vorhandene Szene wird nicht erneut geladen (spart ganze Downloads) |
|
||||
| `mode=addlocalfile` + `script=convert720.sh` | einreihen mit korrektem Job-Namen, Inner-Job läuft durch denselben Sorter |
|
||||
| Drop-Inbox `/config/downloads/nzb-drop` (SMB: `downloads/nzb-drop`) | manuell abgelegte NZBs; nach Erfolg → `nzb-drop/.added/` |
|
||||
|
||||
**Zwei Trigger:**
|
||||
1. **Postproc-Hook im Sorter** (Zeilen 17–23, `convert720.sh`, Commit `d7a9fd9`): direkt nach `mkdir -p "$MEDIA" "$QUAR"`, also **vor** jeder anderen Verarbeitung — greift bei **erfolgreich** abgeschlossenen Jobs. Log: `/config/logs/nzb_harvest.log`.
|
||||
2. **Hermes-Cron `cbe8b52009a2`** (alle 15 min, `no_agent`, Script `~/.hermes/scripts/nzb_harvest_cron.sh`): Sweep über `incomplete/` + `complete/` + `nzb-drop/` — fängt **gescheiterte oder abgebrochene** Sammler-Jobs, deren Postproc nie lief. Silent by design (leere Ausgabe = keine Zustellung), Alarm bei `kubectl`-Fehlern max. 1×/6 h.
|
||||
|
||||
### Sorter-Sweep-Watchdog (seit 01.11.2026)
|
||||
|
||||
Cron `57900310b6e5` (alle 30 min, `no_agent`, `~/.hermes/scripts/sab_sorter_sweep.sh`) läuft `convert720.sh` über jede **ruhige** Unterordner von `complete/` (mtime > 20 min, keine `_UNPACK_`/`_FAILED_`/`_ADDFROM`-Dirs). Fängt Dateien, deren SAB-Postproc nie lief — genau der Zustand, der 155 GB Rückstau erzeugte. Silent bei `bewegt=0`.
|
||||
|
||||
**Container-Pitfall:** Das Sorter-Skript liegt als CM-Mount nur im **`sabnzbd`**-Container (`/config/scripts/convert720.sh`), **nicht** im `converter` — dort ist nur `/config/tools/ffprobe` (PVC) erreichbar. Sweep daher mit `-c sabnzbd`; `converter` liefert `sh: /config/scripts/convert720.sh: not found`.
|
||||
|
||||
Manuell: `kubectl exec -n sabnzbd $SP -c sabnzbd -- bash /config/tools/nzb_harvest.sh [--dry] [<ordner>]`
|
||||
|
||||
**Pitfalls:**
|
||||
- API von `127.0.0.1:8080` braucht `-H "Host: sabnzbd"` — sonst blockt `host_whitelist` (nur `sabnzbd`, `sabnzbd.local`, `10.0.30.206`).
|
||||
- Der Bibliotheks-Guard matcht **Serien-Ordner + ISO-Datum**; Szenen ohne Datum im Namen (z. B. `MaxineX - Velvet Skye … Part 3`) laufen daran vorbei und werden normal eingereiht.
|
||||
- Reihenfolge ist wichtig: Harvest **vor** der Junk-Quarantäne, sonst wandern Randdateien weg, bevor sie eingesammelt sind.
|
||||
|
||||
**Stand 29.10.2026:** 5 eingereiht (9,9 GB), 4 als „schon in der Bibliothek" übersprungen (10,7 GB nicht erneut geladen), 4 waren unvollständig — 3 davon sind inzwischen vollständig und per Guard übersprungen, offen bleibt `TheTrainingOfO - 2015-05-22 - Savannah Fox and Alex Legend` (wird beim Fertigwerden von Job `-9` automatisch gegriffen).
|
||||
|
||||
## Provider-Störungen & Reparatur-Fehler (31.10.2026)
|
||||
|
||||
**Symptom:** Massenhaft `Failed: Reparatur fehlgeschlagen. Nicht genug Reparatur-Blöcke vorhanden` über Nacht bei 2012–2017-Releases.
|
||||
|
||||
**Ursache #1 (falsch-positiv):** **Usenet.Farm-Block leer** → Server antwortet `482 Your block account is fully used`; SAB wertet die 482-Antwort als „Artikel fehlt" und deklariert NZBs als unfixbar, obwohl PureUsenet die Artikel hat. Prüfen: `mode=warnings` zeigt die 482-Meldungen. Fix:
|
||||
```bash
|
||||
# API-Semantik: keyword=<SERVERNAME> value=<FELD> <feld>=<wert>
|
||||
curl -sk "http://10.0.30.206:8080/api?apikey=$KEY&mode=set_config§ion=servers&keyword=news.usenet.farm&value=enable&enable=0"
|
||||
# Falsch: keyword=name&value=news.usenet.farm → erzeugt Phantom-Server "name" (mit mode=del_config§ion=servers&keyword=name wieder löschen)
|
||||
```
|
||||
Danach `mode=retry&value=<nzo_id>` (**nicht** `mode=history&name=retry` — das liefert nur den History-Blob und macht nichts).
|
||||
|
||||
**Ursache #2 (echt tot):** Artikel provider-seitig gelöscht (Retention). **Beweis: identische Fehlblock-Zahl vor/nach Retry** → kein Repost auf nzbindex/nzbking vorhanden → endgültig aufgeben, kein dritter Versuch.
|
||||
|
||||
**Teilsalvage lohnt nicht:** `unrar x -kb` liefert bei kleinen Defiziten (17 Blöcke bei 848 MB) zwar 94 % der Bytes, aber **2373 Decode-Fehler** (invalid NAL units) — Video unbrauchbar. Nur bei reinen Datei-Enden (letzte Sekunden) wäre es vertretbar.
|
||||
|
||||
**NZB-QC vor Enqueue (Pflicht):** Segment-Bytes-Summe per Regex `<segment[^>]*bytes="(\d+)"` gegen Anzeige-Größe ±6 % prüfen; `.part0X`/`.rXX`/`-sample` im **Namen** sind unkritisch, wenn die Summe stimmt (beitrifft nur interne RAR-Splits). Ein NZB-Upload per multipart `mode=addfile` an `/sabnzbd/api` scheitert am HTML-Redirect — **Watchdir `nzb-drop` mit `kubectl cp` ist der zuverlässige Weg**.
|
||||
|
||||
## Provider-Fenster 430-Welle (01.11.2026)
|
||||
|
||||
**Symptom:** 27 Parallelfailures binnen 2 min (mixed Msgs: „Reparatur fehlgeschlagen“, „RAR-Datei konnten nicht überprüft werden“, Passwort-Errors) — kein Zufallsmuster, sondern Backend-Fenster.
|
||||
|
||||
**Beweis-Protokoll (Raw-NNTP im sabnzbd-Container, python ssl-socket):** AUTH ok → `group` ok → `head <hotNummer>` → **430** auf allen Gruppen/Posters/Nummern, während `stat <gleicheNummer>` → **223 ok**. HEAD/STAT-Divergenz auf identischem Artikel = Backend-Overview-Fenster, NICHT Retention. Dauer hier 17:02–17:23 UTC.
|
||||
|
||||
**Bedien-Fallstricke:** Manual-Probes stoßen an `502 Too many connections` (SAB hält alle Slots) → vorher `set_config section=servers keyword=news.pureusenet.nl connections=6` (danach restore auf 20). History-Rows mit Status `Queued`/`Verifying` und **leerer** fail_message = Postprocessing läuft — **keine Fails**, nicht deleten!
|
||||
|
||||
**Recovery nach Fenster:** individuelles `mode=retry&value=<nzo_id>` (Loop mit Sleep, curl-Timeouts) — Partial-Caches überleben, die meisten reanimieren sofort; nur echte Zombies (identische Fehlblockzahl, s.o.) bleiben tot.
|
||||
|
||||
## Quarantäne-Inventar (01.11.2026, 163 GB)
|
||||
|
||||
Erhoben mit `qcov2.py` (Dauer + Höhe je Datei, Szenen-Key Brand+Datum+Performer gegen `media/`):
|
||||
|
||||
| Klasse | Dateien | GB | Bedeutung |
|
||||
|---|---|---|---|
|
||||
| A-safe | 62 | 91,9 | exakte Dublette (Dauer ±2 s), Gegenstück in `media/` **gleich oder höher** aufgelöst → löschbar nach GO |
|
||||
| A-master | 6 | 42,3 | 2160p-Master, Gegenstück nur 1080p/720p (Yhivi 2160p = heilig) → behalten |
|
||||
| B | 3 | 2,6 | gleiche Szene, **andere Dauer** (2 Samples à 61 s + `NewSensations - Sage Hunter` 1982 s vs 3075 s) → Review |
|
||||
| C | 17 | 43,5 | kein Gegenstück: 8× 2160p (~34 GB, Downscale-Kandidaten) + Lowres (480p/540p/404p) |
|
||||
| D | 0 | 0 | nicht lesbar |
|
||||
|
||||
Summe der Dateigrößen (180 GB) > `du` (163 GB) — apparent vs. belegte Blöcke, kein Fehler.
|
||||
Junk (`.url`, `.par2`, `.sfv`, `.jpg`, `.nfo`) liegt als ~160 Dateien daneben.
|
||||
|
||||
## Aufräum-Workflow (nach großen Wellen)
|
||||
1. Sorter je Job-Ordner laufen lassen: `kubectl exec -n sabnzbd <pod> -c sabnzbd -- bash /config/scripts/convert720.sh "<ordner>"` (auch für `incomplete/`-Reste, wenn die Queue leer ist — dann keine PAR2-Gefahr mehr).
|
||||
2. **Dedupe**: Gruppen über Basisname ohne ` (N)`; Guard Dauer ±2 s; Keeper = höchste Auflösung, bei Gleichstand größere Datei; Verlierer → `quarantine/dedup2/` (kein Delete).
|
||||
3. **HEVC → h264** (nur wenn maximale Client-Kompatibilität gewünscht): VAAPI `-vaapi_device` **vor** `-i`, `-vf format=nv12,hwupload`, `-c:v h264_vaapi -qp 21`, Audio `-c:a copy` (AAC), `-movflags +faststart`; Original nach `/config/transcode-originals/`. Realistisch ~5 MB/s Ausgaberate → 1 h Material ≈ 20 min.
|
||||
3b. **`incomplete/`-Ordner mit Status `Failed` (Reparatur fehlgeschlagen) gefahrlos räumen** — Kriterium ist nicht der Ordnername, sondern die Inhaltsdeckung:
|
||||
- `find <dir> -maxdepth 1 -type f \( -iname '*.mp4' -o -iname '*.wmv' \) | wc -l` → bei **0** enthält der Ordner nur Rar/Par2-Blöcke.
|
||||
- Set-Namen aus den Rar-Dateinamen ableiten (`abc.part07.rar` → `abc`) und gegen die Bibliotheksnamen prüfen. Sind alle Sets gedeckt → löschbar. 29.10.2026: `nzbindex-5` (7 Sets), `Devicebondage` (6), `nzbindex-10` (8) → 21/21 gedeckt, 96,75 GB frei.
|
||||
- Vorher prüfen, dass der Job **nicht** in der Queue steht (`mode=queue`) — SAB benennt das Verzeichnis nach dem NZB-Namen, `nzbindex-10` ≠ `nzbindex.nzb-10`!
|
||||
- Große `du`-Abweichung ist normal: Rar-Ausgaben werden mit Zielgröße **preallokiert** (`du -sb` = apparent size), echte `df`-Differenz liegt deutlich darunter.
|
||||
4. NFO-Abdeckung prüfen: `for f in $(find media -name '*.mp4'); do [ -f "${f%.*}.nfo" ] || echo "$f"; done` → muss leer sein.
|
||||
5. Jellyfin `POST /Library/Refresh` **einmal**; wiederholte POSTs brechen einen laufenden Scan ab.
|
||||
|
||||
### Low-Res-Alternativen in die Bibliothek (Policy, Owner-GO 29.10.2026)
|
||||
- Vom Resolution-Gate (<700p) aussortierte, inhaltlich **einzigartige** Dateien werden **as-is** nach `media/<Serie>/` importiert — **kein Upscaling, keine Neukodierung**. (Ältere Regel „Low-Res bleibt in Quarantäne" ist damit überholt.)
|
||||
- Reihenfolge: erst Duplikate aussortieren (Dauer ±2 s **und** Head/Tail-Hash gegen die Bibliothek), dann `mv` + gleichnamige `.nfo` mit Zusatz „(Alternativfassung 544p, nicht hochskaliert.)" + `chown 1000:1000`, danach **genau ein** Jellyfin-Refresh.
|
||||
- 29.10. importiert: 3× PureTaboo (544/576p aus `milfan`-Namen, manuell benannt), SexAndSubmission Lucy Mochi 480p, KinkySpa „Kinky Spa Day" 480p (1 h 50) → Bibliothek 246 → 251, Jellyfin 250 nach HEVC-/Duplikat-Bereinigung.
|
||||
- Der Import läuft **am Sorter vorbei**: ein erneuter Sorter-Lauf über diese Dateien würde sie wegen des Resolution-Gates wieder nach `quarantine/` schieben.
|
||||
|
||||
### Serien-Ordner-Kollision durch Groß-/Kleinschreibung
|
||||
- `Maxinex/` vs `MaxineX/`: der generische Sorter-Fallback erzeugte `Maxinex` (cap_words), die explizite Mapping-Stufe später `MaxineX`. Dieselbe Szene lag dadurch in zwei Ordnern — die v12-Dedupe greift nur bei **identischem Zielnamen**, also blieb das Duplikat stehen (hevc 1080p 301 MB vs. h264 1080p 1,55 GB).
|
||||
- Erkennung: `ls media | awk '{print tolower($0)}' | sort | uniq -d`.
|
||||
- Auflösung 29.10.: HEVC-Duplikat → `quarantine/dedup-sorter/MaxineX/`, h264-Keeper (1,55 GB, 1080p) nach `MaxineX/`, leerer Ordner entfernt.
|
||||
- Nebenbefund: automatisch generierte NFOs unbekannter Marken haben **leeren `<plot>`** und `<studio>Kink.com</studio>` → bei manuellem Import/Fix proper nachziehen.
|
||||
|
||||
### Pitfalls beim Ad-hoc-Transcode (29.10.2026, teuer gelernt)
|
||||
- **Pod-Rollout killt laufende Transcodes**: Der Encode lebt IM Pod; jede Deploy-Änderung (auch ein Sorter-Versions-Bump, der einen Rollout auslöst) SIGKILLt ffmpeg. Reihenfolge daher: **erst Deploy abschließen, dann transcodieren** — oder mit dem Rollout warten, bis die Queue leer ist. Schaden begrenzt sich auf ein `_tmp_*.mp4` unter `transcode-originals/`; Originale bleiben intakt (das Script macht `mv` erst nach Erfolg).
|
||||
- **Container-Trennung**: `convert720.sh` liegt nur im **sabnzbd**-Container (`/config/scripts/`), `ffmpeg`/VAAPI nur im **converter**-Sidecar. Sortieren → `-c sabnzbd`, Transcoden → `-c converter`. `kubectl cp` braucht `-c converter`, sonst landet die Datei im falschen Container.
|
||||
- **faststart-Prüfung nicht mit Byte-Sniffing**: Ein 200-KB-Fenster reicht nicht — `moov` wächst mit der Sample-Zahl (1 h ≈ mehrere hundert KB) → falsches „faststart=NEIN". Korrekt ist das **Atom-Ketten-Lesen** (`ftyp→moov→free→mdat`, Size-Felder springen).
|
||||
- **Faststart-Gate im Batch braucht ≥16 MB Fenster** (30.10. teuer): gemessen `moov`-Ende 61 min 1080p = **3,18 MB**, 49 min 4K = 2,55 MB. Ein 2-MB-Scanfenster findet dann kein `mdat` mehr → der Job verwirft **fertige, korrekte** Encodes als `FAIL faststart` (23 Dateien ≈ 1,5 h GPU). Bedingung entschärfen: `moov` muss gefunden werden, `mdat` nur prüfen *falls* im Fenster. SolDoc: `docs/solutions/integrations/2026-10-30-hevc-faststart-gate-2mb-fenster.md`.
|
||||
- **4K-Regel (Owner 30.10.)**: einzelne 2160p-Quelle wird auf 1080p herunterskaliert, **nie upscalen**. GPU-Pfad: `-vf 'format=nv12,hwupload,scale_vaapi=w=1920:h=1080'`; real 5,26 GB → 893 MB (−83 %), Dauer identisch, `hvc1`, `moov@32 < mdat@2,55 MB`. Der Bibliothekslauf überspringt ≥2000p-Quellen (`SKIP(4K, wird separat skaliert)`) — Sonderlauf `/tmp/fix4k.sh`.
|
||||
|
||||
## VAAPI / GPU-Encoding
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend
|
||||
- Nur **worker-05** (10.0.30.65) besitzt `/dev/dri/renderD128` (AMD Granite Ridge, render-GID **991**) — worker-04 hat KEINEN render-Node → Pin zwingend. **Faktisch gibt es keinen Pin:** das Deployment hat keinen `nodeSelector`; fällt worker-05 aus (NotReady seit 01.11.), landet das Pod auf worker-04, dessen hostPath `/dev/dri` nur `card0` enthält. `-vaapi_device /dev/dri/card0` ist **kein** Ersatz → `Failed to initialise VAAPI connection: -1` / EIO (3-s-`testsrc`-Test statt Parameter-Raten). Im Cluster ist dann kein VAAPI-Pfad vorhanden → CPU-x265 oder warten.
|
||||
- VAAPI in Pods erfordert `privileged: true` (Devices-Cgroup blockt hostPath-Device-Nodes sonst)
|
||||
- Encoder: h264_vaapi/hevc_vaapi, **5.7× schneller** als libx264 (Benchmark 1080p→720p: 4.3 s vs 24.7 s)
|
||||
- CPU-Fallback eingebaut (falls renderD128 fehlt)
|
||||
|
||||
## Converter-Pipeline (Design)
|
||||
|
||||
> **⚠️ Status 29.10.2026: Stufe 1 (Enqueuer) existiert nicht mehr.** Commit `643c318` („sorter->media/<serie> with NFO instead of 720p-enqueue") hat den Sorter bewusst vom Enqueue auf Direkt-Sortierung umgestellt. Der Daemon im `converter`-Sidecar läuft seither **leer** (`/config/convert-queue` dauerhaft 0 Jobs, `ps` zeigt nur `sleep 20`) — Transcodes passieren nur noch manuell per Skript. Konsequenz: **HEVC/x265 landet ungefiltert in `media/`** (Resolution-Gate prüft nur die Höhe). 29.10. zwei Rückkehrer gefunden und manuell saniert (Vanna Bardot 720p, Layla Lust 1080p-Duplikat). Fix nötig: Codec-Gate im Sorter + Enqueue, `TARGET_H` im Daemon auf 1080 (heute 720), Original-Sicherung in `encode_one` (heute überschreibt `dst`=`.mp4` das Original!), und beides braucht einen **Rollout** → nur bei leerer Queue deployen.
|
||||
|
||||
1. Postproc (Enqueuer) schreibt Job-File `<ts>-<safe>.job` (Zeile 1: Quelldatei) nach `/config/convert-queue/`, dedupliziert gegen bestehende Jobs (Multi-Release-NZBs rescannen den ganzen Ordner!)
|
||||
2. Daemon nimmt ältesten Job, Guards in dieser Reihenfolge:
|
||||
- **Partials-Discard** (`.converting.*`) — VOR dem Park-Case (v4-Lesson: case-Order!)
|
||||
@@ -41,21 +192,142 @@ ffprobe -v error -select_streams v:0 -show_entries stream=codec_name,height \
|
||||
-of default=nokey=1:noprint_wrappers=1 <mp4> # AppleTV-Check (unquoted!)
|
||||
```
|
||||
|
||||
## Rollout-Rezept (Skript-Änderung)
|
||||
1. Skript in `configmap.yaml` patchen + `sabnzbd/converter-script-version: "N+1"` im Deployment bumpen (bash liest Skript nur beim Start)
|
||||
2. Commit + Push (Gitea) → `kubectl -n sabnzbd delete cm sabnzbd-postproc-script sabnzbd-converter-script` (ArgoCD-SSA-Hot-Update-Limitierung)
|
||||
3. `kubectl annotate application sabnzbd -n argocd argocd.argoproj.io/refresh=normal --overwrite` → neuer Pod, Daemon startet mit neuem Skript
|
||||
## Rollout-Rezept (Skript-Änderung) — **korrigiert 29.10.2026**
|
||||
|
||||
`/config/scripts` ist ein **readOnly-ConfigMap-Mount** (`postproc-scripts` → `sabnzbd-postproc-script`), kein PVC-Verzeichnis. Der Sorter wird pro Aufruf frisch von dort gestartet → **ein CM-Update wirkt nach dem Kubelet-Sync (~60 s) sofort, ohne Pod-Restart, ohne Versions-Bump.**
|
||||
|
||||
1. Skript in `configmap.yaml` patchen, Commit + Push (Gitea).
|
||||
2. `kubectl -n argocd annotate application sabnzbd argocd.argoproj.io/refresh=hard --overwrite`
|
||||
3. Nach ~50 s prüfen: `kubectl -n sabnzbd get cm sabnzbd-postproc-script -o jsonpath='{.data.convert720\\.sh}' | grep -c <neues-token>` **und** im Pod `grep -c <neues-token> /config/scripts/convert720.sh`.
|
||||
> **Korrektur 01.11.2026:** Der CM selbst ist nach ~6 s aktuell (`Synced <rev>`), der **Pod-Mount blieb aber stale** (Symlink zeigte >5 min auf den alten `..data`-Snapshot; auch `delete cm` half nicht). Verlässlich: `kubectl -n sabnzbd rollout restart deploy/sabnzbd` → neuer Pod, Mount frisch. Nur bei leerer Queue machen (Download-Abbruch/SIGKILL-Risiko), danach `script =`-Setting in der ini erneut prüfen.
|
||||
4. **Kein** `converter-script-version`-Bump und **kein** Restart für Sorter-Änderungen — der Bump betrifft nur den `converter`-Daemon (langlaufender bash-Prozess, liest sein Skript nur beim Start). Ein Rollout während laufender Downloads/Transcodes ist reiner Schaden (Download-Abbruch, SIGKILL auf ffmpeg).
|
||||
5. `/config/scripts/` ist **read-only** — `kubectl cp` dorthin schlägt mit `Read-only file system` fehl. Nicht versuchen; der Weg ist ausschließlich CM → Volume.
|
||||
|
||||
Getestet am 29.10.: CM-Update (v12) war nach 50 s im laufenden Pod aktiv, Queue lief durch, kein Download abgebrochen.
|
||||
|
||||
## HEVC-Bibliothekslauf (30.10.2026, laufend)
|
||||
|
||||
**Ziel:** alle Videos → HEVC (hevc_vaapi, qp 25), In-Place-Ersetzung. Skript `/tmp/hevc_library2.sh` (detached via `setsid nohup` im converter-Sidecar), Manifest `/config/_hevc_manifest.jsonl` (append-only, Audit-Trail), Log `/config/_hevc_library.log`, Remux-Log `/config/_remux_hvc1.log`.
|
||||
|
||||
- **`-tag:v hvc1` ist Pflicht.** Apple/QuickTime/AVFoundation spielt HEVC nur als `hvc1`, ffmpeg-Default `hev1` wird verweigert. Bestand reparieren: `ffmpeg -c copy -tag:v hvc1 -movflags +faststart` (lossless).
|
||||
- **Manifest ist die Wahrheit**, nicht das Log. Statusfragen daraus beantworten (`rel`, `before`, `after`, `dur`, `h`).
|
||||
- Nach In-Place-Ersetzung ist Jellyfins `MediaStreams` stale (meldet alten h264 + alte Größe) → Client bricht ab; **ein** `POST /Library/Refresh` reicht (danach hevc sichtbar).
|
||||
- GPU: VCN 1200 MHz aktiv (Nachweis), VRAM ~105 MB; CPU ~0,8 Core/Stream für Software-Decode.
|
||||
- Stand 30.10. 06:15: 30/278 fertig, 95,4 → 24,3 GB (−75 %), hvc1-Remux 26/30. Rest ~45–60 h. Einzige 4K-Datei (`DeviceBondage - Octavia Red`, 3840×2160) bremst 2 Slots für ~2,5 h.
|
||||
- Pitfalls: orphan ffmpeg nach abgebrochenem exec (8,6 h GPU-Blockade), `export -f log` fehlte (Worker-Logzeilen still verloren), Selbst-Kill durch PID-Filter in eigener Kommandozeile.
|
||||
|
||||
### Dritte Fehlerklasse: Bitstream-Korruption (02.11.2026)
|
||||
|
||||
Neben `hev1`-Tag und stale Jellyfin-DB gibt es **Encoder-Ausschuss auf Slice-Ebene**: `SexAndSubmission - 2026-08-28 - Alexa Chains.mp4` spielte weder in Jellyfin noch in QuickTime, obwohl `ffprobe` (`hevc/hvc1/Main/1080p/yuv420p`) und der Box-Parser (`moov@28 < mdat`, `hvcC numOfArrays=3`) makellos waren — bytewise gegen eine funktionierende Datei derselben Pipeline geprüft.
|
||||
|
||||
- **Beweis:** `ffmpeg -nostdin -v error -i F -f null -` → 35 Zeilen `CABAC_MAX_BIN 26/27/28/30/31`, ~1/Minute über die Laufzeit verteilt; **`rc=0` trotzdem** (libavcodec concealte). Ein 300-s-Fenster kann 0 Treffer haben → immer volle Laufzeit zählen.
|
||||
- **Remux hilft nicht** (Korruption sitzt in den Frames) → Re-Encode `libx265 -crf 24 -preset medium -threads 3 -tag:v hvc1 -c:a copy -movflags +faststart`: 4 vCPU, 1080p30/10 Mbit ≈ **44 fps / 1,45× Echtzeit**, Ausgabe ~2,1 Mbit/s.
|
||||
- **Gates vor Swap:** `hevc,hvc1` · Dauer ±2 s · <95 % Quelle · Atom-Kette · **Volldekodierung 0 Zeilen** → Original nach `transcode-originals/` → `chown 1000:1000` → atomares `mv`.
|
||||
- **Auto-Refresh:** zweiter detached Watcher pollt auf die Markerzeile `GETAUSCHT` und schickt **genau einen** `POST /Library/Refresh` — sonst testet der Owner nach dem Swap die stale DB-Sicht (Jessi-Rae-Falle). Watcher-Dedupe per `ps -eo pid,args | awk '$2=="bash" && $3=="/tmp/watch.sh"'`, **nie** `pgrep -f` (matcht das eigene `bash -c` → Selbst-Kill, Exit 143).
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-hevc-bitstream-korruption-cabac.md` · `~/docs/solutions/integrations/2026-10-30-hevc-quicktime-hvc1.md` · Skill: `video-codec-compatibility`
|
||||
|
||||
### Reparatur-Weg: Re-Fetch + Sorter-Dedupe (02.11.2026, verifiziert)
|
||||
|
||||
Bei VAAPI-Ausschuss ist **Re-Fetch erste Wahl** (verlustfrei, volle Auflösung), Re-Encode aus dem korrupten File nur, wo kein Release existiert.
|
||||
|
||||
1. Release per Binsearch (Einzeldatei-MP4, kein `partNNN.rar`-Set) → `publish_nzb.py` → `nzb-drop/`.
|
||||
2. **Den Tausch macht der Sorter**: gleicher Name + gleiche Dauer ±2 s + gleiche Höhe → größere Datei gewinnt, die korrupte wandert nach `quarantine/dedup-sorter/<Serie>/`. Kein manuelles `mv`, keine `(2)`-Kopie.
|
||||
3. Verifizieren (Codec, Dauer ±2 s, **Volldekodierung 0 Fehlerzeilen**), dann bei Bedarf software-HEVC zurückführen (Original → `transcode-originals/`), **ein** Refresh am Ende.
|
||||
|
||||
Ergebnis 02.11.: 4 Dateien (Alexa Chains, Jessie Belle, Luna Lovely, Alexis Fawx) → `hevc,hvc1,1080`, alle Δ Dauer 0, 0 Fehlerzeilen, 13 GB h264 → 3,2 GB HEVC (plus Alexa 4,41 → 1,14 GB); Jellyfin 553 Items, Scan Idle.
|
||||
|
||||
- **Gate-Falle:** der Converter-Sidecar hat **kein `python3`** — ein Gate mit `python3 -c` endet 127 und meldet `GATE FAIL Dauer` bei identischen Werten. Gates + Swap gehören in den App-Container (`/lsiopy/bin/python3`, `/config/tools/ffmpeg` inkl. libx265); Dauer/Größe per `awk`.
|
||||
- **VAAPI bleibt für Reparaturen gesperrt** (Ursache der 12,5-%-Quote), auch bei Ready-Node. Software ≈ 0,45× Realtime.
|
||||
- `BoundGangBangs - Rebel Rhyder` hat **kein** Release (nur 10,8-GB-Rar-Set als `part0.nzb`) → dort bleibt Re-Encode aus dem korrupten File.
|
||||
- Offen (eigenes GO): `quarantine/` 171 G, `complete/` 105 G, `transcode-originals/` 17 G gesunde h264-Master, 2 WMV3-Extension-Twins (1,98 GB).
|
||||
- Parität immer über **Stems** zählen: 553 Videos / 551 NFOs = 2 Extension-Twins, keine fehlenden NFOs.
|
||||
|
||||
Solution Doc: `~/docs/solutions/integrations/2026-11-02-refetch-repair-sorter-dedupe-gate-container.md`
|
||||
|
||||
## Codec-Audit 01.11.2026 (vollständig, 507 Videos)
|
||||
|
||||
Scan aller Dateien im Medienordner (ffprobe, parallel): **164 HEVC (32 %)** — alle korrekt `hvc1`-getaggt ✅ · **338 H.264** (263×1080p, 42×720p, 27×480p, 6 krumme Auflösungen 240–778p) · 2 WMV3 (ASF, TheUpperFloor 2012) · 3 unlesbar (2 abgebrochene `.hevc_`-Temps ~1,9 GB; 1 Tutorial-MP4 90 MB „moov atom not found" = defekt).
|
||||
|
||||
**HEVC-Lauf gestoppt:** Manifest `/config/_hevc_manifest.jsonl` 126 Einträge, letzter Schreibzugriff **30.10. 17:56**; kein ffmpeg aktiv, `convert-queue` leer. 164er-Zahl > 126 Manifest, weil frühere Wellen (30/278 am 30.10. 06:15, WMV-Swap, native HEVC) mitzählen.
|
||||
|
||||
**Blocker für Fortsetzung:** hevc_vaapi braucht GPU. worker-05 (ms-a2-2) seit 01.11. 11:19 dunkel; worker-04 hat kein renderD128 → CPU-x265 auf 4 vCPU ≈ Wochen für 343 Dateien. Fortsetzung erst nach ms-a2-2-Revival sinnvoll.
|
||||
|
||||
## Netzwerk / Sicherheit
|
||||
- CNP `sabnzbd-lan-only`: Ingress von world/host/remote-node (SNAT macht VIP-Clients zu `world`), Port 8080+445; Egress nur DNS + NNTP (443/563/119/80)
|
||||
- API key-protected; Web-UI ohne Login wegen SNAT-Privatranges (Empfehlung `local_ranges` offen)
|
||||
- Privileged Converter = bewusstes Trade-off für VAAPI (dokumentiert)
|
||||
|
||||
## Sorter-Stillstand 01.11.2026 — Root Cause & Fix
|
||||
|
||||
**Symptom:** Bibliothek stand stundenlang bei 506 Dateien, `complete/` wuchs auf 155 GB, `incomplete/` 33 Dir, Disk 91 %. Kein Fehler in den SAB-Logs, Jobs liefen als „Completed“ durch.
|
||||
|
||||
**Root Cause:** In `sabnzbd.ini` stand `script = Default` (Default-Kategorie) → **kein Post-Processing-Skript**, d. h. der Sorter wurde bei keinem Job aufgerufen. Nicht der Sorter war defekt, er wurde nie gestartet. Fix per API (persistiert in `/config/sabnzbd.ini`, PVC):
|
||||
`/api?mode=set_config§ion=categories&keyword=*&script=convert720.sh`
|
||||
(Verifikation: `grep -n "^script" /config/sabnzbd.ini` → `script = convert720.sh`.)
|
||||
|
||||
**Drei Folgefehler im Sorter-Skript** (alle GitOps, Commit `3ffe1c1`, `7527995`):
|
||||
1. **Case-sensitiv:** `case "$1"` gegen Muster wie `DungeonSex*|dungeonsex*` — „Dungeonsex" (D + klein) traf keins von beiden → „Serie unbekannt". Fix: `case "$(echo "$1" | tr 'A-Z' 'a-z')"`, alle Muster haben Klein-Varianten; der generische Zweig nutzt weiterhin das Original-Argument (Titel-Casing).
|
||||
2. **Markenlücken:** 15 Marken der eigenen Bibliothek fehlten in `series_of` (BBVideo, BondageCafe, BoundGangBangs, EnjoyX, GlowingDesire, HardTied, InfernalRestraints, KinkUniversity, KinkySpa, Missax, NewSensations, OnlyFans, SexArt, SexuallyBroken, VivThomas) + `PublicDisgrace`/`SadisticRope`. Folge: diese Marken konnten **nie** einsortieren.
|
||||
3. **Obfuskierte Ordner:** bei `_003_..._yEnc/2.1_55_HD_.mp4` steht die Marke nur im Elternordner. Fix: wenn `series_of(basename)` = OTHER → `series_of(basename(dirname))` (deterministisch, kein Raten).
|
||||
|
||||
**Retry-Automat:** `sab-retry-automaton.py` retryte **permanente** Fehler („Nicht genug Reparatur-Blöcke", „nicht auf deinem/n Server/n vorhanden", „RAR-Datei konnte nicht überprüft werden") bis 3×. Jeder Retry lädt dieselben 2–3 GB neu, SAB legt `complete/_FAILED_*`-Kopien an (40 leere Dirs, 12 Kopien eines Releases). Fix: `PERMANENT_PATTERNS` + `is_permanent_failure()`; bei Treffer wird `attempts = MAX_RETRIES` gesetzt → sofortige Löschung (Policy „erst Retry, dann weg" wird zur Abkürzung, weil Retry beweisbar wirkungslos ist). Lauf 01.11. 19:09: **retry=0 del=20 skip=0**.
|
||||
|
||||
**Wirkung:** Sweep über `complete/` → 11 neue Dateien in `media/`, Jellyfin 504 → **516 Items** (+28 heute), Enricher hat 6 davon sofort mit StashDB-Metadaten versehen (4 PublicDisgrace bleiben `nosdb`: chinesische Titel ohne Datum). Disk 90 % → 88 % (128 GB frei), `complete/` 155 → 105 GB.
|
||||
|
||||
**Rest in `complete/` (nicht sorter-fähig):** 67 GB Anime-BluRay (LuCY_Team petgirlsakurasou, off-profile) und ~40 GB RAR-Sets, die **Dubletten** bereits sortierter Szenen sind (`.part01.rar` mit `.1`-Suffix, nie entpackt) → Löschkandidaten, warten auf GO.
|
||||
|
||||
## Bekannte Issues / Offene Punkte
|
||||
- **Usenet.Farm Block leer** (482, 10-GB-Trial verbraucht); aktiv: PureUsenet Trial (7 Tage unbegrenzt)
|
||||
- Multi-Release-NZB: SAB verschiebt erst nach Fertigstellung ALLER Sets → 12-h-Park-Puffer ist by design
|
||||
- Originale behalten bis Freigabe (Delete-Rule: niemals ohne explizites GO)
|
||||
- theupperfloor-History-Anomalie unaufgeklärt (par2 ok, trotzdem FAILED)
|
||||
|
||||
## Passwortgeschützte Posts & House-of-Usenet (31.10.2026)
|
||||
- `misc.password` war leer → SAB unpackt mit `-p-` (leer) und scheitert an **jedem** verschlüsselten RAR. Kandidatenliste (Board-Namen) greift beim Auto-Unpack nicht zuverlässig.
|
||||
- **House-of-Usenet-Banner** (`House-of-Usenet.com/Premium-News`, Repost via JBinDown): Board-gated, kein Passwort im NZB, keine öffentliche Doku, kein 1P-Account, keine unverschlüsselten Alternativposts → **ohne Board-Login nicht öffnenbar**. Betroffen: HardTied Paige Pierce (2,35 GB, pausiert), SexAndSubmission Marica Hase (verworfen).
|
||||
- Regel: solchen Banner-Posts vor Enqueue erkennen/überspringen — jeder Fehlschlag kostet ~2 GB Block.
|
||||
|
||||
|
||||
## Indexer-Abdeckung & Beschaffungsgrenzen (06.11.2026)
|
||||
- **binsearch.info**: beste Quelle für *aktuelle* Scene-Releases (Kink, LegalPorno, VSEX/WRB/P2P). Alte Kink-Serien (TheTrainingOfO vor 2014) und Nischen-Maledom-Studios (BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured) sind dort **nicht** indexiert.
|
||||
- **NZBKing**: einzige freie Quelle für TOO 2012/2013 (`a.b.multimedia.bdsm`). Achtung: (a) Seite ist JS-lastig → headless Chrome; (b) **HTTP 429 bei zu vielen `/nzb:<id>/`-Fetches liefert 0-Byte-NZBs** — das ist Rate-Limit, kein fehlender Post (≥20–30 s Abstand, Cookie+Referer, Header prüfen); (c) `.EXE`-geflaggte Posts (z. B. BrutalMaster-„Full Rip") liefern **keine** NZBs, dort liegen nur 89-MB-JPG-Packs.
|
||||
- **nzbindex.com**: React-SPA, ~10 Monate Retention; per curl/URL keine Treffer, nur Formular-Submit im Browser. Für Titel älter als 10 Monate wertlos.
|
||||
- **Alte Kink-RAR-Ketten**: SAB meldet „Completed", liefert aber 30–45-MB-Fragmente (`moov atom not found`). Sorter quarantäniert sie; einzelne rutschen durch → nach jedem Batch Duration prüfen (<5 min bei 40–80 min Erwartung = Fragment).
|
||||
- **Nicht beschaffbar** (alle drei Indexer geprüft): BrutalMaster, ShinyBound, BoundToBeGagged, Cinched & Secured. Nur bezahlter Indexer (DrunkenSlug/NZBGeek) oder Direkt-Rip.
|
||||
- **Secret-Falle**: `~/.hermes/secrets/media_meta.env` setzt Variablen ohne `export` → Python-Subprozesse sehen `JF_TOKEN` nicht (401). Immer `set -a; source …; set +a`.
|
||||
|
||||
## Related Solution Docs
|
||||
- `~/docs/solutions/integrations/2026-11-06-nzb-indexer-grenzen-rate-limit.md` (Indexer-Abdeckung, 429-Falle, Fragmente)
|
||||
- `~/docs/solutions/integrations/2026-11-01-sab-sorter-stillstand.md` (script=Default, Markenliste, case-insensitiv, permanente Fehlerklassen)
|
||||
- `~/docs/solutions/integrations/2026-10-31-archive-org-tutorial-harvest.md` (Torrent-freie Zweitquelle, Range-Chunking, Passwort-Pitfall)
|
||||
- `~/docs/solutions/bug-fixes/2026-10-19-sabnzbd-vaapi-converter-guard-bugs.md` (ffprobe-Quoting, case-Order, Stale-Parking)
|
||||
|
||||
## Converter v18 — einheitlich HEVC (08.11.2026)
|
||||
**Ziel gedreht:** Bibliothek soll uniform HEVC sein (hvc1 für AppleTV), nicht h264.
|
||||
- Daemon `/converter/converter-daemon.sh` (CM `sabnzbd-converter-script`): `hevc_vaapi -qp 25 -tag:v hvc1`, Fallback `libx265 -preset fast -crf 24 -tag:v hvc1`, `TARGET_H=1080`.
|
||||
- **verify_out()**: prüft `codec_tag_string == hvc1` + Dauer ±2 s; erst dann `mv` + `chown 1000:1000`; danach werden **Original und Backup gelöscht** (User-Vorgabe: convert → verify → original weg).
|
||||
- **Bitstream-Gate + CPU-Retry:** VAAPI erzeugt auf gfx1036 bei ~40–50 % `CABAC_MAX_BIN` (deterministisch pro Datei; `-bf 0`, `-quality quality`, Retry ändern nichts). Gate verwirft, dann automatischer libx265-Retry. Ohne Retry bleibt die Datei unverändert (sicher).
|
||||
- **Stall-Guard:** Backup-`cp` mit `timeout 600`; bei Timeout/Fehler bricht der Job ab, Quelle bleibt unangetastet (NBD/Ceph kann Prozesse in D-State einfrieren → Pipeline stand 3 min still).
|
||||
- **Sorter-Gate invertiert:** postproc stellt jetzt alles, was NICHT hevc ist (h264/wmv3/mpeg2/mpeg4), in `/config/convert-queue`.
|
||||
- **Backlog-Feeder** `/config/tools/backlog_feeder.sh` (im converter-Container, nohup): scannt `media/` auf Nicht-HEVC, hält 3 Jobs in der Queue, loggt nach `/config/_hevc_backlog.log`, State `/config/_hevc_backlog.files` + `.done`. **Falle:** markiert beim Queuen als „done" → nach Pod-Restart beide State-Dateien löschen (Rescan überspringt konvertierte automatisch).
|
||||
- Durchsatz: seriell, große Dateien brauchen Backup-Copy + Encode; CPU-Retry bei 1080p kann Stunden dauern → Backlog über Tage.
|
||||
|
||||
## Konverter auf n5pro (GPU-Rettung, 09.11.2026)
|
||||
**Problem:** Die iGPU im worker-05 (Granite Ridge, gfx1036/VCN3) erzeugt bei ~40–50 % der Dateien einen
|
||||
CABAC_MAX_BIN-Fehler — deterministisch, unabhängig von qp/bf/async_depth/slices/rc_mode; synthetische
|
||||
Quellen sind sauber, Segment-Dekodierung ebenfalls → Referenz-/Zustands-Desync im VCN-Encoder.
|
||||
**Firmware-Update hilft nicht** (linux-firmware aktuell, keine Updates verfügbar).
|
||||
**Lösung:** n5pro-iGPU **Strix 880M (gfx1150, VCN4)** ist sauber und ~23× Echtzeit (vs. 45 min CPU-Retry):
|
||||
- Test: 1013-s-1080p in **43 s**, 0 CABAC; 2 Läufe bit-identisch.
|
||||
- `qp 28` statt 25 → ~35 % kleiner (265 MB vs 424 MB bei gleicher Quelle).
|
||||
**Transport:** NFS-Sidecar im sabnzbd-Pod (Image `itsthenetwork/nfs-server-alpine:12`, privileged).
|
||||
- **Eigener Entrypoint** nötig: Stock-Script baut bei mehreren CIDRs eine kaputte exports-Zeile (Quoting-Bug)
|
||||
und bricht ab, wenn `SHARED_DIRECTORY` nicht exportiert ist.
|
||||
- **Port 2049 auf der BESTEHENDEN VIP 10.0.30.206** (LB-Pool ist knapp!) — separate Service/VIP wieder entfernt.
|
||||
- **CiliumNetworkPolicy muss 2049 freigeben** (world + host/remote-node), sonst „2049 zu".
|
||||
- Samba blieb bei 256Mi unter Last OOM (Exit 137) → Limit auf 1Gi erhöht.
|
||||
**Runner:** `/usr/local/bin/n5pro_converter.sh` auf n5pro (systemd `conv-n5pro`, 2 Worker, qp28, hard-NFS-Mount,
|
||||
Timeout 5400 s/Datei), Log `/var/log/conv-n5pro.log`, Tausch über `_conv_trash` auf dem Share.
|
||||
**Fallstricke:** SMB-Reads truncaten bei Verbindungsabbruch still (Datei 2039→1832 s!) — NFS-hard blockt stattdessen.
|
||||
Nie `pkill -f backlog_feeder` aus demselben Shell-Kontext (Self-Match killt den eigenen Befehl).
|
||||
|
||||
@@ -68,6 +68,15 @@ den 5 Owner-Profilen.
|
||||
- glm-5-3 ist ein Reasoning-Modell (liefert `reasoning`-Felder).
|
||||
- **Compaction/Compression:** `auxiliary.compression` = provider `auto`,
|
||||
kein explizites Model → fällt aufs Haupt-Modell zurück (= glm-5-3).
|
||||
- **Compression-Timeouts (02.11.2026):** `model.context_length: 1048576`
|
||||
(Zwischenstand 262144, vorher 131072), `compression.context_timeout_seconds: 300`,
|
||||
`compression.context_total_ceiling_seconds: 900`; Backups
|
||||
`config.yaml.bak-20261102-131314` und `config.yaml.bak-ctx-<ts>`.
|
||||
E2E 13:2x: `lcm_status` → `raw_context_length=1048576`,
|
||||
`threshold_tokens=367001`. Effektiv `resolve_context_compression_timeouts()
|
||||
→ (300.0, 900.0)`, Preflight-Threshold **131.072** statt 45.875. Ursache der
|
||||
300s-Turn-Aborts: Session bei 212k Tokens, jeder Turn startete Compression,
|
||||
Summary-Call lieferte 0 Chunks → Turn endete ohne Provider-Call.
|
||||
- **Vision:** `auxiliary.vision` = noris / `vllm/release/gemma-4-31b-it`;
|
||||
403-Block ist weg (19.10. mit Sarahs Key getestet: HTTP 200).
|
||||
- **`fallback_providers: []`** — kein Fallback konfiguriert! Bei Modellausfall hängt
|
||||
|
||||
+27
-16
@@ -1,9 +1,9 @@
|
||||
---
|
||||
title: SchönKitchen
|
||||
category: Systems
|
||||
tags: [schoenkitchen, recipes, fastapi, traefik, nutrition, essensplanung]
|
||||
tags: [schoenkitchen, recipes, fastapi, traefik, nutrition, essensplanung, value-stream]
|
||||
created: "2026-10-11"
|
||||
modified: "2026-10-11"
|
||||
modified: "2026-10-31"
|
||||
---
|
||||
|
||||
# SchönKitchen (Essensplanungs-Web-App)
|
||||
@@ -12,28 +12,39 @@ modified: "2026-10-11"
|
||||
|
||||
## Deployment (PROD)
|
||||
- **URL:** https://essen.familie-schoen.com
|
||||
- **App:** FastAPI auf Port 8420
|
||||
- **Repo:** `dominik/schoenkitchen` auf git.schoen.codes (privat)
|
||||
- **App:** FastAPI (1.352 Z., 28 Endpoints, 4 Templates) auf Port 8420, NS `schoenkitchen`, **1 Replica, `strategy: Recreate`**
|
||||
- **Repo:** `dominik/schoenkitchen` auf git.schoen.codes (privat), letzter Commit `0615824` (19.07.2026)
|
||||
- **Image:** `:latest` (SHA-Tag existiert, wird nicht deployt) + **initContainer `git-overlay` klont `main` bei jedem Pod-Start** → Produktion läuft Git-HEAD, nicht Image-Code
|
||||
- **Public Traffic:** via CT 99999 Traefik (n5pro 10.0.20.70) — K8s-Ingress allein genügt NICHT, Router+Service müssen auch in der CT-99999-Config stehen (`/etc/traefik/conf.d/explicit-http.yml`, file provider, watch:true). Detail-Skill: `family-meal-planning` → `references/ct99999-traefik-proxy.md`
|
||||
- **Storage:** `plan-data` = `ceph-flash` (RBD) — vom CephFS-Kernelfenster 31.10. **nicht** betroffen
|
||||
|
||||
## Views & Datenmodell
|
||||
- `/` — Startseite
|
||||
- `/vorplanung` — Wochenplanung
|
||||
- `/rezepte` — 74k-Katalog: Multi-Level-Kategorie-Dropdown, Smart Filters, Favoriten, Similar-Rezepte, Add-to-Plan
|
||||
- **DB-Tabellen:** `recipe_favorites`, `plan_items`
|
||||
- `/` — Wochenplan (Startseite)
|
||||
- `/vorplanung` — Vorplanung
|
||||
- `/rezepte` — **200k-Katalog**: Multi-Level-Kategorie (12 L1/55 L2), Favoriten, Similar, Add-to-Plan
|
||||
- `/einstellungen` — Haushalt, Mitglieder, Einladungen, Küchenpräferenzen
|
||||
- **DB-Tabellen:** `recipes` (200.000 / 6,7 GB), `recipe_semantics` (200.000, 12 Achsen, Ø-Konfidenz 0,85), `recipe_ingredient_links` (2,14 M / 189.513 Rezepte), `plan_items`, `recipe_favorites`, `meal_decisions`
|
||||
|
||||
## Gemessener Stand (31.10.2026)
|
||||
- **22 Quellen**, 224.036 Sitemap-URLs entdeckt, 200.000 ingestiert (89,3 % Ausbeute); Ramp 18.06.–24.10. = Ø 1.562/Tag
|
||||
- **Seit 24.10. keine neuen Rezepte** — Daily-Cron endet nach 2 s mit `Target reached` (Ziel als Deckel, kein Fluss)
|
||||
- **%C&A 67,0 %** vollständig kochbar (133.940/200.000); 27,3 % ohne Schritte, 28,4 % ohne Kategorie, 4,6 % ohne Bild
|
||||
- **Konsum:** Wochenplan-Generator v5 (Di 19:00) liefert KW43–45; Web-UI: 18 Plan-Items (nur W30/Juli), 0 Favoriten, 1 Haushalt / 3 Mitglieder
|
||||
- **Enrichment ungenutzt:** Embeddings (≈5 GB) + Semantik werden vom Backend nicht abgefragt — Suche = Text, Similar = Heuristik
|
||||
|
||||
## Wertstrom
|
||||
- **`docs/value-stream.md`** (+ `docs/value-stream.html`) im Repo — VS-1 Content (Quelle→Teller), VS-2 Software (Änderung→Live)
|
||||
- **Kernthese:** Der Engpass ist von *Angebot* (Frontier, gelöst) zu **Verwertung + Frische** verschoben; der echte Konsum läuft am Frontend vorbei.
|
||||
|
||||
## Bekannte Pitfalls
|
||||
- **Jinja2 + Inline-JS:** NIEMALS JS mit escaped Quotes (`\"`) in Jinja2-Templates. `{% raw %}` verdoppelt Backslashes. **Lösung:** externes `.js` in `static/` (aktuell `static/rezepte.js`).
|
||||
- **CI-Gate offen:** beide Testschritte in `.gitea/workflows/build.yml` enden auf `|| true` → Build kann nicht fehlschlagen; E2E (9/9) läuft nicht in CI.
|
||||
- **Taxonomie in 3 Quellen:** `static/taxonomy.json` (genutzt), `recipes.category` (12.157 Rohwerte), `category_map`-Tabelle (**0 Zeilen**, tot).
|
||||
|
||||
## Qualitätssicherung (Stand Launch)
|
||||
- Security-Audit: 46 Checks
|
||||
- pytest: 51 Tests
|
||||
- Playwright E2E: 9 Pass
|
||||
|
||||
## Roadmap
|
||||
- Authelia-Integration (OIDC)
|
||||
- Multi-Tenant
|
||||
- Security-Audit: 46 Checks · pytest: 51 Tests · Playwright E2E: 9 Reisen grün (nicht in CI)
|
||||
|
||||
## Related
|
||||
- Profil `nutrition-coach` (Meal-Planning-Crons, Rezept-DB `real_recipes.jsonl` mit 36.251 Chefkoch-Rezepten)
|
||||
- Profil `nutrition-coach` (Meal-Planning-Crons, Scraper v8.1 + Enrichment-Pipeline)
|
||||
- [[systems/recipe-scraper]] — Sammler-Details (Frontier, Quellen, Pitfalls)
|
||||
- [[concepts/network-architecture]] — CT 99999 / Public-Traefik-Topologie
|
||||
|
||||
@@ -199,3 +199,7 @@ Neuvermessung 670abe70 (1286 Dateien, 8,49 GB) korrigiert die alte „~2,6 GB"-S
|
||||
|
||||
### Cleanup-Stand 10.0.20.100
|
||||
- audit_a/audit_b-Container entfernt; `/tmp/audit_*`-Kopien noch vorhanden → beim nächsten .100-Kontakt miträumen
|
||||
|
||||
## Zugriffskette (2026-11-01 verifiziert)
|
||||
`https://cloud.familie-schoen.com` → CT99999 Traefik (`explicit-http.yml`, Router `seafile`) → **10.0.30.203** (das ist die **K8s-Ingress-LB**, `kube-system`, NICHT eine VM-ID!) → K8s-IngressRoute `seafile/seafile` → Service `seafile-external` → Endpoint **10.0.30.99:80** (CT111). Kette liefert 302 → `/accounts/login/` → HTTP 200 „Log In - Private Seafile". Seafile nutzt eine **eigene** `mariadb:10.11` im Container (kein Galera) → DB-Tier-Upgrades betreffen Seafile nicht; CT111 erbt aber den PVE-Host-Kernel (n5pro).
|
||||
**Legacy-Falle:** `seafile.familie-schoen.com` ist ein alter Router (`seafile_old` → `seafile-old-forwarder` → `http://10.0.30.100:8081`, tot) und liefert dauerhaft **502** — kein Ausfall, sondern stillgelegte Route. Nicht als Störung fehldeuten.
|
||||
|
||||
@@ -0,0 +1,120 @@
|
||||
---
|
||||
title: Technitium DNS (HA-Cluster)
|
||||
category: systems
|
||||
tags: [dns, adblock, ha, keepalived, vrrp, technitium, lxc]
|
||||
created: "2026-11-14"
|
||||
modified: "2026-11-14"
|
||||
---
|
||||
|
||||
# Technitium DNS — HA-Cluster (LAN-Resolver + Adblock)
|
||||
|
||||
Zwei unprivileged LXC auf getrennten PVE-Nodes, betrieben als **Technitium-Cluster**
|
||||
(1 Primary + 1 Secondary, Config-Sync) mit **keepalived-VIP** davor.
|
||||
|
||||
## Topologie
|
||||
|
||||
| | dns-01 | dns-02 |
|
||||
|---|---|---|
|
||||
| CT | 150 | 153 |
|
||||
| PVE-Node | proxmox6 (10.0.20.60) | ms-a2-2 (10.0.20.93) |
|
||||
| IP | 10.0.30.150/24, gw 10.0.30.1, tag=30 | 10.0.30.153/24 |
|
||||
| Spez | 1 vCPU / 1 GB / 4 GB **`local-lvm`** (node-lokal, Ceph-unabhängig), unprivileged, onboot | dito |
|
||||
| Rolle | Cluster-**Primary**, VIP-Träger (VRRP-Prio 150) | Cluster-**Secondary** (Prio 100) |
|
||||
| Web-UI | http://10.0.30.150:5380 · TLS :53443 | http://10.0.30.153:5380 |
|
||||
|
||||
**VIP 10.0.30.149** — keepalived, VRID 51, **unicast** (kein Multicast), `nopreempt`,
|
||||
Health-Check = TCP :53 **und** Web-API :5380. Failover gemessen: **~4 s**.
|
||||
|
||||
## Clients / DHCP
|
||||
Omada-Gateway (`10.0.30.1`) macht weiterhin DHCP. Es gibt nur **zwei DNS-Felder**:
|
||||
|
||||
```
|
||||
DNS 1: 10.0.30.149 (VIP)
|
||||
DNS 2: 1.1.1.1 (Cloudflare-Fallback)
|
||||
```
|
||||
IPv6-Felder (falls vorhanden): `2606:4700:4700::1111`, `2606:4700:4700::1001`.
|
||||
|
||||
Grund für die VIP: mit nur zwei Feldern wäre sonst entweder der zweite Knoten oder der
|
||||
Public-Fallback verloren gegangen.
|
||||
|
||||
## Konfiguration (Cluster-Parameter, syncen auf beide Nodes)
|
||||
- Cluster-Domain: `dns.internal.schoen.codes` (Zonen: `dns.internal.schoen.codes`, `cluster-catalog...`)
|
||||
- Forwarder: `1.1.1.1, 1.0.0.1, 2606:4700:4700::1111, 2606:4700:4700::1001` (UDP)
|
||||
- `recursion = UseSpecifiedNetworkACL` → `10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16, 127.0.0.0/8, ::1, fd00::/8, fe80::/10` (kein offener Resolver)
|
||||
- DNSSEC-Validierung an, `logQueries=false` (Datei-Log aus, Query-Log läuft über die MySQL-App)
|
||||
- Blockliste: **HaGeZi Multi Pro** → `https://raw.githubusercontent.com/hagezi/dns-blocklists/main/wildcard/pro.txt` (227.848 Domains)
|
||||
|
||||
## Resilienz-Entscheidung (2026-11-14)
|
||||
|
||||
**Rootfs auf `local-lvm`, NICHT auf Ceph.** Grund: `ceph health` = HEALTH_WARN mit
|
||||
„8 OSDs experiencing slow operations"; ein Ceph-Stall hätte **beide** DNS-Knoten gleichzeitig
|
||||
blockiert (gleicher Cluster → kein Failover-Effekt) und bei Neustart wäre kein Boot möglich.
|
||||
|
||||
Konsequenzen, bewusst akzeptiert:
|
||||
- **Kein HA-Manager** für ct:150/153 (`state: disabled` → entfernt). PVE-HA kann node-lokale
|
||||
Disks nicht relocaten; ein Versuch hat am 2026-11-14 beide CTs auf proxmox4/proxmox5
|
||||
„verschoben" (Config ja, Disk nein) → **~2–3 Min DNS-Ausfall**. Nur `onboot=1`.
|
||||
- **Node-Ausfall = Handarbeit**: Rebuild per PBS-Restore (siehe unten), Config kommt vom Peer.
|
||||
- PVE-native Redundanz für lokale Disks existiert nicht: entweder Shared Storage (Ceph/iSCSI/NFS,
|
||||
automatisch) oder ZFS-Replikation (`pvesr`, **braucht lokales ZFS** — proxmox6/ms-a2-2 haben nur
|
||||
LVM-thin, `replication.cfg` leer) und selbst dann kein Auto-Promote.
|
||||
|
||||
**Wiederaufbau (nativ, ~1–2 Min):**
|
||||
```bash
|
||||
pct restore 150 noris_v4:backup/ct/150/<snapshot> --storage local-lvm --hostname technitium-dns-01
|
||||
# danach: Cluster-Join gegen den überlebenden Node, Zonen/Blocklists syncen automatisch
|
||||
```
|
||||
Backups: 23:00-Job (`all 1`, `noris_v4`, keep-last=3) — Erstaufnahme 2026-11-14 manuell
|
||||
nachgezogen (ct/150 967 MiB, ct/153 890 MiB).
|
||||
|
||||
**I/O-Entkopplung:** Technitium-Datei-Query-Log `logQueries=false` (kein Disk-Write pro Query).
|
||||
Die MySQL-App protokolliert unabhängig davon weiter (verifiziert: 84 Rows/45 s).
|
||||
keepalived `fall 5` (≈10 s Toleranz) statt 3 → kein VIP-Flapping bei kurzen Slow-Ops.
|
||||
|
||||
## Betrieb
|
||||
- Config-Änderungen **nur am Primary**; Secondary zieht per Cluster-Sync (`configRefreshIntervalSeconds=300`).
|
||||
- Fällt der Primary irreparabel aus: Secondary per `POST /api/admin/cluster/primary/promote` hochziehen.
|
||||
- VIP bleibt dank `nopreempt` beim Überlebenden (kein Flapping); bei Kaltstart beider gewinnt dns-01.
|
||||
- Hostnamen-Auflösung der Nodes läuft über `/etc/hosts` in beiden CTs (Cluster verlangt FQDN-URLs, nicht IPs).
|
||||
|
||||
## Query-Logs nach MySQL (Galera)
|
||||
|
||||
App **„Query Logs (MySQL) v4.2"** (`isQueryLogger` + `isQueryLogs`), per Cluster-Sync auf **beiden**
|
||||
Knoten installiert — beide schreiben in dieselbe Tabelle, getrennt über die Spalte `server`.
|
||||
|
||||
| Parameter | Wert |
|
||||
|---|---|
|
||||
| Datenbank | `technitium_querylog` (utf8mb4) auf Galera, Tabelle `dns_logs` (App legt sie an) |
|
||||
| Endpoint | **MaxScale-VIP `10.0.30.70:3306`** (nicht .71/.72/.73 — die sind vom VLAN 30 aus nicht direkt erreichbar) |
|
||||
| User | `technitium`@`%` (nötig: MaxScale verbindet mit **eigener** IP, per-Host-Grants scheitern) |
|
||||
| Connection String | `Server=10.0.30.70; Port=3306; Uid=technitium; Pwd=<1P>; SslMode=None; ConnectionTimeout=10; DefaultCommandTimeout=30;` |
|
||||
| Retention | `maxLogDays=30`, `maxLogRecords=10000000`, `maxQueueSize=1000000` |
|
||||
|
||||
- **`SslMode=None` ist Pflicht**: der MaxScale-Listener hat kein TLS → MySqlConnector bricht sonst mit
|
||||
„SSL is required, but the server does not support it" ab (Passwort läuft damit im Klartext über VLAN 30).
|
||||
- Volumen-Messung: ~**61 Queries/min ≈ 88 k/Tag** → ~2,6 Mio Rows in 30 Tagen (Galera repliziert 3×).
|
||||
- Passwort in 1P: „Technitium QueryLogs DB (Galera)".
|
||||
|
||||
## Monitoring
|
||||
- Prometheus (K8s, 10.0.30.202): Jobs `blackbox_dns` (A-Query gegen .149/.150/.153) und
|
||||
`blackbox_http` (Web-UI :5380 auf allen drei Adressen).
|
||||
- PrometheusRule `technitium-dns-rules`: `TechnitiumDnsProbeFailing`,
|
||||
`TechnitiumDnsAllNodesDown`, `TechnitiumDnsVIPMissing`, `TechnitiumClusterNotSynced`.
|
||||
- IaC: `iac-homelab/clusters/main/monitoring/technitium-dns-rules.yaml` + `apps/kube-prometheus-stack.yaml`.
|
||||
|
||||
## Bekannte Fallstricke
|
||||
- **HaGeZi-URL hat sich geändert**: `hosts/pro.txt` → **`wildcard/pro.txt`** (404 sonst).
|
||||
- **community-scripts-One-Liner aktuell kaputt**: `ct/technitiumdns.sh` sourct `misc/build.func`,
|
||||
das Framework liegt jetzt in `community-scripts/core` → 404. Installation daher über die
|
||||
Original-Payload (`install/technitiumdns-install.sh`): MS-Repo → `aspnetcore-runtime-10.0`,
|
||||
`DnsServerPortable.tar.gz` → `/opt/technitium/dns`, systemd-Unit `technitium.service`.
|
||||
- **Cluster-Join verlangt FQDN**: `primaryNodeUrl` mit IP wird abgelehnt
|
||||
(„must use the domain name of the Primary node").
|
||||
- Erst-Login ist `admin/admin` — sofort `passwort` via `/api/user/changePassword` ändern
|
||||
(1P-Item „Technitium DNS Admin").
|
||||
- **`prometheus-rules.yaml` im Repo ist eine ConfigMap** und wird von Prometheus NICHT geladen —
|
||||
eigene Regeln brauchen eine `PrometheusRule` mit Label `release: monitoring`.
|
||||
|
||||
## Related
|
||||
- [[reference/ip-map]] · [[concepts/network-architecture]] · [[reference/ports]]
|
||||
- [[systems/monitoring]]
|
||||
@@ -23,10 +23,14 @@ Physischer Standalone-Node (KEIN PVE), Mitglied im Ceph-Cluster. SSH: `ssh -i ~/
|
||||
|
||||
## Bekannte Themen
|
||||
|
||||
- **Wartungs-Shutdown 2026-11-14 (~15 Min):** noout-Gate, sauberer Poweroff 13:09 UTC, Boot zurück 13:22 UTC (SSH ~11 Min nach Power-On), OSDs 2/15/17 sofort up, Cluster 532/533 clean binnen Minuten, noout manuell entfernt (Watchdog unfired wg. osd-tree-$5/$6-Bug → Skill-Ref). ZFS `pool01_n2_redundant` DEGRADED (sdi REMOVED) überlebt Reboot problemlos. IP unverändert .100 (MAC 4c:cc:6a:27:49:c1).
|
||||
- NVMe-Controller-Tod Kingston PCI 03:00.0 (2026-09-30, PAT-014) — revived via PCI remove/rescan; SMART-Audit gesund, nur Controller-Ebene. Temps 70/78 °C beobachten.
|
||||
- Host-Eintrag `10.0.20.100 ubuntu` in /etc/hosts aller PVE-Nodes nötig (PVE-GUI 500 ohne DNS/hosts).
|
||||
|
||||
## Related
|
||||
|
||||
- [[systems/ceph-cluster]] — OSDs 2/8/15/17/18 laufen hier
|
||||
- [[systems/ceph-cluster]] — OSDs 2/15/17 laufen hier (osd.8/18 seit ≥02.11. auf n5pro; stale Units `ceph-osd@8` + `ceph-mon@ubuntu` scheitern bei jedem Boot, kein Schaden)
|
||||
- [[patterns/ceph-dead-nvme-resurrection]] (PAT-014)
|
||||
|
||||
## Security-Status
|
||||
- **CVE-2026-98432 (Kernel-IPv4-TCP-UAF): BEHOBEN** (2026-11-06, 06:43–06:56 UTC) — `apt-get full-upgrade` installierte `linux-image-6.8.0-149-generic 6.8.0-149.149` (+ linux-firmware-Splitpakete, 848 MB); Reboot mit Ceph-`noout`-Gate. Läuft `6.8.0-149-generic`, kein `reboot-required`. Verifiziert: 22/80/8000/9443/2049 lauschen, HTTPS 9443 = 200, 5 Docker-Container up, Ceph 17/17 up+in, 533 PGs active+clean (vor/nach nur Slow-Ops-WARN). Reboot→sshd 7m17s (Kernel-Boot nach 1m46s). **Re-Check 2026-11-10 (CVE-Tracker-Meldung „released"):** Zielzustand bereits aktiv — `apt-get full-upgrade` = 0 Pakete, Kandidat = installiert = 6.8.0-149.149, kein `reboot-required`; **kein zweiter Reboot** (3 OSDs auf dem Host), Ceph unverändert 4/4 MON, 17/17 up+in, 533 PGs active+clean. **Mitigation weiter aktiv:** `/etc/sysctl.d/99-cve-2026-98432.conf` → `net.mptcp.enabled=0`, `net.ipv4.tcp_migrate_req=0` (kann nach Fix entfernt werden, Owner-GO). **sshhole.com: nicht betroffen** — sshd glibc+PAM, shadow ohne `*`-Login-Konto.
|
||||
|
||||
Reference in New Issue
Block a user