Alle Insights

Die Pipeline, die drei Wochen lang still tot war

Die gefährlichen Ausfälle in Agent-Systemen crashen nicht. Sie hören leise auf zu produzieren, und du merkst es Wochen später.

Eine meiner wöchentlichen Automationen lief drei Wochen in Folge, jeden Montag. Keine Exception, kein Alarm, keine rote Zeile im Log. Sie produzierte auch nichts: kein Output, keine Benachrichtigung, keine Spur, dass etwas nicht stimmte. Der Scheduler notierte brav jede Woche einen Lauf. Am Ende war nur einfach nichts.

Ein grünes Licht, das nichts bedeutete

Der Job war ein Content-Miner: einmal die Woche liest er eine Reihe Quelldateien, rankt Kandidaten, schreibt ein Backlog. Langweilig, zuverlässig: die Art Sache, die man irgendwann nicht mehr beobachtet. Also beobachtete ich sie nicht mehr.

Was ich als Beobachtbarkeit gebaut hatte, war ein Run-Marker: ein Scheduler-Zeitstempel, der sagte „das ist am Montag gelaufen". Es lief. Jeden Montag. Der Zeitstempel war ehrlich und völlig nutzlos, weil er festhielt, dass der Prozess *startete*, nicht dass er etwas *produzierte*. Ein Job kann starten, eine Stunde und 48 Minuten hängen, mit einem Fehler abbrechen, den niemand liest, und trotzdem diesen beruhigenden grünen Zeitstempel hinterlassen.

Der Ausfall war ein Permission-Dialog, kein Bug

Die eigentliche Ursache war fast peinlich banal. Irgendwo im Lauf las eine Shell-Schleife eine Handvoll Dateien: das Äquivalent zu `for f in …; do cat "$f"; done`. In einem interaktiven Terminal ist das nichts. In einem unbeaufsichtigten, headless laufenden Prozess öffnete es einen Tool-Permission-Dialog und wartete auf eine Antwort, die kein Mensch geben konnte. Seit einer jüngeren Tooling-Änderung hat dieses Warten kein Zeitlimit. Also wartete es. 108 Minuten lang, dann starb es mit `AbortError: Tool permission stream closed`.

Nichts daran ist ein Code-Defekt. Der Code war korrekt. Die Umgebung veränderte still die Bedeutung einer einzigen Zeile, von „lies drei Dateien" zu „blockiere für immer auf einen Klick", und der Ausfall lebte vollständig in dieser Lücke.

Die gefährlichen Ausfälle in automatisierten Systemen sind nicht die, die eine Exception werfen. Es sind die, bei denen jede Komponente Erfolg meldet und das System als Ganzes nichts tut.

Was es tatsächlich fing

Kein Unit-Test. Tests prüfen den Code, den du geschrieben hast, gegen die Annahmen, die du ohnehin schon hattest. Dieser Ausfall lebte in den Annahmen selbst.

Gefangen hat es ein zweiter, bewusst dummer Watchdog, der auf eigenem Zeitplan läuft und jeder Pipeline eine Frage stellt: *Wann hat dieses Ding zuletzt ein echtes Artefakt geschrieben?* Nicht „ist es gestartet", nicht „ist der Prozess mit 0 beendet". Hat es den Output produziert, der der ganze Zweck seiner Existenz ist. Eine Backlog-Datei mit dem Datum dieser Woche. Ist das Freshness-Signal älter, als es sein darf, wird der Watchdog rot und sagt es, laut, in einem Kanal, den ich wirklich lese.

Das ist ein Totmannschalter. Er nimmt an, dass das überwachte System irgendwann still versagt, und macht das Schweigen selbst zum Alarm.

Das Muster, das sich zu klauen lohnt

  • Behandle „es ist gestartet" oder „Exit-Code 0" nie als Beweis für Erfolg. Beweise das *Artefakt*: die Datei, die Zeile, die gesendete Nachricht, die das eigentliche Ziel war.
  • Setz den Health-Check in einen *separaten* Prozess auf einen *separaten* Zeitplan. Eine Pipeline kann ihren eigenen stillen Tod nicht melden; etwas außerhalb muss es tun.
  • Mach das Schweigen laut. Ein Watchdog, der nur bei Problemen spricht, ist ein Watchdog, den du vergisst. Meiner postet jeden Tag eine volle grüne Tabelle. Das Grün ist der Beweis, dass der Watchdog selbst noch lebt.
  • Nimm an, dass die Umgebung die Bedeutung deines Codes ändert, ohne es dir zu sagen. Headless-Läufe, Permission-Modelle, Kontextlimits, Quotas: das, wogegen du gebaut hast, ist kein fixer Vertrag.
Die Regel

Ein System ist nur so beobachtbar wie sein schlimmster stiller Ausfall. Wenn du nicht benennen kannst, wie deins ausfallen würde, ohne zu crashen, hast du es nicht fertig gebaut.

Nichts davon ist clever. Es ist das unglamouröse Rückgrat: ein zweites kleines System, dessen einzige Aufgabe es ist, dem ersten zu misstrauen. Die drei Wochen Schweigen kosteten mich nichts außer dem, was ich in ihnen geschrieben hätte, und einer Lektion: Die nächste stille Pipeline läuft schon. Ich weiß nur noch nicht, welche.

Hung Mai

Hung Mai ist selbstständiger Berater in Weilmünster (Hessen) und arbeitet meist remote. Er plant, baut und überwacht KI-Automatisierung für Marketing und Vertrieb, für Firmen ohne Digitalteam. Mehr über Hung Mai

Lass uns etwas Echtes aufbauen.

KontaktAntwort innerhalb von 24h.