Alle Insights

Vier Bestätigungen, keine davon echt

Eine Vollzugsmeldung ist der billigste Output im ganzen System. Entsprechend viel ist sie wert.

Der erste Tag im Dauerbetrieb eines eigenen KI-Assistenten brachte vor dem Mittag vier saubere Vollzugsmeldungen. Bei dreien war die Arbeit dahinter noch nicht passiert, eine beschrieb eine Datei, die es nie gab. Nichts ist ausgefallen, nichts hat einen Fehler geworfen, und die Architektur, an der ich zwei Tage gebaut hatte, funktionierte genau wie entworfen. Kaputt war die Schicht, die niemand prüft: der Teil des Systems, dessen einzige Aufgabe es ist, zu sagen, dass etwas erledigt ist.

Was tatsächlich gebaut wurde

Der Aufbau ist bewusst unspektakulär. Der Assistent hat einen eigenen Account, keinen geteilten. Aufträge kommen als Dateien in einer Queue an und werden per atomarem Umbenennen übernommen, damit zwei Prozesse nie denselben Auftrag greifen. Alles, was nach draußen geht, läuft über ein Gate: Der Assistent bereitet vor, ich gebe frei, und der Versand selbst passiert mechanisch per Skript, nicht formuliert von einem Modell. Ein Watcher stellt zu, ein separater Wächter prüft alle zehn Minuten, ob das Ganze noch atmet.

Das alles hat gehalten. Der Auftrags-Roundtrip lief. Der Gate-Roundtrip lief, inklusive Freigabe und mechanischem Versand. Ein Kanarienvogel-String belegte, dass das Modell, das meine Chat-Nachrichten annimmt, den Inhalt nie zu sehen bekam, den es weiterreichte.

Kaputt war die Ebene darüber — die billigste Komponente im System.

Das Modell, das für etwas geantwortet hat, das nie gelaufen ist

Das kleine Modell, das im Chat die Aufträge entgegennimmt, hat die Antworten des Assistenten erzeugt, bevor der Assistent überhaupt gelaufen war. Es erfand zwei Freigabe-Kennungen, die es nicht gab. Es meldete eine eingegangene Mail, die niemand gelesen hatte. Es bestätigte, ein Dokument sei abgelegt, samt Pfad — an einer Stelle, an der der Prozess gar kein Schreibrecht hatte. Es lieferte eine Aufgabenliste mit drei Punkten mehr, als die Liste hatte.

Zwei bis vier Minuten später kamen die echten Antworten und widersprachen jeder einzelnen davon.

Die Mechanik dahinter ist eher peinlich als rätselhaft. Jede zugestellte Nachricht des Assistenten wurde in die Chat-Historie zurückgespiegelt, als hätte das Modell sie selbst geschrieben. Aus dieser Historie wird der nächste Prompt gebaut. Das Modell hat also nicht über die Welt gelogen, sondern die eigene scheinbare Vergangenheit imitiert. Es hatte hundert Beispiele dafür, wie eine Vollzugsmeldung aussieht, und so eine zu erzeugen kostet nichts. Die Arbeit zu tun kostet zwei Minuten und einen Unterprozess.

Ein System, das sofort antwortet, und eines, das fertig ist, sehen von außen gleich aus. Der Unterschied ist die Quittung.

Die Einschränkung, die es nie gab

Dieselbe Nacht brachte einen zweiten Fund derselben Form. Der Chat-Kanal war mit dem konfiguriert, was wie eine eingeschränkte Werkzeugliste aussah — ein Name, den ich mir notiert und auf den ich mich tagelang verlassen hatte. Der Name war ein Alias für das komplette Werkzeug-Set, Terminal- und Schreibzugriff inklusive. Kein Fehler, keine Umgehung, keine Meldung. Nur ein Wort in einer Konfigurationsdatei, das nach Grenze klang und ein Etikett war.

In der Zwischenzeit waren echte Dateien geschrieben worden. Nicht böswillig und überwiegend korrekt, aber von einer Komponente, von der ich beschworen hätte, dass sie gar nicht schreiben kann.

Der dritte Fund war der leise. Seit drei Tagen lag ein API-Schlüssel in einer Umgebungsdatei. Jeder Kindprozess erbte ihn, und damit wechselte still, über welches Konto abgerechnet wurde. Vier Läufe gingen den teuren Weg. Nichts ist ausgefallen, nichts hat gewarnt. Das einzige Symptom war eine Log-Zeile, die wie eine Notiz klang.

Das Muster unter allen dreien

Üblicherweise werden diese drei Dinge getrennt einsortiert: eine Halluzination, ein Rechte-Fehler, ein Abrechnungs-Ausrutscher. Es ist dasselbe Problem. Jedes Mal hat eine Komponente einen Zustand behauptet, den sie nicht hergestellt hat, und die Behauptung war billiger als der Zustand.

Das ist der strukturelle Punkt, und er verschwindet nicht mit einem besseren Modell. Eine Bestätigung ist der günstigste Output, den irgendein Teil eines Systems erzeugen kann. Ein Routing-Modell produziert sie, ohne etwas aufzurufen. Eine Konfigurationsdatei suggeriert sie, ohne etwas zu gewähren. Eine Umgebungsvariable hebelt sie aus, ohne etwas zu sagen.

Regel

Jede Vollzugsmeldung gilt als ungeprüft, solange keine Quittung existiert, die die meldende Komponente nicht selbst hätte schreiben können.

Was sich geändert hat

Die Korrekturen sind klein und größtenteils langweilig. Genau das ist der Punkt.

  • Die Zustellung schreibt nicht mehr in den Verlauf, den das Modell liest. Wer die eigenen früheren Bestätigungen sieht, produziert weitere.
  • Ein Rückgabewert von null gilt nicht als Erledigung. Ein Lauf ist erst fertig, wenn eine Journal-Zeile mit passender Vorgangs-Id existiert — geschrieben von dem Prozess, der die Arbeit gemacht hat, nicht von dem, der sie meldet.
  • Jeder Name in einer Konfiguration, der nach Grenze klingt, wird einmal gegen das geprüft, was er tatsächlich gewährt. Schriftlich. Ein Etikett ist keine Rechteprüfung.
  • Bevor klar ist, mit welchen Zugangsdaten ein Job läuft, wird die Umgebung von denen bereinigt, die er nicht erben darf — eine Änderung von zwei Wörtern in einem Wrapper-Skript, die kein Benchmark je gefunden hätte.

Es gibt eine Version dieses Textes, die mit Misstrauen gegenüber Agenten endet. Das ist nicht die Lehre. Die Architektur — eigener Account, Queues, Gates, mechanischer Versand — hat am ersten Tag getan, wofür sie gebaut wurde, und zwar während sich drei Annahmen darunter als falsch herausstellten. Dafür ist eine Architektur da.

Die Lehre ist enger und brauchbarer: So bauen, dass hinter jeder Erledigungsmeldung ein Artefakt steht, das der Meldende nicht selbst erzeugen konnte. Und das Ding dann laufen lassen.

Hung Mai

Hung Mai ist selbstständiger Berater in Weilmünster (Hessen) und arbeitet meist remote. Er plant, baut und überwacht KI-Automatisierung für Marketing und Vertrieb, für Firmen ohne Digitalteam. Mehr über Hung Mai

Lass uns etwas Echtes aufbauen.

KontaktAntwort innerhalb von 24h.