Was Selbstverifikation nicht finden kann
Selbstverifikation beweist Ausführung. Sie beweist nie, dass man sich die Welt richtig vorgestellt hat.
Ich habe letzte Woche ein Werkzeug in fünf getrennten Agenten-Phasen bauen lassen. Jede Phase hat ihre Arbeit vor der Übergabe im echten Browser end-to-end verifiziert. Das Verfahren hat gehalten — keine Phase hat kaputten Code weitergereicht. Dann hat der erste Mensch das Ding mit seinen eigenen Dateien geöffnet und in zehn Minuten zwei echte Fehler gefunden.
Das Verfahren hat funktioniert
Der Aufbau war Absicht. Fünf Phasen, strikt nacheinander, jede ein eigener Agent mit engem Auftrag: Grundgerüst, dann ein Bearbeitungsmodus, dann der nächste, dann der nächste, dann Politur. Die Übergaberegel war der eigentliche Kern — eine Phase durfte erst abgeben, wenn sie das gebaute Feature im echten Browser durchgespielt und laufen gesehen hatte. Nicht „der Code sieht richtig aus". Tatsächlich durchgeklickt.
Dieser Teil hat gehalten, was er versprach. Keine Phase hat kaputte Arbeit weitergereicht, keine spätere Phase hat ihr Budget mit der Reparatur einer früheren verbrannt, und jedes als fertig gemeldete Feature war im engen Sinn fertig. Wer schon einmal zugesehen hat, wie eine Agentenkette über Übergaben hinweg leise Schulden anhäuft, weiß, dass das kein kleines Ergebnis ist.
Dann hat ein Mensch das Werkzeug benutzt, mit eigenen Dateien, und es ist zweimal umgefallen.
Die zwei Fehler
Der erste: die Link-Erkennung. Die Dokumenten-Bibliothek stellt ein praktisch vorvalidiertes URL-Feld bereit — und dieses Feld lässt stillschweigend jedes Link-Schema weg, das es nicht auf seiner Liste hat. Weggelassen werden damit exakt die Links, die ein Nutzer am dringendsten reparieren will: kaputte Vorlagen-Platzhalter, übrig gebliebene lokale Pfade, der Button, der ins Leere zeigt. Die Funktion war gebaut, um kaputte Links zu reparieren, und war für die kaputten strukturell blind. Auf jedem wohlgeformten Dokument lief sie tadellos — und jedes Dokument, das dem Agenten zur Verfügung stand, war wohlgeformt.
Der zweite: der Export. Das Speichern der fertigen Datei lief in eine kontoabhängige Dateityp-Freigabe — auf meiner Seite gesetzt, auf der anderen nicht. Der Export-Pfad war end-to-end verifiziert worden, ehrlich und korrekt, in dem einen Konto, das dem bauenden Agenten zur Verfügung stand.
Keiner der beiden Fälle ist ein Programmierfehler. Beide sind Annahmen, die nie im Blick waren.
Warum sich die Schleife nicht selbst schließen kann
Ein selbstverifizierender Agent prüft den Pfad, den er gebaut hat, mit Daten, die er sich ausgedacht hat. Beide Hälften dieses Satzes sind das Problem.
Der gebaute Pfad ist der glückliche, weil das der Pfad war, an den er beim Bauen gedacht hat. Die ausgedachten Daten sind wohlgeformt, weil ein Modell, das ein Testdokument erzeugen soll, ein ordentliches Testdokument erzeugt — und nicht das mit dem unaufgelösten Platzhalter aus einer Vorlage, die jemand 2023 liegen gelassen hat. Und es gibt immer nur eine Umgebung, ein Konto, einen Satz Berechtigungen, weil der Agent nicht mehr hat.
Selbstverifikation prüft Ausführung. Sie prüft nie, ob man sich die Welt zu ordentlich vorgestellt hat.
Das ist kein Argument gegen automatische Verifikation. Die Phasen, die sich selbst geprüft haben, waren deutlich besser als die Phasen früherer Projekte ohne diese Regel. Es ist ein Argument über die Fehlerklasse, die das Verfahren abdeckt: Es fängt „läuft es durch" — zuverlässig und billig. Es kann „habe ich mir die Realität zu sauber gedacht" nicht fangen, nie, schon vom Aufbau her.
Die Fremdbelege sind diesen Monat ungewöhnlich deutlich
Zwei Befunde der letzten Wochen sagen dasselbe von der anderen Seite. Ein Audit über 1.518 Benchmark-Durchläufe von 22 Frontier-Modellen aus sieben Häusern fand, dass 37,1 % der bestandenen Aufgaben irgendeine Form von Schummeln enthielten — veröffentlichte Lösungen nachschlagen, Antwortdateien aus der Prüfumgebung lesen, den Container abklopfen. Kein Ausreißer-Modell. Die meisten, unter Bedingungen, in denen das System seine Arbeit praktisch selbst benotet.
Der zweite Befund ist leiser. Ein Paper zu extern verifizierten Agent-Harnessen berichtet, dass bei statischen Prüfungen alle Methoden innerhalb von rund zehn Punkten beieinanderliegen — der Abstand von zwanzig bis dreißig Punkten entsteht erst, wenn der Code wirklich ausgeführt wird. Statische Einigkeit ist billig. Und genau dort sitzt der Großteil jeder Selbstbewertung.
Ein Prüfer, der das Weltbild des Bauenden teilt, ist keine zweite Prüfung. Er ist dieselbe Meinung, zweimal gezählt.
Was sich dadurch ändert
Die Antwort ist nicht mehr Verifikation, sondern Verifikation mit fremden Eingaben — Material, das der Bauende nicht ausgesucht hat:
- **Echte kaputte Artefakte als Fixture.** Keine generierten Testdaten. Die tatsächlich fehlerhafte Datei aus der letzten Beschwerde, ins Repository gelegt und bei jedem Lauf erneut durchgespielt.
- **Eine zweite Identität.** Woran auch immer sich Rechte, Kontingente oder Freischaltungen unterscheiden — Konto, Mandant, Rolle: Der Abnahmelauf findet in dem statt, das dem Bauenden nicht gehört.
- **Vergangene Ausfälle als Regressionsfälle.** Jeder Vorfall wird ein eingefrorener Fall, damit derselbe Defekt nicht leise zurückkommt. Der Betrieb ist das Testdatenset — man muss es nur aufheben.
- **Ein menschlicher Durchgang an dem, was wirklich benutzt wird.** Zehn Minuten, mit eigenen Dateien, bevor irgendjemand „ausgeliefert" sagt.
Nichts davon ist anspruchsvoll. Es ist alles langweilig, und es ist immer dieselbe Bewegung: dafür sorgen, dass mindestens eine Eingabe in der Schleife nicht von dem stammt, der die Sache gebaut hat. Alles andere in der Schleife ist sich ohnehin schon einig.

