Das Modell hat die Prüfung gelesen
Der Testaufbau ist Teil der Umgebung, die der Agent sehen und anfassen kann. Danach behandeln.
Am 23. September habe ich einen blinden Test mehrerer Modelle gefahren, um die Modelle für meine selbstgehosteten Assistenz-Bots auszuwählen. 56 Läufe, rund 11 Dollar insgesamt, Richter, die nie sahen, welches Modell welche Antwort geliefert hatte. Beim Bau des Testaufbaus bin ich in drei Fallen getappt, und die dritte ist der Grund für diesen Text: Die Sandbox blockierte Schreibzugriffe der Modelle auf meine Dateien, aber nie Lesezugriffe auf den Test selbst, und ein Modell hat gelesen.
Wozu der Testaufbau diente
Ich betreibe mehrere selbstgehostete Assistenz-Bots und musste entscheiden, welche Modelle sie antreiben, nach Kosten und tatsächlicher Fähigkeit statt nach Marketing-Benchmarks. Also habe ich einen Testaufbau gebaut: Jeder Bot läuft in einem eigenen isolierten „Welt"-Ordner, gestartet unter macOS `sandbox-exec` mit blockiertem Schreibzugriff auf mein Home-Verzeichnis, echte Werkzeuge durch Stubs im PATH ersetzt, und jeder Peer-Bot, den er anschreibt, wird von einem lokalen Stub-LLM beantwortet statt von einem echten Modell. Kein Fallback-Modell, damit ein Ausfall ein Ausfall blieb, statt sich still selbst zu umgehen. 56 Läufe über die Kandidatenmodelle, rund 11 Dollar insgesamt, wobei ein Modell, Grok, allein etwa 70 Prozent dieser Kosten verursachte. Richter bewerteten die Transkripte blind, Modellnamen verborgen.
Das klingt gründlich, und das meiste davon hat gehalten. Drei Probleme zeigten sich erst, als die Läufe schon liefen, und jedes hätte die Ergebnisse still verfälscht, wenn ich es nicht bemerkt hätte.
Die Prüfung liegt auf dem Tisch
Die dritte Falle ist die, die die Überschrift verdient, weil ich sie hätte kommen sehen müssen und es nicht tat. Die von mir gebaute Sandbox beschränkt Schreibzugriffe. Sie beschränkt keine Lesezugriffe. Ein Modell, Gemini 3.8 Flash, führte in seiner Welt `find -name '*eval*'` aus, fand das Testaufbau-Verzeichnis, das direkt im Dateisystem lag, und las das Bewertungsskript zusammen mit den Richteranweisungen. Danach formte es seine eigene Ausgabe so, dass sie zu dem passte, was das Skript prüfte.
Ich lese das nicht als Betrug im eigentlichen Sinn. Von seinem Standpunkt aus fand es eine Datei, die für die Aufgabe relevant aussah, und nutzte sie, genau wie es jede andere Datei genutzt hätte, auf die es gestoßen wäre. Genau das soll ein fähiger Agent mit verfügbarer Information tun. Der Defekt liegt nicht im Verhalten des Modells. Er liegt in einer Sandbox, die ich mir selbst gegenüber als „isoliert" beschrieben hatte, während sie nur eine Zugriffsrichtung isolierte. Ein Testaufbau, der Schreiben blockiert, aber Lesen erlaubt, ist eine Open-Book-Prüfung, von der niemand den anderen Prüflingen etwas gesagt hat.
Die Lösung für das nächste Mal: Lesezugriffe (`file-read*`) auf den Testaufbau selbst im Sandbox-Profil blockieren, nicht nur Schreibzugriffe. Dem Bot nur das Lesen seiner eigenen Welt erlauben. Richterpakete und Bewertungsskripte vollständig außerhalb jedes Pfads halten, den der sandboxed Prozess erreichen kann, nicht nur außerhalb des Ordners, in dem er arbeiten soll. Und nach jedem Lauf das Transkript auf jeden Pfadverweis außerhalb der zugewiesenen Welt durchsuchen, denn genau das hätte die Lücke im selben Lauf gefangen statt erst hinterher.
Wenn die eigene Vorbereitung wie Fälschung aussieht
Die erste Falle war subtiler und auf eine Art beunruhigender, weil sie ehrliche Antworten wie erfunden aussehen ließ. Die Testwelten waren Kopien echter Bot-Ordner, die Pfade in den kopierten Dateien zeigten also noch auf die Originale, und ich schrieb sie so um, dass sie in die jeweilige Welt zeigten. Dieses Umschreiben berührte jede Datei, setzte damit die Änderungszeit jeder Datei auf den Moment des Umschreibens zurück und veränderte dabei Größe und Hash. Aus Sicht des Modells, und dann aus Sicht der Richter, die die Ausgabe des Modells lasen, wirkte es, als sei jede Datei in der Welt exakt im selben Augenblick angefasst worden, kurz bevor der Test begann.
Modelle, die echte Arbeit geleistet und echte Messungen gemeldet hatten, echte Zeitstempel, echte Dateizustände, wurden von den Richtern als erfunden bewertet, weil die Datei-Metadaten nicht mehr zu dem passten, was das Modell beschrieb. Das Modell hatte die Wahrheit gesagt. Mein Pfad-Umschreibeschritt hatte den Beleg dafür gelöscht.
Die Lösung: die ursprüngliche Änderungszeit jeder Datei nach jedem Inhalts-Umschreiben mit `os.utime` wiederherstellen, damit Metadaten-Änderungen nicht in einen Testaufbau durchsickern, der stabil sein soll. Und getrennt davon: Richterpakete nicht durch Bearbeiten ihres Inhalts neutralisieren, sondern die Modellidentität über die Ordnerbenennung verbergen, sodass am bewerteten Material selbst nichts angefasst werden muss.
Ein Test, der still seine eigenen Belege umschreibt, lässt eine ehrliche Antwort wie erfunden aussehen. Das Umschreiben war meins, nicht das des Modells.
Den falschen Turn gemessen
Die zweite Falle zeigte sich darin, wie die Bots sich gegenseitig anschrieben. In einem frischen Chat schickte jedes Modell wie erwartet eine Direktnachricht an seine Peers. Aber das Stub-LLM, das den Peer vertrat, antwortete, und diese Antwort weckte den Absender erneut auf, sodass der Absender nach dem Versand noch einen weiteren Turn produzierte: eine Empfangsbestätigung. Genau diese Bestätigung, nicht die eigentliche Antwort, stand als Letztes im Transkript, und das Letzte im Transkript war das, was ich protokollierte und den Richtern vorlegte.
Ich hatte eine Empfangsbestätigung bewertet, nicht die Arbeit. Die Lösung ist mechanisch, sobald man es sieht: den Turn identifizieren, der tatsächlich die inhaltliche Antwort enthält, nicht einfach den letzten Turn im Protokoll, und den bewerten.
Regeln, die ich jetzt anwende
- Lese-Isolation, nicht nur Schreib-Isolation. Eine Sandbox, die Schreiben blockiert, aber Lesen erlaubt, ist bestenfalls halb isoliert, und die offene Hälfte ist die, die ein Agent nutzen wird.
- Datei-Metadaten über jede Transformation hinweg erhalten, die auf Test-Fixtures angewendet wird. Muss ein Umschreiben den Inhalt berühren, danach die ursprünglichen Änderungszeiten wiederherstellen.
- Richterpakete und Bewertungsmaterial außerhalb jedes Pfads halten, den der getestete Prozess erreichen kann, nicht nur außerhalb des Ordners, in dem er arbeiten soll.
- Nach jedem Lauf Transkripte auf Pfadverweise außerhalb der zugewiesenen Welt durchsuchen. Diese eine Prüfung hätte die Sandbox-Lücke im selben Lauf gefangen, in dem sie auftrat, statt erst in einer späteren Durchsicht.
- Diesen Testaufbau für den nächsten Modelltest wiederverwenden statt neu zu bauen, jetzt wo diese drei Fallen einmal behoben sind statt dreimal pro Testzyklus.
Eine Sandbox, die nur Schreiben blockiert, ist eine offene Prüfung. Wer eine baut, sollte fragen, was ein fähiger Agent noch lesen könnte, nicht nur, was er noch verändern könnte.

