Deine Policy-Datei ist keine Kontrolle
Regeln im Kontextfenster sind Dokumentation. Durchsetzung ist etwas, das vor dem Modell läuft, nicht etwas, das man das Modell erinnern lässt.
Jedes Team, das mit Agenten automatisiert, schreibt irgendwann dieses Dokument. Es heißt AGENTS.md oder SOP oder Hausregeln, es wächst mit jedem Vorfall, und es fühlt sich nach Sicherheit an. Drei Befunde der vergangenen Woche sagen: überwiegend ist es das nicht.
Der Benchmark, der die Guardrail-Frage verschiebt
Ein neuer Agent-Benchmark legt eine Verfahrensanweisung ins Kontextfenster (20 bis 124 Seiten) und lässt das Modell 65 realistische Aufgaben unter diesen Regeln erledigen. Die Aufgaben sind nicht trivial: im Schnitt rund 17 Reasoning-Schritte und 30 Tool-Calls.
Kein Frontier-Modell kommt über 25 Prozent Pass-Rate. Die Zahl allein ist schon unangenehm. Wichtiger ist, wo die Fehler liegen: Die Modelle reißen auch die Klauseln, die schlicht stopp sagen. Nicht die feinen Abwägungen, nicht die unklaren Eskalationsregeln. Die harten Verbote.
Wer eine lange Policy-Datei bisher für das Ding gehalten hat, das einen autonomen Prozess in der Spur hält, sollte genau hier hängen bleiben. Einhaltung war nie eine Eigenschaft des Dokuments. Sie war eine Hoffnung über den Leser.
Die Gegenbewegung zeigt dasselbe
In derselben Woche berichtet Anthropic, für die neuesten Modelle über 80 Prozent des Claude-Code-System-Prompts gelöscht zu haben, ohne messbaren Rückgang auf den Coding-Evals. Begründung: Constraints, die gegen alte Worst Cases geschrieben wurden, seien zu widersprüchlichen Anweisungen und Token-Ballast geworden.
Beide Ergebnisse nebeneinander: Ein Team legt Policy nach und misst 25 Prozent Einhaltung. Ein anderes streicht 80 Prozent seiner Policy und verliert nichts Messbares. Die Menge an Prosa im Kontextfenster ist offenbar weitgehend unabhängig davon, wie sich das System tatsächlich verhält.
Eine Regel, die das Modell erinnern muss, ist eine Präferenz. Eine Regel, die vor dem Modell läuft, ist eine Kontrolle.
Aussagen über die Umgebung sind nicht die Umgebung
Die schärfere Version kam nicht aus einem Benchmark, sondern aus dem Betrieb. Bei Capture-the-Flag-Sicherheits-Evals gab ein Konfigurationsfehler mehreren Modellen echten Internetzugriff, während im Prompt stand, sie seien offline. Die frühesten Fälle stammen aus dem April, aufgefallen ist es Ende Juli beim Review der Transkripte. Zwei der drei betroffenen Organisationen wussten nichts davon.
Die Netzwerkebene hat niemand geprüft, weil im Prompt stand, dass es nichts zu prüfen gibt. Das ist das Fehlermuster in einem Satz: Eine Behauptung im Kontextfenster wurde wie eine Tatsache über das System behandelt.
Die Memory-Forschung derselben Woche reimt sich darauf. Ein Benchmark misst 14,4 Prozent Trefferquote, wenn ein Agent einen gespeicherten Fakt aktiv abrufen muss, gegenüber 84 Prozent, wenn derselbe Fakt schon im Kontextfenster liegt. Die Embedding-Dimension zu verachtfachen ändert daran fast nichts. Was das Modell erreicht und was du aufgeschrieben hast, sind zwei verschiedene Dinge, und der Abstand ist groß.
Wie eine Kontrolle tatsächlich aussieht
Drei Eigenschaften, und Prosa hat keine davon.
- Sie läuft außerhalb des Modell-Kontexts: im Client, im Gateway, in der Runtime, im Scheduler. Etwas, mit dem das Modell nicht diskutieren, das es nicht umdeuten und nicht vergessen kann.
- Sie fällt geschlossen aus. Wenn die Prüfung nicht durchläuft, passiert die Aktion nicht. Ein Satz in einer Policy-Datei hat keinen geschlossenen Zustand; er wird gelesen oder eben nicht.
- Sie hinterlässt ein Artefakt. Einen Zeitstempel, eine Logzeile, eine geschriebene Datei, die ein zweites, dümmeres System hinterher prüfen kann.
Konkret in einem Automations-Stack: nicht „nie mehr als fünf Executions gleichzeitig neu anstoßen" in einer Markdown-Datei, sondern ein Zähler im API-Client, der den sechsten Aufruf verweigert. Nicht „blockiere nicht bei langen Calls", sondern ein Runtime-Timeout, das den Call in den Hintergrund schiebt. Nicht „schreibe immer eine Zusammenfassung", sondern eine Freshness-Prüfung, die auf das Ausgabeverzeichnis schaut und Alarm schlägt, wenn dort seit einer Woche nichts Neues liegt.
Wenn deine einzige Durchsetzung ein Satz im Kontextfenster ist, hast du keine Durchsetzung. Du hast Dokumentation.
Was ich selbst falsch gemacht habe
Meine eigene Wochen-Pipeline war Anfang des Sommers drei Wochen still. Sie ist nie abgestürzt; ein blockierender Aufruf in einer unbeaufsichtigten Session hat einfach endlos gewartet, und der Zeitplan meldete jedes Mal einen erfolgreichen Lauf. Meine erste Reaktion war ein Guard-Absatz in 19 Task-Dateien, der genau erklärt, was nicht zu tun ist.
Dieser Absatz ist ein Protokoll des Vorfalls. Eine Abwehr ist er nicht. Die Absicherung, die hält, kam später und eine Ebene tiefer: eine Runtime-Einstellung, die jeden Aufruf jenseits eines Schwellwerts in den Hintergrund schiebt, damit ein hängendes Tool die Session nicht mehr mitnimmt.
Gelöscht habe ich die Prosa nicht, und ich würde es auch nicht. Geschriebene Regeln sind der Grund, warum ein Mensch das System in sechs Monaten wieder versteht. Sie sollten nur nicht tragend sein. Behalte das Dokument als Erklärung, und verschiebe jede Regel, an der dir wirklich etwas liegt, in etwas, das läuft.
Die nützliche Audit-Frage ist nicht, ob deine Policy vollständig ist. Sie lautet: Welche deiner Regeln würden noch greifen, wenn das Modell kein Wort davon gelesen hätte?

