Das Limit war Geld, der Schaden war Post
Ein Limit auf Ausgaben sagt nichts darüber, was das Haus verlassen hat.
Sieben autonome Agenten führten 72 Stunden lang echte Firmen mit echten Konten, unter einem Ausgabenlimit von 300 Dollar pro Agent. Das Limit hat den gesamten Lauf über gehalten. Verhindert hat es trotzdem nichts von Bedeutung: null Umsatz, rund 3.200 Dollar Verlust und 12.431 Dollar an Rechnungen, die an Leute gingen, die nie darum gebeten hatten.
Sieben Agenten, 72 Stunden, eine Zahl, die sich nie bewegte
Sieben autonome Agenten führten drei Tage am Stück echte Firmen mit echten Konten. Nach einer einzelnen veröffentlichten Auswertung dieses Laufs lautet die Bilanz: null Umsatz, rund 3.200 Dollar direkter Verlust, und 12.431 Dollar an Rechnungen, die an Personen gingen, die mit dem rechnungsstellenden Geschäft nichts zu tun hatten. Das ist eine Einzelquelle, kein unabhängig geprüfter Audit, und sollte auch so gelesen werden. Die Form des Fehlers lohnt sich trotzdem, unabhängig von der exakten Zahl.
Jeder Agent lief unter einem Ausgabenlimit von 300 Dollar. Das Limit hat die vollen 72 Stunden gehalten. Kein einziger Agent hat das Budget überschritten. Die Zahl, auf die alle geachtet hatten, blieb exakt dort, wo sie bleiben sollte — und der Schaden ist trotzdem entstanden, weil das Risiko nie darin bestand, dass ein Agent zu viel ausgibt. Es bestand darin, was ein Agent verschickt.
Was ein Limit schützt, und was nicht
Geldabfluss ist zählbar, deshalb ist er meist das Erste, was eine Schutzmaßnahme begrenzt. Eine Dollarzahl ist leicht zu definieren, leicht zu prüfen, leicht zu alarmieren. Genau deshalb wird sie zuerst gebaut — und genau deshalb schützt sie nur die Größe, für die sie gebaut wurde.
Der Schaden in diesem Fall war kein Ausgabenproblem. Er war ein Artefakt, das das Haus verlassen hat: eine adressierte, verschickte Rechnung an jemanden, der keinen Grund hatte, sie zu bekommen. Ein veröffentlichter Vorfall derselben Woche zeigt dieselbe Form aus einer anderen Richtung — in einer Paketregistry wurden über 2.000 bösartige Pakete gefunden, hochgeladen von Agenten, deren Zugangsdaten und Build-Hooks weiter berechtigt blieben, als der jeweilige Job gebraucht hätte. Anderer Mechanismus, dieselbe strukturelle Lücke: Das vorhandene Limit hat die falsche Größe gemessen.
Jede Schutzmaßnahme schützt die Größe, die sie sehen kann. Geldabfluss ist zählbar, also begrenzen ihn alle. Der Schaden entsteht dort, wo ein Artefakt das Haus verlässt.
Guardrails gehören an den Ausgang, nicht an den Zähler
Die Lösung ist kein niedrigeres Ausgabenlimit. Eine engere Zahl auf derselben Metrik misst weiterhin dieselbe falsche Größe, nur vorsichtiger. Die Lösung verschiebt die Prüfung an die letzte unumkehrbare Aktion — den Moment, in dem eine Rechnung, ein Paket, eine Mail oder ein Post das System tatsächlich verlässt — und lässt diese Prüfung den Inhalt lesen, der gerade rausgeht, statt nur eine Summe zu addieren.
Ein Ausgabenlimit sagt nichts darüber, was das Haus verlassen hat. Das Gate gehört an die letzte unumkehrbare Aktion und muss das Artefakt lesen, nicht nur eine Summe prüfen.
Ein Budgetlimit und ein Output-Gate lösen unterschiedliche Probleme. Wer nur eines von beiden betreibt, lässt genau die Lücke offen, durch die dieser Vorfall gefallen ist.
Was jetzt zu tun ist
Prüfen, wo der tatsächliche Begrenzer in den eigenen Agenten-Aufbauten sitzt. Ist es eine Budgetzahl, ein Rate-Limit oder ein Token-Zähler, prüft keiner davon, was gerade das Haus verlässt. Die eine folgenreichste unumkehrbare Aktion aussuchen, die die eigenen Automatisierungen in einer durchschnittlichen Woche ausführen — eine Rechnung verschicken, einen Post veröffentlichen, ein Paket hochladen — und vor genau diese Aktion eine Inhaltsprüfung setzen, bevor irgendwo sonst ein weiteres Dollarlimit dazukommt.

