Die Aufsicht wird zuerst gestrichen
Die Prüfung am Durchsatz bemessen, bevor der erste Vorfall passiert, nicht danach.
Drei Geschichten kamen in derselben Woche herein, ein Pentagon-Bericht, eine australische Behörde, eine CHRO-Umfrage, ohne Gemeinsamkeit außer dieser: In jeder lief das System, das Ausgaben produzierte, mit voller Geschwindigkeit weiter, während die Schicht aus Menschen, die diese Ausgaben prüfen sollte, verkleinert worden war, nie aufgebaut wurde, oder nur auf dem Papier existierte. Keine der drei Geschichten handelt davon, dass ein Modell eine falsche Antwort gab. Alle drei handeln davon, was mit der Prüfung um das Modell herum passiert, sobald das Modell schnell genug ist, dass die Prüfung überflüssig aussieht.
Drei Geschichten, ein Muster
Bloomberg berichtete am 23. September über einen Pentagon-Bericht zu einem Angriff auf eine Schule in Minab, Iran, am 28. Februar 2026. Die Zielempfehlung kam vom Maven Smart System, einem militärischen KI-Zielsystem, das laut Bericht in 24 Stunden über 1.000 Ziele bewertet hatte. Vor diesem Angriff waren die Teams zur Prüfung ziviler Schäden um rund 90 Prozent verkleinert worden, das CENTCOM-Team von 10 Personen auf 1. Vor dem Angriff fand keine Prüfung statt. Der Bericht nennt übermäßiges Vertrauen in das KI-System als mitwirkenden Faktor. Ich will präzise sein, was das heißt und was nicht: Der Bericht sagt nicht, dass das Modell fehlfunktionierte. Er sagt, dass die Organisation um das Modell herum die Prüfung entfernt hatte, während das System mit unveränderter Geschwindigkeit weiterlief. Den menschlichen Preis nenne ich einmal, nüchtern, und gehe dann weiter, denn daraus einen Aufhänger zu machen wäre die falsche Verwendung: Bei diesem Angriff starben Menschen. Das Muster, das einen ungeprüften Angriff wahrscheinlicher machte, ist der Teil, den es hier zu untersuchen lohnt.
Die zweite Geschichte ist kleiner im Ausmaß und die Mechanik darin leichter zu sehen. ABC Australia berichtete am 24. September, dass ein OpenAI-Agent am 18. Juni 2026 auf einen Medicare-Statistikdienst der Behörde Services Australia zugegriffen hatte. Intern fiel das jemandem am 11. August auf, 54 Tage später. Extern gemeldet wurde es am 10. September, per E-Mail an ein öffentliches Postfach, 30 Tage nach der Entdeckung und 84 Tage nach dem ursprünglichen Zugriff. Der australische Nachrichtendienst ASD wurde am 15. September eingeschaltet. Die Regierung sagt, es seien keine persönlichen Medicare-Daten zugegriffen worden, die Forensik läuft noch. Der Premierminister nannte die Verzögerung inakzeptabel. Was mir auffällt, sind nicht die 84 Tage für sich. Es ist, dass die Meldung als E-Mail an ein geteiltes Postfach ging, und das passiert, wenn vorher niemand festgelegt hatte, wer eine solche Meldung erhält, auf welchem Kanal, innerhalb welcher Frist. Der Meldeweg wurde im Moment des Bedarfs improvisiert, genau dem Moment, in dem er sich das am wenigsten leisten kann.
Die dritte ist eine Umfrage, kein Vorfall, und sie erklärt, warum die ersten beiden sich wiederholen. IBM veröffentlichte am 21. September eine CHRO-Studie, in der HR-Verantwortliche die KI-Kompetenz der eigenen Teams mit 13 Prozent bewerteten und die Fähigkeit, KI-Leistung zu messen, mit 16 Prozent. Change Management für KI-Einführung kam auf 20 Prozent. Zugleich nannten 71 Prozent derselben CHROs Überwachen, Prüfen und Korrigieren von KI-Ausgaben als die wichtigste Fähigkeit für ihre Teams. Sie wissen, worauf es ankommt. Sie berichten in derselben Umfrage, dass sie es nicht haben.
Warum die Prüfung der billigste Posten zum Streichen ist
Ein Prüfschritt erzeugt keine sichtbare Ausgabe, wenn er funktioniert. Niemand zeigt auf einen Angriff, der nicht stattfand, oder einen Datenzugriff, der vor Beginn blockiert wurde, und nennt das ein Ergebnis. Das System, das 1.000 Ziele in 24 Stunden bewertet, oder ein Agent, der in unter einer Sekunde eine Behörden-API abfragt, erzeugt sofort etwas Sichtbares: Durchsatz. Unter Budget- oder Personaldruck verteidigt sich der Durchsatz von selbst, die Prüfung nicht, weil ihr gesamter Wert per Konstruktion unsichtbar ist. Das ist kein Fehler der Leute, die die Kürzung entscheiden. Es passiert, sobald man eine sichtbare Zahl gegen eine unsichtbare abwägt.
Das CENTCOM-Team ging von 10 auf 1, nicht auf 0. Ich vermute, das sah auf dem Papier aus wie der Erhalt der Funktion bei reduziertem Personal, genau die Art Entscheidung, die in einem Budgetgespräch vernünftig klingt und aufhört, vernünftig zu sein, sobald das geprüfte System schneller wird, als eine einzelne Person mithalten kann.
Die Prüfung am Durchsatz bemessen
Die Zahl, die vor dem Start eines solchen Systems existieren sollte, ist nicht „haben wir einen Prüfprozess". Es ist ein Verhältnis: Prüfungen pro Stunde gegen Aktionen, die das System pro Stunde ausführen kann. Wächst der Durchsatz der Automatisierung, ohne dass die Prüfkapazität mitwächst, verschlechtert sich dieses Verhältnis lautlos von einer funktionierenden Kontrolle zur Formalität und dann zu nichts, ohne dass irgendjemand ausdrücklich entscheidet, sie abzuschaffen. Über 1.000 Ziele in 24 Stunden heißt rund alle 86 Sekunden eines, rund um die Uhr. Zehn Prüfer gegen dieses Tempo sind schon ein dünnes Verhältnis. Ein Prüfer gegen dasselbe Tempo ist gar keins mehr. Niemand hat dieses zweite Verhältnis als Entscheidung aufgeschrieben. Es wurde wahr als Nebeneffekt einer Personalkürzung, angewandt auf ein System, dessen Tempo sich nicht änderte.
Ich rechne dieselbe Arithmetik für meinen eigenen Stack, weil ich Einzelunternehmer bin und das Verhältnis nicht hinter einem Team verstecken kann. Meine Agenten könnten technisch weit mehr autonome Aktionen pro Stunde ausführen, als ich ihnen derzeit erlaube. Ich halte diese Zahl bewusst niedrig, nicht weil das Modell mehr nicht könnte, sondern weil „am Durchsatz bemessen" für eine Person heißt: Die Prüfkapazität ist genau die Aufmerksamkeit einer Person, und ich schreibe kein Verhältnis, das voraussetzt, ich könnte schneller prüfen, als ich es tatsächlich kann.
Eine Kontrolle, die keine sichtbare Ausgabe erzeugt, wenn sie funktioniert, sieht für eine Budgetzeile aus wie nichts. Sie ist der einfachste Posten im System, den man streichen kann, und der letzte, den man vermissen möchte, wenn er gebraucht wird.
Der Meldeweg ist eine Design-Entscheidung, kein Reflex
Der australische Fall ist ebenso ein Meldeweg-Versagen wie ein Zugriffs-Versagen. Nachdem jemand das Problem gefunden hatte, gab es offenbar keine vorab festgelegte Antwort auf: wer wird informiert, auf welchem Kanal, innerhalb welcher Frist. Diese Antwort muss vor dem Vorfall existieren, so wie die DSGVO 72 Stunden und eine bestimmte Behörde festlegt, statt es demjenigen zu überlassen, der den Verstoß entdeckt, unter Druck einen Kanal zu improvisieren. Ein geteiltes Postfach ist das Ergebnis, wenn Frist und Empfänger nie schriftlich entschieden wurden. Es ist weniger ein Kommunikationsfehler als ein fehlendes Bauteil des Designs, das zusammen mit dem System hätte ausgeliefert werden müssen, das den Vorfall überhaupt auslösen konnte.
Was ich in meinem eigenen Stack mache
- Mein Agenten-Stack läuft mit einem unabhängigen Watchdog, der alle 10 Minuten prüft und mich per Telegram anpingt, ein separater Prozess, nicht etwas, das die Agenten über sich selbst melden.
- Der Alarmweg ist vor dem Start entschieden: welcher Kanal, wer liest ihn, innerhalb welchen Fensters. Nicht improvisiert im Moment des Vorfalls.
- Die Schutzschwelle sitzt bei der letzten unumkehrbaren Aktion, nicht bei einem Zähler auf den Durchsatz. Nichts wird gesendet, gepostet oder gelöscht ohne meine ausdrückliche Freigabe, egal wie viele Aktionen vorher sauber liefen.
- Ich halte die Zahl autonomer Aktionen pro Stunde unter dem, was das Modell technisch könnte, weil meine tatsächliche Prüfkapazität fest ist, und das Verhältnis nur hält, wenn ich ehrlich bin, welche Seite davon die Grenze setzt.
Eine Kontrolle, die keine sichtbare Ausgabe erzeugt, wenn sie funktioniert, ist der billigste Posten in jedem Budget und der gefährlichste, den man streicht.

