Wohin die Daten dürfen, entscheidet das Modell
Bei vertraulichen Zusammenfassungen zuerst den Datenweg klären, dann den Prüfschritt. Das Modell kommt zuletzt.
Ein Kunde, der Führungskräfte-Assessments durchführt, hat mich diese Woche gefragt, ob KI einen dreißigseitigen 360-Grad-Feedbackbericht auf eine halbe Seite verdichten kann: drei Stärken, drei Entwicklungsfelder, ein paar Empfehlungen. Ein Berater würde jede Zusammenfassung überarbeiten, und nichts, was ein Modell geschrieben hat, ginge ungeprüft an einen Kunden. Der Anlass war der Preis. Eine Ausschreibung war kurz vorher an einen Wettbewerber gegangen, der halb so viel verlangt hatte. Die Bedingung kam im selben Atemzug: Die Daten dürfen nie abfließen und nie auf einer öffentlichen KI-Plattform auffindbar sein.
Nie auffindbar, übersetzt
Die Bedingung ist vernünftig und so, wie sie formuliert ist, nicht prüfbar. „Nie auffindbar" kann niemand nachweisen. Prüfen lässt sich eine kurze Liste von Fragen dazu, wohin der Bericht geht, sobald er den Laptop des Beraters verlässt.
- Wird der Inhalt zum Training von irgendetwas verwendet?
- Wie lange wird er gespeichert, und wo?
- Wer kann ihn unterwegs lesen: Mitarbeiter des Anbieters, deren Unterauftragnehmer, jeder mit Zugriff auf Protokolle?
- Auf welcher Maschine wird tatsächlich gerechnet?
Ein gehosteter Assistent mit ordentlichem Auftragsverarbeitungsvertrag beantwortet die ersten drei auf dem Papier, und die Antworten sind meist akzeptabel. Die vierte Antwort bleibt „auf der Maschine eines anderen", und bei einem Bericht, der eine Führungskraft namentlich nennt und zitiert, was ihr Team über sie denkt, ist das genau die, um die sich der Kunde sorgte. Ein Modell, das auf einer Maschine läuft, die die Firma selbst kontrolliert, beantwortet alle vier mit „hier".
Damit wird die Firma allerdings zum Betreiber. Jemand spielt Updates auf diese Maschine, entscheidet, wer sich anmelden darf, hält die Sicherungen vor und weiß, auf welchen Laptop die Berichte kopiert wurden. Diese Verantwortung ist der eigentliche Preis der lokalen Variante, und sie gehört in die Empfehlung neben die Lizenzkosten.
Eine halbe Seite muss prüfbar sein
Die Zusammenfassung spart nur dann Geld, wenn das Überarbeiten eines Entwurfs weniger Zeit kostet als das Schreiben von Grund auf. Das hängt fast vollständig davon ab, wie schnell ein Berater prüfen kann, was das Modell geschrieben hat.
Diese Woche lieferte einen brauchbaren Vergleichspunkt. Ein großer Anbieter hat ein Rechercheprodukt für Juristen vorgestellt, mit einem eigenen Index über mehr als 200 Millionen Rechtsdokumente. Mit diesem Index stieg der Anteil korrekter Antworten von 38,7 auf 54,0 Prozent. Das ist ein echter Fortschritt, und es bleibt trotzdem fast die Hälfte der Antworten falsch, in einem Gebiet mit weit besserem Quellmaterial als einem einzelnen Feedbackbericht. Bei einem Assessment ist ein falscher Punkt unter „Entwicklungsfelder" eine falsche Aussage über einen namentlich bekannten Menschen, abgegeben von der Beratung.
Der Prüfschritt ist also Teil des Produkts und verdient dieselbe Sorgfalt wie der Prompt. Meine Arbeitsfassung: Jede Aussage in der Zusammenfassung verweist auf die Seiten des Ausgangsberichts, auf denen sie beruht. Der Berater prüft dann drei Stärken und drei Schwächen gegen sechs Seitenverweise, das dauert Minuten. Eine Zusammenfassung ohne Verweise muss gegen dreißig Seiten geprüft werden, und dann ist die Zeitersparnis weg.
Ob sich die Zusammenfassung rechnet, entscheidet der Prüfschritt. Das Modell entscheidet dabei sehr wenig.
Kleine Modelle für enge Aufgaben
Bis vor kurzem hieß „lokal betreiben", ein deutlich schwächeres Modell in Kauf zu nehmen. Für enge Aufgaben schließt sich diese Lücke. Eine weitere Veröffentlichung dieser Woche behauptet, ein Modell mit 27 Milliarden Parametern behalte auf unter sechs Gigabyte komprimiert rund 98 Prozent seiner Leistung in voller Größe, klein genug für einen gut ausgestatteten Laptop. Das ist die Zahl des Anbieters, gemessen auf Reasoning-Benchmarks, die über deutsche Feedbackberichte wenig aussagen.
Eine strukturierte Zusammenfassung mit festem Format ist ungefähr die engste Sprachaufgabe, die es gibt. Ob ein lokales Modell für genau diese gut genug ist, beantwortet ein einziger echter Bericht. Eine Rangliste beantwortet es nicht.
Was ich teste, bevor ich etwas empfehle
- Ein echter Bericht, anonymisiert, durch ein lokales Modell mit Seitenverweis-Format. Derselbe Bericht von einem Berater ohne KI zusammengefasst, mit Zeitmessung.
- Danach überarbeitet der Berater den Entwurf des Modells, ebenfalls gemessen. Entscheidend ist der Vergleich Beraterminuten pro Bericht, vorher und nachher.
- Eine schriftliche Liste, wo der Bericht in der lokalen Variante überall liegt: welche Maschine, welcher Ordner, wer Zugriff hat, was wann gelöscht wird.
- Zum Vergleich dieselben vier Fragen für eine gehostete Variante mit Auftragsverarbeitungsvertrag beantwortet, damit der Kunde zwischen zwei beschriebenen Wegen entscheidet und nicht zwischen einer Sorge und einem Versprechen.
Bei vertraulichen Dokumenten zuerst den Datenweg aufschreiben, dann ein Modell wählen. Eine Anforderung wie „verlässt nie das Haus" wird zum Entwurf, sobald sie eine Liste aus Maschinen, Menschen und Löschterminen ist.

