Alle Insights

Der Harness schlägt das Modell

Memory, Skills, Protokolle und ein Selfheal-Loop bewegen Agenten-Zuverlässigkeit mehr als der nächste Modell-Release. Ein Paper hat dem Muster jetzt einen Namen gegeben.

Ein neues Paper gibt einem Muster einen Namen, das viele Praktiker längst fahren, ohne es zu benennen: Agenten werden nicht besser, weil sich ihre Gewichte ändern, sondern weil jemand die Struktur drumherum härtet. Vier Achsen (Memory, Skills, Protokolle, Harness) erklären mehr von den Zuverlässigkeits-Gewinnen dieses Jahres als jeder Modell-Release.

Vier Achsen, null Gewichts-Updates

Ein Review-Paper, das dieses Jahr die Runde macht, „Externalization in LLM Agents", von SJTU, CMU und OPPO, stellt eine These auf, die eigentlich umlenken sollte, wohin das nächste Verbesserungsbudget fließt. Agenten werden nicht zuverlässiger, weil sich ihre Gewichte ändern. Sie werden zuverlässiger, weil jemand die Laufzeit-Umgebung drumherum neu baut. Das Paper bündelt diese Arbeit in vier Achsen.

  • Memory: Zustand, der über ein einzelnes Kontextfenster hinaus überlebt, nicht nur ein größeres Fenster
  • Skills: prozedurales Wissen, einmal festgehalten und bei Bedarf abgerufen, statt jede Session neu hergeleitet
  • Protokolle: die Struktur, die regelt, wie ein Agent Tools, Daten und andere Agenten erreicht
  • Harness: die Klammer, die aus den anderen drei etwas macht, das tatsächlich unbeaufsichtigt läuft
Nichts davon brauchte ein schlaueres Modell. Alles davon brauchte jemanden, der sich hinsetzt und das Gerüst baut, das dem schlauen Modell gefehlt hat.

Du baust das wahrscheinlich schon

Übersetze die vier Achsen in irgendetwas, das nach einem funktionierenden Agenten-Setup aussieht, und das Paper hört auf, akademisch zu klingen. Ein Ordner voller Memory-Files, der Kontext über Sessions und Agenten hinweg trägt, ist die Memory-Achse, von Hand gebaut. Eine Bibliothek gepackter, wiederverwendbarer Prozeduren (statt denselben mehrstufigen Task in jedem Prompt neu zu erklären) ist die Skill-Achse. Eine Protokoll-Schicht, die jedem Agenten denselben konsistenten Weg zu denselben Tools gibt, statt einer Insellösung pro Agent, ist die Protokoll-Achse. Und ein Watchdog, der geplante Jobs per Cron prüft, Fehler erkennt, die Ursache diagnostiziert und einen Fix anwendet, bevor ein Mensch überhaupt merkt, dass etwas kaputt war, still laufend auf welcher Automations-Plattform auch immer die Workflows schon hostet, ist die Harness-Achse, in ihrer wörtlichsten Form.

Keiner dieser vier Bausteine kümmert sich darum, welches Modell dahintersteckt. Das ist der Punkt.

Die Modell-Ebene wird gerade teurer zu bewetten

In derselben Woche, in der dieses Paper die Runde machte, verschoben zwei Frontier-Labore ihre nächsten Flaggschiff-Releases (GPT-5.6 und Gemini 3.5 Pro) über ihr erwartetes Fenster hinaus, und Prognosemärkte, die ein Launch-Datum verfolgten, sahen die Wahrscheinlichkeit eines pünktlichen Releases von rund vier von fünf auf unter eins von fünf einbrechen. Fähigkeitssprünge kommen nicht mehr in einem verlässlichen Takt, und jeder kostet mehr Compute und mehr Kalenderzeit als der letzte.

Faustregel

Wenn deine Zuverlässigkeits-Roadmap einen Punkt „auf das nächste Modell warten" enthält, ersetz ihn. Ein Harness-Upgrade geht live, an dem Tag, an dem du es entscheidest, ohne den Release-Kalender irgendeines Labors.

Was die Harness-Achse tatsächlich bringt

Der klarste Beweis, dass Harness-Engineering eine eigene Disziplin ist und nicht nur Betriebs-Hygiene, zeigt sich daran, wie man die Arbeit eines Agenten verifiziert. Der naheliegende Ansatz, denselben Task dreimal laufen lassen und über die Mehrheitsantwort abstimmen, ist teuer und fängt nur Fehler, die als Uneinigkeit zwischen den Läufen sichtbar werden. Ein neuerer Ansatz prüft stattdessen die Reasoning-Kette des Agenten selbst auf innere Widersprüche: genauer, bei einem Bruchteil des Token-Verbrauchs. Das ist kein schlaueres Modell, das da spricht. Es ist eine schlauere Prüfung, die um dasselbe Modell gelegt wird.

Ein Selfheal-Loop ist genau diese Idee, auf einem Zeitplan laufend: geplante Jobs beobachten, ausgefallene erkennen, die Ursache diagnostizieren bevor eskaliert wird, einen bekannten Fix anwenden und verifizieren, dass er tatsächlich gehalten hat, alles ohne dass zuerst ein Mensch ein Log liest. Nichts davon ist glamourös. Alles davon ist der Unterschied zwischen einem Agenten-Stack, der über Monate still verrottet, und einem, der weiterläuft, während du gerade nicht hinschaust.

Der Check vor dem nächsten Modellwechsel

Bevor das nächste Modell-Upgrade auf deiner Roadmap landet, lohnt sich zuerst ein günstigerer Check. Erinnert sich irgendetwas in deinem Stack an letzte Woche, ohne dass es erneut gesagt werden muss? Wird ein Fehler diagnostiziert und behoben, bevor du aus zweiter Hand davon erfährst? Erreichen deine Agenten Tools über ein konsistentes Protokoll, oder jedes Mal über eine andere Insellösung? Wenn die ehrliche Antwort bei irgendeinem davon Nein lautet, ist das das Upgrade, das zuerst dran ist. Es ist heute verfügbar, und es wartet auf niemandes Release-Kalender.

Hung Mai

Hung Mai ist selbstständiger Berater in Weilmünster (Hessen) und arbeitet meist remote. Er plant, baut und überwacht KI-Automatisierung für Marketing und Vertrieb, für Firmen ohne Digitalteam. Mehr über Hung Mai

Lass uns etwas Echtes aufbauen.

KontaktAntwort innerhalb von 24h.