Damit ein Produktivsystem sich selbst bessert, muss es zuerst wirklich gelesen werden.

Systeme wie der Empfehlungsfeed, das Suchranking oder der Versand von Hinweisen geraten in eine unangenehme Lage, sobald sie live sind: alle sind sich einig, dass sie wichtig sind, und fast niemand kann sagen, wie sie eigentlich laufen. Eine Kennzahl zu aendern bedeutet Monate im Plan, und danach muss der Nachweis immer noch aus dem laufenden Verkehr kommen. Pavo will aus Lesen, Aendern und Belegen eine Kette machen, die sich immer wieder drehen laesst.

Es ist kein Helfer fuer Endnutzer, sondern eine Plattform hinter Entwicklung und Produkt: sie laeuft im eigenen Cloud Konto des Kunden, verbindet sich im Nur Lesen Betrieb mit dem Codeverzeichnis, dem Warenhaus, den Anzeigetafeln und der Versuchsplattform, gibt standardmaessig nichts nach aussen und hat ein Ziel, naemlich eine bestimmte Kennzahl wirklich in Bewegung zu setzen.

Was sich nicht ruehrt, ist oft nicht das Modell, sondern die Tatsache, dass niemand sagen kann, wie das System laeuft

Ein Feed laeuft seit drei Jahren, der Code wurde mehrfach umgebaut, die Anzeigetafeln zweimal ersetzt, und warum ein Merkmal am Anfang hoeher gewichtet wurde, liegt verstreut im Gedaechtnis einiger alter Kollegen. Wer neu uebernimmt, oder wenn ein Agent uebernimmt, steht vor einer ersten Wand, und die ist nie das Schreiben von Code, sondern die Frage, wie dieses System laeuft. Schlimmer ist, dass eine Aenderung an der Kennzahl von Natur aus teuer ist: ein Fehlgriff und es gibt einen Vorfall, also macht das Team nur die kleinen Aenderungen, die sicher sind, und die grosse, die die Zahl wirklich bewegen wuerde, liegt unten im Stapel.

Schritt eins: die verstreute Erfahrung zu einem Buch mit Quellen lesen

Der erste Baustein heisst System Knowledge. Er zieht die Angaben aus den verbundenen Quellen zu einzelnen Tatsachen zusammen, jede mit Art und Herkunft: aus welcher Datei und welcher Zeile dieser Satz stammt, aus welcher Abfrage, aus welchem Versuch. Mit dem Ziehen ist es nicht getan; die Tatsachen werden zu einem Handbuch verdichtet, das sich Kapitel fuer Kapitel pruefen laesst, dem System Book.

Dieses Handbuch ruht nicht darauf, dass ein Modell mit sich selbst spricht. Pavo stellt eine Pruefung namens Knowledge Bench daneben, bei der das Team die Fragen schreibt und die Antworten bewertet; eine zu niedrige Punktzahl heisst, dass das Wissen nicht wirklich verstanden wurde, und nicht, dass es ungefaehr hinkommt. Der Anbieter fasst den Grundsatz in einen Satz: Wissen wird geprueft, nicht angenommen.

Schritt zwei: das Problem an ein Team von Agenten geben, von denen jeder ein kleines Stueck haelt

Der zweite Baustein heisst Agent Studio und hat die Aufgabe, das angesammelte Verstaendnis auszugeben. Man gibt ein echtes Problem hinein, und zuerst wird es in einen Plan zerlegt: der fachliche Rahmen, die Aufteilung in Bausteine, die Regeln fuer Belege, alles offen auf dem Tisch, bis du zustimmst. Ohne Zustimmung bewegt sich nichts.

Nach der Bestaetigung wird die Arbeit auf ein Team von Agenten verteilt. Jeder Agent haelt eine kleine pruefbare Aufgabe, und darueber sitzt ein Director, der Aufgaben zuteilt, den Stand der anderen im Auge behaelt, die Funde aufeinander abstimmt und eingreift, wenn etwas schiefgeht.

Der Wert dieser Struktur liegt darin, dass sie sich pruefen laesst. Jedes Ergebnis ist eine Antwort mit Art, Belegen und Fassung, die klar sagt, was sie belegt, und ebenso klar, was nicht. Die Erklaerung des Anbieters ist direkt: wirft man eine wochenlange Forschungsfrage auf einen einzelnen Agenten, laeuft er stundenlang, trifft hundert kleine Entscheidungen, die niemand gesehen hat, und kommt selbstsicher mit einer falschen Antwort zurueck; die Loesung ist kein kluegerer Agent, sondern Struktur um den, den man hat.

Anhalten, wo eine Entscheidung faellig ist

Pavo trennt Entscheidungspunkte von Fortschrittsmeldungen: angehalten wird nur an Grenzen, an denen jemand entscheiden muss, und dann wird gesagt, was sich geaendert hat, warum die Entscheidung bei dir liegt und welchen Weg jede Wahl oeffnet. Die uebrige Zeit laeuft das Team allein.

Wie eine Runde Verbesserung ablaeuft

Beide Schritte aneinandergelegt ergeben den ganzen Kreis: den Stapel verbinden, das Systemwissen aufbauen, ein Vorhaben in Agent Studio fahren, eine Aenderung liefern, die die Kennzahl bewegt. Was gefunden wurde, geht zurueck ins Handbuch und wird der Start der naechsten Runde.

In der Form fuer Unternehmen wird dieser Kreis in acht Wochen gedrueckt: Woche eins legt Kennzahl und Erfolgskriterien fest, Woche zwei verbindet die Systeme, Wochen drei und vier bewerten mehrere Ansaetze parallel und waehlen den Sieger zuerst offline, Wochen fuenf und sechs geben den Sieger als laufenden Versuch frei, Wochen sieben und acht messen den Gewinn und wenden sich dem naechsten Problem zu. Der Anbieter merkt an, dass mit wachsendem Verstaendnis die Zeit fuer eine schwerere Forschungsfrage von Wochen auf Tage faellt.

Was in der eigenen Umgebung bleibt

Ob eine solche Plattform in ein Unternehmen kommt, haengt meist an der Frage der Daten. Pavo bietet drei Formen: gehostet in der eigenen Cloud, mehrfach belegt, aber je Organisation getrennt; in das Cloud Konto des Kunden gestellt, einfach belegt, mit den Schluesseln des Kunden verschluesselt, standardmaessig ohne Netz; und eine gehaertete Fassung fuer regulierte Branchen, in der alle Dienste im Netz des Kunden selbst laufen und keine Integrationen von dritten Stellen ausgerollt werden.

Drei Grundsaetze gelten in allen Formen: die Verbindung ist nur lesend, Verbinder ziehen nur aus den eigenen Quellen und schreiben nie zurueck; Kundendaten werden nicht zum Trainieren von Modellen verwendet; fremde Sprachmodelle laufen unter Bedingungen ohne Aufbewahrung. Die Plattform traegt SOC 2 Type II und ISO/IEC 27001, dazu einen unabhaengigen Eindringtest einmal im Jahr.

Was vor dem Anfang zu wissen ist

Der Preis ist nicht oeffentlich. Die Kosten haben zwei Teile: eine Plattformgebuehr nach Groesse des Systems und die Forschungsarbeit nach Verbrauch, in einer Einheit namens ASU, definiert als ein Agent fuer angewandte Wissenschaft bei einer Sitzung. Der Anbieter schreibt deutlich, dass nicht pro Kopf abgerechnet wird, dass weitere Datenquellen nichts extra kosten, dass die Plattformgebuehr ueber einen Jahresvertrag laeuft und dass es ein Fenster von neunzig Tagen zum Ausstieg gibt.

Eine Fassung fuer einzelne Personen gibt es nicht, und vom ersten Kontakt bis zum laufenden Kreis fuehrt ein Weg durch den Vertrieb. Teams, die den Kreis selbst fahren wollen, nehmen den Selbstbedienungsweg; wer die Kennzahl erst einmal belegt haben moechte, bevor er sich bindet, nimmt einen Wissenschaftler vor Ort, bei dem eine Fachkraft ins Team kommt, eine Runde um eine einzige Kennzahl in etwa acht Wochen faehrt und den Kreis dann zurueckgibt. Wenn das eigene Agentensystem bereits Aufrufketten protokolliert, braucht die Anbindung keinen Umbau des Stapels und kann aus der vorhandenen Historie starten; umgekehrt braucht sie echte Produktivdaten und genug Zusammenhang, sonst zeigt sich der volle Wert nicht.

Worum es geht, war nie, dass eine KI den Code schreibt. Es geht darum, aus einem Produktivsystem, das niemand erklaeren kann, oeffentliches Wissen zu machen, das sich pruefen, belegen und immer wieder verbessern laesst.