Fragt man Leute, warum sie ein Modell nie auf dem eigenen Rechner ausprobiert haben, ist die Antwort selten die Anmeldung oder der Preis. Es ist die Liste der Anforderungen: so und so viel Grafikspeicher, diese oder jene Klasse an Karte, als dürfe man ohne einen anständigen eigenen Chip gar nicht erst eintreten. Dabei ist der Rechner der meisten ein gewöhnliches Bürogerät mit eingebauter Grafik, 16 GB Arbeitsspeicher und einer schlichten Festplatte. Bleibt die Eintrittskarte nicht unter diesem Niveau, dann bleibt ein lokales Modell für alle ein Spruch.

GPT4All ist das Vorhaben, das den Spruch zu einem Raum gemacht hat, den man betreten kann. Es erschien 2023 unter einer sehr großzügigen offenen Lizenz, hat mehr als siebzigtausend Sterne gesammelt und gehörte zu den ersten Programmen, die ein Sprachmodell auf Geräten laufen ließen, wie Leute sie tatsächlich besitzen. Der Entwurf in der Mitte ist bis heute derselbe: eine Grafikkarte ist freiwillig, der Prozessor kommt zuerst. Ein quantisiertes offenes Modell läuft auf einer gewöhnlichen Recheneinheit, 8 GB Arbeitsspeicher tragen ein Modell der Klasse sieben Milliarden Parameter, und Notebooks mit eingebauter Grafik wie ältere Schreibtischrechner liegen klar im Bereich. Wer eine eigene Karte von einem der beiden großen Hersteller hat, bekommt über eine plattformübergreifende Grafikschnittstelle Schwung, Geräte mit selbst entworfenem Chip gehen den Weg ihres Herstellers, und ohne all das ist das Erlebnis langsamer statt unmöglich.

Nach der Installation gibt es kaum etwas zu lernen. Aus der eingebauten Bibliothek ein Modell wählen, bei dem Größe und Speicherhunger dabeistehen, den Abruf abwarten, lostippen. Der eigentliche Trumpf heißt LocalDocs und verwandelt das Fragen an eigene Dokumente von einer Bastelarbeit in ein Häkchen. Man zeigt dem Programm einen Ordner, es baut den Index an Ort und Stelle, und danach holt es zu einer Frage die passendsten Absätze als Zusammenhang heran - mit den zitierten Stellen unter der Antwort. Die Dateien berühren keinen Server: PDFs, Textverarbeitung und reiner Text laufen alle.

Der Datenschutz folgt derselben Zurückhaltung. Ab Werk bleibt der Verlauf auf der Maschine, es werden keine Nutzungsdaten erhoben, kein Konto wird verlangt, und das freiwillige Programm zur Datenweitergabe ist streng auf Zustimmung gebaut - bleibt das Häkchen leer, geht nichts hinaus. Das Programm deckt die drei Schreibtischsysteme ab, neuere Stände kümmern sich auch um tragbare Geräte mit der sparsamen Chipbauweise.

Auch wer Code schreibt, ist bedacht: ein Python-Paket lässt sich aus der üblichen Quelle holen, und zwei Zeilen rufen ein lokales Modell aus einem Skript heraus; ein lokaler Dienst auf Containerbasis stellt einen Endpunkt bereit, der dasselbe Anforderungsformat wie die großen gehosteten Anbieter spricht, sodass eine vorhandene Kette mit einer neuen Adresse auf lokale Berechnung zeigt. Dazu kommt ein abgeschotteter Auswerter für Code, der die einfachen Schnipsel eines Modells gleich hier ausführt.

Die schwachen Stellen verdienen dieselbe Klarheit. Die Berechnung auf dem Prozessor hat eine Decke, und auf einem Gerät ohne Karte ist die Schreibgeschwindigkeit ausreichend statt bequem; ein größeres Modell zu laden verlangt Geduld. Die gepflegte Modellliste wird seit einiger Zeit langsamer erneuert, die neuesten offenen Stände müssen meist von Hand in einem üblichen Modelldateiformat hereingeholt werden. Die Klugheit eines lokalen Modells liegt ehrlich unter den gehosteten Flaggschiffen, und beim harten Schließen merkt man das. Ein großer Bestand an Dokumenten lässt sich auf bescheidener Hardware nur langsam erfassen, und ein zu hoch gedrehter Zusammenhang macht die Sache wackelig.

In dieser Ecke der Recherei werden die Werkzeuge immer stärker, während die Eintrittskarte still nach oben klettert. Der Wert von GPT4All liegt darin, dass es die unterste Stufe gehalten hat: keine Karte, kein Konto, keine Befehlszeile, nur ein gewöhnlicher Rechner und eine Modelldatei von wenigen Gigabyte, die mit den eigenen Unterlagen spricht, während das Netz aus ist. Für einen ersten Versuch ist es nicht das Ziel, aber der Anfang, der am seltensten auf halbem Weg liegen bleibt.

Eine Technik verbreitet sich über den leichtesten Einstieg, nicht über den stärksten. An dem Tag, an dem die Grafikkarte von der Liste der Bedingungen verschwand, gehörte die lokale Rechnerei allen.