Verfolgt man die Geschichte der lokalen Modelle weit genug zurück, führt fast jeder Name zum selben Vorhaben. Im März 2023 brachte ein Entwickler ein frisch erschienenes offenes Modell in schlichtem C und C++ auf gewöhnliche Verbraucherhardware, und was als Übertragung begann, wurde zum Fundament des ganzen Feldes: heute von einer kleinen Gruppe gepflegt, über 128 000 Sterne, und dieselbe Herkunft von Rechencode steckt still unter den Schaltflächen mehrerer bekannter Fensterprogramme. Der aktuelle stabile Stand erschien am 14 September 2026 und liefert weiterhin fertige Pakete für die drei Schreibtischsysteme.

Sein bekanntester Beitrag ist das Dateiformat GGUF. Davor liefen die rohen Gewichte eines offenen Modells auf Dutzende Gigabyte hinaus und nahmen Verbraucherhardware aus dem Spiel; GGUF packt Gewichte, Wortzerleger und Beiwerk in eine einzige Datei, und mit der k-quants genannten Familie von Quantisierungsstufen - Q4_K_M und seine Nachbarn - sinkt der Speicherbedarf eines Modells um rund 60 bis 75 Prozent bei sehr geringem Verlust an Güte. Ein Modell mit sieben Milliarden Parametern schrumpft dann auf wenige GB und passt in den Arbeitsspeicher eines gewöhnlichen Notebooks, und die Tausenden quantisierten Dateien, die im Umlauf sind, wuchsen um dieses Format herum. Anders gesagt: dass man heute eine Datei holt und ein Modell läuft, beruht auf Regeln, die dieses Vorhaben geschrieben hat.

Das Rechnen auf dem Prozessor war hier nie ein Notbehelf, sondern ein Bürger erster Klasse. Die Maschine ist tief auf die Vektorbefehlssätze von x86-64 und die entsprechenden Erweiterungen der sparsamen Chipfamilie hin optimiert, und in Messungen aus der Gemeinde erreicht ein quantisiertes Modell mit sieben bis acht Milliarden Parametern auf einem modernen Notebook-Prozessor ohne eigene Karte 10 bis 30 Einheiten je Sekunde - genug für ein gewöhnliches Gespräch. Für den alten Schreibtischrechner ohne Karte, das Bürogerät mit eingebauter Grafik oder den Heimserver, in dem eine Karte stört, ist es oft das Letzte, was die Modelle dieses Jahres noch trägt. Daher die Rede von der letzten Versicherung: wenn alles andere an der Hardware scheitert, hält dies meist noch eine Runde.

Geräte mit Karte gewinnen ebenfalls, und zwar beweglich. Ganze Schichten eines Modells lassen sich auf die Karte schieben, während der Rest auf dem Prozessor bleibt, sodass ein Gerät mit knappem Grafikspeicher Schicht für Schicht zwischen Tempo und Fassungsvermögen abwägt; dahinter liegen eigene Kerne für die Karten eines Herstellers, erstklassige Unterstützung für selbst entworfene Chips und übertragbare Rechenwege für die beiden anderen. Dazu liefert das Vorhaben llama-server, der einen lokalen Dienst startet, welcher das Anforderungsformat der großen gehosteten Anbieter spricht, und eine eigene Webseite mitbringt; Programme, die einen eigenen Endpunkt erlauben, zeigen einfach darauf, und Dinge wie fortlaufende Stapelverarbeitung lassen sich im Dienstbetrieb einschalten.

Vier Arten von Leuten landen hier. Der Liebhaber, der die Knöpfe sehen will; der Entwickler, der eine Maschine in ein Produkt einbettet statt ein Gesprächsfenster auszuliefern; der Besitzer eines Geräts ohne eigene Karte, für den alles andere verschlossen ist; und wer einen kleinen Heimserver betreibt und nichts weiter möchte als einen Endpunkt im Netz. Keiner sucht eine polierte Oberfläche, und allen ist mit einem Fahrgestell besser gedient als mit einem Wagen.

Seine Ausrichtung verdient klare Worte. Eine offizielle grafische Oberfläche gibt es nicht; die Befehlszeile ist der einzige gesegnete Eingang, und jeder Wert - Länge des Zusammenhangs, wie viele Schichten auf die Karte wandern, Zahl der Fäden, Stufe der Quantisierung - muss genannt oder als Vorgabe hingenommen werden. Erkauft wird damit Steuerbarkeit und Einbettbarkeit: das hier ist eine Maschine ohne Abhängigkeiten, kein fertiges Produkt, also falten Entwickler sie in ihre eigenen Anwendungen, betreiben Verwalter sie ohne Bildschirm als Dienst, und Liebhaber spannen sie per Skript in Automatik ein. Die Lizenz ist so großzügig, dass gewerbliche Nutzung und Umbau nichts im Weg steht. Sind die bequemeren Werkzeuge fertige Wagen, so ist dies das nackte Fahrgestell mit offener Haube - nicht für alle, aber für jeden, der anfassen will, entscheidet es, wie weit eine lokale Aufstellung kommt.