Fragt man Teams, warum sie das eigene Bedienen eines Modells aufgegeben haben, ist die Antwort selten, das Modell sei nicht gut genug. Es ist der Speicher, der ausgeht. Während ein Modell schreibt, muss es für jede Anfrage eine Ablage der Schlüssel und Werte im Grafikspeicher halten, und die klassischen Maschinen reservieren diesen Platz in einem Stück, bemessen an der längsten Ausgabe, die eine Anfrage je erzeugen könnte. Was eine kurze Anfrage nicht braucht, steht leer, und die Zersplitterung tut das Übrige. Das offene Vorhaben vLLM, das 2023 aus einer Forschungsgruppe an einer Hochschule hervorging, schlug eine andere Richtung ein: Es holte das Verfahren der Seitenverwaltung, mit dem Betriebssysteme gewöhnlichen Speicher ordnen, auf die Grafikkarte. Die Technik namens PagedAttention ist seither zu einer der meist zitierten Ideen beim Bedienen von Modellen geworden, das Vorhaben hat mehr als 91 000 Sterne gesammelt, und der aktuelle stabile Stand erschien im September 2026.

Der Mechanismus ist leicht zu verfolgen. Die Ablage wird nicht mehr je Anfrage reserviert, sondern in Blöcke fester Größe geschnitten, und eine Blocktafel hält fest, wo die Blöcke einer Anfrage liegen; ausgegeben wird, was gerade gebraucht wird. Die Zersplitterung verschwindet fast; nach Zahlen des Vorhabens steigt die Nutzung des Speichers von den dreißig oder vierzig Prozent des alten Weges auf über neunzig, und dieselbe Karte bedient zwei- bis viermal so viele Anfragen gleichzeitig. Darauf liegt fortlaufendes Stapeln: eine Anfrage wartet nicht mehr, bis ein Stapel voll ist, sie kommt dazu, wann sie eintrifft, und geht, sobald sie fertig ist, was den Abstand noch vergrößert, wenn lange und kurze Arbeit sich eine Maschine teilen. In mehreren unabhängigen Messungen erreichte der Durchsatz auf einer Karte das Zwei- bis Fünffache des Vergleichs, und Gleichzeitigkeit, für die es früher mehrere Karten brauchte, passt nun auf eine.

Für Entwicklungsteams ist die andere entscheidende Wahl die Schnittstelle. Ein Dienst, der das Anforderungsformat der großen gehosteten Anbieter spricht, ist eingebaut, sodass Code, der ohnehin in diesem Stil geschrieben ist, auf ein selbst betriebenes Modell umschaltet, indem eine Adresse getauscht wird - keine Zeile der Fachlogik bewegt sich. Der Rest dessen, was im Betrieb nötig ist, kommt meist mit: Rechnen über mehrere Karten verteilt ein großes Modell; ein Dienst kann mehrere LoRA-Zusätze tragen und je Anfrage zwischen ihnen wechseln, sodass eine Aufstellung mehrere enge Bereiche bedient; ein Zwischenspeicher für Anfänge lässt Anfragen mit gleicher Vorgabe bereits gerechnete Blöcke wiederverwenden, was die Wartezeit bis zum ersten Wort in Gesprächen verkürzt; die Quantisierung deckt AWQ, GPTQ und FP8 ab; und die Zahlen werden in einem Format veröffentlicht, das vorhandene Überwachung ohnehin versteht.

Sein Ort verdient dieselbe Klarheit. vLLM ist eine Bedienmaschine für Karten der Serverklasse ohne grafische Oberfläche, und sein Zuhause ist es, offene Modelle zwischen sieben und siebzig Milliarden Parametern in einen Dienst zu verwandeln, der unter Last hält. Leichtes Gespräch auf einem persönlichen Rechner ist nicht seine Sache; dafür taugen die Fensterprogramme besser. Die Lizenz ist großzügig, gewerbliche Nutzung und Umbau stoßen auf kein Hindernis, und die großen Häuser der Recheninfrastruktur setzen es üblicherweise als Maschine darunter ein. Haben die bequemeren Werkzeuge die Schwelle zum Laufen gesenkt, beantwortet vLLM die andere Frage - ob es trägt. Sobald die eigene Aufstellung vom Versuch in den Betrieb wandert, ist diese Schicht kaum zu umgehen.

Zwei Arten von Leuten landen hier: der Plattformingenieur, dem ein Modell und eine Rechnung für Karten übergeben wurden, und das Team, das alles hinter eigenen Wänden halten muss. Keiner von beiden will ein Gesprächsfenster. Sie wollen einen Dienst, der nicht umfällt, und sie sind bereit, dafür eine Einstellungsdatei zu lesen.

Es hat kein Gesprächsfenster und keinen Verlauf, nur einen Endpunkt und die Rechnung dahinter - gerade deshalb steht frei, wie die Vorderseite aussieht, wenn man es hinter einem eigenen Erzeugnis versteckt.

Trennt man laufen und tragen voneinander, gibt es für diese Schicht keinen Ersatz.