Für viele ist das erste Hindernis beim lokalen Modell nicht die Hardware, sondern das Terminal. Man öffnet eine Anleitung, und der Bildschirm füllt sich mit weißen Buchstaben auf Schwarz; ein falsch getippter Parameter, und alles hängt auf halbem Weg. Gehostete Dienste sind bequemer, bis zu dem Punkt, an dem Daten hochgeladen werden müssen, die Rechnung nach Texteinheiten läuft und die Verbindung abreißt. Ein lokales Modell in einem normalen Fenster zu benutzen, so wie man einen Nachrichtenstrom durchblättert, dafür fehlte lange das passende Werkzeug.

Diese Anwendung für den Schreibtisch wurde genau für diese Lage gebaut. 2023 von einem kleinen Team veröffentlicht, legt sie Finden, Herunterladen, Laden, Gespräch und Bereitstellen in ein einziges grafisches Fenster. Der eingebaute Browser spricht mit einer öffentlichen Modellsammlung und filtert nach Parameterzahl, nach Aufgabe, danach, ob Werkzeugaufruf unterstützt wird, und danach, ob das Modell in den Grafikspeicher passt. Auswählen, einmal klicken, und der Download läuft. Ein geladenes Modell steht sofort im Gesprächsfenster bereit, und die Anordnung ähnelt den gehosteten Produkten so weit, dass der einzige wirkliche Unterschied darin liegt, wo gerechnet wird und dass das Gespräch das Gerät nicht verlässt.

Die kleinen Rücksichten sind es, die gefallen

Fährt man über ein Modell, zeigt die Anwendung seinen Speicherbedarf, ob es passt ist also keine Schätzung. Der Teil, der nicht passt, lässt sich mit einem Schieberegler in den Arbeitsspeicher verlegen; das Modell läuft weiter, nur langsamer. Alle drei Systeme für den Schreibtisch sind abgedeckt, und auf den neueren selbst entworfenen Chips gibt es eine eigene Maschine, die den gemeinsamen Speicher voll ausnutzt, schnell genug für ein Gespräch mit einem Modell von siebzig oder achtzig Milliarden Parametern bei dreißig bis fünfzig Texteinheiten pro Sekunde.

Es ist nicht bloß eine Hülle für Gespräche. In der Anwendung lässt sich ein lokaler Dienst einschalten, der einen Endpunkt im üblichen Anfrageformat anbietet und standardmäßig auf Port 1234 hört; jeder vorhandene Code für ein gehostetes Modell arbeitet also ohne Netz weiter, sobald die Adresse wechselt. Neuere Fassungen ergänzen einen Endpunkt in einem weiteren verbreiteten Format. Fragen an Dokumente funktionieren ebenfalls sofort: eine PDF-Datei oder ein Stapel Notizen ins Gespräch ziehen, und Suche wie Erzeugung laufen lokal, ohne dass ein Dritter das Material sieht.

Wer gern bastelt, kann MCP-Server anhängen, damit das lokale Modell äußere Werkzeuge aufruft; diese Einrichtung bleibt allerdings ziemlich von Hand und ist nicht gerade geschmeidig.

Offline als harte Grenze

Der Betrieb ohne Netz ist die harte Linie, die es von einem Webdienst trennt. Ist ein Modell einmal geladen, funktionieren Gespräch, Fragen an Dokumente und der lokale Dienst ohne Verbindung, und die Unterlagen sagen deutlich, dass diese Kernfunktionen bei gezogenem Kabel weiterlaufen.

Auch die Preisgestaltung ist großzügig: persönliche und berufliche Nutzung sind frei, ohne Abonnement und ohne Funktionsschranke, und die kaufmännische Nutzung wurde Mitte 2025 ebenfalls freigegeben. Das Tempo der Fassungen war 2026 hoch. Rechnen über mehrere Karten, vorsorgliches Entschlüsseln, eine Verbindung zu Instanzen auf anderen Maschinen und sogar ein mobiler Begleiter für Telefon und Tablet sind innerhalb eines halben Jahres erschienen.

Grenzen, die man nennen sollte

Die Anwendung selbst ist geschlossener Quelltext, für alle, die den Code prüfen wollen, ein echtes Hindernis. Sie ist schwerer als ein reines Werkzeug für die Kommandozeile, ein großes Modell beginnt bei mehreren Gigabyte Download, und Platte wie Arbeitsspeicher spüren das. Nutzer von Linux bekommen keinen grafischen Aufbau und müssen den Dienst ohne Oberfläche verwenden. Und sie kann nur Modelle mit offenen Gewichten ausführen, die Obergrenze der stärksten geschlossenen Modelle ist also eine Wirklichkeit, der lokale Folgerung nicht entkommt.

Bei der Schwelle für lokale Modelle ging es immer darum, verstreute Modelldateien, ein Folgerungsgerüst und einen Haufen Parameter in ein Fenster zu sammeln, das ein gewöhnlicher Mensch zu öffnen bereit ist. Genau das tut diese Anwendung: eine grafische Fläche für alles vom Auswählen bis zum Gespräch, Daten auf der eigenen Maschine, Arbeit läuft weiter, wenn das Netz weg ist. Wer lokale KI ausprobieren wollte und vom Terminal zurückgeschickt wurde, findet hier den geschmeidigsten Zugang, den es derzeit gibt.

Fortschrittliche Technik zugänglich zu machen heißt nicht, ihre Tiefe zu verringern, sondern die Kanten wegzulegen, die sie nicht braucht. Diese Anwendung überlässt das Terminal denen, die gern basteln, und das Fenster allen anderen.