-
LocalAI: Kerne nach Bedarf geholt, ein Modell auch ohne Karte
Ein Programm und ein passender Endpunkt: richtet man den Client darauf, bleibt der Code unberührt und das Modell kommt nach Hause. Kerne kommen erst, wenn ein Modell sie braucht, jede Fähigkeit hat einen Weg über den Prozessor.
-
vLLM: Modelle bedienen, indem man Grafikspeicher wie Speicher verwaltet
Die Ablage der Schlüssel und Werte in Blöcke zu schneiden statt sie ganz zu reservieren hebt die Speichernutzung von drei oder vier Zehnteln auf über neun - dieselbe Karte bedient dann zwei- bis viermal so viele Anfragen.
-
AnythingLLM: eine private Werkbank, die auf dem Schreibtisch bleibt
Zieht man PDFs, Textverarbeitung und Tabellen in einen Arbeitsbereich, steht ein Assistent bereit, der alles gelesen hat, was man besitzt - mit Beleg unter jeder Antwort, und Modell, Vektorspeicher und Ablage bleiben ab Werk auf der Maschine.
-
llama.cpp: die Maschine, die ein Modell allein auf dem Prozessor trägt
In schlichtem C ohne Abhängigkeiten geschrieben, hat es das Dateiformat gesetzt, mit dem quantisierte Modelle klein genug für gewöhnliche Notebooks wurden - und es ist die Schicht, auf der mehrere bekannte Fensterprogramme still aufsetzen.
-
GPT4All: ein lokales Modell auch ohne Grafikkarte
Keine eigene Karte, kein Konto, keine Befehlszeile: ein quantisiertes offenes Modell läuft auf einem gewöhnlichen Prozessor, und ein Ordner mit eigenen Unterlagen wird zu einer Sammlung, die man befragen kann, ohne dass etwas das Gerät verlässt.
-
Jan: ein lokaler Assistent mit lesbarem Quelltext
Gesprächsfenster, Modellverwaltung und lokaler Dienst stehen Zeile für Zeile unter einer großzügigen offenen Lizenz, sodass das Gespräch auch mit gezogenem Kabel weiterläuft und niemand das Versprechen zur Privatheit glauben muss.
-
Ollama: ein Befehl holt ein offenes Modell in den Arbeitsalltag
Eine Laufzeit statt einer Chat-Anwendung: ein Befehl lädt und startet ein offenes Modell, ein lokaler Endpunkt spricht das übliche Anfrageformat, und jedes vorhandene Skript oder Editor-Erweiterung kann ihn ansprechen.
-
NextChat: fünf Megabyte Client für alle Modelle, die man ohnehin bezahlt
Ein Client von rund fünf Megabyte bringt die bereits bezahlten Modelle in ein Fenster, behält Gespräche im Browser, läuft auf sechs Plattformen und kostet selbst nichts, weil die Rechnung direkt an den Anbieter geht.
-
LibreChat: eine selbst betriebene Chat-Schicht macht Modellkosten messbar
Freie Software auf eigener Maschine: ein Fenster für mehrere Modellanbieter, ohne Programmierung zusammengesetzte Agenten, ein abgeschotteter Rechner und MCP-Anbindung, mit sichtbarem Verbrauch je Person.
-
Cherry Studio: mehrere Modelle in einem Fenster, daneben eine Wissensbasis
Cherry Studio ist ein plattformübergreifender Desktop-Client für KI-Gespräche: mehrere Modelle gleichzeitig befragen und vergleichen, eigene Materialien in einer lokalen Wissensbasis halten, Bilder und Übersetzungen daneben erzeugen.
-
第 1 / 1 页