-
LocalAI : des moteurs tirés à la demande, un modèle sans carte
Un binaire et un point d'accès compatible : on dirige le client dessus, le code ne bouge pas et le modèle revient chez soi. Les moteurs n'arrivent que lorsqu'un modèle les réclame, chaque fonction a un chemin sur processeur.
-
vLLM : servir un modèle en gérant la mémoire graphique comme un système
Découper le cache des clés et des valeurs en blocs au lieu de le réserver d'un coup fait passer l'occupation de mémoire de trois ou quatre dixièmes à plus de neuf : la même carte sert alors deux à quatre fois plus de requêtes.
-
AnythingLLM : un atelier privé qui reste sur le bureau
Glissez des PDF, des fichiers de traitement de texte et des tableaux dans un espace : vous obtenez un assistant qui a tout lu de ce que vous possédez, avec une citation sous chaque réponse, le modèle, le magasin de vecteurs et le stockage restant sur la machine.
-
llama.cpp : le moteur qui fait tourner un modèle sur un simple processeur
Écrit en C pur, sans une seule dépendance, il a fixé le format de fichier qui a rendu les modèles quantifiés assez petits pour un portable ordinaire, et plusieurs outils de bureau connus reposent discrètement sur lui.
-
GPT4All : un modèle local même sans carte graphique
Pas de carte dédiée, pas de compte, pas de ligne de commande : un modèle ouvert quantifié tourne sur un processeur ordinaire, et un dossier de vos propres papiers devient un ensemble interrogeable qui ne quitte jamais la machine.
-
Jan : un assistant local dont on peut lire les sources
La fenêtre de conversation, la gestion des modèles et le service local sont publiés ligne par ligne sous une licence ouverte permissive : la discussion continue même câble débranché, et la promesse de confidentialité n'a plus besoin d'être crue sur parole.
-
Ollama : une commande pour installer un modèle ouvert dans le quotidien
Ce n'est pas une application de dialogue mais un moteur d'exécution : une commande récupère et lance un modèle ouvert, un point d'accès local parle le format de requête courant, et vos scripts ou extensions d'éditeur peuvent le viser directement.
-
NextChat : cinq mégaoctets de client pour tous les modèles déjà payés
Un client d'environ cinq mégaoctets réunit dans une fenêtre les modèles déjà payés, garde les conversations dans le navigateur, tourne sur six plateformes et ne coûte rien en soi puisque la facture va au fournisseur.
-
LibreChat : une couche de dialogue auto-hébergée qui facture à l'usage
Un logiciel libre que l'on fait tourner soi-même : une fenêtre pour plusieurs fournisseurs, des agents assemblés sans code, un interpréteur isolé et des connecteurs MCP, avec une consommation visible par personne.
-
Cherry Studio : plusieurs modèles dans une fenêtre, une base de connaissances à côté
Cherry Studio est un client de bureau multiplateforme pour dialoguer avec des modèles : poser la même question à plusieurs et comparer, garder ses propres documents dans une base locale, générer images et traductions.
-
第 1 / 1 页