Ramener cela à l'intérieur est un travail, pas une carte

Demandez à une équipe pourquoi ses fonctions d'IA tournent encore dans le centre de calcul d'un autre : elle désignera la carte graphique. À l'usage, c'est autre chose qui apparaît. Des dizaines de points d'appel sont dispersés dans le client, avec la bibliothèque, la lecture d'une réponse qui arrive en flux, la logique des reprises - le tout écrit autour d'une interface hébergée, et changer de fournisseur revient à tout réécrire. LocalAI retourne le problème : ne pas toucher au code, déplacer l'adresse. Il expose une interface qui accepte les mêmes requêtes que les grands hébergeurs, si bien qu'un client existant envoie et lit comme avant pendant que le modèle tourne sur votre machine. Les données ne quittent jamais le bâtiment, et aucune application n'a été réécrite pour cela.

LocalAI est un environnement d'exécution ouvert que l'on héberge soi-même : un binaire, une interface compatible, et le moteur que l'on place derrière reste une décision personnelle.

Un cœur petit, des moteurs qui viennent sur demande

Ce qui agace dans les outils de calcul local, c'est le volume : plusieurs gigaoctets de dépendances pour un modèle modeste, dont l'essentiel ne sera jamais touché. LocalAI fait de chaque moteur un soutien séparé, distribué comme une image de conteneur ordinaire et tiré seulement quand un modèle en a réellement besoin. Les soutiens tournent isolés les uns des autres, chacun s'installe, se met à jour ou se retire seul, et l'un d'eux qui tombe n'entraîne pas les autres - il peut même vivre sur une autre machine.

Cet arrangement apporte un avantage immédiat : changer de moteur ne change pas d'interface. Sous le même point d'accès, un modèle peut tourner sur ce moteur-ci et un autre sur un moteur tout différent, sans que le client s'en aperçoive : le format de requête ne bouge pas, seule une ligne de réglage change en dessous. Plus de soixante soutiens sont disponibles, couvrant la génération de texte, la reconnaissance et la synthèse de parole, la compréhension des images, la génération d'images et de vidéos, les intégrations et le réordonnancement. Côté matériel, il existe des chemins accélérés pour les trois grands fabricants de puces, pour la puce maison de la gamme portable, pour la norme graphique portable et pour les petites cartes embarquées.

Sans carte graphique, on commence aujourd'hui

Le projet énonce un principe sans détour : chaque fonction livre d'abord un chemin sur processeur, et ce chemin est éprouvé dans l'intégration continue sur du matériel que des gens ordinaires possèdent déjà. Ce n'est pas un repli dégradé qui se contente de ne pas planter. Une carte rend la chose plus rapide, pas utilisable. Pour une équipe qui veut prouver le circuit avant de commander du matériel, cet ordre compte : faire tourner sur les machines présentes, débattre de la capacité ensuite.

Si le modèle lui-même est trop gros pour tenir, il reste la quantification. Le procédé maison choisit une précision par tenseur et par couche : sur un modèle mélange d'experts d'environ 35 milliards de paramètres, l'emprise est passée d'à peu près 65 GB à 12 GB, pendant que la génération montait de 30 à 74 unités par seconde ; la perplexité a glissé de six virgule cinq à sept virgule un. Ce qui sort est un fichier ordinaire du format quantifié courant, que le moteur d'origine lit sans rustine.

Quand les machines se multiplient, la répartition s'en charge

Une machine seule finit par plafonner. La réponse ici est simplement d'en ajouter une : le routage des requêtes, le placement d'un modèle là où la mémoire graphique le permet, l'affinité avec les préfixes déjà calculés et le basculement en cas de panne sont repris par l'environnement d'exécution, un travail qui demanderait sinon son propre répartiteur. Il prend en charge une forme de production qui s'étend sur des nœuds travailleurs, et aussi une fédération d'égal à égal : quelques machines inoccupées au bureau réunies rendent possibles des tâches qui exigeaient autrefois une carte dédiée. La charge monte, des machines s'ajoutent, et la grappe calcule comment s'en servir.

Il écoute aussi, et il regarde

On résume souvent les modèles locaux à ce qui tape du texte. Cette couche en porte bien davantage : une transcription en direct avec marques de locuteur et horodatages, assez rapide pour suivre une réunion en cours ; la reconnaissance de plusieurs centaines de classes d'événements sonores, si bien qu'une porte, un verre brisé ou un détecteur de fumée sont remarqués ; la reconnaissance de voix et de visage avec contrôle de présence, qui distingue une personne de quelqu'un tenant une photographie ; une question sur la tasse rouge à gauche, à laquelle on répond par des coordonnées et non par une phrase ; une profondeur estimée depuis une seule photo ordinaire, et une scène en trois dimensions reconstruite à partir de quelques-unes, sans calibrage de caméra et sans carte graphique. Les noms, adresses et numéros de carte sont repérés et masqués sur la machine, avant que quoi que ce soit puisse sortir.

Un changement de sécurité à lire avant de mettre à jour

La version actuelle est passée au refus par défaut en matière d'authentification. L'ancienne couche intermédiaire décidait quels points d'accès protéger en comparant des débuts de chemin, et ce qui n'y figurait pas restait public ; or certaines routes portaient des alias sans ce début, le contrôle global ne s'y appliquait pas, et des chercheurs en sécurité ont signalé ce contournement. La couche regarde désormais aussi la méthode et refuse par défaut, ne laissant passer que les méthodes et chemins explicitement déclarés publics. Qui utilise une authentification par base de données ou une ancienne clé doit préparer deux changements : le point d'accès qui donne la version réclame maintenant des preuves, et les adresses renvoyées pour l'audio, les images et les vidéos générées exigent la clé avant de pouvoir être récupérées.

Si tout ce que l'on veut est de ramener le modèle sur sa propre machine, si possible sans rien réécrire, LocalAI offre le chemin le plus court : changer une adresse, et laisser les moteurs qu'il assemble à la demande faire le reste.