Der Rückweg nach innen ist Arbeit, nicht Hardware

Fragt man ein Team, warum die AI-Funktionen noch im Rechenzentrum eines anderen laufen, zeigt es meist auf die Grafikkarte. Beim Versuch zeigt sich etwas anderes: Dutzende Aufrufstellen liegen verstreut im Client, dazu das Softwarepaket, das Auswerten einer streamenden Antwort, die Logik der Wiederholungen - alles rund um eine gehostete Schnittstelle geschrieben, und ein Wechsel heißt, es neu zu schreiben. LocalAI dreht das um: nicht den Code anfassen, sondern die Adresse. Es bietet eine Schnittstelle, die dieselben Anfragen annimmt wie die großen gehosteten Anbieter, sodass ein vorhandener Client weiter sendet und weiter auswertet und das Modell auf der eigenen Maschine läuft. Die Daten verlassen das Haus nicht, und keine Anwendung wurde dafür umgeschrieben.

LocalAI ist eine offene Laufzeit, die man selbst betreibt: ein Programm, eine passende Schnittstelle, und welche Maschine dahinter sitzt, entscheidet man selbst.

Ein kleiner Kern, Kerne kommen auf Zuruf

Was an Werkzeugen für lokale Berechnung stört, ist der Umfang: mehrere Gigabyte Abhängigkeiten für ein bescheidenes Modell, von denen das meiste nie angefasst wird. LocalAI macht jede Rechenmaschine zu einem eigenen Kern, der als gewöhnliches Containerbild verteilt und erst geholt wird, wenn ein Modell ihn wirklich braucht. Die Kerne laufen voneinander abgeschottet, lassen sich einzeln einrichten, erneuern oder entfernen, und ein fehlerhafter reißt die anderen nicht mit - er darf sogar auf einer anderen Maschine liegen.

Das bringt einen unmittelbaren Vorteil: eine andere Maschine bedeutet keine andere Schnittstelle. Unter demselben Endpunkt darf ein Modell auf dieser und ein zweites auf einer ganz anderen Maschine laufen, und der Client merkt nichts - das Anforderungsformat bleibt, geändert wird eine Zeile Einstellung darunter. Mehr als sechzig Kerne stehen heute bereit und decken Textzeugung, Spracherkennung und -ausgabe, das Verstehen von Bildern, Bilder- und Videoerzeugung, Einbettungen und Umsortierung ab. Auf der Hardwareseite gibt es beschleunigte Wege für die drei großen Chippersteller, für den selbst entworfenen Chip der tragbaren Reihe, für den übertragbaren Grafikstandard und für kleine eingebettete Platinen.

Ohne Karte lässt sich heute anfangen

Das Vorhaben sagt einen Grundsatz deutlich: Jede Fähigkeit liefert zuerst einen Weg über den Prozessor, und dieser Weg wird in der fortlaufenden Prüfung auf Hardware getestet, die gewöhnliche Leute ohnehin besitzen. Er ist kein abgespeckter Notausgang, der bloß nicht abstürzt. Eine Karte macht die Sache schneller, nicht erst benutzbar. Für ein Team, das den Ablauf beweisen will, bevor es Hardware bestellt, zählt diese Reihenfolge - erst auf den vorhandenen Maschinen zum Laufen bringen, danach über Ausbau reden.

Ist das Modell selbst zu groß, kommt die Quantisierung. Das eigene Verfahren des Vorhabens wählt die Genauigkeit je Tensor und je Schicht, und bei einem Gemisch-aus-Fachleuten-Modell mit rund 35 Milliarden Parametern schrumpfte der Platzbedarf von etwa 65 GB auf 12 GB, während die Erzeugung von 30 auf 74 Einheiten je Sekunde stieg; die Verwirrung wanderte von sechs Komma fünf auf sieben Komma eins. Heraus kommt eine gewöhnliche Datei des verbreiteten quantisierten Formats, die die ursprüngliche Maschine ohne Flicken liest.

Bei mehreren Maschinen übernimmt die Verteilung

Eine einzelne Maschine hat eine Decke. Die Antwort ist hier schlicht eine zweite: Anfragewege, das Setzen eines Modells dorthin, wo der Grafikspeicher es zulässt, die Nähe zu zwischengespeicherten Anfängen und das Ausweichen bei Störungen übernimmt die Laufzeit - Arbeit, die sonst ein eigener Verteiler wäre. Sie unterstützt eine Betriebsform, die über Arbeitsknoten wächst, und ebenso einen Zusammenschluss von Gleich zu Gleich: ein paar müßige Maschinen im Büro ergeben zusammen Aufgaben, für die früher eine eigene Karte nötig war. Die Last steigt, Maschinen kommen dazu, und der Verbund rechnet aus, wie er sie nutzt.

Es hört auch hin, und es schaut hin

Lokale Modelle gelten oft als etwas, das nur tippt. In dieser Schicht steckt deutlich mehr: live mitgeschriebene Rede mit Sprecherkennzeichnung und Zeitmarken, schnell genug für eine laufende Besprechung; Erkennung von mehreren hundert Arten von Klangereignissen, sodass eine Tür, splitterndes Glas oder ein Rauchmelder auffallen; Stimm- und Gesichtserkennung mit Lebendprüfung, die einen Menschen von jemandem mit einem vorgehaltenen Foto unterscheidet; eine Frage nach der roten Tasse links, beantwortet mit Koordinaten statt mit einem Satz; Tiefe aus einem einzigen gewöhnlichen Foto geschätzt und eine dreidimensionale Szene aus ein paar davon wieder aufgebaut, ohne Eichung der Kamera und ohne Karte. Namen, Adressen und Kartennummern werden auf der Maschine gefunden und geschwärzt, bevor irgendetwas sie verlassen könnte.

Eine Sicherheitsänderung vor dem Aktualisieren

Der aktuelle Stand hat die Prüfung der Zugänge auf Ablehnen ab Werk umgestellt. Die alte Zwischenlage entschied über Pfadanfänge, welche Endpunkte Schutz brauchen, und was nicht auf der Liste stand, blieb offen; einige Wege trugen Aliase ohne diesen Anfang, die globale Prüfung griff dort nicht, und Sicherheitsforscher meldeten diese Umgehung. Die Zwischenlage sieht nun auch die Methode an und lehnt ab Werk ab; durch kommt nur, was ausdrücklich als öffentlich eingetragen ist. Wer Datenbankprüfung oder einen älteren Schlüssel betreibt, sollte zwei Änderungen vorbereiten: Der Endpunkt mit der Auskunft über die Fassung verlangt nun Nachweise, und die zurückgegebenen Adressen für erzeugtes Ton-, Bild- und Videomaterial brauchen den Schlüssel, bevor die Datei zu holen ist.

Wer nur das Modell zurück auf die eigene Maschine holen will, möglichst ohne etwas umzuschreiben, bekommt hier den kürzesten Weg: eine Adresse tauschen und die Kerne, die es nach Bedarf zusammensetzt, den Rest tun lassen.