Eine Webcam und ein Browser-Tab genuegen, damit ein Live2D-Avatar der eigenen Mimik folgt. Genau dieses Problem wollte Pitaoji loesen.

Der Einstieg in virtuelle Streams scheiterte frueher an der Hardware. Motion Capture verlangte eigene Geraete und viel Kalibrierung, ein Gruenschirm eine freie Wand, und das Freistellen kostete im Streaming-Programm noch einen halben Nachmittag mit Reglern. Wer nur einmal vor der Kamera sprechen will, wird von diesem Vorlauf eher abgeschreckt als vom Senden selbst.

Pitaoji geht einen anderen Weg und legt die Mimikerfassung in den Browser. Die Kamera auf sich gerichtet, steuern die eigenen Gesichtszuege den Live2D-Charakter in Echtzeit, ohne Treiber und ohne etwas am Koerper zu tragen. Die Desktop-Fassung 1.2, am 3. November erschienen, schliesst genau die Luecke, den Charakter ins laufende Bild zu bringen.

Die Webcam als Motion Capture, direkt im Browser

Studio-Seite oeffnen, Kamerazugriff erlauben, und Augen, Brauen und Mund des Avatars folgen der eigenen Bewegung. Dazu kommt Lippenbewegung nach Tonsignal: Beim Sprechen richtet sich der Mund nach dem Klang, was fuer vorgelesene Texte und Kommentare natuerlicher wirkt als reine Mimikerfassung. Der ganze Ablauf bleibt im Browser, und die Seite fasst es mit drei Dingen zusammen, die man nicht mehr braucht: Installation, Motion-Capture-Ausruestung und aufwendige Einstellungen.

Charaktere kommen aus der Modellbibliothek oder aus einem eingebauten Editor. Wer keine lange Investition plant, fuer den zaehlt das weit mehr als ein Datenblatt: erst eine Figur, die vor die Kamera kann, ueber Stil laesst sich spaeter reden.

1.2 bringt den transparenten Hintergrund

Der Kern dieses Desktop-Updates ist der transparente Hintergrund. Bisher brauchte man einen Gruenschirm oder Freistellung in der Nachbearbeitung, um eine Figur ueber ein laufendes Bild zu legen. Ab 1.2 greift die Streaming-Software dieses transparente Fenster direkt ab, und der Avatar verhaelt sich wie eine Ebene im Bild: Was dahinter gehoert, ein Spiel oder der Schreibtisch, bleibt einfach dort.

Die Seite nennt auch einen Ausweichweg. Falls die Fensteraufnahme das transparente Modell nicht erwischt, laesst sich die Streaming-Software mit dem beiliegenden Startskript im Modus fuer Gesichtsverfolgung starten und stattdessen eine Browserquelle hinzufuegen. Solche Hinweise deuten meist darauf, dass das Team oft genug danach gefragt wurde.

Der Rest ist Ingenieursarbeit. Eine native Anwendung in der Sandbox, automatische Updates fuer das Installationspaket, dazu installierbare und portable Fassungen fuer Windows, macOS und Linux. Das Paket veroeffentlicht eine SHA256-Pruefsumme, und die Kontrolle laeuft lokal im Browser, ohne dass die Datei irgendwohin hochgeladen wird.

Damit ist auch die Aufteilung der beiden Varianten klar. Die Browserversion punktet mit null Vorbereitung: anderer Rechner, geliehene Maschine, sofort ausprobieren. Den transparenten Hintergrund bringt sie nicht mit, sie dient der Vorschau. Wer ernsthaft senden und die Figur ins Bild legen will, braucht die Desktop-Fassung. Beide Zugaenge stehen nebeneinander, statt sich zu ersetzen.

Der Weg von null ist kurz. Auf der Modellseite eine Figur waehlen, ins Studio zurueckkehren, Kamerazugriff erlauben, Hintergrund und Anhaengsel nach Geschmack anordnen, dann senden. Die Seite legt Modellauswahl, Anleitungen und den Client-Download auf eine Navigationsebene, statt sie in Untermenues zu schieben. Fuer Einsteiger ist jede eingesparte Ebene eine Chance weniger, aufzugeben.

Interaktion ist mehr als Mimik

Reaktionen aus dem Chat werden direkt zur Antwort der Figur: Kommentare, Geschenke und bezahlte Nachrichten loesen jeweils passende Bewegungen oder Mimik aus. Zuschauer sehen eine Figur, die ihnen antwortet, keine Zeichnung, die nur blinzelt. Ebenen und Anhaengsel erlauben Text, Bemalung und kleine Requisiten auf der Figur, und mit statischen oder bewegten Hintergruenden plus umschaltbaren Buehnenvorlagen schrumpft der Aufbau vor dem Senden auf wenige Klicks.

Gemeinsames Senden ist die andere Richtung: mehrere Personen auf einem Bild, wobei ein Handy per Scan zur zweiten Kamera wird. Gespraeche zu zweit und Gaeste brauchen damit kein zweites Set an Geraeten.

Fuer wen es passt, und was vorher zu klaeren ist

Am besten passt es zu Menschen, die gerade mit einer Avatar-Persona anfangen: knappes Budget, keine Lust auf Hardware im Vorfeld, und der Wunsch zu pruefen, ob sie Woche fuer Woche senden koennen. Es passt auch zu Streamenden, die ihren Ablauf schon haben und nur eine Figur im Bild wollen, denn das transparente Fenster der Desktop-Fassung laesst sich in ein bestehendes Bild einhaengen.

Zwei Punkte verdienen vorab einen Gedanken. Erstens die Rechte an der Figur: Material aus der Bibliothek hat eigene Nutzungsgrenzen, also vor kommerzieller Nutzung die Lizenz lesen. Zweitens die Leistung, denn laufende Erfassung und Darstellung zehren an Grafikkarte und Bildrate der Kamera. Auf aelteren Rechnern lieber eine volle Sitzung testen, statt fehlende Bilder erst nach Sendestart zu bemerken.

Der Wert von Pitaoji liegt nicht darin, wie fein die Figur gezeichnet ist. Er liegt darin, dass die Kosten fuer den Start eines Streams auf eine Kamerafreigabe sinken. Ist die Huerde so niedrig, wird Ausprobieren erst sinnvoll.