Was dabei herauskommt

Demucs ist ein offenes Modell zur Quellentrennung mit einem direkten Ziel: einen gemischten Song in getrennte Spuren für Schlagzeug, Bass, Gesang und die übrige Begleitung zerlegen. Es kommt als Modell plus Kommandozeile, was das Einbauen in eigene Skripte leichter macht als ein Werkzeug mit Oberfläche.

Vorgestellt wurde es von Défossez und weiteren, und es hat mehrere Versionen durchlaufen, wobei v4 die aktuelle Hauptlinie ist. Eines muss vorab gesagt werden: der Autor hat Meta verlassen, das ursprüngliche Repo wird nicht mehr gepflegt, nur wichtige Korrekturen werden bearbeitet. Für ein langfristiges Projekt ist das entscheidend, und am Ende komme ich darauf zurück.

Die offizielle Beschreibung nennt es ein derzeit führendes Modell zur Trennung von Musikquellen, das Schlagzeug, Bass und Gesang aus der übrigen Begleitung herauslöst. Es kommen also vier Spuren heraus, nicht eine einfache Zweiteilung in Stimme und Begleitung. Genau darin liegt der Unterschied zu den vielen Werkzeugen, die nur zwei Dateien ausgeben.

Auch die Zahlen sind veröffentlicht. Hybrid Transformer Demucs erreicht auf dem Testset MUSDB HQ einen SDR von 9.00 dB. Mit zusätzlicher dünn besetzter Aufmerksamkeit und Feinabstimmung je Quelle sind 9.20 dB möglich. Trainiert wurde zusätzlich zu MUSDB HQ mit 800 weiteren Songs.

Welches Modell man nimmt

Nach der Installation stehen mehrere Modelle bereit, und das Projekt nennt die Abwägung klar. Vorgabe ist htdemucs. Für etwas bessere Ergebnisse gibt es die feinabgestimmte Fassung htdemucs_ft, zum Preis von etwa der vierfachen Trennzeit. Dazu kommt eine experimentelle Fassung mit sechs Quellen, die zusätzlich Klavier und Gitarre herauslöst, wobei das Projekt selbst sagt, dass der Klavierpfad noch nicht gut ist.

Zwei weitere Modelle tragen frühere Wettbewerbsergebnisse: mdx war Erster in Spur A der MDX-Challenge, mdx_extra Zweiter in Spur B. Beide gibt es zusätzlich quantisiert, kleiner und mit möglicherweise etwas geringerer Qualität.

Installation und Aufruf

Die Installation ist ein pip-Befehl und verlangt Python 3.8 oder neuer. Zusätzlich gibt es eine conda-Umgebungsdatei und ein Container-Abbild, was für reproduzierbare Umgebungen oder einen Lauf auf dem Server passt.

Der übliche Aufruf bekommt einen Audiopfad und hinterlässt das Ergebnis im Ausgabeverzeichnis: ein Ordner nach dem Modellnamen, darin ein Ordner je Titel, darin vier Stereodateien mit 44.1kHz — Schlagzeug, Bass, Rest, Gesang. Ausgabe ist standardmäßig wav, ein Schalter ändert die Genauigkeit oder schreibt mp3.

Für Gesang allein, der übliche Karaoke-Fall, gibt es einen Modus mit zwei Spuren. Das Projekt warnt, dass das keine Abkürzung ist: es trennt alles und mischt den Rest danach wieder zusammen, ist also weder schneller noch sparsamer im Speicher.

Speicher, Tempo, Aufruf aus Code

Zu den Speicherwerten: mindestens 3GB Grafikspeicher für GPU-Betrieb, mit den Voreinstellungen aber etwa 7GB. Bei knappem Speicher gibt es zwei Auswege, die Segmentlänge verkleinern oder auf CPU ausweichen. Der Preis der CPU ist Zeit, als grobe Hausnummer nennt das Projekt das 1.5-Fache der Audiolänge.

Über die Kommandozeile hinaus lässt sich die Bibliothek direkt aus Python aufrufen: die Kommandozeilenargumente gehen unverändert an die Schnittstelle, womit die Trennung im eigenen Stapelablauf sitzt.

Wartungsstand und Lizenz

Dieser Abschnitt muss ehrlich sein. Der Autor schreibt auf der Startseite des Repos, dass er nicht mehr bei Meta arbeitet, das ursprüngliche Repo also nicht mehr gepflegt wird, nur wichtige Korrekturen bearbeitet werden, Funktionswünsche geschlossen sind und die Arbeit auf einen selbst angelegten Fork umgezogen ist.

Zur Lizenz: Demucs ist Open Source unter MIT, freizügig genug für kommerzielle Abläufe. Akzeptieren muss man den Stillstand oben: wer es wählt, wählt eine stabile Umsetzung und kein Projekt, das sich noch schnell bewegt. Wer neuere Modelle braucht, muss diese Entscheidung also bewusst treffen.

Für wen es passt

Wenn die Aufgabe lautet, einen Stapel Audio in vier Spuren zu zerlegen und diesen Schritt in ein Skript zu schreiben, passt die Form von Demucs besser als ein Werkzeug mit Oberfläche: einmal installieren, einmal aufrufen, eine feste Verzeichnisstruktur bekommen und den Rest der eigenen Orchestrierung überlassen.

Umgekehrt: wer nur ab und zu eine Begleitung braucht oder Modellkombinationen durchklicken will, ist mit einer Oberfläche entspannter dran. Der Wert von Demucs liegt nicht in einer niedrigen Schwelle, sondern in Kontrolle und Wiederholbarkeit.