何が出てくるか

Demucs は音源分離のオープンソースのモデルで、狙いはまっすぐだ。混ぜられた曲を、ドラム、ベース、声、そして残りの伴奏という独立した音の筋に分ける。形としてはモデルとコマンドラインの組で、画面を持つ道具より自分のスクリプトに組み込みやすい。

Défossez らが発表し、何度か版を重ねてきて、いまの主となる版は v4 だ。先に言っておくべきことがある。作者はすでに Meta を離れており、元のリポジトリはもう手入れされておらず、大事な修正だけが扱われる。長期の仕事に置くかどうかを決めるうえで、これは効いてくる。末尾でもう一度触れる。

公式の説明は、いまのところ音楽の音源分離で進んだ部類のモデルだと述べ、ドラム、ベース、声を残りの伴奏から切り離せるとしている。つまり出てくるのは四本の音の筋で、声と伴奏の二分ではない。二本だけ出す道具との違いはまさにそこにある。

数字も公開されている。Hybrid Transformer Demucs は MUSDB HQ の試験用データで SDR が 9.00 dB。さらに疎な注意の仕組みと音源ごとの微調整を重ねると 9.20 dB に届く。学習には MUSDB HQ に加えて 800 曲を足している。

どのモデルを選ぶか

入れたあと選べるモデルは一つではない。公式は取捨を明示している。既定は htdemucs。もう少し良い結果が欲しければ微調整版の htdemucs_ft があり、代わりに分離の所要時間がおよそ四倍になる。実験的な六音源の版もあり、ピアノとギターも余分に抜き出すが、ピアノの筋はまだ良くないと公式自身が書いている。

もう二つは過去の戦績を持つ。mdx は MDX の課題で A の筋の一位、mdx_extra は B の筋で二位だった。どちらにも量子化した版があり、小さくなる代わりに質がわずかに落ちる可能性がある。

入れて使う

導入は pip の一行で、Python 3.8 以降が要る。加えて conda の環境ファイルとコンテナの像も用意されていて、環境を再現したい場合やサーバーで回す場合に向く。

よく使う呼び方は、音声ファイルの場所を渡して、終わったら出力の場所から結果を取る形だ。モデル名のフォルダの下に曲名ごとのフォルダができ、その中に 44.1kHz の立体音のファイルが四本、ドラム、ベース、その他、声として入る。出力は既定で wav で、指定を変えれば精度を変えたり mp3 で保存できる。

声だけ欲しいとき、いわゆるカラオケの使い方には二本だけ出す指定がある。ただしこれは近道ではないと公式は注意している。全部を分離してから残りを混ぜ直すので、速くもならず、メモリも節約にならない。

メモリ、速さ、コードからの呼び方

メモリについて公式の数字はこうだ。GPU で回すなら最低 3GB、ただし既定の設定では 7GB ほど要る。足りないときの逃げ道は二つあり、区切りの長さを小さくするか、CPU に切り替える。CPU の代償は時間で、おおよそ音声の長さの 1.5 倍と目安が示されている。

コマンドラインだけでなく、Python のプログラムからも直接呼べる。コマンドラインの引数をそのまま窓口に渡せばよく、分離の工程を自分のまとめ処理に差し込める。

手入れの状況と許諾

この節は正直に書く必要がある。作者はリポジトリの最初のページに、自分はもう Meta に勤めていないと記している。そのため元のリポジトリは手入れされず、大事な不具合の修正だけを扱い、機能の要望も受け付けず、作業は自分で作った分岐のリポジトリへ移した。

許諾は MIT で公開されていて、商用の流れに置くには十分に緩い。ただし上流がほぼ凍っているという現実は受け入れることになる。これを選ぶということは、安定した実装を選ぶということで、まだ速く動き続ける企画を選ぶことではない。新しいモデルが要るなら、その判断は意識して行うべきだ。

どんな人に向くか

まとまった音声を四本の筋に分け、その工程をスクリプトに書きたいという要件なら、Demucs の形は画面を持つ道具より手になじむ。一度入れ、一度呼べば、決まった形のフォルダ構成が出てくる。あとは自分の流れに任せればいい。

逆に、たまに一曲の伴奏を作りたいだけとか、モデルの組み合わせをあれこれ試したいだけなら、画面のある道具のほうが気楽だ。Demucs の値打ちは敷居の低さではなく、制御できることと繰り返せることにある。