声質の変換とその場の声チェンジを行うオープンソースの枠組み。学習には少なくとも十分の静かな音声が要り、端から端までの遅れは 170 ミリ秒に届く。画面も二種類そろっている。

混ぜられた曲をドラム、ベース、声、残りの伴奏に分けるオープンソースの分離モデル。コマンドライン一行で走り、Python からも呼べる。コードは MIT ライセンス。

音源分離のモデルで曲を声と伴奏に分けるオープンソースの道具。公式のインストーラは画面、Python、PyTorch と依存をまとめて同梱していて、事前の準備が要らない。

Whisper の二つの穴を埋める流れだ。時刻は文の単位で止まり、まとめて処理する手段もない。WhisperX は強制アラインメントで語の時刻まで詰め、話者も見分け、large-v2 で実時間の 70 倍とうたう。

自分のパソコンの中で書き起こしと翻訳を済ませるデスクトップの道具で、土台は Whisper。音声や動画のファイルとリンクを扱い、マイクからはその場で書き起こし、話者も見分け、テキストと SRT、VTT に書き出せる。

文字起こしと英語への翻訳、言語の判定を一つの流れでこなす汎用の音声認識モデル。大きさは約 3900 万から約 15.5 億パラメータまで六種類。コードも重みも MIT ライセンスで配布される。

手元のマシンに導入して動かすゼロショット音声合成。参照音声は一本でよく、感情も話速も発音もパラメータで調整できる。重みの扱いは汎用のオープンソース許諾ではなく、プロジェクト独自のライセンスで決まる。

フローマッチングで音声を合成するオープンソースのプロジェクト。pip パッケージ、コマンドライン推論、Gradio の画面を用意する。コードは MIT だが、学習済みの重みは学習データの都合で非商用に限られる。

オープンソースの音声合成モデル。最新世代は言語をまたぐゼロショット複製に対応し、9 つの外国語と十を超える中国語の方言と訛りを覆い、Apache 2.0 ライセンスで公開されている。

オープンソースの音声合成 WebUI。五秒の人声があればゼロショットで合成でき、一分の音声データがあればより近い声質に調整できる。推論は中国語、英語、日本語、韓国語、広東語の五つをまたげる。