무엇이 나오나

Demucs는 음원 분리를 하는 오픈소스 모델이고 겨냥은 곧다. 섞인 곡을 드럼, 베이스, 보컬, 그리고 나머지 반주라는 갈래로 나눈다. 형태는 모델과 명령줄의 짝이라, 화면이 있는 도구보다 내 스크립트에 넣기 쉽다.

Défossez 등이 내놓았고 여러 판을 거쳤으며 지금 중심 판은 v4다. 먼저 말해 둘 것이 있다. 저자는 이미 Meta를 떠났고 원래 저장소는 더 관리되지 않으며 중요한 수정만 처리한다. 오래 두는 작업에 넣을지 정하는 데 이 점이 걸린다. 글 끝에서 다시 짚는다.

공식 설명은 지금 음악 음원 분리에서 앞선 부류의 모델이라고 말하며, 드럼과 베이스, 보컬을 나머지 반주에서 떼어낼 수 있다고 한다. 즉 나오는 것은 네 갈래 음이고, 보컬과 반주로 둘만 내는 것이 아니다. 두 갈래만 내는 도구와의 차이가 바로 여기에 있다.

숫자도 공개되어 있다. Hybrid Transformer Demucs는 MUSDB HQ 시험 자료에서 SDR이 9.00 dB다. 여기에 성긴 주의 방식과 음원별 미세 조정을 더하면 9.20 dB까지 간다. 학습에는 MUSDB HQ에 800곡을 더했다.

어떤 모델을 고르나

설치한 뒤 고를 수 있는 모델은 하나가 아니다. 공식은 맞바꿈을 분명히 밝힌다. 기본은 htdemucs다. 조금 더 나은 결과를 원하면 미세 조정 판 htdemucs_ft가 있고, 대신 분리 시간이 대략 네 배가 된다. 실험적인 여섯 음원 판도 있어 피아노와 기타를 더 뽑지만, 피아노 쪽은 아직 좋지 않다고 공식이 직접 적는다.

나머지 둘은 과거 대회 성적을 가진 모델이다. mdx는 MDX 대회 A 갈래에서 1위, mdx_extra는 B 갈래에서 2위였다. 둘 다 양자화 판이 있어 작아지는 대신 품질이 조금 떨어질 수 있다.

설치와 사용

설치는 pip 한 줄이고 파이썬 3.8 이상이 필요하다. 함께 conda 환경 파일과 컨테이너 이미지도 제공되어, 환경을 재현하거나 서버에서 돌릴 때 맞는다.

흔한 호출은 음성 파일 경로를 넘기고, 끝나면 출력 폴더에서 결과를 가져오는 방식이다. 모델 이름의 폴더 아래 곡 이름별 폴더가 생기고, 그 안에 44.1kHz 입체 음성 파일 네 개가 드럼, 베이스, 기타, 보컬로 들어간다. 출력은 기본이 wav이고, 지정을 바꾸면 정밀도를 바꾸거나 mp3로 저장한다.

보컬만 필요할 때, 흔히 말하는 노래방 용도에는 두 갈래만 내는 지정이 있다. 다만 지름길이 아니라고 공식은 경고한다. 전부 분리한 뒤 나머지를 다시 섞는 방식이라, 더 빠르지도 메모리를 아끼지도 않는다.

메모리, 속도, 코드에서 부르기

메모리에 대해 공식이 주는 숫자는 이렇다. GPU로 돌리려면 최소 3GB, 다만 기본 설정에서는 7GB쯤 필요하다. 모자랄 때 도망갈 길은 두 가지로, 구간 길이를 줄이거나 CPU로 옮기는 것이다. CPU의 대가는 시간이고, 대략 음성 길이의 1.5배라고 기준이 제시된다.

명령줄 말고 파이썬 프로그램에서도 직접 부를 수 있다. 명령줄 인수를 그대로 창구에 넘기면 되고, 분리 단계를 내 묶음 처리에 끼워 넣을 수 있다.

관리 상태와 라이선스

이 절은 솔직해야 한다. 저자는 저장소 첫 화면에 자기가 더는 Meta에 다니지 않는다고 적었다. 그래서 원래 저장소는 관리되지 않고 중요한 오류 수정만 다루며, 기능 요청도 받지 않고, 작업은 자기가 만든 갈래 저장소로 옮겼다.

라이선스는 MIT로 공개되어 상업 흐름에 두기에 충분히 느슨하다. 다만 상류가 거의 얼어 있다는 현실은 받아들여야 한다. 이것을 고른다는 것은 안정된 구현을 고르는 일이고, 아직 빠르게 움직이는 기획을 고르는 일이 아니다. 새 모델이 필요하다면 그 판단은 의식적으로 해야 한다.

어떤 사람에게 맞나

한 묶음의 음성을 네 갈래로 나누고 그 단계를 스크립트에 쓰고 싶다면 Demucs의 형태가 화면 있는 도구보다 손에 맞는다. 한 번 설치하고 한 번 부르면 정해진 폴더 구조가 나온다. 나머지는 내 흐름에 맡기면 된다.

반대로 가끔 한 곡의 반주를 만들고 싶거나 모델 조합을 이것저것 눌러 보며 시험하고 싶다면 화면이 있는 도구가 편하다. Demucs의 값은 문턱이 낮다는 데 있지 않고, 제어할 수 있고 되풀이할 수 있다는 데 있다.