음성 합성과는 다른 일

RVC는 Retrieval-based-Voice-Conversion-WebUI의 줄임말이고, 공식은 스스로를 간단하고 쓰기 쉬운 음색 변환과 변성 틀이라고 설명한다. 하는 일은 음성 합성과 다르다. 글자에서 음성을 만드는 것이 아니라, 이미 녹음된 목소리를 다른 음색으로 바꾼다.

이런 도구는 예전에 문턱이 높았다. RVC는 그것을 두 숫자로 줄였다. 학습에 최소 10분의 음성이 필요하다는 것, 실시간 변성의 끝에서 끝까지 지연이 170밀리초라는 것.

입력은 목소리 자체이고 대본이 아니다. 녹음을 건네면 내용은 같고 음색만 목표 모델로 바뀐 판이 돌아온다. 바뀌는 것은 누가 말하는가이고, 무엇을 말하는가가 아니다.

공식이 드는 첫 성질은 top1 검색으로 입력 쪽 특징을 학습 쪽 특징으로 바꿔 음색 새는 것을 막는다는 것이다. 검색되는 특징은 학습에 쓴 자료 그 자체에서 오므로, 출력은 목표 목소리에 가깝고 입력 쪽의 억양과 녹음 품질을 그대로 끌고 오지 않는다.

10분 자료로 학습한다

공식은 최소 10분의 바닥 잡음이 낮은 음성을 모으라고 권하고, 적은 양으로도 괜찮은 결과가 나온다고 덧붙인다. 이 규모라면 방음실이 필요 없고, 조용한 실내 녹음으로 거의 충분하다.

하드웨어 요구도 같은 정도로 낮다. 비교적 약한 카드에서도 학습이 빠르다고 공식은 적는다. 토대 모델은 공개된 고품질 VCTK 자료, 대략 50시간으로 학습되었고 권리 문제는 없다고 밝힌다. 또 체크포인트 항목의 ckpt-merge로 모델을 섞어 음색을 더 움직일 수 있다.

설치는 의존을 세 갈래로

이 갈래는 64비트 파이썬 3.12를 대상으로 하고, Ubuntu 쪽은 24.04를 권한다. 의존은 하드웨어로 세 갈래다. CPU와 AMD, Intel은 한 파일을 함께 쓴다. Nvidia는 신구로 갈라져, RTX 50 계열은 먼저 CUDA 12.8 판 Torch를, RTX 50 이전은 먼저 CUDA 11.8 판 Torch를 넣고 그다음 각자의 의존 파일을 넣는다. 순서가 중요하고, Torch가 먼저, 의존이 나중이다. 설치 뒤 한 줄 명령으로 Torch와 CUDA 판이 출력되니, 환경을 먼저 확인하고 넘어간다.

AMD와 Intel 카드는 CPU 의존 길을 간다. 윈도우에서는 DirectML, Linux에서는 그대로 CPU다. Nvidia가 아니어도 돌지만 계산력의 차이는 받아들여야 한다.

모델은 맞는 자리에 둔다

화면은 작업 폴더를 스스로 만들지만, 모델은 직접 받아 정해진 자리에 둔다. 공식이 요구하는 것은 고정된 구성이다. 특징 추출에 hubert_base, 음높이 추출에 rmvpe 가중치, 학습에 pretrained와 pretrained_v2, 목소리 분리에 pymss_weights, 사용자 모델에 weights, 색인에 indices.

내려받기도 명령줄 도구로 하며 용도별로 묶여 있다. 추론과 특징 추출에 필요한 묶음, v1과 v2 학습에 필요한 묶음, 목소리 분리에 쓰는 선택 묶음. 윈도우의 DirectML 환경만 onnx 형식 음높이 가중치를 더 필요로 한다. 또 윈도우에서는 FFmpeg 실행 파일 두 개를 직접 프로젝트 최상위에 넣어야 한다.

실시간 변성과 지연

입구는 두 가지다. 화면과 별도의 실시간 변성 화면. 여기서 볼 것은 지연이고, 끝에서 끝까지 170밀리초를 이루었다고 공식은 말한다. ASIO 입출력 장치를 쓰면 90밀리초까지 되지만, 이는 하드웨어 드라이버의 지원에 크게 좌우된다고 공식도 인정한다.

이 수준까지 줄인 열쇠 하나가 음높이 추출이다. 공식은 InterSpeech2023의 RMVPE 방식을 쓰고, 먹먹한 목소리 문제를 끊고 빠르며 자원 사용도 작다고 평가한다. 화면에서 pm, harvest, crepe로 바꿀 수도 있다.

실행 방식과 라이선스

실행은 한 줄이고 기본으로 7865번 포트를 지켜본다. 화면이 없는 Ubuntu 서버라면 브라우저를 자동으로 여는 동작을 건너뛰는 지정을 더할 수 있다. 사용자 모델은 weights, 색인은 indices 폴더에 둔다.

라이선스는 MIT이고 토대 모델은 공개된 VCTK 자료를 써서 권리 문제가 없다고 공식은 밝힌다. 다만 하나는 내 책임이다. 음색 변환은 남의 목소리를 다루므로, 결과를 공개하기 전에 상응하는 허락을 받았는지 확인하는 편이 좋다.

정리하면 RVC의 흥미는 두 숫자에 모인다. 학습에 10분의 음성, 실시간 변환에 170밀리초. 예전에는 장비와 시간의 문제였던 과정이 조용한 방과 카드 한 장 안으로 들어왔다. 그만큼 다루는 데 주의가 필요하다. 목소리는 그 사람의 것이기 때문이다.