앞서 다룬 데스크톱 도구는 여기서 말하는 알고리즘 위에서 돈다. 이 프로젝트는 앱이 아니라 논문과 그 공식 구현이다. 저장소의 자기 설명에 따르면 목표는 일반적인 이미지와 영상 복원을 위한 실용 알고리즘을 만드는 것이고, 이전의 생성적 접근을 실제 세계의 열화를 다루는 실용판으로 확장한다. 학습 데이터는 모두 합성으로 만든다. 실제로 그렇게 쓰인다. 화면 있는 제품들이 앞다투어 껍데기에 담아 바로 쓸 수 있는 도구로 만들고, 직접 코드를 쓰며 마주하는 사람은 오히려 다수가 아닐 것이다.

세 갈래, 만질 의향에 따라 고른다

공식 경로는 셋이다. 첫째는 아무것도 필요 없다. 호스팅된 시연으로 저장소에 두 개의 입구가 걸려 있어 아무것도 설치하지 않고 결과를 먼저 볼 수 있다. 초기에는 공식 시연 사이트도 있었다. 둘째는 휴대용 실행 파일로 ncnn 구현에 기반하고 Windows, Linux, macOS 세 플랫폼과 세 주요 그래픽 제조사의 제품을 덮는다. 의존성과 모델이 안에 들어 있어 가속 도구 모음도 Python 환경도 필요 없다. 받아서 두 번 누르면 된다. 대신 스크립트판보다 기능이 적다. 셋째는 Python 스크립트로 자기 흐름에 넣으려는 사람을 위한 것이다. Python 3.7 이상, 딥러닝 프레임워크 1.7 이상, 몇 가지 보조 패키지를 넣으면 명령줄에서 부를 수 있고, 임의 배율 출력(모델 출력에 한 번 더 확대를 건다)과 얼굴 보정 스위치(얼굴 복원을 직접 호출한다)를 지원한다.

모델과 인자: 손잡이가 생각보다 많다

휴대용판에는 여러 모델이 들어 있고 이름 인자로 바꾼다. 범용 x4plus가 기본이고, 다른 손실로 학습한 변형, 애니메이션 삽화용, 애니메이션 영상용이 있다. 모델 선택 외에도 볼 만한 인자가 있다. 배율은 2, 3, 4 중에 고를 수 있다. 타일 크기로 메모리 사용을 조절하니 버거운 기계는 조각을 작게 자른다. 그래픽이 여러 개면 어느 것을 쓸지 지정한다. 불러오기, 처리, 저장 세 단계의 스레드 배분도 조정할 수 있어 작은 이미지가 많을 때 올리면 빨라진다. tta 방식은 품질을 더 올리지만 느려진다. 출력 형식은 jpg, png, webp를 지원한다. 공식은 맞바꿈도 적어 둔다. 휴대용판은 입력을 여러 조각으로 잘라 따로 처리한 뒤 이어 붙이므로 조각 사이에 불일치가 생길 수 있고 프레임워크판과 결과가 조금 다르다. 그럴 때는 스크립트판을 쓰라고 권한다. 스크립트판은 여기에 더해 투명 채널이 있는 이미지, 회색조, 16비트 이미지, 그리고 앞서 말한 얼굴 보정을 지원한다.

생태계에서의 자리: 다른 제품이 흡수하는 계층

저장소에는 이것을 쓰는 하류 프로젝트를 나열한 절이 있고, 그 목록이 위치를 설명한다. 안드로이드 구현, 영상 처리 플러그인, ncnn 판 자체, 그리고 화면 있는 도구 여럿 — 앞서 다룬 데스크톱 제품도 포함된다. 즉 많은 사용자는 의식하지 못하는 어떤 화면을 통해 간접적으로 이 알고리즘을 쓴다. 현재 숫자는 약 36.8k 스타, 4.5k 포크, 열한 개 릴리스, 버전 v0.3.0이며 코드는 순수 Python, BSD-3-Clause다. 이 라이선스는 꽤 관대해 상업적 사용과 재배포에 마찰이 거의 없다. 많은 제품이 토대로 고른 이유 하나다. 방법에도 공식 출처가 있다. 2021년 컴퓨터 비전 워크숍 논문이며 저자는 네 명, 소속은 대기업의 시각 연구실과 국가 연구 기관이다.

휴대용 축은 별도 저장소가 관리하고 본체보다 작다. 약 2.2k 스타, 292 포크이며 같은 발상의 더 이른 명령줄 구현에서 많이 빌렸다고 스스로 인정한다. 할 일 목록은 구체적이다. 더 저렴한 확대 방식 지원, 일부 기계에서 새까만 이미지가 나오는 문제 수정, 모델 변환 안내 보강, 얼굴 복원 지원. 마지막 항목이 중요하다. 휴대용판과 스크립트판은 능력이 대등하지 않고 얼굴 보정은 현재 스크립트 쪽에만 있으니 필요에 따라 골라야 한다.

누구에게 맞는가

세 부류. 소재를 일괄 처리하고 싶지만 환경을 만들고 싶지 않은 사람. 휴대용판은 받으면 돌고 명령 하나로 폴더 하나를 처리하며 타일 인자로 중간 사양 기계에서도 돌아간다. 애니메이션과 삽화를 다루는 창작자. 애니메이션 정지화면과 영상에 각각 전용 모델이 있고 이런 내용은 질감이 규칙적이라 사실적 사진보다 안정적으로 힘을 낸다. 그리고 개발자와 연구자. BSD-3-Clause는 관대하고 학습 코드도 공개되어 있다. 자기 제품에 초해상도를 넣거나 합성 데이터 학습 발상을 고쳐 쓰려는 사람의 출발점이 낮고 논문을 그대로 재현할 수 있다.

주의할 점 세 가지. 첫째 경계. 잘하는 것은 해상도가 부족한 화면을 정리하는 일이고, 화면 자체의 동체 흔들림이나 초점 실패 같은 광학 문제에는 듣지 않는다. 공식은 확대 후의 과한 평활화를 눌러 줄 노이즈 제거 강도 인자도 더했으니, 세부 보존과 깨끗함의 균형은 사용자가 잡아야 한다. 둘째 갱신 박자. 본체는 v0.3.0에 머물고 릴리스가 잦지 않아 안정적이지만 활발히 진화하지는 않는 상태다. 휴대용판에는 미해결 과제도 남아 있으니 쓰기 전에 할 일 목록을 한 번 읽는 편이 좋다. 셋째 하드웨어 방향. 휴대용판은 ncnn과 Vulkan을 지나므로 그래픽이 필요하고 프로세서만 있는 환경에서는 매우 느리다. 대량으로 돌릴 생각이면 조건을 먼저 확인하자. 쓸 만한 화면만 원한다면 완성된 데스크톱 제품이 수월하고, 자기 처리 계통에 넣으려면 이 저장소에서 시작하는 것이 맞는 길이다.

열린 알고리즘 계층의 가치는 대개 자기 다운로드 수에 있지 않다. 얼마나 많은 제품이 자기 껍데기에 감추려 했는지에 있다.