중국의 인공지능 시각 생성 모델 가운데 이 이름을 빼고 이야기하기 어렵다. Tongyi Wanxiang 은 통이 연구실이 직접 만든 시각 생성 대형 모델이고, 공식 사이트에서는 인공지능 영상과 이미지 생성을 이끄는 모델로 자리매김한다. 지금 첫 화면에서 밀고 있는 것은 세 번째 세대의 Wan 이며, 글에서 영상, 이미지에서 영상, 여러 양식의 참조, 영상 편집을 하나의 모델에 접어 넣은 올인원 방식이다.

한 번에 삼십 초, 소리까지

공식 설명에는 세 번째 세대 계열이 올인원 영상 생성 모델이며 소리 포함 영상 생성과 여러 양식의 참조, 영상 편집에서 전면적으로 강화되었다고 적혀 있다. 한 번 생성은 최장 삼십 초, 출력은 초당 서른 프레임, 그리고 대사와 배경 음악, 효과음이 그대로 나온다. 이 숫자를 나란히 놓으면 그림을 먼저 만들고 목소리를 입히고 마지막에 소리를 맞추던 옛 절차의 대부분이 사라진다.

글에서 영상 만들기는 프롬프트만 주면 되고 소재 파일을 넘길 필요가 없다. 공식 설명에 따르면 최장 삼십 초의 다중 컷 서사를 그대로 다루고 동기화된 대사와 배경 음악, 효과음을 스스로 만든다. 단일 컷과 다중 컷 콘티 형식을 모두 받고 각 컷은 사 초에서 육 초이며 시점 표시가 붙는다. 해상도는 세 단계에서 고르고 길이는 이 초에서 삼십 초, 게다가 자동 길이라는 설정이 있어 모델이 어느 정도가 알맞은지 스스로 정한다.

참조할 수 있는 것: 이미지, 영상, 소리, 문서까지

여기가 세 번째 세대에서 따로 한 장을 할애할 만한 대목이다. 한 번의 요청에 최대 스무 개의 여러 양식 소재를 참조하며 이미지와 영상, 소리, 문서, 웹페이지에 걸친다. 구체적 상한은 이미지가 열 장에 장당 이십 메가바이트까지, 영상이 다섯 편에 합계 십오 초까지, 소리가 다섯 개에 합계 십오 초까지다. 세 종류는 자유롭게 조합할 수 있어 이미지와 영상, 이미지와 소리, 셋 모두 같은 형태가 된다.

더 드문 것은 문서와 웹페이지 참조다. 소재 종류를 문서나 링크로 바꾸면 둘 중 하나로 각각 한 개까지, 문서나 페이지의 내용을 읽어 영상을 만든다. 제품 안내서나 기획 문서, 자료 표가 그대로 작품의 뼈대와 화풍의 길잡이가 된다.

처음과 마지막 프레임, 그리고 나중의 편집

이미지에서 영상 만들기는 첫 프레임만 쓰는 형태와 처음과 마지막을 함께 쓰는 형태가 있다. 두 장의 그림으로 시작과 끝 화면을 화소 수준까지 엄격히 지정하고 사이의 움직임은 모델에 맡긴다. 둘을 함께 쓰는 형태에서는 사이의 변화를 모델이 스스로 만든다. 한 줄 설명보다 머릿속 그 장면에 훨씬 가깝다.

공식 설명은 편집과 연장도 다룬다. 편집에서는 소재 종류를 참조 영상으로 두고 프롬프트에 편집 의도를 실으면 된다. 지우기, 바꾸기, 고치기 같은 지시로 요소를 더하고 지우고 바꾸기, 화풍 전환, 빛 조정, 대사 고쳐 쓰기가 가능하다. 연장은 앞으로, 뒤로, 양방향을 지원한다. 다시 말해 마음에 들지 않는 부분은 같은 모델 안에서 고칠 수 있고 이어서 찍을 수도 있다.

이미지 쪽도 덧붙임이 아니다

영상이 주무대지만 이미지가 약하지는 않다. 공식 사이트는 이것을 영상과 이미지 생성 모델로 규정하고 이미지 쪽은 글에서 이미지, 이미지에서 이미지를 받는다. 여러 그림의 융합과 창의적 재조합, 업무에 견디는 주체 일관성, 미학 요소의 전이, 렌즈와 빛의 정밀한 제어까지 포함한다. 그림과 글자를 섞은 조판 출력도 되어 여러 그림과 글자를 함께 만들므로 그림책이나 정보 도표처럼 배열에 논리가 필요한 자리에 알맞다. 사실적인 인물도 분명히 겨냥하는 방향이고 구도와 빛을 종합적으로 다듬어 흔한 생성 느낌을 줄인다고 한다.

모델의 계보와 닿는 길

공식 발표에는 Wan 계열이 이미 글에서 이미지, 글에서 영상, 이미지에서 영상, 목소리에서 영상, 움직임 생성 등 열 가지가 넘는 시각 창작 능력을 갖췄고 지금까지 삼억 구천만 장의 이미지와 칠천만 편의 영상을 만들었다고 적혀 있다. 게다가 스무 개가 넘는 모델을 잇달아 공개해 공개 생태계와 외부 배포처에서 받은 횟수가 삼천만을 넘는다. 일상적으로는 공식 사이트에서 바로 시험할 수 있고 클라우드 모델 창구를 통해 호출해 묶음으로 만들 수도 있다.

분명히 해 둘 한계

공식 설명에는 미리 알아 둘 제한이 몇 가지 있다. 문서와 웹페이지 링크는 로그인이 필요 없는 공개 페이지만 되고 비공개 내용은 넣을 수 없다. 소재 참조에는 상한이 있어 이미지 열 장, 영상과 소리는 각각 다섯 편에 각각 십오 초까지다. 처음과 마지막 프레임을 쓰는 형태는 다른 참조 종류와 섞을 수 없다. 예를 들어 양 끝 프레임을 넘긴다면 같은 요청에 소리 참조를 넣을 수 없다. 함정이 아니라 고르기 전에 계산에 넣어야 할 조건이다.

줄여 말하면 세 번째 세대가 메운 것은 한 편의 작품을 대본에서 완성까지 옮기는 데 여러 도구를 넘나들어야 했던 틈이다. 삼십 초, 소리 포함, 다중 컷, 참조 가능, 편집 가능. 공식은 모두를 하나의 모델에 담았다. 단편이나 광고, 전자 상거래 영상을 만든다면 시험 목록에 올릴 값어치가 있다. 가끔 그림 한 장이 필요한 정도라면 이미지 쪽 입구로 충분하다.