즈푸의 칭잉을 써 본 사람도 그 뒤에 있는 모델이 오픈소스라는 것을 모를 수 있다. CogVideoX 공식 저장소는 모델 소개에서 분명히 적는다. CogVideoX 는 칭잉(QingYing)에서 나온 영상 생성 모델의 오픈소스판이라고. 바꿔 말하면 웹에서 줄 서서 기다리던 그 능력에는, 손에 받아 직접 돌릴 수 있는 대응판이 있다.

다만 둘은 같지 않다. 공식은 페이지 위쪽에서 관계를 분명히 한다. 더 큰 규모의 상용 영상 생성 모델을 쓰려면 칭잉과 API 기반으로 가면 되고, 이 저장소가 주는 것은 그에 대응하는 오픈소스판이다. 상용판은 온라인 대규모 생성을 맡고, 오픈소스판은 가중치와 코드를 내 손에 쥐여 준다.

다섯 모델, 사양 차이가 작지 않다

모델 표에는 지금 제공하는 모델이 모두 적혀 있다. CogVideoX1.5-5B, CogVideoX1.5-5B-I2V, CogVideoX-2B, CogVideoX-5B, CogVideoX-5B-I2V 다. 이름의 I2V 는 이미지에서 영상을 만든다는 뜻이고 나머지는 텍스트에서 영상을 만든다. 공개 순서를 보면 이 계열이 걸어온 길도 보인다. 2024년 8월 6일에 CogVideoX-2B, 8월 27일에 5B, 9월 19일에 이미지에서 영상으로 가는 5B-I2V 를 열었고, 11월 8일에 1.5 로 갱신했다.

사양은 단계를 또렷하게 가른다. CogVideoX-2B 는 720×480, 초당 8프레임, 6초를 낸다. CogVideoX1.5-5B 는 1360×768, 초당 16프레임에 길이는 5초나 10초다. CogVideoX1.5-5B-I2V 의 해상도 규칙은 더 느슨하다. 짧은 쪽은 너비와 높이 중 작은 값을 768 로 하고, 긴 쪽은 768 에서 1360 사이에 있으면서 16 으로 나누어떨어지면 된다. 그 범위 안이면 어느 해상도든 통한다. 720×480 에서 1360×768 로, 다시 이미지에서 영상으로 가는 유연한 비율까지, 흔한 출력 형태는 거의 덮는다.

메모리와 속도: 내 기계에서 돌아갈까

공식 자료에는 메모리 수치가 셋 있고 모두 CogVideoX-2B 기준이다. SAT 에 FP16 추론을 쓰면 18GB, diffusers 에서 FP16 이면 최저 4GB, INT8 양자화(torchao)를 쓰면 최저 3.6GB 까지 내려간다. 같은 자료는 INT8 이 메모리가 작은 카드에 맞추기 위한 것이고 추론은 느려진다고도 적는다. 공짜가 아니다.

속도의 측정 조건은 스텝 50, FP16 또는 BF16 정밀도다. CogVideoX-5B 는 A100 한 장에서 약 180초, H100 한 장에서 약 90초 걸린다. 더 새로운 CogVideoX1.5-5B 는 5초나 10초짜리 고해상도 영상을 내야 해서 같은 조건에서 5초 영상이 H100 에서 약 550초 걸린다. 능력은 올라가지만 기다리는 시간이 뚜렷하게 길어진다. 공식은 이 시험이 diffusers 안의 최적화를 모두 켠 상태였고 A100 과 H100 밖에서는 실제 메모리 사용량을 확인하지 않았다고 덧붙인다. 최적화를 끄면 최대 메모리는 표의 값에서 세 배쯤이 된다.

시작 전에 확인할 두 가지

하나는 Python 판이다. SAT 와 diffusers 두 추론 경로 모두 같은 조건을 적는다. Python 은 3.10 에서 3.12 사이, 3.10 과 3.12 자체도 포함한다. 저장소는 코드 두 벌을 함께 두는데, SAT 에는 SAT 가중치의 추론과 미세 조정 코드가 있고 diffusers 쪽은 흔한 매개변수 설명이 더 자세해 먼저 돌려 본 뒤 손대기에 맞다.

다른 하나는 프롬프트 언어다. 이 모델은 영어 입력만 받으므로 다른 언어는 먼저 영어로 옮겨야 한다. 프롬프트 최적화 절에서는 GLM-4 나 비슷한 큰 모델로 입력을 모델이 받아들이는 긴 텍스트로 다듬으라고 권한다. 모델이 긴 프롬프트로 학습되었고 프롬프트의 질이 결과로 바로 이어지기 때문이다. 저장소가 밝힌 길이 상한은 224 에서 226 토큰이다.

라이선스: 코드와 모델은 따로 본다

코드는 Apache 2.0 으로 공개되어 있고 여기에 모호함은 없다. 모델은 모델별로 봐야 한다. CogVideoX-2B 는 해당 Transformer 와 VAE 모듈을 포함해 역시 Apache 2.0 이다. CogVideoX-5B, 즉 I2V 와 T2V 를 포함한 Transformer 모듈은 별도의 CogVideoX LICENSE 를 쓴다. 허용 범위가 중요한 상황이라면 2B 쪽 경계가 더 분명하다. 5B 를 쓰기 전에는 그 LICENSE 를 끝까지 읽어 보는 편이 좋다.

저장소에 무엇이 있나

최상위는 단순하다. sat 와 inference 가 추론 코드 두 벌, finetune 이 미세 조정, resources 가 소재, tools 가 도구 스크립트다. 라이선스는 두 파일로 나뉘어 LICENSE 가 코드를, MODEL_LICENSE 가 모델을 따로 설명한다. 저장소는 지금 13k 개의 별과 1.3k 번의 fork 를 갖고 있고 공식 등록 판 번호는 CogVideoX-1.0 이다.

지난 한 해의 갱신

변경 기록도 이 계열이 얼마나 활발한지 보여 준다. 2025년 3월에 CogKit 을 내놓았다. CogView4 와 CogVideoX 계열을 위한 미세 조정과 추론 틀이다. 2월에는 CogVideoX-5B 와 CogVideoX1.5-5B 에 DDIM Inverse 지원을 더했고, 1월에는 diffusers 기반 LoRA 미세 조정 코드를 갱신했다. 더 거슬러 2024년 10월에 낸 틀로 CogVideoX-5B 미세 조정이 4090 한 장에서 돌아가게 되었고, 공식은 CogVideoX-2B 가 GTX 1080Ti 같은 더 이른 카드에서도 돌고 5B 는 RTX 3060 급 데스크톱 카드에 해당한다고 덧붙인다.

누구에게 맞는가

영상 생성을 자기 흐름에 넣고 싶지만 온라인 서비스의 대기열과 한도, 내용 정책에 끌려다니고 싶지 않다면 CogVideoX 는 통제 가능한 로컬 경로다. 가중치가 열려 있고 코드가 열려 있으며 메모리 하한은 3.6GB 까지 누를 수 있다. 카드가 있고 환경을 만질 마음도 있는 사람에게 맞는다. Python 판, 의존성, 양자화 정밀도, 프롬프트 언어를 하나하나 직접 확인해야 한다.

반대로 가끔 한 편만 만들거나 환경과 의존성을 다루기 싫다면 온라인 서비스가 덜 번거롭다. 로컬 실행은 여러 제약을 덜어 주는 대신 시간과, 그걸 버티는 카드를 요구한다.

미리 알아 둘 점도 하나 있다. 이 모델은 영어 프롬프트만 먹는다. 한국어로 생각하는 사람이 편하게 쓰려면 생각을 모델이 알아듣는 긴 설명으로 옮기는 단계를 먼저 풀어야 한다. 그리고 그 단계의 질이 더 큰 모델로 바꾸는 것보다 결과에 더 크게 작용하는 경우가 많다.

오픈 모델의 진짜 값은 온라인 서비스의 능력을 그대로 재현하는 데 있지 않다. 생성 과정을 내 기계로 되돌리는 데 있다. 먼저 카드와 환경이 그것을 받아 줄 수 있는지 확인하고, 그다음에 결과를 이야기하면 된다.