큰 모델을 자기 컴퓨터에서 돌릴 때 가장 괴로운 두 가지가 있다. 카드 메모리가 모자라 긴 문맥을 열지 못하는 것, 그리고 일이 안 될 만큼 느린 것이다. Strata 0.2.10 은 이 둘을 동시에 건드렸다. 기본 추측 디코더를 육백 MB 남짓한 작은 조력자로 바꾸고, 8 GB 카드에서도 128K 문맥을 열 수 있게 했다.

이번 판이 바꾼 것

Strata 는 자기 컴퓨터에서 도는 대규모 모델 클라이언트로, C++ 로 쓰였고 MIT 라이선스를 쓰며 코드는 GitHub 에 있고 지금 사만 개에 가까운 별이 붙어 있다. 자리는 좁고 분명하다. 소비자용 하드웨어를 위한 것이고, 입구는 데스크톱 앱과 터미널 두 가지다. 설치한 뒤 모델을 고르면 대화도 코드도 이미지 읽기도 바로 시작된다. 계정 등록이 없고 어떤 서버도 거치지 않는다.

판 번호는 주의가 필요하다. 앱과 터미널은 둘 다 0.2.10 이고, 제어 구성 요소와 각 엔진 패키지는 0.1.56 이다. 공개된 설명은 요점을 담담하게 늘어놓는다. DFlash2 가 기본 초안 역할이 되고, Linux 에서 여러 카드 전 카드 분할 엔진이 자동으로 켜지며, ISTA-DAS Coder 라는 새 모델이 들어오고, Mac 에서 이미지를 읽을 수 있고, 8 GB 카드부터 128K 문맥이 된다.

육백 MB 로 오 GB 의 추측층을 대신하다

추측 디코딩은 작은 보조 모델이 다음에 올 내용을 먼저 짐작하고, 주 모델이 그 짐작을 묶어서 검산하는 방식이다. 많이 맞을수록 한 글자씩 생성하는 시간이 줄어든다. 지난판이 쓰던 추측층은 MTP 라 불렸고 그래픽 메모리를 약 5.2 GB 차지했다. 이번 판은 DFlash2 로 바꿔 625 MB 정도만 쓴다. 차이로 사 GB 남짓이 비는 셈이다.

빈 메모리는 곧바로 쓸 수 있는 문맥이 된다. 공개된 비교는 같은 엔진과 같은 파일 기준으로, Ryzen AI Max Windows 기계에서 짧은 답이 12 퍼센트, 긴 답이 8.8 좋아졌고, RTX PRO 5000 의 탐욕 디코딩에서 7.9, Apple M5 Max 에서 7.4, DGX Spark 에서 5.8 이었다. 반례도 있다. Intel Arc A750 에서는 MTP 보다 2.6 느리며, 공식 설명이 그대로 적어 두었다.

대가는 동시 실행이다. DFlash2 는 한 번에 요청 하나만 다루므로 여럿을 동시에 돌리려면 MTP 로 돌아가야 하고, 모델 계열이 Qwen3.8 이 아닐 때도 같다. 이 자동 선택은 프로그램에 들어 있다. 자동을 고르면 하드웨어와 상황으로 정하고, 잘못 고르면 직접 지정할 수 있으며, 실행마다 초안은 하나만 올라가고 둘이 함께 올라가지는 않는다.

8 GB 메모리에 128K 를 어떻게 담는가

긴 문맥이 먹는 것은 캐시다. 예전에는 8 GB 카드에서 64K 이상을 열면 전문가 캐시가 차는 순간 시작이 실패했고, 사용자는 마흔여덟 K 정도로 물러나야 했다. 이번 판은 자원을 놓는 방식을 바꿨다. 메모리가 빠듯해지면 그래픽 메모리와 시스템 메모리 사이에서 데이터를 동적으로 옮기고, 사용자가 정한 문맥 길이를 되도록 지키며, 필요하면 캐시 일부를 시스템 메모리나 SSD 로 흘려보낸다.

실측은 이렇다. 시험 기계를 8 GB 카드 조건으로 묶고 Qwen3.8 의 IQ3_S 양자화로 128K 를 열면 DFlash2 모드에서 초당 63 에서 73 토큰을 만들었고, 32K 프롬프트를 읽는 데 19.8 초가 걸렸으며 그 시점에 그래픽 메모리는 390 MB 남아 있었다. 실제로 있는 Intel Arc A750 8 GB 에서는 128K 시작 조합 네 가지가 모두 성공했고 초당 12.7 에서 14.8 토큰이었다. 12 GB 카드는 영향을 받지 않고 속도를 그대로 유지한다.

이 길에도 문턱은 있다. 부담이 시스템 메모리와 디스크로 나뉘는 만큼 본체 메모리에 대한 요구가 올라간다. 커뮤니티의 경험치는 32 GB 로 시작해 48 GB 면 넉넉하고 64 GB 면 여유가 생긴다는 것이다. 디스크에도 자리가 필요하다. 모델 파일 자체가 작지 않다.

카드 두 장이면 코드 편집이 거의 두 배

여러 카드를 쓰는 예전 방식은 층 나누기다. 카드마다 층의 일부를 맡고 계산 결과를 다음 카드로 넘긴다. 이번 판은 Linux 터미널에서 다른 나누기를 기본으로 켠다. 전 카드 분할이라 부르며, 모든 카드가 각 층의 일부를 들고 있고 모든 카드가 동시에 가중치를 읽고 동시에 계산한다. 이점은 메모리가 더 고르게 나뉘는 것이고, 대가는 카드끼리 중간 결과를 자주 주고받아 연결 대역폭이 중요해지는 것이다.

공식은 RTX A6000 두 장을 Linux 에서 측정했다. 코드 편집은 초당 195 토큰에서 377 에서 394 로, 새 코드 작성은 139 에서 144 가 189 에서 232 로, 일반 텍스트는 93 에서 139 에서 146 으로, 에이전트 고리는 112 에서 119 가 165 로 올랐다. 긴 프롬프트 읽기는 오히려 조금 느려져 32K 프롬프트가 7.65 초에서 10.1 초가 된다. 첫 토큰의 지연을 처리량과 맞바꾼 셈이다.

자동으로 켜지는 조건은 엄격하다. Linux 여야 하고, 연산 능력 8.6 이나 12.0 의 NVIDIA 카드 두 장, 또는 특정 양자화 파일을 조합한 Radeon AI PRO R9700 네 장이어야 한다. 모델은 엔진이 감당하는 Qwen3.8 이어야 하고, 모든 라우팅 전문가가 그래픽 메모리에 들어가야 하며, 43 GB 남짓의 빈 메모리가 남아야 한다. 조건이 맞지 않으면 순순히 층 나누기로 돌아가고 이유를 알려 주며, 직접 끌 수도 있다.

가는 길에 고친 두 가지

하나는 Windows 에서의 시작이다. 일부 백그라운드 시작 상황에서 디스크 읽기 우선순위가 아주 낮게 눌려 모델 적재가 눈에 띄게 느려졌는데, 이번 판은 우선순위를 되돌렸다. 다른 하나는 Mac 의 이미지 입력이다. M5 Max 에서 여덟 번의 이미지 요청이 여덟 번 모두 제대로 읽혔고, 이미지를 곁들인 생성은 초당 19 에서 22 토큰, 순수 텍스트는 21 에서 22 였으며, 이미지 탑이 그래픽 메모리를 319 MB 더 썼고 엔진의 메모리 최고치는 74 GB 로 텍스트만 쓸 때와 같았다.

새로 들어온 ISTA-DAS Coder 는 DeepSeek-V4.1-Flash 의 전문가 384 개 가운데 층마다 192 개를 쓰는 구성이다. R9700 네 장에서는 초당 59.2 토큰으로 디코딩하고, 한 장에서는 22.8, Apple M5 Max 에서는 19.1 에서 22.5 였다. 모두 공식 설명에 있는 숫자이고 서로 다른 기계에서 잰 것이라 가로 비교에 의미는 적다. 자릿수만 보면 된다.

누가 업데이트해야 하나

8 GB 에서 12 GB 소비자용 카드를 가지고 있으면서 긴 문맥을 쓰고 싶은 사람이라면 바꿀 만하다. 아예 시작되지 않던 상황이 돌아가게 되기 때문이다. 두 장 구성으로 마침 Linux 에서 Qwen3.8 을 돌리는 사람에게는 전 카드 분할의 이득이 꽤 직접적이다. 큰 카드 한 장으로 대개 대화만 하는 사람이라면, 업데이트 후에 느끼는 차이는 첫 시작에서 1.2 GB 남짓의 초안 파일을 더 받는다는 정도다.

한 가지 덧붙이면, 이런 프로젝트는 반복이 빨라 판 번호가 하루에 하나씩 바뀌는 것도 흔하다. 공식 문서는 하드웨어와 양자화 단계, 동시 실행 설정을 꽤 세세하게 적어 두었다. 움직이기 전에 자기 구성과 견주어 읽는 편이 좋고, 남의 매개변수를 그대로 베끼지 않는 편이 좋다.