스스로 모델 서비스를 하다 그만둔 까닭을 물으면, 모델이 나빠서라는 답은 드물다. 기억이 모자라서다. 모델이 글을 만드는 동안 손안 구조는 요청마다 키와 값 캐시를 그래픽 기억에 붙들고 있어야 하고, 예전 엔진은 그 자리를 요청이 낼 수 있는 가장 긴 길이에 맞춰 통째로 잡아 둔다. 짧은 요청이 다 쓰지 못한 몫은 빈 채로 남고, 조각남이 거기에 더해진다. 2023 년 한 대학의 연구 팀에서 나온 공개 시도 vLLM 은 다른 길을 택했다. 기본 체계가 보통 기억을 다루려고 쓰는 쪽 나누기 방식을 그래픽 판 위로 옮긴 것이다. PagedAttention 이라 불린 이 방식은 그 뒤 모델 서비스 분야에서 가장 많이 인용된 착상 가운데 하나가 되었고, 시도는 91,000 을 넘는 별을 모았으며, 지금의 안정된 판은 2026 년 9 월에 나왔다.

구조는 따라가기 쉽다. 캐시는 요청마다 통째로 잡지 않고 정해진 크기의 구역으로 잘리며, 구역 표가 어느 요청의 구역이 어디에 있는지 적어 둔다. 쓴 만큼만 내준다. 조각남은 거의 사라지고, 시도가 밝힌 숫자로는 기억 사용률이 예전의 서너 할에서 아홉 할을 넘도록 올라가며, 같은 판이 동시에 받는 요청은 두 배에서 네 배가 된다. 그 위에 이어서 묶는 처리가 얹힌다. 요청은 묶음이 차기를 기다리지 않고 올 때 들어가고 끝나면 곧바로 빠진다. 긴 일과 짧은 일이 같은 판을 나눠 쓸 때 격차는 더 벌어진다. 여러 독립 측정에서 한 판의 합계 처리량은 견준 쪽의 두 배에서 다섯 배에 이르렀고, 예전에는 여러 판이 필요했던 동시 요청이 이제 한 판에 들어간다.

만드는 팀에게 또 하나의 결정적 선택은 접점이다. 큰 맡김 서비스와 같은 요청 형식을 쓰는 서비스가 안에 들어 있어, 그 형식으로 이미 짜인 클라이언트와 업무 코드는 주소 하나만 바꾸면 스스로 올린 모델로 향한다. 업무 논리는 한 줄도 움직이지 않는다. 운영에 필요한 나머지 부품도 대개 처음부터 들어 있다. 여러 판으로 나누는 계산은 큰 모델을 몇 장에 나눠 싣고, 한 서비스가 여러 LoRA 덧붙임을 안고 요청마다 바꿔 끼울 수 있어 한 번의 배치로 여러 좁은 현장을 맡는다. 앞머리 재사용은 같은 지시를 공유하는 요청이 이미 계산한 구역을 그대로 쓰게 해, 대화 도구에서 첫 글자까지의 기다림을 줄인다. 압축은 AWQ, GPTQ, FP8 을 덮고, 숫자는 이미 있는 감시 체계가 그대로 읽는 형식으로 나간다.

자리도 같은 만큼 분명히 해 두겠다. vLLM 은 서버급 판을 향한 서비스 틀이고 그림 창은 없다. 본령은 70억에서 700억 사이의 열린 모델을 부하를 견디는 온라인 서비스로 바꾸는 일이다. 개인 기계에서의 가벼운 대화는 무대가 아니다. 그쪽은 책상 도구가 더 맞다. 허락은 느슨해 상업적 사용도 고쳐 만들기도 막히지 않고, 큰 기반 회사들은 대개 이것을 밑에 깔리는 엔진으로 돌린다. 친근한 도구들이 돌아가기까지의 문턱을 낮췄다면, vLLM 은 견디느냐는 다른 물음에 답한다. 스스로 올린 배치가 시험에서 운영으로 넘어가면 이 층은 피해 갈 수 없다.

여기 모이는 사람은 두 갈래다. 모델과 판 값 청구서를 함께 받은 플랫폼 만드는 사람, 그리고 모든 것을 자기 벽 안에 두어야 하는 팀. 둘 다 대화 창을 원하지 않는다. 쓰러지지 않는 서비스를 원하고, 그러기 위해 설정 파일을 읽는 것을 마다하지 않는다.

대화 창도 기록도 없고 접점과 그 뒤의 계산만 있다. 그래서 자기 제품 뒤에 감출 때 앞에 보이는 모습은 얼마든지 만들 수 있다.

도는 것과 견디는 것을 나눠 보면 이 층에는 대신할 것이 없다.

판을 늘리지 않고 더 많은 요청을 받는다는 것 하나만으로도 견적이 달라진다. 같은 기계에서 두 배에서 네 배를 받는다면, 같은 예산으로 감당하는 사람의 수도 그만큼 늘어난다. 긴 요청과 짧은 요청이 섞여 드는 현장일수록 이 차이가 크게 작용한다.