손안 모델의 이야기를 뿌리까지 거슬러 올라가면 거의 모든 이름이 같은 시도로 모인다. 2023 년 3 월, 한 만든이가 막 나온 열린 모델을 맨 C 와 C++ 로 평범한 사람의 장비에 올렸다. 옮겨 심는 일에 지나지 않던 이 시도는 곧 이 분야의 토대가 되었다. 지금은 작은 팀이 손질하고, 별은 128,000 을 넘으며, 익숙한 책상 도구 몇 가지도 그 단추 아래에서 같은 줄기의 계산을 조용히 돌린다. 현재의 안정된 판은 2026 년 9 월 14 일에 나왔고, 세 가지 책상 계통을 위한 미리 만든 꾸러미도 그대로 붙는다.

가장 널리 알려진 기여는 GGUF 라는 파일 형식이다. 그전에는 열린 모델의 생짜 가중치가 수십 GB 에 달해 평범한 장비에서는 손을 대기 어려웠다. GGUF 는 가중치와 낱말 쪼개기와 곁들인 정보를 한 파일에 담고, k-quants 라 불리는 압축 등급 묶음(Q4_K_M 같은 것)을 함께 쓰면 모델이 차지하는 기억이 대략 60 에서 75% 까지 내려가며 품질 손실은 아주 작다. 칠십억 매개변수 모델은 몇 GB 로 줄어 평범한 휴대 기계의 기억에도 들어가고, 세상에 도는 수천 개의 압축 파일도 이 형식 둘레에서 자랐다. 달리 말해 파일 하나를 받으면 모델이 도는 지금의 가벼움은 이 시도가 정한 규칙 위에 서 있다.

여기서 처리 장치 추론은 임시방편이 아니라 첫째 시민이다. 엔진은 x86-64 의 묶음 명령과 저전력 칩 계통의 해당 확장에 깊이 맞춰져 있고, 바깥의 측정에서 칠십억에서 팔십억 매개변수의 압축 모델이 따로 붙이는 판이 없는 요즘 휴대 기계의 처리 장치에서 초당 10 에서 30 단위를 만들어 낸다. 일상 대화에는 충분하다. 판 없는 오래된 책상 기계, 화면 처리가 붙은 사무용 휴대 기계, 판을 꽂기 번거로운 집안 서버 에게는 올해의 모델을 아직 태울 수 있는 몇 안 되는 길이며, 다른 도구가 장비 앞에서 멈출 때 한 겹만큼 더 버틴다. 마지막 보험이라는 말은 거기서 나왔다.

판이 있는 기계도 같은 만큼 얻는다. 게다가 융통성이 좋다. 모델의 층을 통째로 판으로 밀어 올리고 나머지를 처리 장치에 두면, 그래픽 기억이 모자란 기계는 층 수로 속도와 들어가는 양을 잘게 맞바꾼다. 그 아래에는 한 제조사 판을 위한 전용 핵, 자체 설계 칩에 대한 일급 대응, 나머지 두 회사를 위한 들고 다닐 수 있는 계산 길이 있다. 시도는 llama-server 도 함께 내놓는다. 큰 맡김 서비스와 같은 요청 형식을 쓰는 손안 서비스를 열고 쪽 창까지 붙는다. 접점을 직접 정할 수 있는 클라이언트는 거기를 그대로 가리키면 되고, 이어서 묶는 처리 같은 기능도 서비스 상태에서 켤 수 있다.

여기 모이는 사람은 네 갈래다. 손잡이를 직접 보고 싶은 애호가. 대화 창을 내놓는 대신 엔진을 자기 제품에 엮고 싶은 만드는 사람. 따로 붙이는 판이 없는 기계의 주인으로, 다른 길이 모두 막힌 사람. 그리고 작은 집안 서버를 맡아 망 위에 접점 하나만 있으면 되는 사람. 넷 중 누구도 잘 닦인 창을 찾지 않는다. 네 모두에게 완성차보다 차대가 더 쓸모 있다.

방향은 분명히 적어 두겠다. 공식 그림 창은 없고 명령 줄이 유일한 정식 입구다. 맥락 길이, 판으로 옮길 층 수, 실 가닥 수, 압축 등급. 무엇이든 직접 적거나 기본값으로 받아들여야 한다. 그 대신 얻는 것은 세밀한 통제와 다른 것에 끼워 넣을 수 있음이다. 이것은 의존이 없는 추론 엔진이지 완성된 제품이 아니다. 그래서 만드는 사람은 자기 응용에 엮고, 운영하는 사람은 화면 없는 기계에서 서비스로 돌리고, 좋아하는 사람은 스크립트로 자동화 줄에 넣는다. 허락은 느슨해 상업적 사용도 고쳐 만들기도 막히지 않는다. 앞서 말한 도구들이 사람마다 마련된 완성차라면, 이것은 덮개를 열어 둔 채 건네지는 차대다. 모두에게 맞는 물건은 아니지만, 손을 움직일 마음이 있는 사람에게 손안 배치가 어디까지 갈 수 있는지를 정하는 것은 이것이다.