손안 모델을 시험해 보려는 사람에게 첫 관문은 장비가 아니라 단말인 경우가 많다. 안내서를 열면 검은 바탕에 흰 글씨의 명령 줄이 눈에 들어온다. 설정값을 하나 잘못 치면 도중에 멈춘다. 맡김 서비스는 편하지만 대화 자료를 올려야 하고 값은 양에 따라 매겨지며 망이 끊기면 멈춘다. 그림 창 안에서 흐름을 보듯 손안 모델을 쓰고 싶다는 바람에 맞는 도구가 오래 비어 있었다.

이 책상 도구는 바로 그 상황을 위해 만들어졌다. 2023 년 작은 팀이 내놓아, 찾기와 내려받기와 읽기와 대화와 바깥 제공을 한 그림 창에 담았다. 안에 든 목록은 공개 모델 보관소와 연결되고, 매개변수 규모, 작업 종류, 도구 호출 지원 여부, 그래픽 메모리에 올라가는지로 걸러 준다. 골라 한 번 누르면 내려온다. 받은 모델은 곧바로 대화 창에서 쓸 수 있고 배치는 맡김 제품과 거의 같다. 다른 것은 계산이 내 장비 위에서 일어난다는 점, 그리고 대화 내용이 이 기계를 떠나지 않는다는 점뿐이다.

좋아하는 이유는 작은 배려

어떤 모델 위에든 커서를 올리면 그 모델이 그래픽 메모리를 얼마나 쓰는지 보여 준다. 올라가는지를 짐작하지 않아도 된다. 올라가지 않는 부분은 손잡이로 본체 메모리에 나눠 줄 수 있고, 모델은 그대로 돌아간다. 느려질 뿐이다. 세 가지 책상 계통을 덮고, 새로 자체 설계한 칩에서는 전용 엔진이 공유 메모리를 남김없이 쓴다. 칠십억에서 팔십억 매개변수 모델이면 초당 서른에서 쉰 단위를 만들어 내는 속도로 대화에 넉넉하다.

단순한 대화 껍데기가 아니다. 도구 안에서 손안 서비스를 띄워 흔한 요청 형식에 맞는 연결 지점을 내놓을 수 있다. 기본으로 1234 번 포트에서 기다리므로, 맡김 모델을 위해 쓴 코드는 주소를 손안 서비스로 바꾸기만 하면 망 밖에서도 돈다. 새 판에는 또 다른 널리 쓰이는 형식의 연결 지점도 더해졌다. 문서에 묻기도 그대로다. PDF 나 적어 둔 묶음을 대화 창에 넣으면 검색과 생성이 모두 손안에서 끝나, 다루기 민감한 자료를 제3자가 보지 않는다.

만지는 것을 즐기는 사람은 MCP 서버를 붙여 손안 모델이 바깥 도구를 부르게 할 수 있다. 다만 지금 설정은 손이 많이 가고 매끄럽지는 않다.

망 밖이 단단한 경계

망에 붙지 않고 도는 것이 페이지 서비스와 이것을 가르는 단단한 선이다. 모델을 한 번 받아 두면 대화도 문서에 묻기도 손안 서비스 실행도 망을 필요로 하지 않는다. 공식 설명도 이 핵심 기능들이 선을 뽑은 상태에서 그대로 작동한다고 분명히 적는다.

값의 태도도 후하다. 개인 사용과 업무 사용이 모두 무료이고 정액도 기능 벽도 없다. 상업적 사용도 2025 년 중반부터 열렸다. 2026 년의 판을 내는 간격도 빠르다. 여러 그래픽 카드에 걸친 병렬 계산, 추측 복호, 다른 기계의 실체에 잇는 LM Link, 심지어 전화와 태블릿에 올라가는 들고 다니는 Locally 까지 반년 안에 잇달아 나왔다.

말해 두어야 할 경계

도구 자체는 원본을 닫은 소프트웨어라, 코드를 살펴 확인하고 싶은 사람에게는 문턱이다. 자원 사용은 명령 줄만 쓰는 도구보다 무겁고, 큰 모델은 내려받기만 수 기가바이트에서 시작하므로 디스크와 메모리가 실제로 버텨야 한다. 리눅스 사용자에게는 그림 판이 없어 화면 없는 llmster 상주 프로세스를 써야 한다. 그리고 열린 가중치 모델만 돌릴 수 있어, 닫힌 최전선 모델이 세우는 상한은 손안 추론이 피할 수 없는 현실이다.

손안 모델의 문턱이란 결국 흩어진 모델 파일과 추론 틀과 설정값 더미를, 보통 사람이 열어 볼 만한 창 하나로 모으는 일이었다. 이 도구가 하는 일이 바로 그것이다. 그림 면 하나에 모델 고르기부터 대화까지 담고, 자료는 손안에 남으며, 망이 끊겨도 일이 이어진다. 손안 AI 를 시험해 보고 싶다가 단말에 돌려 보내진 적 있는 사람에게 지금 가장 매끄러운 입구다.

앞선 기술을 가까이 만드는 것은 깊이를 줄이는 일이 아니라 필요 없는 날을 거두는 일이다. 이 도구는 단말을 만지기를 즐기는 사람에게 남기고, 창을 모두에게 건넨다.