자기 컴퓨터에서 열린 모델을 돌리는 일은 예전에 저녁 하나를 잡아먹는 작업이었다. 먼저 양자화된 파일을 고르고, 다음에 추론 틀의 의존을 맞추고, 그다음 가진 그래픽 카드 모델에 맞춰 설정값을 만졌다. 한 번 답하게 하는 데 밤이 새는 일도 있었다. 벽 반대편에서는 단위마다 값을 매기는 연결 지점의 청구서가 달마다 쌓이고, 다루기 민감한 자리에서는 자료를 넘길 수도 없다. 이쪽은 문턱, 저쪽은 비용. 대부분의 사람 앞에 두 개의 벽이 서 있었다.

이 프로젝트는 2023 년에 나타나 그 문제를 거의 지워 버렸다. 설치한 뒤 단말에 한 줄을 치면 모델이 스스로 내려와 읽히고 대화할 수 있는 상태가 된다. 파일을 손으로 다룰 필요도, 추론 토대를 빌드할 필요도, 환경 변수를 늘어놓을 필요도 없다. 복잡함을 모두 명령 하나에 담은 것이 열린 공동체 안에서 빠르게 퍼진 이유다. 공개 코드 보관소에서 십만 개의 별을 넘어, 손안에서 모델을 돌리는 사실상의 입구가 되었다.

정확히 무엇인가

이해는 역할에서 시작한다. 대화 응용이 아니라 모델의 실행 환경이다. 공식 보관소는 주요 열린 모델 계열을 담고, 명령 하나로 무엇이든 받아 돌린다. 모델은 미리 양자화된 형태로 배포되어 보통 소비자 장비에도 올라간다. 기본으로 손안에 서비스를 띄워 11434 번 포트에서 기다리게 하고, 흔한 요청 형식에 맞는 연결 지점을 내놓는다. 이 세부가 가장 중요하다. 맡김 서비스를 부르려고 쓴 코드는 주소를 손안 서비스로 바꾸기만 하면 그대로 돌아가고, 선을 뽑아도 돌아간다. 아무것도 이 기계 밖으로 나가지 않기 때문이다.

연결 지점이 경첩이다

바로 그 하나의 연결 지점이 단말 도구를 일상 작업의 중심으로 바꾼다. 코드 편집기의 확장, 자동화 스크립트, 직접 짠 에이전트 틀, 모두 손안 주소를 향하게 할 수 있다. 공식 파이썬과 자바스크립트 클라이언트 꾸러미가 있어 그 위에 무언가를 만드는 비용은 매우 낮다.

그림 화면을 좋아하는 사람은 공동체가 손보는 앞단과 짝지으면 된다. 둘을 합치면 맡김 도우미가 주는 책상 위 대화 경험이 된다. 서비스는 단말에서 돌고 대화는 브라우저에서 일어나며, 두 길이 같은 손안 엔진에 기댄다.

장비, 능력, 조리법

장비 처리는 기대보다 꼼꼼하다. 두 큰 제조사의 그래픽 카드는 각자의 계산 연결 지점을 지나고, 새로운 자체 칩은 자체 방식을 지난다. 가속은 스스로 찾아 켠다. 별도 그래픽 카드가 없는 기계도 작은 모델이면 처리 장치 위에 올린다.

모델 쪽에서는 오늘날 기대되는 능력이 그대로 전달된다. 도구 호출, 그림 이해, 임베딩, 형식이 정해진 출력. 새 판에는 맡김 선택지도 더해져 손안 장비로 부족할 때 큰 모델을 클라우드에서 돌릴 수 있고, 연결 지점은 그대로다. 맞춤 설정에서는 조리법 방식이 모델에 조제서를 쓰는 일에 가깝다. 계통 지시문과 온도와 맥락 길이를 이름 붙은 모델로 굳혀 다시 쓸 수 있으니, 역할이 정해진 도우미를 쌓아 두기에 알맞다.

라이선스와 솔직한 경계

MIT 라이선스는 널리 받아들여진 이유 가운데 하나다. 개인 사용, 사내 배치, 더 나아간 개발이 모두 허용된다. 실행 환경 자체는 무료이고 손안 추론은 양으로 값을 매기지 않으며, 개인도 사내 배치도 호출마다 돈을 내지 않는다. 공식 맡김 요금제는 선택지이고 필요하다고 판단한 사람만 낸다. 민감한 자료를 다루는 회사에서는 추론이 전부 자체 장비 위에서 일어나고 지시문과 출력이 어떤 제3자 서버도 지나지 않는다. 맡김 연결 지점이 줄 수 없는 사생활 방식이다.

경계도 같은 만큼 분명히 해 두자. 공식 그림 화면이 없고 명령 줄만의 교류는 처음 쓰는 사람에게 친절하지 않아, 대화 창을 원하면 앞단을 한 겹 더해야 한다. 동시 처리 능력은 단순해서 많은 사용자가 한꺼번에 요구하는 무거운 운영에는 더 전문적인 서버가 낫다. 그리고 손안 모델의 상한은 장비가 정한다. 십육 기가바이트 메모리가 현실적인 출발선이고, 큰 모델을 돌리려면 그래픽 메모리나 본체 메모리를 더 얹어야 한다.

단말의 한 줄에서, 편집기와 스크립트와 에이전트가 향하는 손안 서비스로, 다시 앞단을 더해 책상 위 대화 한 벌로. 열린 모델을 손안에서 쓰는 문턱은 이제 페이지 하나를 여는 정도까지 내려왔다. 청구서가 걱정이라면, 아니면 자료를 내 기계에 두고 싶을 뿐이라면, 이 길에서 가장 손이 덜 가는 출발점이다.

가장 좋은 기반은 존재가 느껴지지 않는 기반이다. 이것은 큰 모델의 가장 복잡한 얼굴을 명령 한 줄 속에 감추고, 나머지는 쓰는 사람의 상상에 맡긴다.