손안 큰 모델을 왜 안 써 봤느냐고 물으면 돌아오는 답은 가입도 값도 아니라 필요한 장비 목록인 경우가 많다. 그래픽 기억이 몇 GB, 판은 어느 등급, 제대로 된 따로 붙이는 판이 없으면 들어올 자격도 없다는 말투다. 그런데 현실의 컴퓨터는 대개 평범한 사무용 휴대 기계다. 화면 처리는 본체에 붙어 있고 기억은 16 GB, 원판은 흔한 고체다. 문턱이 이 수준 아래로 내려오지 않으면 누구나 쓰는 손안 모델은 구호로 남는다.

GPT4All 은 그 구호를 실제로 들어설 수 있는 방으로 바꾼 것이다. 2023 년에 나왔고 아주 느슨한 공개 허락을 택했으며, 보관소에 모인 별은 칠만을 넘는다. 보통 사람이 실제로 가진 장비에서 언어 모델을 돌린 가장 이른 도구 가운데 하나다. 설계의 중심은 지금도 같다. 그래픽 판은 필수가 아니고 처리 장치가 첫째 시민이다. 압축해 다듬은 열린 모델은 평범한 처리 장치에서도 돌아가고, 8 GB 의 기억으로 칠십억 규모의 작은 모델을 올린다. 그래픽이 붙은 휴대 기계도 오래된 책상 기계도 대상 안에 있다. 두 큰 제조사의 따로 붙이는 판이 있는 사람은 기종을 가리지 않는 그리기 접점으로 가속을 얻고, 자체 설계 칩을 쓰는 기계는 그 제조사의 길을 간다. 어느 것도 없어도 느려질 뿐 못 쓰는 것은 아니다.

설치 뒤에 외울 것은 거의 없다. 안에 든 목록에서 크기와 기억 요구가 적힌 모델을 골라 받고 나면 곧바로 말을 걸 수 있다. 진짜 비장의 패는 LocalDocs 로, 내 문서에 대한 질문을 세밀한 손질에서 한 번 표시하는 일로 바꾼다. 어떤 폴더를 문서 모음으로 지정하면 그 자리에서 색인이 짜이고, 이후 질문에는 가장 관계 깊은 문단이 맥락으로 끌려 나오며 답 아래에는 인용한 출처까지 늘어선다. 서류는 어느 서비스도 거치지 않는다. PDF 도, 문서 작성 파일도, 맨 글도 똑같이 다룬다.

사생활 쪽도 같은 절제가 이어진다. 기본 상태에서는 주고받은 내용이 이 기계를 떠나지 않고, 이용 기록도 남기지 않으며, 계정도 필요 없다. 배포처가 마련한 자료 공유 방식은 어디까지나 선택이고, 표시하지 않으면 아무것도 올라가지 않는다. 세 가지 책상 계통을 덮고, 새 판은 전력을 적게 쓰는 칩을 쓴 휴대 기종까지 챙긴다.

코드를 쓰는 사람도 잊히지 않았다. 널리 쓰이는 언어의 꾸러미를 넣으면 두 줄로 손안 모델을 스크립트에서 부를 수 있다. 그릇 기반의 손안 서비스는 큰 맡김 서비스와 같은 요청 형식을 받는 접점을 열어, 이미 있는 도구 줄이 주소 하나만 바꿔 손안 계산으로 향하게 한다. 응용 안에는 모델이 쓴 짧은 코드를 그 자리에서 돌리는, 울타리 안의 코드 해석기까지 들어 있다.

약한 곳도 같은 어조로 적어 두겠다. 처리 장치 계산에는 천장이 있고, 판이 없는 기계에서 글을 만들어 내는 속도는 충분한 정도이며, 큰 모델을 올리는 데는 기다림이 든다. 골라 놓은 목록의 갱신은 요즘 느려져, 최신 열린 모델은 흔한 모델 파일 형식으로 직접 들여와야 한다. 손안 모델의 슬기는 맡김 쪽 최상급보다 정직하게 낮고, 어려운 추론에서 그것이 드러난다. 문서가 많으면 검소한 장비에서는 색인을 짜는 데 시간이 걸리고, 맥락 설정을 너무 높이면 불안정해지기도 한다.

이 분야에서는 도구가 강해질수록 문턱은 어느새 높아진다. GPT4All 의 값어치는 가장 아래 칸을 계속 지킨다는 데 있다. 판도, 계정도, 명령 줄도 필요 없다. 평범한 기계와 몇 GB 의 모델 파일만 있으면 망을 끊은 채 내 서류와 이야기할 수 있다. 처음 손안 AI 를 시험하려는 사람에게 여기는 끝이 아니지만, 도중에 그만두기 가장 어려운 출발점이다.

기술은 가장 강한 입구가 아니라 가장 가벼운 입구에서 퍼진다. 그래픽 판이 필수 목록에서 지워진 날, 손안 AI 는 비로소 모두의 것이 되었다.