자기 기계에서 큰 모델을 돌려 본 사람이라면 같은 장면을 안다. 구석의 기계 위에서 모델은 잘 돌아가는데, 가족이나 동료가 쓰려는 순간 눈앞에 있는 것은 휑한 명령 창이나 덤으로 붙은 수준의 대화 상자뿐이다. 제대로 된 공용 AI 작업대를 마련하면서 자료를 맡김 서비스에 넘기고 싶지는 않다. 이 프로젝트가 계속 메워 온 것이 바로 그 틈이다.

출발은 소박했다. 특정 손안 모델 서버에 화면 하나를 붙이는 일로 시작해 2024 년 1 월에 지금 이름으로 바뀌었고, 처음부터 임무는 그 서버에 쓸 만한 화면을 주는 것이었다. 몇 차례 빠른 판을 거치면서 뜻은 화면이라는 말을 앞질렀다. 공식 설명은 이렇다. 확장되고 기능이 빽빽하며 망에 붙지 않고 완전히 돌아가는 자체 AI 기반. 손안 모델 서버를 향하게 해도 되고 호환되는 연결 지점의 주소를 적어 넣어도 된다. 큰 제공처의 모델도 내 그래픽 카드 위의 추론 엔진도 같은 창에 나온다. 토대는 하나, 제공처는 임의. 처음부터 지닌 기질이다.

대화 앞단에서 운영하는 것으로

설치 경험도 한곳에 두면 어디서나 쓴다는 생각을 잇는다. 컨테이너 명령 하나로 1 분이 채 안 되어 한 벌이 올라온다. 꾸러미 관리자로 이미 있는 파이썬 환경에 그대로 넣을 수 있고, 책상용 공식 구성도 있다. 그다음 브라우저를 열면 익숙한 대화 배치가 그대로 있고, 맡김 도우미에서 옮겨 온 사람이 다시 배울 것은 거의 없다.

이 계층이 얼마나 드는지는 제3자 평가가 쟀다. 같은 그래픽 카드에서 같은 칠천억 파라미터 양자화 모델을 돌려, 곧바로 이은 경우와 이 화면을 거친 경우의 추론 속도 차이는 이 퍼센트 남짓, 흐르는 출력은 매끄러웠고, 쉬는 동안의 메모리 사용도 이백 메가바이트 남짓이었다. 편의 계층에 값을 치를 만한지는 이 숫자가 정한다.

그 창 안에 무엇이 얼마나 들어 있는가

수많은 대화 화면 가운데 이것을 끌어올리는 것은 기능 목록의 두께다. 둘 이상의 모델이 나란히 답해 출력을 바로 견줄 수 있고, 도중에 모델을 바꿔도 맥락은 남는다. Markdown 과 LaTeX 는 제대로 조판되어 기술 메모와 수식이 올바로 보인다. 음성에서 글자로, 글자에서 음성으로, 심지어 영상 통화까지 들어 있다. 그림 생성은 서로 다른 여러 받침에 연결할 수 있다. 메시지 대기열이 있어 답이 흐르는 동안에도 계속 입력할 수 있고, 기억은 대화를 넘어 선호를 지니며, 정해진 시각의 자동화는 지시를 일정한 주기로 쏠 수 있다.

문서를 다루는 사람에게는 검색 쪽을 한 문단 따로 말할 만하다. 공식으로 손보는 벡터 보관소가 둘, 다른 보관소를 위한 연결이 열몇 가지, 문서를 읽어 내는 쪽에도 열 가지 남짓한 도구가 모여 있다. 섞은 검색은 낱말 일치 점수와 벡터의 가까움을 합친 뒤 교차 부호화로 다시 정렬한다. 비용보다 정밀함을 택하면 잘게 나누는 일을 건너뛰고 문서 통째를 맥락에 밀어 넣는 방식도 있다. PDF 로 지식 보관소를 만들고 모델이 스스로 찾아 답하게 하는 일은 예전에 부품을 여럿 조립해야 겨우 되던 것이다. 여기서는 그대로 돌아간다.

팀의 도구이지 개인의 장난감이 아니다

공개된 대화 화면 상당수는 한 사람 쓰기에서 멈춘다. 이것은 기업용 기능을 무료 공동체판에 그대로 넣었다. 역할별 권한은 누가 어떤 모델을 쓸 수 있는지 정확히 정하고, OIDC 와 기록 확인을 거치는 통합 로그인은 이미 있는 신원 체계에 붙고, 자동 할당은 사용자 묶음을 그 기록과 보조를 맞추며, 감사 기록은 쓰일 때마다 남긴다. 공식 자료는 분명히 적는다. 이런 신원 기능은 인원 제한 없이 무료이고 라이선스 열쇠가 필요 없다.

협업에는 전용 가구도 있다. 흐름 묶음은 사람과 모델을 같은 시간축에 올려, 한 모델에 초안을 맡기고 다른 모델에 흠을 잡게 할 수 있다. 적어 두기는 모델이 그 자리에서 고쳐 쓰게 하고 맥락으로 대화에 부어 넣을 수 있다. AI 의 중간 계층을 빌리지 않고 자기 것으로 만들고 싶은 작은 팀에게 이 조합은 후하다.

확장성이라는 두 번째 해자

파이썬 도구는 브라우저 안에서 쓸 수 있고, 쓴 그대로 모델에 내밀 수 있다. 확장의 파이프는 메시지 하나하나를 걸러 모양을 바꾸므로 속도 제한, 심사, 외부 서비스로의 중계를 거기서 만든다. MCP 를 그대로 받아들이므로 모델은 여러 외부 도구 서버에 붙는다. 단말 기능은 모델에게 실제에 가까운 컴퓨터를 쥐여 준다. 코드를 쓰고, 돌리고, 출력을 읽고, 자기 오류를 고치는 일이 대화 안에서 끝난다. 여기에 모델 경기장, 사용량 계기, 평가 순위표가 더해지면 일주일 써 보고 접는 응용이라기보다 몇 해를 운영하는 기반에 가깝다.

배치의 형태와 자료 주권

배치의 길은 일부러 넓게 열어 두었다. 한쪽 끝은 집의 보관함이나 한 달 몇 달러의 작은 가상 서버로 충분하고, 다른 쪽 끝은 컨테이너 군집을 받는다. 대화 상태를 메모리 위 보관으로 옮기면 응용은 마디를 넘어 가로로 늘어난다. 파일을 객체 보관으로 돌리면 상태 없는 실체도 돈다. 추적, 지표, 기록은 흔한 추적 규약으로 이미 쓰는 감시 체계로 흘려보낼 수 있다.

가장 중요한 능력은 바깥 망에 전혀 붙지 않고 도는 것이다. 갈라 놓은 구역이나 선을 뽑은 환경에서도 손안 모델과 손안 지식 보관소로 한 바퀴가 끝난다. 자료를 어디에 두는지에 민감한 의료, 법률, 공공이 눈을 돌리는 까닭이 바로 여기다. 자료는 처음부터 끝까지 내 디스크 위에 있고, 모델 제공처가 바뀌어도 쓰는 습관은 바뀌지 않는다. 맡김 서비스가 줄 수 없는 자유다.

라이선스라는 분수령

배치 전에 확인할 것이 하나 있다. 2025 년 4 월, 프로젝트는 세 조항 BSD 라이선스에서 자체 라이선스로 옮겼다. 토대는 BSD 조항 그대로지만 표식에 관한 조항이 더해졌다. 서른 날을 굴리는 주기 안에서 활동하는 단말 사용자가 쉰 명을 넘지 않는 배치는 표식을 자유롭게 떼어도 되고, 그 규모를 넘으면 표식을 남기거나 서면 허락을 받아야 한다. 개인, 가정, 작은 팀은 전혀 영향을 받지 않는다. 다만 표식을 뗀 형태로 상업적으로 배포할 생각이라면 이 선을 먼저 저울질해야 한다.

판은 여전히 자주 나오고, 현재 최신은 0.11.3 이다. 코드 보관소에서는 십오만 개의 별과 수억 번의 내려받기를 넘겼다. 공동체가 주의를 걸어 던진 표라고 할 만하다.

시야를 되돌리자. 모델을 돌릴 수 있는 기계가 이미 손에 있다면, 빠진 것은 그것을 팀이 쓸 수 있는 기반으로 바꾸는 한 겹뿐이다. 이 프로젝트는 컨테이너 하나 크기로 화면, 지식 보관소, 권한, 확장성을 채우고 기계 선택은 내 손에 남긴다. 자료의 행방을 신경 쓰고 자리마다 내는 값에 지친 사람과 팀에게 지금으로서는 가장 손이 덜 가는 길이다.