-
LocalAI: 엔진은 필요할 때만, 판 없이도 먼저 돌아간다
실행 파일 하나와 호환 접점 하나. 클라이언트를 그쪽으로 돌리면 코드는 한 줄도 움직이지 않고 모델이 내 기계로 돌아온다. 엔진은 필요할 때만 내려오고, 모든 기능에 처리 장치로 가는 길이 있다.
-
vLLM: 그래픽 기억을 기억처럼 다뤄 처리량을 몇 배로
키와 값 캐시를 통째로 잡아 두지 않고 구역으로 잘라 나누면 기억 사용률이 서너 할에서 아홉 할을 넘고, 같은 판이 두 배에서 네 배의 요청을 동시에 받는다.
-
AnythingLLM: 사적인 작업대를 책상 위에, 자료는 밖으로 나가지 않게
PDF 와 문서 작성 파일과 표를 구역에 끌어다 넣으면 내 자료를 모두 읽은 조수가 생긴다. 모든 답에 인용이 붙고, 모델과 숫자 보관과 저장 자리가 기본으로 이 기계 위에 있다.
-
llama.cpp: 판 없이도 돌아가는 손안 배치의 마지막 보험
맨 C 로 쓰여 의존이 하나도 없다. 압축한 모델을 평범한 휴대 기계에 들어가는 크기로 만든 파일 형식을 정했고, 여러 익숙한 책상 도구가 조용히 그 위에 서 있다.
-
GPT4All: 그래픽 판 없이도 손안에서 모델 돌리기
따로 붙이는 판도, 계정도, 명령 줄도 필요 없다. 압축해 다듬은 열린 모델이 평범한 처리 장치에서 돌아가고, 폴더 하나를 지정하면 내 서류가 질문 대상이 된다. 내용은 이 기계를 떠나지 않는다.
-
Jan: 근거를 읽을 수 있는 손안 조수
대화 창과 모델 관리와 손안 서비스가 한 줄까지 공개 허락 아래 놓여 있다. 그래서 선을 뽑아도 대화는 이어지고, 사생활 약속을 믿음으로 떠받칠 필요도 없다.
-
Ollama: 명령 한 줄로 열린 모델을 일상 작업에 붙인다
대화 응용이 아니라 실행 토대다. 명령 한 줄로 열린 모델을 받아 돌리고, 손안 연결 지점은 흔한 요청 형식을 쓴다. 가진 스크립트나 편집기 확장을 그대로 향하게 하면 된다.
-
NextChat: 오 메가바이트 클라이언트가 결제 중인 모델을 한 창에 모은다
약 오 메가바이트 클라이언트가 이미 값을 내는 모델을 한 창에 모으고, 대화는 브라우저 손안에 두며, 여섯 플랫폼에서 돈다. 자체는 무료이고 비용은 제공처에 바로 낸다.
-
LibreChat: 대화 계층을 직접 두면 모델 비용이 쓴 만큼만 된다
소프트웨어는 무료이고 서버는 직접 마련한다. 한 창에서 여러 모델 서비스를 연결하고, 코드 없이 에이전트를 조립하며, 격리된 실행 환경과 MCP 연결을 쓴다. 사용량은 관리 화면에서 보인다.
-
Cherry Studio: 여러 모델을 한 창에, 그 옆에 지식 저장소를
Cherry Studio는 AI 대화와 지식 저장소를 위한 크로스 플랫폼 데스크톱 클라이언트입니다. 같은 질문을 여러 모델에 나란히 보내고, 가진 자료를 로컬 지식 저장소에 두고, 이미지 생성과 번역까지 같은 창에서 다룹니다.
-
第 1 / 1 页