-
LocalAI: 엔진은 필요할 때만, 판 없이도 먼저 돌아간다
실행 파일 하나와 호환 접점 하나. 클라이언트를 그쪽으로 돌리면 코드는 한 줄도 움직이지 않고 모델이 내 기계로 돌아온다. 엔진은 필요할 때만 내려오고, 모든 기능에 처리 장치로 가는 길이 있다.
-
vLLM: 그래픽 기억을 기억처럼 다뤄 처리량을 몇 배로
키와 값 캐시를 통째로 잡아 두지 않고 구역으로 잘라 나누면 기억 사용률이 서너 할에서 아홉 할을 넘고, 같은 판이 두 배에서 네 배의 요청을 동시에 받는다.
-
AnythingLLM: 사적인 작업대를 책상 위에, 자료는 밖으로 나가지 않게
PDF 와 문서 작성 파일과 표를 구역에 끌어다 넣으면 내 자료를 모두 읽은 조수가 생긴다. 모든 답에 인용이 붙고, 모델과 숫자 보관과 저장 자리가 기본으로 이 기계 위에 있다.
-
llama.cpp: 판 없이도 돌아가는 손안 배치의 마지막 보험
맨 C 로 쓰여 의존이 하나도 없다. 압축한 모델을 평범한 휴대 기계에 들어가는 크기로 만든 파일 형식을 정했고, 여러 익숙한 책상 도구가 조용히 그 위에 서 있다.
-
GPT4All: 그래픽 판 없이도 손안에서 모델 돌리기
따로 붙이는 판도, 계정도, 명령 줄도 필요 없다. 압축해 다듬은 열린 모델이 평범한 처리 장치에서 돌아가고, 폴더 하나를 지정하면 내 서류가 질문 대상이 된다. 내용은 이 기계를 떠나지 않는다.
-
Jan: 근거를 읽을 수 있는 손안 조수
대화 창과 모델 관리와 손안 서비스가 한 줄까지 공개 허락 아래 놓여 있다. 그래서 선을 뽑아도 대화는 이어지고, 사생활 약속을 믿음으로 떠받칠 필요도 없다.
-
Ollama: 명령 한 줄로 열린 모델을 일상 작업에 붙인다
대화 응용이 아니라 실행 토대다. 명령 한 줄로 열린 모델을 받아 돌리고, 손안 연결 지점은 흔한 요청 형식을 쓴다. 가진 스크립트나 편집기 확장을 그대로 향하게 하면 된다.
-
NextChat: 오 메가바이트 클라이언트가 결제 중인 모델을 한 창에 모은다
약 오 메가바이트 클라이언트가 이미 값을 내는 모델을 한 창에 모으고, 대화는 브라우저 손안에 두며, 여섯 플랫폼에서 돈다. 자체는 무료이고 비용은 제공처에 바로 낸다.
-
Open WebUI: 직접 돌리는 모델에 빠져 있던 화면
이미 돌리고 있는 모델 서버나 호환되는 연결 지점을 향하게 하면 브라우저 창 하나가 작업대가 된다. 모델 나란히 놓기, 문서 지식 보관소, 역할 권한과 통합 로그인을 갖추고, 망을 끊어도 한 바퀴가 돈다.
-
LibreChat: 대화 계층을 직접 두면 모델 비용이 쓴 만큼만 된다
소프트웨어는 무료이고 서버는 직접 마련한다. 한 창에서 여러 모델 서비스를 연결하고, 코드 없이 에이전트를 조립하며, 격리된 실행 환경과 MCP 연결을 쓴다. 사용량은 관리 화면에서 보인다.
-
Mistral Vibe: 답은 빠르고, 데이터는 기본으로 유럽에 남는다
하루의 일과 코드 작성을 한 구독으로 덮는다. 먼저 계획을 내고 연결한 도구 사이에서 실행하며, 답은 초당 약 천 단어, 데이터는 기본으로 유럽연합 안에 둔다.
-
Kimi K3: 백만 토큰을 한 번에, 300개의 하위 에이전트에게 일을 맡긴다
백만 자 분량의 자료를 넣으면 스스로 일을 쪼개고 인력을 나눠 붙여, 바로 쓸 수 있는 결과물을 돌려준다. 많이 읽는 것은 앞선 세대의 이야기이고, 끝내는 것이 이 세대의 주제다.
-
DeepSeek V4.1 Flash: 이미지를 그대로 읽고, 백만 토큰을 담고, 가중치는 공개
매개변수 5520억 개짜리 모델이 설명 없이 보낸 화면 사진을 읽고, 백만 토큰을 한 번에 삼키고, 캐시된 입력은 백만 토큰당 1위안의 50분의 1로 청구된다. 볼 것은 크기가 아니라 비용이 어디로 옮겨 갔느냐다.
-
Cherry Studio: 여러 모델을 한 창에, 그 옆에 지식 저장소를
Cherry Studio는 AI 대화와 지식 저장소를 위한 크로스 플랫폼 데스크톱 클라이언트입니다. 같은 질문을 여러 모델에 나란히 보내고, 가진 자료를 로컬 지식 저장소에 두고, 이미지 생성과 번역까지 같은 창에서 다룹니다.
-
第 1 / 1 页