-
LocalAI:後端按需拉取,沒有顯卡也能先跑起來
一個執行檔、一套相容端點:把用戶端指過來,程式碼一行不動,模型就回到自己機器上。引擎只在真的需要時才拉下來,每個功能都有一條能在處理器上跑的路,再加一台機器就是更多容量。
-
vLLM:把顯示記憶體當記憶體來管,吞吐量翻幾倍
把鍵值快取切成區塊而不是整塊預留,記憶體利用率從三、四成拉到九成以上,同一張卡能同時服務兩到四倍的請求——這就是展示品與線上服務之間的差別。
-
AnythingLLM:把私有 AI 工作台裝進桌面,資料不出機
把 PDF、文書檔與表格拖進工作區,就得到一位讀過你全部資料的助手,每則回答都附引用;模型、向量庫與儲存預設全部跑在這台機器上。
-
llama.cpp:純處理器也能推理,本機部署的最後一道保險
以純 C 寫成、不帶任何依賴,它定下了讓量化模型小到能塞進普通筆電的檔案格式,也是好幾款熟悉桌面工具安靜踩著的那一層。
-
GPT4All:沒有顯卡也能在自己電腦上跑本機模型
不必獨立顯卡、不必帳號、不必碰終端:量化過的開放模型在普通處理器上就能跑,把一個資料夾指定為資料集合之後,跟自己的資料對話全程不出這台機器。
-
Jan:斷網照樣能對話的開源本機助手
對話視窗、模型管理、本機服務的每一行程式碼都攤在寬鬆的開放許可之下,於是網線拔掉照樣能聊,而隱私這件事不必靠信任,靠的是讀得到的原始碼。
-
Ollama:一行指令,把開源模型接進日常工作流
它是執行環境而不是聊天程式:一行指令就把開源模型拉下來跑起來,本機端點講的是通用請求格式,你手上任何腳本或編輯器外掛都能指向它,完全不必碰外網。
-
NextChat:五 MB 的客戶端,把你付費的模型全收進一個窗
約五 MB 的客戶端,把你本來就在付費的模型收進同一個視窗,對話留在瀏覽器本機,六個端都能跑;它自己不收錢,費用直接付給模型供應商。
-
LibreChat:自己架一層對話介面,把模型帳單改成按用量計費
軟體免費、機器自備:一個視窗接上多家模型服務,不寫程式就能組出代理,還有隔離的程式執行環境與 MCP 連接,每個人的用量在後台看得見,不再糊成一筆固定訂閱。
-
Cherry Studio:一個視窗放進多個模型,旁邊再放一座知識庫
Cherry Studio 是一套跨平台的 AI 對話與知識庫桌面工具:同一個問題可以並排問多個模型,自己的材料放進本地知識庫,繪圖與翻譯就在同一個視窗裡。
-
第 1 / 1 页