在自己機器上跑過大模型的人，多半經歷過同一個場面：模型在角落那台機器上穩穩地轉著，可家裡人或同事想用時，面前只有一個冷冰冰的命令列視窗，或一個功能簡陋的內建對話框。想替團隊配一套像樣的 AI 工作臺，又不願把資料交給雲端服務，這個「模型有了、介面缺了」的空檔，正是這套專案一直在補的位置。

它的起點並不複雜。原本是為某個本機模型服務補一塊圖形介面，2024 年 1 月改成現在的名字，從一開始的任務就是讓那個服務有一個順手的畫面。幾輪快速迭代之後，野心早已超出「前端」二字。官方對它的定義是：可擴充、功能密集、能完全離線執行的自架 AI 平臺。你可以指向本機的模型服務，也可以填入任何相容 API 的位址，讓大型供應商的模型與自家顯示卡上的推論引擎，同時出現在一個介面裡。一個後端、任意供應商，這是它與生俱來的氣質。

從對話前端長成一套要營運的東西

安裝體驗延續「一處部署、四處可用」的思路。一條容器指令就能在一分鐘內拉起完整實例；用套件管理器可以直接裝進既有的 Python 環境；甚至還有官方的桌面版本。裝完打開瀏覽器，熟悉的對話版式就在眼前，從託管助手搬過來的人幾乎沒有學習成本。

第三方評測專門量過這一層要多付多少。同一張顯示卡跑同一個七百億參數的量化模型，直連與繞經這層介面的推論速度差距約百分之二，串流輸出依舊順暢，伺服器閒置時的記憶體佔用也不過兩百兆上下。要不要為了順手多付這些，就看這幾個數字。

那個對話視窗裡到底藏了多少東西

讓它從一堆對話介面裡站出來的，是功能清單的厚度。兩個以上模型可以並排作答，輸出直接擺在一起比較；中途換模型，上下文還能保住。Markdown 與 LaTeX 渲染完整，技術筆記與數學公式都能正常顯示。語音轉文字、文字轉語音，甚至視訊通話模式都內建其中。圖像生成可以接上好幾種不同後端。訊息佇列讓你在模型作答時繼續打字，記憶功能讓模型跨會話記住偏好，排程自動化則能把提示詞按週期定時執行。

對處理文書有需求的人，檢索這一段值得單獨說。官方維護兩種向量資料庫，另有十幾種社群整合可選；文書解析那一側同樣有十來套引擎可挑。混合檢索把關鍵詞評分與向量相似度結合，再用交叉編碼器重排序；精度比成本重要時，還有一種全文注入模式，跳過切塊直接把整份文書塞進上下文。用 PDF 建知識庫、讓模型自行檢索作答，這些以前要拼裝一堆元件才做得到的事，現在開箱就能跑。

團隊級，而不是個人玩具

許多開源對話介面止步於個人使用，這套卻把企業級功能直接放進免費的社群版：角色權限可以精確控制誰能用哪些模型，單一簽入透過 OIDC 與目錄驗證接上既有的身分體系，自動化配置讓使用者群組與目錄保持同步，稽核日誌則記錄每一次使用。官方說明寫得明白：這些身分管理能力對不限量的使用者免費提供，不需要授權金鑰。

協作另外有自己的家具。頻道把人和模型放在同一條時間軸上，可以請一個模型起草方案，再請另一個來挑毛病。筆記支援由模型就地改寫，也能注入會話當作上下文。對想把 AI 中層收歸自有的小團隊來說，這套組合的誠意相當足。

擴充性是第二條護城河

Python 工具可以直接在瀏覽器裡寫，寫完就暴露給模型呼叫。外掛管線能過濾、轉換每一則訊息，限流、審核或轉呼外部服務都靠它實現。對 MCP 的原生支援讓模型能連上各類外部工具伺服器，終端功能則給模型一台接近真機的電腦：寫程式、執行、讀輸出、修自己的錯，全在對話裡完成。再加上模型競技場、用量儀表板與等級分排行榜，它更像一套可以長期營運的基礎設施，而不是試一週就擱下的應用。

部署形態與資料主權

部署選項刻意留得很寬。一端是一台家用儲存機或每月幾美元的小型虛擬主機，另一端是容器叢集，兩頭都有對應的安裝路徑。把會話狀態搬進記憶體內儲存之後，應用可以跨節點水平擴充；檔案指向物件儲存，就能跑無狀態實例。追蹤、指標與日誌可以透過通用的追蹤協定匯出到你原本就在用的監控堆疊。

最要緊的能力是完全不連外網也能跑。在隔離網段或直接拔掉網路線的環境裡，本機模型加本機知識庫照樣走完整個流程，這正是對資料駐留敏感的醫療、法律與公部門願意看它一眼的原因。資料從頭到尾待在自己的硬碟裡，換哪家模型供應商都不影響使用習慣，這種自由度是任何託管服務給不了的。

授權條款是分水嶺

有一件事值得在部署前看清。2025 年 4 月，專案從三條款的 BSD 授權改成自訂授權。基底仍是 BSD 條文，但附加了一條品牌條款：三十天滾動週期內活躍終端使用者不超過五十人的部署，可以自由移除專案標識；超過這個規模就得保留標識，或取得書面授權。個人、家庭與小團隊完全不受影響，但若打算以去品牌的形式做商業散布，就得先把這條線掂清楚。

版本仍在高頻更新，目前最新是 0.11.3，程式碼託管平台上已超過十五萬顆星、數億次下載，這算是社群用注意力投的票。

把視野拉回來。當你手上已經有一台能跑模型的機器，缺的其實只是把它變成「團隊能用的 AI 平臺」的那一層。這套專案用一個容器的體積，補上了介面、知識庫、權限與擴充性，而且把硬體的選擇權留在你手上。對在意資料歸屬、又受夠按席位付費的人與團隊來說，這大概是目前最省心的一條路。