對很多想試本機模型的人來說，第一道關卡往往不是硬體，而是終端：打開教學，迎面而來的是黑底白字的命令列，敲錯一個參數就卡在半路。託管服務倒是省心，但對話資料要上傳、費用按量計、斷網就停擺。想在圖形視窗裡像刷社群動態一樣用上本機模型，長久以來一直缺一件稱手的工具。

這套桌面程式就是為那個場景而生。2023 年由一個小團隊推出，把發現、下載、載入、對話與對外服務整條流程收進一個圖形視窗：內建的模型瀏覽器連上公開的模型倉庫，可以按參數規模、任務類型、是否支援工具呼叫、以及顯示卡裝不裝得下來篩選；選中之後點一下就開始下載。下載好的模型立刻能在對話視窗裡用，版式跟主流託管產品幾乎一致，差別只在於運算發生在自己的硬體上，而對話內容不會離開這台機器。

討喜的是那些小地方

把游標停在任何模型上，程式會直接標出它要佔多少顯示卡記憶體，裝不裝得下不必猜。裝不下的部分可以用滑桿分給系統記憶體，模型照樣跑得起來，只是速度打點折扣。三種桌面系統都覆蓋，在較新的自研晶片上還有原生引擎加持，把共用記憶體的架構用得很徹底——七十億到八十億參數的模型，每秒三十到五十個詞元的生成速度，足以支撐順暢的對話。

它並不只是個聊天外殼。程式裡可以開啟本機伺服器，對外提供與通用請求格式相容的端點，預設監聽 1234 埠，於是你手邊任何為託管模型寫的程式，把位址換成本機服務就能離線工作。較新的版本還加上另一種常見格式的端點。文書問答同樣開箱即用：把 PDF 或一批筆記拖進對話視窗，檢索與生成全在本機完成，敏感資料不必經過任何第三方。

喜歡折騰的人還能接上 MCP 伺服器，讓本機模型呼叫外部工具，只是目前的設定仍偏手動，算不上順滑。

離線是一條硬邊界

離線能力是它與網頁服務分開的那條硬線。模型下載到本機之後，對話、文書問答、執行本機伺服器都不再需要網路，官方說明也寫得明白：這些核心功能在斷網狀態下照常工作。

價格策略也夠大方：個人使用與工作用途全部免費，沒有訂閱，沒有功能牆，商業使用自 2025 年年中起同樣放開。2026 年的更新節奏也相當勤快。多卡張量並行、推測解碼、用來連接其他機器實例的 LM Link，甚至登陸手機與平板的行動版 Locally，都在半年內陸續落地。

該說清楚的邊界

程式本身是閉源軟體，對在意程式碼可稽核性的人來說是一道坎。資源佔用比純命令列工具更重，大模型下載動輒數 GB 起步，硬碟與記憶體都吃得到。Linux 使用者沒有圖形版本可選，只能用無介面的 llmster 常駐程式。此外它只能執行開放權重的模型，閉源前沿模型設下的天花板，是本機推論繞不開的現實。

本機模型的門檻，說到底是把散落的模型檔、推論框架與一堆參數收攏成一個普通人願意打開的視窗。這套程式做的正是這件事：一個圖形介面裝下從挑模型到對話的全部流程，資料留在本機，斷網照常工作。一直想試本機 AI、卻被終端勸退過的人，這是目前最順滑的入口。

讓先進的技術變得平易近人，不是降低它的深度，而是收起它不必要的鋒芒。這套程式把終端留給願意折騰的人，把視窗留給所有人。