把本機大模型的故事往源頭追，幾乎每個名字最後都指回同一個專案。2023 年 3 月，一位開發者用純 C 與 C++ 把當時剛問世的開放模型搬上普通消費級硬體，這個原本只是移植的專案，後來成了整個領域的地基：如今由一個小組維護，星標超過 128,000，好幾款熟悉的桌面工具，按鈕底下跑的推理程式也和它同源。目前的最新穩定版 在 2026 年 9 月 14 日發布，三個桌面系統的預編譯版本照舊提供。

它最為人知的貢獻是 GGUF 檔案格式。在這之前，開放模型的原始權重動輒幾十 GB，消費級硬體根本無從下手；GGUF 把權重、分詞器與中繼資料打包進單一檔案，再配合 k-quants 那一套量化等級（Q4_K_M 之類），模型佔用的記憶體可以降到原本的 60 到 75% 左右，品質損失很小。七十億參數級的模型因此縮到幾個 GB，普通筆電的記憶體就裝得下，網路上流通的數千個量化檔案也都是繞著這套格式長出來的。換句話說，今天「下載一個檔案就能跑模型」這種順暢體驗，底層規則正是這個專案定下的。

在它這裡，處理器推理從來不是權宜之計，而是第一等公民。引擎針對 x86-64 的向量指令集與低功耗晶片架構的對應擴充做了深度最佳化，社群實測中，七十億到八十億參數的量化模型在沒有獨立顯卡的現代筆電處理器上，能達到每秒 10 到 30 個詞元，日常對話完全夠用。對那台沒有獨顯的老桌機、只有內顯的辦公筆電，或者不方便裝顯卡的家用伺服器來說，它往往是唯一還跑得動新模型的選擇——「最後一道保險」這說法就是這樣來的：當其他工具都被硬體門檻擋住時，它通常還能再頂一層。

有顯卡的機器同樣受益，而且相當靈活。模型的部分層可以推到顯卡上，其餘留在處理器跑，顯示記憶體不夠的裝置能按層數細細權衡速度與容量；背後則是一家廠商顯示卡的專用內核、自研晶片的一級支援，以及另外兩家的跨平台運算路徑。專案還附帶 llama-server，啟動一個與大型雲端格式相容的本機服務，自帶網頁介面，支援自訂端點的用戶端可以直接指向它，連續批次處理之類的功能在服務模式下也能打開。

它的取向也該講白：沒有官方圖形介面，命令列是唯一的正式入口，每一個參數——上下文長度、卸載幾層、執行緒數、量化等級——都得自己指定或接受預設值。換來的是極致的可控與可嵌入：這是一個零依賴的推理引擎，不是成品軟體，開發者把它嵌進自己的應用，維運人員在無頭伺服器上當服務跑，玩家則用腳本把它編進自動化流程。專案採寬鬆許可，商用與二次開發都沒有障礙。如果前面那些工具是為不同人準備好的整車，它就是那台掀開引擎蓋、隨便你改的底盤——它不適合所有人，但對願意動手的人來說，本機部署能走多遠，由它決定。