搬回內網，卡住的往往不是顯示卡

問團隊為什麼 AI 功能還跑在別人的機房裡，答案通常是顯示卡。真的動手之後才發現，難的是工程量：用戶端裡散落著幾十處呼叫，套件、串流回應的解析、錯誤重試的邏輯，全都圍著雲端介面寫死，換一家就得重寫一遍。LocalAI 把方向反過來：不動程式碼，改位址。它對外提供一套能接收同樣請求的介面，既有的用戶端照樣送出、照樣解析，只是這一次模型跑在自己的機器上。資料從頭到尾沒有離開這棟樓，而這件事沒有靠改一行應用程式換來。

LocalAI 是一個自己架設的開源執行環境：一個執行檔、一套相容介面，背後接哪個引擎由你決定。

核心很小，引擎叫了才來

本機推理工具最容易被嫌的是臃腫：為了跑一個不大的模型，先裝下好幾 GB 的相依套件，其中大半一輩子用不到。LocalAI 把每個推理引擎都做成獨立後端，以標準容器映像的形式分發，只有某個模型真的需要它時才拉下來。後端彼此隔離，可以各自安裝、升級或移除，一個出問題不會拖垮其他服務，甚至可以跑在另一台機器上。

這套安排帶來一個直接好處：換引擎不必換介面。同一個端點底下，一個模型可以跑在這套引擎上，另一個走完全不同的引擎，用戶端毫無感覺——請求格式不變，變的只是底下那一行設定。目前可選的後端有六十多個，涵蓋文字生成、語音辨識與合成、影像理解、圖像與影片生成、嵌入與重排。硬體方面，三家主要晶片廠商、筆電自研晶片、跨平台繪圖標準，以及小型嵌入式板卡，都有對應的加速路徑。

沒有顯示卡，今天就能開始

官方把一條原則講得很白：每個功能都先交付處理器路徑，而且這條路徑是在持續整合裡、用普通人手上就有的硬體跑測試的，不是「不當掉就好」的降級備援。顯示卡的作用是讓它更快，不是讓它可用。對於想先驗證流程、再決定要不要採購硬體的團隊，這個順序很關鍵——先用現成的機器把流程跑通，容量的事之後再談。

如果模型本身大到裝不下，還有量化。專案自研的方案會為不同張量、不同層分別挑精度，在一個約 350 億參數的混合專家模型上，佔用從大約 65 GB 壓到 12 GB，生成速度從每秒 30 個詞元提到 74 個，困惑度只從六點五升到七點一。壓出來的是通用量化格式的標準檔案，原版推理引擎不必打補丁就能讀。

機器變多之後，調度交給它

單機的天花板遲早會到。這裡的答案是再加一台機器：請求路由、依顯示記憶體決定模型放哪裡、前綴快取的親和性、故障轉移，這些原本得自己寫調度的活，全由執行環境接手。它既支援以工作節點橫向擴充的生產形態，也支援點對點聯邦組網——辦公室裡幾台閒置機器拼起來，原本要獨立顯卡才敢想的任務就變得可行。負載上來了就加機器，叢集自己算怎麼用。

除了打字，它也在聽、在看

本機模型常被說成只會打字，這一層塞進去的東西不少：帶說話者標籤與時間戳的即時轉寫，快到跟得上正在進行的會議；聲音事件辨識涵蓋數百類，門響、玻璃碎、煙霧警報都會被注意到；聲紋與人臉辨識加上活體偵測，能分辨真人與舉著的照片；用自然語言問「左邊那個紅色杯子」，回傳的是座標而不是一句描述；從一張普通照片估算距離，用幾張照片重建三維場景，既不需要相機校正，也不需要顯示卡。姓名、地址、卡號這類資訊會在本機被找出來並遮蔽，在離開之前就處理掉。

升級前要留意的一處安全變更

目前這一版把鑑權改成預設拒絕。過去的中介層靠比對路徑前綴判斷哪些介面需要保護，不在名單上的就預設公開；而部分路由存在不帶該前綴的別名，全域檢查對它們並不生效，這類繞過由安全研究者回報。現在中介層會同時看請求方法並預設拒絕，只有明確登記為公開的方法與路徑才放行。如果開著資料庫鑑權或舊式金鑰，升級後有兩處變化要預先準備：回報版本資訊的介面開始要求憑證，而生成的音訊、圖像、影片等資源，回傳的位址也要帶上金鑰才取得回來。

如果你要的只是「把模型搬回自己機器上跑，最好別改程式碼」，LocalAI 給的是一條最短的路：換一個位址，剩下的交給它按需組裝的引擎。