LocalAI 是开源的自托管 AI 运行时，用 OpenAI 兼容接口把模型搬回自己的机器，后端按需加载、无显卡也能跑，还能扩展到多机集群，适合想做本地私有化部署的开发者。

把操作系统管理内存的分页机制搬进显存，vLLM 用 PagedAttention 让 KV Cache 利用率从三四成提升到九成以上，同一块 GPU 并发翻倍——再加上 OpenAI 兼容 API 与连续批处理，自建大模型服务从实验走向生产就靠它。

把 PDF、Word、CSV 拖进工作区，就能得到一位读过你全部资料的 AI 助手——每条回答带引用标注，模型、向量库、存储全部默认本地运行。MIT 开源的 AnythingLLM 让私有 AI 工作台真正数据不出机。

纯 C/C++、零依赖的 llama.cpp 定义了 GGUF 量化格式，让没有显卡的电脑也能跑本地大模型。CUDA、Metal、Vulkan 全后端覆盖，llama-server 提供 OpenAI 兼容 API，是 Ollama 与 LM Studio 身后的那台引擎。

不需要显卡、不需要账号、不需要命令行：MIT 开源的 GPT4All 让普通电脑用 CPU 就能跑本地大模型，LocalDocs 把私有文档问答变成一个勾选项，数据全程不出本机。

一款 Apache 2.0 开源的本地 AI 助手：模型下载后断网照常对话，数据不出本机，代码全部公开可查，还能接云端模型、开本地 API、连 MCP 工具。

一行命令就能在本地跑起 Llama、Qwen、DeepSeek 等开源大模型：MIT 开源、数据不出本机、OpenAI 兼容 API，让本地推理无缝接进你的编辑器与工作流。

一个约 5MB 的开源客户端，把 GPT、Claude、Gemini、DeepSeek 装进同一个对话窗口：MIT 协议、对话存本地、六端覆盖，多模型切换像换频道一样简单。

LibreChat 是 MIT 许可证下的开源 AI 对话平台，自托管部署，一个界面接入多家模型供应商，自带 Agents、代码解释器与 MCP 工具，适合想掌控模型成本的用户。

Cherry Studio 是一款多功能AI助手与知识管理平台，支持ChatGPT、Claude、Gemini等主流AI模型，提供多模型对话、文件解析、AI绘画及本地数据存储功能，适用于科研、创作与企业协作，保障隐私安全，提升工作效率。