LocalAI 是开源的自托管 AI 运行时，用 OpenAI 兼容接口把模型搬回自己的机器，后端按需加载、无显卡也能跑，还能扩展到多机集群，适合想做本地私有化部署的开发者。

把操作系统管理内存的分页机制搬进显存，vLLM 用 PagedAttention 让 KV Cache 利用率从三四成提升到九成以上，同一块 GPU 并发翻倍——再加上 OpenAI 兼容 API 与连续批处理，自建大模型服务从实验走向生产就靠它。

把 PDF、Word、CSV 拖进工作区，就能得到一位读过你全部资料的 AI 助手——每条回答带引用标注，模型、向量库、存储全部默认本地运行。MIT 开源的 AnythingLLM 让私有 AI 工作台真正数据不出机。

纯 C/C++、零依赖的 llama.cpp 定义了 GGUF 量化格式，让没有显卡的电脑也能跑本地大模型。CUDA、Metal、Vulkan 全后端覆盖，llama-server 提供 OpenAI 兼容 API，是 Ollama 与 LM Studio 身后的那台引擎。

不需要显卡、不需要账号、不需要命令行：MIT 开源的 GPT4All 让普通电脑用 CPU 就能跑本地大模型，LocalDocs 把私有文档问答变成一个勾选项，数据全程不出本机。

一款 Apache 2.0 开源的本地 AI 助手：模型下载后断网照常对话，数据不出本机，代码全部公开可查，还能接云端模型、开本地 API、连 MCP 工具。

一行命令就能在本地跑起 Llama、Qwen、DeepSeek 等开源大模型：MIT 开源、数据不出本机、OpenAI 兼容 API，让本地推理无缝接进你的编辑器与工作流。

一个约 5MB 的开源客户端，把 GPT、Claude、Gemini、DeepSeek 装进同一个对话窗口：MIT 协议、对话存本地、六端覆盖，多模型切换像换频道一样简单。

自托管 AI 平台 Open WebUI 把 Ollama 与 OpenAI 兼容 API 收进同一界面，内置 RAG 知识库、RBAC 权限与 SSO 登录，支持 MCP 扩展，适合团队私有化部署。

LibreChat 是 MIT 许可证下的开源 AI 对话平台，自托管部署，一个界面接入多家模型供应商，自带 Agents、代码解释器与 MCP 工具，适合想掌控模型成本的用户。

法国 Mistral AI 出品的 AI 助手，前身 Le Chat 于 2026 年 5 月更名 Vibe，工作助理与编码 agent 合成一个产品，官方口径约每秒一千词，数据默认托管在欧盟境内。

Kimi K3 把上下文窗口拉到 100 万 token，2.8 万亿参数的混合专家架构，能一次读完长篇报告和整套代码仓库；Agent 集群最多调度 300 个子代理并行推进，单次任务可跑出 4000 次以上工具调用。

DeepSeek 于 2026 年 9 月 10 日发布 V4.1 Flash，总参数 552B 而推理时仅激活 8B 至 16B，原生支持视觉理解与 100 万 token 上下文，权重按 MIT 许可开源，网页版、App、API 三端同步上线，闲时缓存命中价低至每百万 token 0.02 元。

Cherry Studio 是一款多功能AI助手与知识管理平台，支持ChatGPT、Claude、Gemini等主流AI模型，提供多模型对话、文件解析、AI绘画及本地数据存储功能，适用于科研、创作与企业协作，保障隐私安全，提升工作效率。