llamacpp

Jan 是一个开源的 ChatGPT 替代方案，可在您的电脑上 100% 离线运行。

你的 AI 第二大脑。可自行托管。从网络或文档获取答案。构建自定义代理、调度自动化、进行深度研究。将任何线上或本地 LLM 转为个人自主 AI（gpt、claude、gemini、llama、qwen、mistral）。立即开始 - 免费。

用于构建企业 RAG 流程的统一框架，支持小型、专门模型

自托管、离线的类 ChatGPT 聊天机器人。由 Llama 2 提供动力，100% 私密，数据不离开设备。新功能：支持 Code Llama！

可在本机运行 AI 的生产就绪工具包

只需更改一行代码，即可将 GPT 替换为任意 LLM。Xinference 让你在云端、本地或笔记本上运行开源、语音和多模态模型，统一的生产级推理 API

量化、核心、运行时与推理引擎，适用于移动设备、可穿戴设备、智能家居和机器人。

⚡ 纯 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支持任何 GPU。无 Python，無 llama.cpp，单一二进位文件。

可靠的模型切换，适用于任何本地 OpenAI/Anthropic 兼容服务器 - llama.cpp、vllm 等

在终端机中使用本机工具的代理：编写代码、使用终端机、浏览网页。打造您自己的持久自动化代理！

前沿自然语言处理

C#/.NET 函式库，可在本机装置高效执行 LLM（🦙LLaMA/LLaVA）

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT 是一个动态 AI Agent 自动化平台，可跨多个 AI 提供商无缝协调指令管理与复杂任务执行。结合自适应记忆、智能功能与多功能插件系统，AGiXT 提供高效且全面的 AI 解决方案。

LSP-AI 是一个开源语言服务器，作为 AI 驱动功能的后端，旨在协助并赋能软件工程师，而非取代他们。

RamaLama 是一款开源开发者工具，通过大家熟悉的容器语言，简化了从任何来源在本地提供 AI 模型的流程，并促进其在生产环境中的推理应用。

Bonsai 示例

在 Rust 中实现即时、可控的本地预训练 AI 模型

文字转语音、RAG 与 LLMs。全部本地运行！

VLLM、Sglang、llama.cpp、exllamav3 的控制面板

开源的 LLM/VLM 负载均衡与服务平台，可用于大规模自托管 LLM（与 VLM）🏓🦙。为 llm-d、Docker Model Runner 等项目的替代方案，但组件更少、部署更简单，并围绕 ggml 生态系统构建。支持 CPU 与 GPU 运行。

在原生 macOS App 中与你最爱的 LLaMA 模型对话

供 Agent 使用的本地 AI 应用与推理引擎。在你的电脑上私密、100% 离线运行开放权重 LLM。欢迎加入我们的 Discord：https://discord.com/invite/8wGSsvmg4V

使用 Python、LangChain 与 LangGraph 构建生产就绪的 LLM 应用程序与高级代理。这是 LangChain 生成式 AI 图书的配套仓库。

计算任何 LLM 所需的 token/s 与 GPU 内存需求。支持 llama.cpp/ggml/bnb/QLoRA 量化

在 .NET 中使用 Ollama 最简单的方法

🌌 为你最喜爱的角色赋予灵魂。Soul of Waifu 是一款桌面角色扮演与 AI 伴侣应用程序，具备 Live2D/VRM 虚拟形象、语音聊天与本地 LLM。通过身临其境的聊天、RPG 冒险与桌面互动共同成长。

llama.cpp 的 WebAssembly 绑定 - 实现浏览器端 LLM 推理

一个使用预先计算的嵌入向量与先进相似度量测进行语意文字搜寻的 FastAPI 服务，透过 textract 内建支援多种档案类型。

在 Android 设备上于本地运行任意 GGUF SLM/LLM