llamacpp

Jan 是一個開源的 ChatGPT 替代方案，可在您的電腦上 100% 離線執行。

你的 AI 第二大腦。可自行託管。從網路或文件取得答案。建立自訂代理、排程自動化、進行深度研究。將任何線上或本地 LLM 轉為個人自主 AI（gpt、claude、gemini、llama、qwen、mistral）。立即開始 - 免費。

用於構建企業 RAG 流程的統一框架，支援小型、專門模型

自託管、離線的類 ChatGPT 聊天機器人。由 Llama 2 提供動力，100% 私密，資料不會離開裝置。新功能：支援 Code Llama！

可在本機執行 AI 的生產就緒工具組

只需更改一行程式碼，即可將 GPT 替換為任意 LLM。Xinference 讓你在雲端、本地或筆記型電腦上運行開源、語音與多模態模型，統一的生產級推論 API

量化、核心、執行時與推論引擎，適用於行動裝置、穿戴裝置、智慧家庭與機器人。

⚡ 純 Rust WebGPU 推理引擎 — OpenAI-API 兼容，GGUF 原生，支援任何 GPU。無 Python，無 llama.cpp，單一二進位檔。

可靠的模型切換，適用於任何本地 OpenAI/Anthropic 兼容伺服器 - llama.cpp、vllm 等

在終端機中使用本機工具的代理：編寫程式碼、使用終端機、瀏覽網頁。打造您自己的持久自動化代理！

前沿自然語言處理

C#/.NET 函式庫，可在本機裝置高效執行 LLM（🦙LLaMA/LLaVA）

The most no-nonsense, locally or API-hosted AI code completion plugin for Visual Studio Code - like GitHub Copilot but 100% free.

AGiXT 是一個動態 AI Agent 自動化平台，可跨多個 AI 提供商無縫協調指令管理與複雜任務執行。結合自適應記憶、智慧功能與多功能外掛系統，AGiXT 提供高效且全面的 AI 解決方案。

LSP-AI 是一個開源語言伺服器，作為 AI 驅動功能的後端，旨在協助並賦能軟體工程師，而非取代他們。

RamaLama 是一款開源開發者工具，透過大眾熟悉的容器語言，簡化從任何來源在本地端提供 AI 模型的流程，並促進其在生產環境中的推論應用。

Bonsai 範例

在 Rust 中實現即時、可控的本機預訓練 AI 模型

文字轉語音、RAG 與 LLMs。全部本機端運作！

VLLM、Sglang、llama.cpp、exllamav3 的控制面板

開源的 LLM/VLM 負載平衡與服務平台，可用於大規模自架 LLM（與 VLM）🏓🦙。為 llm-d、Docker Model Runner 等專案的替代方案，但組件更少、部署更簡單，並圍繞 ggml 生態系建構。支援 CPU 與 GPU 執行。

在原生 macOS App 中與你最愛的 LLaMA 模型對話

使用 Python、LangChain 與 LangGraph 建立生產等級的 LLM 應用程式與進階代理程式。這是 LangChain 生成式 AI 書籍的伴隨儲存庫。

供 Agent 使用的本地 AI 應用程式與推論引擎。在你的電腦上私密、100% 離線運行開放權重 LLM。歡迎加入我們的 Discord：https://discord.com/invite/8wGSsvmg4V

計算任何 LLM 所需的 token/s 與 GPU 記憶體需求。支援 llama.cpp/ggml/bnb/QLoRA 量化

在 .NET 中使用 Ollama 最簡單的方法

🌌 為你最喜愛的角色賦予靈魂。Soul of Waifu 是一款桌面角色扮演與 AI 伴侶應用程式，具備 Live2D/VRM 虛擬形象、語音聊天與本機 LLM。透過身臨其境的聊天、RPG 冒險與桌面互動共同成長。

llama.cpp 的 WebAssembly 綁定 - 實現瀏覽器端 LLM 推論

一個使用預先計算的嵌入向量與先進相似度量測進行語意文字搜尋的 FastAPI 服務，透過 textract 內建支援多種檔案類型。

在 Android 裝置上於本機執行任意 GGUF SLM/LLM