llamacpp

利用 LLM 進行程式碼補全（以及更多功能）的 LSP 伺服器

我的著作《A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face》官方儲存庫

在 Debian 上建置您自己的本地端且完全私有 LLM 伺服器的端到端文件。配備聊天、網路搜尋、RAG、模型管理、MCP 伺服器、圖像生成以及 TTS。

以純 Java 實現的 Llama 3+ 推理

目前 Android 上最先進、完全離線的客戶端 AI 套件。

🤖 LLM 的 TUI

llama-cpp-agent 框架是一個旨在輕鬆與大型語言模型 (LLMs)互動的工具。允許使用者與 LLM 模型對話、執行結構化函式呼叫並獲得結構化輸出。同時也適用於未針對 JSON 輸出和函式呼叫進行微調的模型。

賦予應用程式智慧：直接整合 llama.cpp 以利用硬體加速進行本地推論的 Go 應用程式

又一個語言模型：以 C++/CUDA 實作的 LLM 推論，除了 I/O 外不依賴任何函式庫

在 Visual Studio Code 中搭配 Continue 擴充功能使用 Code Llama。這是 GitHub Copilot 的本地 LLM 替代方案。

靜態 suckless 單批次僅限 CUDA 的 qwen3-0.6B 小型推論引擎。

使用 llama.cpp 進行嵌入式向量搜尋與語意嵌入的 Go 函式庫。

使用 Lynkr 簡化您的工作流程，這是一個透過 Claude Code CLI 進行高效程式碼互動的 HTTP 代理 CLI 工具。

Browser Operator - The AI browser with built in Multi-Agent platform! Open source alternative to ChatGPT Atlas, Perplexity Comet, Dia and Microsoft CoPilot Edge Browser