llamacpp

利用 LLM 进行代码补全（以及更多功能）的 LSP 服务器

我的著作《A Hands-On Guide to Fine-Tuning LLMs with PyTorch and Hugging Face》官方仓库

在 Debian 上搭建您自己的本地且完全私有 LLM 服务器的端到端文档。配备聊天、网页搜索、RAG、模型管理、MCP 服务器、图像生成以及 TTS。

目前 Android 上最先进、完全离线的客户端 AI 套件。

以纯 Java 实现的 Llama 3+ 推理

🤖 LLM 的 TUI

llama-cpp-agent 框架是一个旨在轻松与大型语言模型 (LLMs) 交互的工具。允许用户与 LLM 模型对话、执行结构化函数调用并获得结构化输出。同时也适用于未针对 JSON 输出和函数调用进行微调的模型。

赋予应用程序智慧：直接整合 llama.cpp 以利用硬件加速进行本地推理的 Go 应用程序

又一个语言模型：使用 C++/CUDA 实现的 LLM 推理，除 I/O 外不依赖任何库

在 Visual Studio Code 中搭配 Continue 扩展功能使用 Code Llama。这是 GitHub Copilot 的本地 LLM 替代方案。

静态 suckless 单批次仅限 CUDA 的 qwen3-0.6B 小型推理引擎。

使用 llama.cpp 进行嵌入式向量搜索与语义嵌入的 Go 库。

使用 Lynkr 简化您的工作流程，这是一个透过 Claude Code CLI 进行高效代码互动的 HTTP 代理 CLI 工具。

Browser Operator - The AI browser with built in Multi-Agent platform! Open source alternative to ChatGPT Atlas, Perplexity Comet, Dia and Microsoft CoPilot Edge Browser