vllm

使用 Prometheus 與 GPT4 評估你的 LLM 回應 💯

使用 C++ 與 CUDA 建構你自己的高效能 LLM 推理引擎 - vLLM 的精簡版

針對擴散與全能模型的多模態 RL 訓練框架

UniRL 是一個統一多模態模型強化學習框架

LLM 筆記，包含模型推論、Transformer 模型結構，以及 LLM 框架程式碼分析筆記。

為期 10 週、每天 30 分鐘的 LLM 推論服務與最佳化學習藍圖。包含 vLLM、SGLang、量化、推測解碼、效能評測。

一款本機、離線（初始設定後）、可攜式的 OCR 軟體，可使用 DeepSeek-OCR-2 AI（直接在您的機器上執行）處理圖片和 PDF 檔案。

在 Debian 上建置您自己的本地端且完全私有 LLM 伺服器的端到端文件。配備聊天、網路搜尋、RAG、模型管理、MCP 伺服器、圖像生成以及 TTS。

將 Discord 打造成你的 LLM 前端 - 支援任何相容 OpenAI 的 API（OpenRouter、Ollama 等）

一個由語言模型（LLM）驅動的 Python 資料探索與分析庫。

[EMNLP 2024 & AAAI 2026] 一個強大的大型模型壓縮工具包，包含 LLM、VLM 及影片生成模型。

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch，相容 OpenAI，支援 Qwen3 至 Kimi-K2 服務

精確、大規模且可擴充的 LLM 推理系統模擬器

EfficientSAM3 透過漸進式知識蒸餾將 SAM3 壓縮為輕量且適合邊緣裝置的模型，以實現快速的提示式概念分割與追蹤。

基於 SparkTTS、OrpheusTTS 等模型，提供高品質中文語音合成與聲音複製服務。

[CVPR 2025] RoboBrain：用於機器人操作的統一大腦模型，從抽象到具體。官方儲存庫。

Crater 是一個雲端原生 AI 訓練與推論平台

用於管理與互動 vLLM 伺服器的現代化網頁介面。支援 GPU 與 CPU 模式，並針對 macOS Apple Silicon 與 OpenShift/Kubernetes 企業部署進行特別優化。

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

使用 vLLM 部署 LLM 的命令列介面工具

sparkrun - launch, manage, and stop LLM inference workloads on NVIDIA DGX Spark systems. Live support: https://discord.com/invite/GH5kRgv6ZD