vllm

使用 Prometheus 与 GPT4 评估你的 LLM 响应 💯

使用 C++ 与 CUDA 构建你自己的高性能 LLM 推理引擎 - vLLM 的精简版

针对扩散与全能模型的多模态 RL 训练框架

UniRL 是一个统一多模态模型强化学习框架

为期 10 周、每天 30 分钟的 LLM 推理服务与优化学习蓝图。包含 vLLM、SGLang、量化、推测解码、性能评测。

LLM 笔记，包含模型推理、Transformer 模型结构，以及 LLM 框架代码分析笔记。

一款本地、离线（初始设置后）、便携的 OCR 软件，可使用 DeepSeek-OCR-2 AI（直接在您的机器上运行）处理图片和 PDF 文件。

在 Debian 上搭建您自己的本地且完全私有 LLM 服务器的端到端文档。配备聊天、网页搜索、RAG、模型管理、MCP 服务器、图像生成以及 TTS。

将 Discord 打造成你的 LLM 前端 - 支持任何兼容 OpenAI 的 API（OpenRouter、Ollama 等）

一个由语言模型（LLM）驱动的 Python 数据探索与分析库。

[EMNLP 2024 & AAAI 2026] 一个强大的大型模型压缩工具包，包含 LLM、VLM 及视频生成模型。

纯 Rust + CUDA LLM 推理引擎 — 无需 PyTorch，兼容 OpenAI，支持 Qwen3 至 Kimi-K2 服务

精确、大规模且可扩展的 LLM 推理系统模拟器

EfficientSAM3 通过渐进式知识蒸馏将 SAM3 压缩为轻量且适合边缘设备的模型，以实现快速的提示式概念分割与追踪。

基于 SparkTTS、OrpheusTTS 等模型，提供高质量中文语音合成与声音克隆服务。

[CVPR 2025] RoboBrain：用于机器人操作的统一大脑模型，从抽象到具体。官方仓库。

Crater 是一个云原生 AI 训练与推理平台

用于管理与互动 vLLM 服务器的现代化网页界面。支持 GPU 与 CPU 模式，并针对 macOS Apple Silicon 与 OpenShift/Kubernetes 企业部署进行特别优化。

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

使用 vLLM 部署 LLM 的命令行界面工具

sparkrun - launch, manage, and stop LLM inference workloads on NVIDIA DGX Spark systems. Live support: https://discord.com/invite/GH5kRgv6ZD