vllm

Đánh giá phản hồi LLM của bạn với Prometheus và GPT4 💯

Xây dựng công cụ suy luận LLM hiệu suất cao của riêng bạn bằng C++ và CUDA - một phiên bản nhỏ hơn của vLLM

Khung huấn luyện RL đa phương thức cho các mô hình diffusion và omni

UniRL là một framework dành cho Học tăng cường mô hình đa phương thức thống nhất

Ghi chú về LLM, bao gồm suy luận mô hình, cấu trúc mô hình transformer và ghi chú phân tích mã nguồn framework LLM.

Lộ trình 10 tuần, mỗi ngày 30 phút về suy luận và tối ưu hóa LLM, bao gồm vLLM, SGLang, lượng tử hóa, giải mã suy đoán và đo điểm chuẩn.

Phần mềm OCR cục bộ, ngoại tuyến (sau khi thiết lập ban đầu), di động có khả năng xử lý hình ảnh và tệp PDF, sử dụng AI DeepSeek-OCR-2 (chạy trực tiếp trên máy của bạn).

Tài liệu toàn diện để thiết lập máy chủ LLM cục bộ và hoàn toàn riêng tư trên Debian. Được trang bị tính năng trò chuyện, tìm kiếm web, RAG, quản lý mô hình, máy chủ MCP, tạo hình ảnh và TTS.

Biến Discord thành giao diện LLM của bạn - Hỗ trợ bất kỳ API tương thích OpenAI nào (OpenRouter, Ollama và hơn thế nữa).

Một thư viện Python được hỗ trợ bởi các Mô hình Ngôn ngữ Lớn (LLM) để khám phá và phân tích dữ liệu hội thoại.

[EMNLP 2024 & AAAI 2026] Bộ công cụ mạnh mẽ để nén các mô hình lớn bao gồm LLM, VLM và các mô hình tạo video

Công cụ suy luận LLM bằng Rust thuần + CUDA — không cần PyTorch, tương thích với OpenAI, hỗ trợ từ Qwen3 đến Kimi-K2.

Trình mô phỏng chính xác, quy mô lớn và có khả năng mở rộng cho các hệ thống suy luận LLM

EfficientSAM3 nén SAM3 thành các mô hình nhẹ, thân thiện với thiết bị biên thông qua chưng cất tri thức lũy tiến để phân đoạn và theo dõi khái niệm nhanh chóng.

Dựa trên các mô hình như SparkTTS, OrpheusTTS, cung cấp dịch vụ tổng hợp giọng nói và nhân bản giọng nói tiếng Trung chất lượng cao.

[CVPR 2025] RoboBrain: Mô hình não bộ thống nhất cho thao tác robot từ trừu tượng đến cụ thể. Kho lưu trữ chính thức.

Crater là nền tảng huấn luyện và suy luận AI dựa trên đám mây.

Giao diện web hiện đại để quản lý và tương tác với các máy chủ vLLM (www.github.com/vllm-project/vllm). Hỗ trợ cả chế độ GPU và CPU, với các tối ưu hóa đặc biệt cho macOS Apple Silicon và triển khai doanh nghiệp trên OpenShift/Kubernetes.

Self-hosted AI agent OS. Your memory, chat, agents, and files stay on hardware you own, offline by default, cloud by choice. Offline AI memory (taOSmd), self-hosted multi-framework group chat, a full web desktop + app store, and auto-clustering across the consumer hardware you already have (Orange/Raspberry Pi, Mac mini, gaming PC).

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton

Công cụ giao diện dòng lệnh để phục vụ LLM sử dụng vLLM