sglang

Thay thế GPT bằng bất kỳ LLM nào chỉ với một dòng mã. Xinference cho phép bạn chạy các mô hình mã nguồn mở, giọng nói và đa phương thức trên đám mây, tại chỗ hoặc trên máy tính xách tay — tất cả thông qua một API suy luận thống nhất, sẵn sàng cho môi trường sản xuất.

Một khung phục vụ suy luận phân tán quy mô trung tâm dữ liệu

Mooncake là nền tảng phục vụ cho Kimi, một dịch vụ LLM hàng đầu được cung cấp bởi Moonshot AI.

OpenClaw-RL: Huấn luyện bất kỳ tác nhân nào chỉ bằng cách trò chuyện.

Trình quản lý cụm GPU dành cho việc phục vụ mô hình AI hiệu năng cao (vLLM, SGLang) và các instance GPU có thể truy cập SSH theo yêu cầu.

Bảng điều khiển cho VLLM, Sglang, llama.cpp, exllamav3

Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 & sắp ra mắt™ TPUv6e/v7/Trainium2/3 | Nền tảng nghiên cứu benchmark suy luận liên tục mã nguồn mở — Kimi K2.7-Code, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72, sắp ra mắt™ TPUv6e/v7/Trainium2/3

Thuật toán lượng tử hóa SOTA cho suy luận LLM low-bit độ chính xác cao, được tối ưu hóa liền mạch cho CPU/XPU/CUDA, hỗ trợ đa kiểu dữ liệu và tương thích hoàn toàn với vLLM, SGLang và Transformers.

MOSS-TTSD là một mô hình tạo hội thoại giọng nói được thiết kế để tổng hợp biểu cảm đa người nói. Nó có tính năng mô hình hóa ngữ cảnh dài, điều khiển người nói linh hoạt và hỗ trợ đa ngôn ngữ, đồng thời cho phép nhân bản giọng nói zero-shot từ các tệp âm thanh tham chiếu ngắn.

Bộ nhớ đệm KV đàn hồi ảo hóa để chia sẻ GPU động và hơn thế nữa

Bộ công cụ lượng tử hóa (nén) mô hình LLM hỗ trợ tăng tốc phần cứng cho GPU Nvidia, AMD, Intel và CPU Intel/AMD/Apple thông qua HF, vLLM và SGLang.

Huấn luyện các mô hình giải mã suy đoán một cách dễ dàng và chuyển chúng một cách mượt mà sang dịch vụ SGLang.

MOVA: Hướng tới Tạo video–audio có thể mở rộng và đồng bộ hóa

SGLang-Omni hỗ trợ phục vụ hiệu suất cao cho TTS, ASR, các mô hình giọng nói và đa năng (omni).

UniRL là một framework dành cho Học tăng cường mô hình đa phương thức thống nhất

Lộ trình 10 tuần, mỗi ngày 30 phút về suy luận và tối ưu hóa LLM, bao gồm vLLM, SGLang, lượng tử hóa, giải mã suy đoán và đo điểm chuẩn.

Dựa trên các mô hình như SparkTTS, OrpheusTTS, cung cấp dịch vụ tổng hợp giọng nói và nhân bản giọng nói tiếng Trung chất lượng cao.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton