sglang

Remplacez GPT par n'importe quel LLM en changeant une seule ligne de code. Xinference vous permet d'exécuter des modèles open source, vocaux et multimodaux sur le cloud, en local ou sur votre ordinateur portable, le tout via une API d'inférence unifiée et prête pour la production.

Un framework de service d'inférence distribué à l'échelle du centre de données.

Mooncake est la plateforme de service pour Kimi, un service LLM de premier plan fourni par Moonshot AI.

OpenClaw-RL : Entraînez n'importe quel agent simplement par la parole.

Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.

Panneau de contrôle pour VLLM, Sglang, llama.cpp, exllamav3

Plateforme de recherche de benchmark d'inférence continue open source — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 et bientôt™ TPUv6e/v7/Trainium2/3

Un algorithme de quantification SOTA pour l'inférence LLM basse précision haute précision, optimisé pour CPU/XPU/CUDA, avec support multi-type et compatibilité totale avec vLLM, SGLang et Transformers.

MOSS-TTSD est un modèle de génération de dialogue parlé conçu pour la synthèse expressive multi-locuteur. Il propose une modélisation de contexte long, un contrôle flexible du locuteur et un support multilingue, tout en permettant le clonage vocal zero-shot à partir de courtes références audio.

Cache KV élastique virtualisé pour le partage dynamique de GPU et au-delà

Boîte à outils de quantification (compression) de modèles LLM avec accélération matérielle pour GPU Nvidia, AMD, Intel et CPU Intel/AMD/Apple via HF, vLLM et SGLang.

Entraînez facilement des modèles de décodage spéculatif et portez-les en douceur vers le service SGLang.

SGLang-Omni permet un service haute performance pour les modèles TTS, ASR, vocaux et omnimodaux.

MOVA : Vers une génération vidéo-audio évolutive et synchronisée

UniRL est un framework pour l'apprentissage par renforcement de modèles multimodaux unifiés.

Feuille de route de 10 semaines, à raison de 30 minutes par jour, sur l'inférence et l'optimisation de LLM : vLLM, SGLang, quantification, décodage spéculatif et benchmarking.

Basé sur des modèles tels que SparkTTS et OrpheusTTS, ce service fournit une synthèse vocale en chinois de haute qualité et un clonage de voix.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton