sglang

Intercambia GPT por cualquier LLM cambiando una sola línea de código. Xinference te permite ejecutar modelos de código abierto, de voz y multimodales en la nube, localmente o en tu laptop, todo a través de una API de inferencia unificada y lista para producción.

Un framework de servicio de inferencia distribuida a escala de centro de datos

Mooncake es la plataforma de servicio para Kimi, un servicio de LLM líder proporcionado por Moonshot AI.

OpenClaw-RL: Entrena cualquier agente simplemente hablando

Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.

Panel de control para VLLM, Sglang, llama.cpp y exllamav3.

Plataforma de investigación de benchmarks de inferencia continua de código abierto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 y próximamente™ TPUv6e/v7/Trainium2/3

Un algoritmo de cuantización SOTA para inferencia de LLM de bajo bit y alta precisión, optimizado para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y compatibilidad total con vLLM, SGLang y Transformers.

MOSS-TTSD es un modelo de generación de diálogos hablados diseñado para la síntesis expresiva de múltiples hablantes. Cuenta con modelado de contexto largo, control flexible de hablantes y soporte multilingüe, al tiempo que permite la clonación de voz zero-shot a partir de referencias de audio cortas.

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

Kit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración por hardware para GPU Nvidia, AMD, Intel y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.

Entrena modelos de decodificación especulativa sin esfuerzo y transpórtalos fácilmente al servicio SGLang.

MOVA: Hacia la generación de video y audio escalable y sincronizada

SGLang-Omni permite un servicio de alto rendimiento para modelos de TTS, ASR, voz y modelos omni.

UniRL es un framework para el aprendizaje por refuerzo de modelos multimodales unificados.

Una hoja de ruta de 10 semanas, 30 minutos al día, para la inferencia y optimización de LLM. Incluye vLLM, SGLang, cuantización, decodificación especulativa y benchmarking.

Servicio de síntesis de voz y clonación de voz en chino de alta calidad, basado en modelos como SparkTTS y OrpheusTTS.

Engine-agnostic LLM gateway in Rust. Full OpenAI & Anthropic API compatibility across vLLM, TRT-LLM, TokenSpeed, SGLang, OpenAI, Gemini & more. Industry-first gRPC pipeline, KV cache-aware routing, chat history, tokenization caching, Responses API, embeddings, WASM plugins, MCP, and multi-tenant auth.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton