vllm

Kit de herramientas de reconocimiento de voz de código abierto para entrenamiento, inferencia, ASR en streaming, VAD, puntuación, canalizaciones de diarización de altavoces y servicio compatible con OpenAI/MCP.

¡Bienvenido al Llama Cookbook! Tu guía definitiva para construir con Llama: primeros pasos con inferencia, ajuste fino y RAG. También te mostramos cómo resolver problemas de extremo a extremo utilizando la familia de modelos Llama y usándolos en varios servicios de proveedores.

✍🏻 Análisis profundos de código fuente, diseño de sistemas y blogs de ingeniería | Halfrost-Field: notas de análisis de código fuente, diseño de sistemas y prácticas de ingeniería

Biblioteca integral de código abierto de habilidades de investigación e ingeniería de IA para cualquier modelo de IA. Empaqueta las habilidades y tu agente de claude code/codex/gemini será un agente de investigación de IA con toda su potencia. Mantenido por Orchestra Research.

LMCache: Potencia tu LLM con la capa de caché KV más rápida

Un framework de RL basado en agentes fácil de usar, escalable y de alto rendimiento basado en Ray (PPO y DAPO y REINFORCE++ y VLM y TIS y vLLM y Ray y Async RL)

Intercambia GPT por cualquier LLM cambiando una sola línea de código. Xinference te permite ejecutar modelos de código abierto, de voz y multimodales en la nube, localmente o en tu laptop, todo a través de una API de inferencia unificada y lista para producción.

Un framework de servicio de inferencia distribuida a escala de centro de datos

Mooncake es la plataforma de servicio para Kimi, un servicio de LLM líder proporcionado por Moonshot AI.

Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes

Un framework MCP de código bajo para construir pipelines RAG complejos e innovadores

Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.

Intercambio de modelos confiable para cualquier servidor local compatible con OpenAI/Anthropic: llama.cpp, vllm, etc.

📚 Una lista seleccionada de los mejores artículos de inferencia LLM/VLM con código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

Un enrutador programable de mezcla de modelos (Mixture-of-Models) para inferencia de LLM heterogénea

Extracción de datos estructurados, llamadas de instrucciones y flujos de trabajo de agentes con ML, LLM y Vision LLM

Aprende el sistema de inferencia de LLM en Apple Silicon para ingenieros de sistemas: construye un pequeño vLLM + Qwen

Entorno de ejecución en cascada para agentes de IA. Optimiza el costo, la latencia, la calidad y las decisiones de políticas dentro del bucle del agente.

Toolkit de inferencia y despliegue de alto rendimiento para LLMs y VLMs basado en PaddlePaddle

RamaLama es una herramienta de desarrollo de código abierto que simplifica el alojamiento local de modelos de IA desde cualquier fuente y facilita su uso para inferencia en producción, todo mediante el lenguaje familiar de los contenedores.

Plugin de hardware mantenido por la comunidad para vLLM en Ascend

Panel de control para VLLM, Sglang, llama.cpp y exllamav3.

Un algoritmo de cuantización SOTA para inferencia de LLM de bajo bit y alta precisión, optimizado para CPU/XPU/CUDA, con soporte para múltiples tipos de datos y compatibilidad total con vLLM, SGLang y Transformers.

Plataforma de investigación de benchmarks de inferencia continua de código abierto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 y próximamente™ TPUv6e/v7/Trainium2/3

Servidor de inferencia LLM de alto rendimiento compatible con OpenAI y Anthropic para Apple Silicon. Incluye MLX nativo, procesamiento por lotes continuo, modelos multimodales, llamadas a herramientas MCP y soporte para Claude Code.

Operador de inferencia de IA para Kubernetes. La forma más sencilla de servir modelos de ML en producción. Compatible con VLM, LLM, embeddings y conversión de voz a texto.

Kit de herramientas de cuantización (compresión) de modelos LLM con soporte de aceleración por hardware para GPU Nvidia, AMD, Intel y CPU Intel/AMD/Apple a través de HF, vLLM y SGLang.

🔒 Gateway de API de nivel empresarial que te ayuda a supervisar y aplicar límites de costos o de tasa por clave de API. Obtén control de acceso detallado y monitoreo por usuario, aplicación o entorno. Compatible con OpenAI, Azure OpenAI, Anthropic, vLLM y LLMs de código abierto.

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

Evalúa la respuesta de tu LLM con Prometheus y GPT4 💯