model-serving

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

La forma más sencilla de servir aplicaciones y modelos de IA: ¡crea APIs de inferencia de modelos, colas de trabajos, aplicaciones LLM, pipelines de múltiples modelos y más!

Un framework para la inferencia eficiente de modelos omnimodales.

Plataforma de inferencia de IA generativa y predictiva distribuida estandarizada para despliegue escalable y multi-framework en Kubernetes

Sistema operativo de nube personal de código abierto para agentes siempre activos

En este repositorio compartiré algunas notas y referencias útiles sobre el despliegue de modelos basados en aprendizaje profundo en producción.

Sistema integral para Machine Learning, artículos académicos y prácticas industriales sobre sistemas de IA, LLM y GenAI. Incluye recursos de conferencias como OSDI, NSDI, SIGCOMM, SoCC, MLSys, modelos como Llama3 y Mistral, y tutoriales en video.

LightLLM es un framework de inferencia y servicio de LLM (Large Language Model) basado en Python, destacado por su diseño ligero, fácil escalabilidad y rendimiento de alta velocidad.

FEDML: la biblioteca de ML unificada y escalable para entrenamiento distribuido a gran escala, servicio de modelos y aprendizaje federado. FEDML Launch, un programador multinube, permite además ejecutar cualquier tarea de IA en cualquier nube de GPU o clúster local. Basada en esta biblioteca, TensorOpera AI (https://TensorOpera.ai) es tu plataforma de IA generativa a escala.

Servidor de inferencia multi-LoRA que se escala a miles de LLM ajustados

Framework de inferencia de alto rendimiento para grandes modelos de lenguaje, enfocado en la eficiencia, flexibilidad y disponibilidad.

Plugin de hardware mantenido por la comunidad para vLLM en Ascend

OpenLake es un motor de almacenamiento de alto rendimiento para inferencia de LLM y entrenamiento de GPU eficientes

🏕️ Entorno de desarrollo reproducible para humanos y agentes

AICI: Prompts como programas (Wasm)

MLRun es una plataforma MLOps de código abierto para construir y gestionar rápidamente aplicaciones de ML continuas a lo largo de su ciclo de vida. MLRun se integra en tu entorno de desarrollo y CI/CD, automatizando la entrega de datos de producción, pipelines de ML y aplicaciones en línea.

Una herramienta DevOps de código abierto de la CNCF para empaquetar y versionar modelos de IA/ML, conjuntos de datos, código y configuraciones en un artefacto OCI.

RTP-LLM: motor de inferencia de LLM de alto rendimiento de Alibaba para diversas aplicaciones.

Hopsworks: plataforma de IA intensiva en datos con un Feature Store

La forma más sencilla de servir modelos de IA/ML en producción.

SGLang-Omni permite un servicio de alto rendimiento para modelos de TTS, ASR, voz y modelos omni.

Un framework de servicio de alto rendimiento orientado al rendimiento para LLMs.

Un servidor de inferencia escalable para modelos optimizados con OpenVINO™.

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

Un framework de alto rendimiento para servir modelos de ML, que ofrece procesamiento por lotes dinámico y pipelines de CPU/GPU para aprovechar al máximo su equipo de cómputo

Servicio de LLM sin servidor para todos.

Ollama para modelos de ML clásico. Compilador AOT que convierte modelos de XGBoost, LightGBM, scikit-learn, CatBoost y ONNX en código de inferencia C99 nativo. Un comando para cargar, un comando para servir. 336 veces más rápido que la inferencia en Python.

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Esqueleto de aplicación FastAPI para servir modelos de aprendizaje automático listos para producción.

Open Model Engine (OME) — Kubernetes operator for LLM serving, GPU scheduling, and model lifecycle management. Works with SGLang, vLLM, TensorRT-LLM, and Triton