llm-serving

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

Ray es un motor de cómputo para IA. Consta de un entorno de ejecución distribuido central y un conjunto de librerías de IA para acelerar las cargas de trabajo de ML.

Este proyecto tiene como objetivo compartir principios tecnológicos y experiencias prácticas relacionados con modelos grandes (ingeniería de LLM, implementación de aplicaciones de LLM).

TensorRT LLM ofrece a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++ que organizan la ejecución de inferencias de alto rendimiento.

Ejecuta cualquier LLM de código abierto, como DeepSeek y Llama, como un endpoint de API compatible con OpenAI en la nube.

La plataforma de computación de IA para equipos de vanguardia. SkyPilot convierte la computación de IA fragmentada en una supercomputadora de IA, permitiendo a los equipos de IA de vanguardia construir inteligencia personalizada más rápido.

La forma más sencilla de servir aplicaciones y modelos de IA: ¡crea APIs de inferencia de modelos, colas de trabajos, aplicaciones LLM, pipelines de múltiples modelos y más!

Un administrador de clústeres de GPU para el servicio de modelos de IA de alto rendimiento (vLLM, SGLang) e instancias de GPU accesibles por SSH bajo demanda.

Superduper: marco de trabajo integral para construir aplicaciones y agentes de IA personalizados.

Servidor de inferencia multi-LoRA que se escala a miles de LLM ajustados

Toolkit de inferencia y despliegue de alto rendimiento para LLMs y VLMs basado en PaddlePaddle

Framework de inferencia de alto rendimiento para grandes modelos de lenguaje, enfocado en la eficiencia, flexibilidad y disponibilidad.

Plugin de hardware mantenido por la comunidad para vLLM en Ascend

MoBA: Mixture of Block Attention para LLMs de contexto largo

AICI: Prompts como programas (Wasm)

Plataforma de investigación de benchmarks de inferencia continua de código abierto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 y próximamente™ TPUv6e/v7/Trainium2/3

Parallax es un framework de servicio de modelos distribuido que permite construir su propio clúster de IA en cualquier lugar

RTP-LLM: motor de inferencia de LLM de alto rendimiento de Alibaba para diversas aplicaciones.

Caché KV elástica virtualizada para el uso compartido dinámico de GPU y más.

Un framework de servicio de alto rendimiento orientado al rendimiento para LLMs.

Un motor de aceleración de inferencia LLM altamente optimizado para Llama y sus variantes.

Un framework de alto rendimiento para servir modelos de ML, que ofrece procesamiento por lotes dinámico y pipelines de CPU/GPU para aprovechar al máximo su equipo de cómputo

Flota de agentes privados con codificación Spec. Cada agente obtiene su propio escritorio acelerado por GPU. Ejecute Claude, Codex, Gemini y modelos abiertos en una pila de IA totalmente privada

Motor de inferencia LLM en Rust puro + CUDA; sin PyTorch, compatible con OpenAI, sirve desde Qwen3 hasta Kimi-K2

Ajuste fino de LLM (Modelos de Lenguaje Grande)