vllm-project

Un motor de inferencia y servicio de alto rendimiento y eficiente en memoria para LLMs

Un framework para la inferencia eficiente de modelos omnimodales.

Un enrutador programable de mezcla de modelos (Mixture-of-Models) para inferencia de LLM heterogénea

Componentes de infraestructura rentables y acoplables para la inferencia de GenAI

Librería compatible con Transformers para aplicar varios algoritmos de compresión a LLMs para un despliegue optimizado con vLLM

Plugin de hardware mantenido por la comunidad para vLLM en Ascend

El sistema de referencia de vLLM para despliegues a nivel de clúster nativos de K8S con optimización de rendimiento impulsada por la comunidad

Complemento de hardware para vLLM en Apple Silicon mantenido por la comunidad.

Evalúa y mejora tus despliegues de LLM para necesidades de inferencia en el mundo real.

Recetas comunes para ejecutar vLLM

Una biblioteca unificada para construir, evaluar y almacenar algoritmos de decodificación especulativa para la inferencia de LLM en vLLM.