vllm-project

Um mecanismo de inferência e atendimento de alto rendimento e eficiente em memória para LLMs

Um framework para inferência eficiente de modelos com modelos de omnimodalidade

Um roteador programável de Mistura de Modelos (Mixture-of-Models) para inferência heterogênea de LLM

Componentes de infraestrutura conectáveis e de baixo custo para inferência de IA generativa

Biblioteca compatível com Transformers para aplicar vários algoritmos de compressão a LLMs para implantação otimizada com vLLM

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

Sistema de referência do vLLM para implantação em clusters nativos de K8S com otimização de desempenho orientada pela comunidade

Plugin de hardware mantido pela comunidade para vLLM em Apple Silicon

Avalie e aprimore suas implementações de LLM para necessidades de inferência no mundo real

Receitas comuns para executar o vLLM

Uma biblioteca unificada para construir, avaliar e armazenar algoritmos de decodificação especulativa para inferência de LLM no vLLM.