vllm

Kit de ferramentas de reconhecimento de fala de código aberto para treinamento, inferência, streaming ASR, VAD, pontuação, pipelines de diarização de locutores e atendimento compatível com OpenAI/MCP.

Bem-vindo ao Llama Cookbook! Este é o seu guia principal para construir com o Llama: Primeiros passos com Inferência, Fine-Tuning e RAG. Também mostramos como resolver problemas ponta a ponta usando a família de modelos Llama e como usá-los em vários provedores de serviços

Análises profundas de código-fonte, design de sistemas e blogs de engenharia

Biblioteca de código aberto abrangente de habilidades de engenharia e pesquisa em IA para qualquer modelo. Empacote as habilidades e seu agente Claude Code/Codex/Gemini se tornará um agente de pesquisa em IA de alto desempenho. Mantido pela Orchestra Research.

LMCache: Potencialize seu LLM com a camada de cache KV mais rápida

Framework de RL agentic fácil de usar, escalável e de alto desempenho baseado em Ray (PPO, DAPO, REINFORCE++, VLM, TIS, vLLM, Ray e Async RL)

Troque o GPT por qualquer LLM alterando apenas uma linha de código. O Xinference permite executar modelos de código aberto, de fala e multimodais na nuvem, localmente ou no seu laptop — tudo através de uma API de inferência unificada e pronta para produção.

Um framework de serviço de inferência distribuída em escala de datacenter.

Mooncake é a plataforma de serviço para o Kimi, um serviço de LLM líder fornecido pela Moonshot AI.

Plataforma padronizada de inferência de IA generativa e preditiva distribuída para implantação escalável em múltiplos frameworks no Kubernetes.

Um framework MCP low-code para construir pipelines de RAG complexos e inovadores.

Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.

Troca de modelo confiável para qualquer servidor local compatível com OpenAI/Anthropic - llama.cpp, vllm, etc.

📚 Uma lista curada de artigos incríveis sobre inferência de LLM/VLM com código: Flash-Attention, Paged-Attention, WINT8/4, paralelismo, etc. 🎉

Um roteador programável de Mistura de Modelos (Mixture-of-Models) para inferência heterogênea de LLM

Extração de dados estruturados, chamada de instruções e fluxos de trabalho de agentes com ML, LLM e Vision LLM.

Aprenda o sistema de inferência de LLM em Apple Silicon para engenheiros de sistemas: construa um pequeno vLLM + Qwen

Runtime em cascata para agentes de IA. Otimize custo, latência, qualidade e decisões de política dentro do loop do agente.

Kit de ferramentas de inferência e implantação de alto desempenho para LLMs e VLMs baseado em PaddlePaddle.

RamaLama é uma ferramenta de código aberto para desenvolvedores que simplifica a hospedagem local de modelos de IA de qualquer fonte e facilita seu uso para inferência em produção, tudo através da linguagem familiar de containers.

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

Painel de controle para VLLM, Sglang, llama.cpp, exllamav3

Um algoritmo de quantização SOTA para inferência de LLM de baixo bit e alta precisão, otimizado para CPU/XPU/CUDA, com suporte a múltiplos tipos de dados e compatibilidade total com vLLM, SGLang e Transformers.

Plataforma de pesquisa de benchmark de inferência contínua de código aberto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 e em breve™ TPUv6e/v7/Trainium2/3

Servidor de inferência LLM de alto desempenho compatível com OpenAI e Anthropic para Apple Silicon. MLX nativo, processamento contínuo, modelos multimodais, chamada de ferramentas MCP e suporte ao Claude Code.

Operador de inferência de IA para Kubernetes. A maneira mais fácil de servir modelos de ML em produção. Suporta VLMs, LLMs, embeddings e conversão de fala em texto.

Kit de ferramentas de quantização (compressão) de modelos LLM com suporte a aceleração de hardware para GPUs Nvidia, AMD, Intel e CPUs Intel/AMD/Apple via HF, vLLM e SGLang.

Gateway de API de nível empresarial que ajuda a monitorar e impor limites de custo ou taxa por chave de API. Obtenha controle de acesso granular e monitoramento por usuário, aplicação ou ambiente. Suporta OpenAI, Azure OpenAI, Anthropic, vLLM e LLMs open source.

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

Avalie a resposta do seu LLM com Prometheus e GPT4 💯