llm-serving

Um mecanismo de inferência e atendimento de alto rendimento e eficiente em memória para LLMs

Ray é um motor de computação de IA. O Ray consiste em um runtime distribuído principal e um conjunto de bibliotecas de IA para acelerar cargas de trabalho de ML.

Este projeto visa compartilhar princípios técnicos e experiências práticas relacionadas a grandes modelos de linguagem (engenharia de LLM, implementação de aplicações de LLM).

O TensorRT LLM oferece aos usuários uma API Python fácil de usar para definir Large Language Models (LLMs) e suporta otimizações de ponta para realizar inferências de forma eficiente em GPUs NVIDIA. O TensorRT LLM também contém componentes para criar runtimes em Python e C++ que orquestram a execução da inferência de maneira performática.

Execute qualquer LLM de código aberto, como DeepSeek e Llama, como um endpoint de API compatível com OpenAI na nuvem.

A plataforma de computação de IA para equipes de fronteira. O SkyPilot transforma computação de IA fragmentada em um supercomputador de IA, permitindo que equipes de IA de fronteira construam inteligência personalizada mais rapidamente.

A maneira mais fácil de servir aplicativos e modelos de IA - Crie APIs de inferência de modelos, filas de tarefas, aplicativos de LLM, pipelines multimodelo e muito mais!

Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.

Superduper: Framework de ponta a ponta para construir aplicações e agentes de IA personalizados.

Servidor de inferência Multi-LoRA que escala para milhares de LLMs ajustados

Kit de ferramentas de inferência e implantação de alto desempenho para LLMs e VLMs baseado em PaddlePaddle.

Framework de inferência de alto desempenho para grandes modelos de linguagem, com foco em eficiência, flexibilidade e disponibilidade.

Plugin de hardware mantido pela comunidade para vLLM em Ascend.

MoBA: Mixture of Block Attention para LLMs de contexto longo

AICI: Prompts como Programas (Wasm)

Plataforma de pesquisa de benchmark de inferência contínua de código aberto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 e em breve™ TPUv6e/v7/Trainium2/3

Parallax é um framework de serviço de modelos distribuídos que permite criar seu próprio cluster de IA em qualquer lugar.

RTP-LLM: motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

Cache KV elástico virtualizado para compartilhamento dinâmico de GPU e muito mais

Uma estrutura de atendimento de alto desempenho orientada a vazão para LLMs

Um motor de aceleração de inferência de LLM altamente otimizado para Llama e suas variantes.

Um framework de atendimento de modelos ML de alto desempenho, oferece loteamento dinâmico e pipelines de CPU/GPU para explorar totalmente sua máquina de computação

♾️ Frota de agentes privados com Spec Coding. Cada agente possui seu próprio desktop com aceleração por GPU. Execute Claude, Codex, Gemini e modelos abertos em uma pilha de IA totalmente privada ♾️

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

Fine-tuning de LLM (Large Language Model)