inference

Gerencia o acesso unificado a serviços de IA generativa construídos sobre o Envoy Gateway.

Execute um LLM de 1 bilhão de parâmetros em uma placa de 10 dólares com 256 MB de RAM

O módulo de inferência para o AgiBot X1.

Pacote de aceleração para redes neurais em CPUs multi-core

Servidor de inferência de CPU/GPU eficiente, escalável e de nível empresarial para modelos transformer do 🤗 Hugging Face 🚀

Um motor de inferência de alto desempenho para modelos de IA

Plataforma de pesquisa de benchmark de inferência contínua de código aberto — Kimi K3 2.8T, MiniMax M3, DeepSeekv4, GLM5 - GB200 NVL72 vs MI355X vs B200 vs GB300 NVL72 e em breve™ TPUv6e/v7/Trainium2/3

Roteie, gerencie e analise suas requisições de LLM em múltiplos provedores com uma interface de API unificada.

Um motor de inferência de alto desempenho para modelos LLM, VLM, DiT e REC, otimizado para diversos aceleradores de IA. É hospedado na OpenAtom Foundation.

Um runtime rápido e amigável para inferência de transformers (Bert, Albert, GPT2, Decoders, etc) em CPU e GPU.

Exportador de GPU Nvidia para Prometheus usando o binário nvidia-smi ou NVML

Implante um serviço de inferência de ML com baixo custo em menos de 10 linhas de código.

RTP-LLM: motor de inferência LLM de alto desempenho da Alibaba para diversas aplicações.

Inferência, ingestão e indexação de alto desempenho, modulares, seguras quanto à memória e prontas para produção, construídas em Rust 🦀

Pacote para inferência causal em grafos e configurações de pares. Inclui ferramentas para recuperação de estrutura de grafos e dependências.

Distribua e execute cargas de trabalho de IA no Kubernetes magicamente em Python, como o PyTorch para infraestrutura de ML.

Compressão de cache KV para LLM simplificada

Qualcomm® AI Hub Models é nossa coleção de modelos de aprendizado de máquina de última geração otimizados para desempenho (latência, memória, etc.) e prontos para implantação em dispositivos Qualcomm®.

O SGLang-Omni capacita o atendimento de alto desempenho para modelos TTS, ASR, de fala e onidirecionais.

Servidor de inferência LLM nativo para Apple Silicon. Compatível com a API da OpenAI e Anthropic. Sem Python. Inclui o aplicativo MLX Core para macOS com chat, modo agente e chamada de ferramentas.

Construa seu próprio motor de inferência LLM de alto desempenho em C++ e CUDA - uma versão reduzida do vLLM.

Uma estrutura de atendimento de alto desempenho orientada a vazão para LLMs

MLX Studio - Casa de JANG_Q - Geração/Edição de Imagem + Chat/Código Tudo em um - + OpenClaw (Anthropic API)

Bolt é uma biblioteca de deep learning com alto desempenho e flexibilidade heterogênea.

📚 Introdução à Estatística Moderna - Um livro didático de código aberto de nível universitário com uma abordagem moderna que destaca relações multivariáveis e inferência baseada em simulação.

Uma interface uniforme para executar modelos de deep learning de múltiplos frameworks

Servidor de inferência escalável para modelos otimizados com OpenVINO™

Modelo Bark da Suno AI em C/C++ para geração rápida de texto para fala.

Um framework de visão computacional open source para criar e implantar aplicativos em minutos

PyTriton é uma interface estilo Flask/FastAPI que simplifica a implantação do Triton em ambientes Python.