inference

Um mecanismo de inferência e atendimento de alto rendimento e eficiente em memória para LLMs

Ultralytics YOLOv5 em PyTorch para detecção de objetos, segmentação de instâncias, classificação, treinamento e exportação.

Port do modelo Whisper da OpenAI em C/C++

O DeepSpeed é uma biblioteca de otimização de deep learning que torna o treinamento e a inferência distribuídos fáceis, eficientes e eficazes.

Tornando grandes modelos de IA mais baratos, rápidos e acessíveis

Soluções de ML multiplataforma e personalizáveis para mídia ao vivo e em streaming.

SGLang é um framework de atendimento de alto desempenho para grandes modelos de linguagem e modelos multimodais.

Transcrição Whisper mais rápida com CTranslate2

ncnn é um framework de inferência de redes neurais de alto desempenho otimizado para plataformas móveis

Livro aberto de engenharia de aprendizado de máquina.

Nano vLLM

A biblioteca exaustiva de Pattern Matching para TypeScript, com inferência de tipos inteligente.

NVIDIA® TensorRT™ é um SDK para inferência de deep learning de alto desempenho em GPUs NVIDIA. Este repositório contém os componentes de código aberto do TensorRT.

LMCache: Potencialize seu LLM com a camada de cache KV mais rápida

Exemplos de notebooks Jupyter que demonstram como construir, treinar e implantar modelos de aprendizado de máquina usando o Amazon SageMaker.

O Triton Inference Server fornece uma solução otimizada de inferência em nuvem e na borda.

OpenVINO™ é um kit de ferramentas de código aberto para otimizar e implantar inferência de IA

Implementação em PyTorch do YOLOv3, YOLOv3-SPP e YOLOv3-tiny para detecção de objetos em tempo real, com treinamento, validação, inferência e exportação em múltiplos formatos.

FreeToken brings datacenter-scale model serving to your desktop. Run massive models locally, fast and efficiently.

Kit de ferramentas pronto para produção para executar IA localmente.

Troque o GPT por qualquer LLM alterando apenas uma linha de código. O Xinference permite executar modelos de código aberto, de fala e multimodais na nuvem, localmente ou no seu laptop — tudo através de uma API de inferência unificada e pronta para produção.

Faça o ajuste fino, avalie e implante facilmente Qwen, Gemma ou qualquer LLM de pesos abertos!

Guia Hello AI World para implantar redes de inferência de deep learning e primitivas de visão computacional com TensorRT e NVIDIA Jetson.

Sistema de tipos em tempo de execução para decodificação/codificação de E/S

Um framework para inferência eficiente de modelos com modelos de omnimodalidade

Mooncake é a plataforma de serviço para o Kimi, um serviço de LLM líder fornecido pela Moonshot AI.

IA de fala executada localmente no dispositivo para Apple Silicon

Adversarial Robustness Toolbox (ART) - Biblioteca Python para segurança em Machine Learning - Evasão, Envenenamento, Extração, Inferência - Red e Blue Teams

Um gerenciador de cluster de GPU para servir modelos de IA de alto desempenho (vLLM, SGLang) e instâncias de GPU acessíveis via SSH sob demanda.

Um roteador programável de Mistura de Modelos (Mixture-of-Models) para inferência heterogênea de LLM