triton-inference-server

O Triton Inference Server fornece uma solução otimizada de inferência em nuvem e na borda.

O backend Triton TensorRT-LLM

Este repositório contém tutoriais e exemplos para o Triton Inference Server

PyTriton é uma interface estilo Flask/FastAPI que simplifica a implantação do Triton em ambientes Python.

Bibliotecas de cliente Triton para Python, C++ e Java, e exemplos de cliente gerados por gRPC para Go, Java e Scala.

Backend do Triton que permite implementar pré-processamento, pós-processamento e outras lógicas em Python.

Triton Model Analyzer é uma ferramenta de linha de comando para ajudar a entender melhor os requisitos de computação e memória dos modelos do Triton Inference Server.