triton-inference-server

Triton Inference Server ofrece una solución optimizada de inferencia para la nube y el extremo (edge).

El backend de Triton TensorRT-LLM

Este repositorio contiene tutoriales y ejemplos para Triton Inference Server

PyTriton es una interfaz similar a Flask/FastAPI que simplifica el despliegue de Triton en entornos Python.

Bibliotecas cliente de Triton para Python, C++ y Java, y ejemplos de clientes generados por GRPC para Go, Java y Scala.

Backend de Triton que permite implementar preprocesamiento, posprocesamiento y otra lógica en Python.

Triton Model Analyzer es una herramienta de línea de comandos para ayudar a comprender mejor los requisitos de cómputo y memoria de los modelos de Triton Inference Server.