triton-inference-server

Triton Inference Server fournit une solution d'inférence optimisée pour le cloud et la périphérie (edge).

Le backend Triton TensorRT-LLM.

Ce dépôt contient des tutoriels et des exemples pour Triton Inference Server.

PyTriton est une interface de type Flask/FastAPI qui simplifie le déploiement de Triton dans des environnements Python.

Bibliothèques clientes Triton pour Python, C++ et Java, ainsi que des exemples de clients générés par gRPC pour Go, Java et Scala.

Backend Triton qui permet d'implémenter le pré‑traitement, le post‑traitement et d'autres logiques en Python

Triton Model Analyzer est un outil en ligne de commande pour aider à mieux comprendre les besoins en calcul et en mémoire des modèles Triton Inference Server.