triton-inference-server

Triton Inference Serverは、最適化されたクラウドおよびエッジ推論ソリューションを提供します。

Triton TensorRT-LLM バックエンド

Triton Inference Server のチュートリアルとサンプルを収めたリポジトリ

PyTritonは、Python環境でのTritonのデプロイをシンプルにするFlask/FastAPIライクなインターフェースです。

TritonのPython、C++、Javaクライアントライブラリ、およびGo、Java、Scala用のGRPC生成クライアントサンプル

Python での前処理、後処理、その他のロジックの実装を可能にする Triton バックエンド

Triton Model Analyzer は、Triton Inference Server モデルの計算およびメモリ要件をよりよく理解するための CLI ツールです。