triton-inference-server

Triton Inference Server cung cấp giải pháp suy luận đám mây và biên được tối ưu hóa.

Triton TensorRT-LLM Backend

Kho lưu trữ này chứa các hướng dẫn và ví dụ cho Triton Inference Server

PyTriton là giao diện giống Flask/FastAPI giúp đơn giản hóa việc triển khai Triton trong môi trường Python.

Các thư viện client Triton bằng Python, C++ và Java, cùng các ví dụ client được tạo bằng GRPC cho go, java và scala.

Backend Triton cho phép triển khai tiền xử lý, hậu xử lý và các logic khác bằng Python.

Triton Model Analyzer là công cụ CLI giúp hiểu rõ hơn về yêu cầu tính toán và bộ nhớ của các mô hình trên Triton Inference Server.