Pemilik · triton-inference-server

triton-inference-server

Repositori open source terpantau milik triton-inference-server, diurutkan berdasarkan bintang.

7 repositori

#1
server ↗@triton-inference-serverPython
Triton Inference Server menyediakan solusi inferensi cloud dan edge yang dioptimalkan.
★ 10.958+9Perubahan bintang dalam 7 hari terakhir
#2
tensorrtllm_backend ↗@triton-inference-server
Backend Triton untuk TensorRT-LLM
★ 943+1Perubahan bintang dalam 7 hari terakhir
#3
tutorials ↗@triton-inference-serverPython
Repositori ini berisi tutorial dan contoh untuk Triton Inference Server
★ 861+0Perubahan bintang dalam 7 hari terakhir
#4
pytriton ↗@triton-inference-serverPython
PyTriton adalah antarmuka mirip Flask/FastAPI yang menyederhanakan penerapan Triton di lingkungan Python.
★ 848+0Perubahan bintang dalam 7 hari terakhir
#5
client ↗@triton-inference-serverC++
Library klien Triton untuk Python, C++, dan Java, serta contoh klien yang dihasilkan GRPC untuk go, java, dan scala.
★ 700+0Perubahan bintang dalam 7 hari terakhir
#6
python_backend ↗@triton-inference-serverC++
Backend Triton yang memungkinkan pra-pemrosesan, pasca-pemrosesan, dan logika lainnya diimplementasikan dengan Python.
★ 682+1Perubahan bintang dalam 7 hari terakhir
#7
model_analyzer ↗@triton-inference-serverPython
Triton Model Analyzer adalah alat CLI untuk membantu memahami kebutuhan komputasi dan memori dari model Triton Inference Server.
★ 526+0Perubahan bintang dalam 7 hari terakhir