Eigentümer · triton-inference-server

triton-inference-server

Erfasste Open-Source-Repos von triton-inference-server, sortiert nach Sternen.

7 Repos

#1
server ↗@triton-inference-serverPython
Der Triton Inference Server bietet eine optimierte Inferenzlösung für Cloud und Edge.
★ 10.958+9Sterne-Änderung der letzten 7 Tage
#2
tensorrtllm_backend ↗@triton-inference-server
Das Triton TensorRT-LLM Backend
★ 943+1Sterne-Änderung der letzten 7 Tage
#3
tutorials ↗@triton-inference-serverPython
Dieses Repository enthält Tutorials und Beispiele für den Triton Inference Server
★ 861+0Sterne-Änderung der letzten 7 Tage
#4
pytriton ↗@triton-inference-serverPython
PyTriton ist eine Flask/FastAPI-ähnliche Schnittstelle, die die Bereitstellung von Triton in Python-Umgebungen vereinfacht.
★ 848+0Sterne-Änderung der letzten 7 Tage
#5
client ↗@triton-inference-serverC++
Triton Python-, C++- und Java-Client-Bibliotheken sowie per GRPC generierte Client-Beispiele für Go, Java und Scala.
★ 700+0Sterne-Änderung der letzten 7 Tage
#6
python_backend ↗@triton-inference-serverC++
Triton-Backend, das die Implementierung von Vorverarbeitung, Nachverarbeitung und anderer Logik in Python ermöglicht
★ 682+1Sterne-Änderung der letzten 7 Tage
#7
model_analyzer ↗@triton-inference-serverPython
Triton Model Analyzer ist ein CLI-Tool zur besseren Analyse der Rechen- und Speicheranforderungen von Modellen für den Triton Inference Server.
★ 526+0Sterne-Änderung der letzten 7 Tage