擁有者 · triton-inference-server

triton-inference-server

triton-inference-server 收錄中的開源專案，依星數排序。

共 7 個專案

#1
server ↗@triton-inference-serverPython
Triton 推論伺服器提供最佳化的雲端與邊緣推論解決方案。
★ 10,958+0近 7 天星數變化
#2
tensorrtllm_backend ↗@triton-inference-server
Triton TensorRT-LLM 後端
★ 944+1近 7 天星數變化
#3
tutorials ↗@triton-inference-serverPython
此儲存庫包含 Triton Inference Server 的教學與範例
★ 861+0近 7 天星數變化
#4
pytriton ↗@triton-inference-serverPython
PyTriton 是一個類似 Flask/FastAPI 的介面，可簡化 Triton 在 Python 環境中的部署。
★ 848+0近 7 天星數變化
#5
client ↗@triton-inference-serverC++
Triton Python、C++ 與 Java 用戶端程式庫，以及供 go、java 和 scala 使用的 GRPC 產生之用戶端範例。
★ 700+0近 7 天星數變化
#6
python_backend ↗@triton-inference-serverC++
Triton 後端，支援以 Python 實作預處理、後處理及其他邏輯
★ 683+1近 7 天星數變化
#7
model_analyzer ↗@triton-inference-serverPython
Triton Model Analyzer 是一個 CLI 工具，協助更深入了解 Triton Inference Server 模型的運算與記憶體需求
★ 527+1近 7 天星數變化