所有者 · triton-inference-server

triton-inference-server

triton-inference-server 收录中的开源项目，按星标数排序。

共 7 个项目

#1
server ↗@triton-inference-serverPython
Triton 推理服务器提供优化的云端与边缘推理解决方案。
★ 10,958+0近 7 天星标变化
#2
tensorrtllm_backend ↗@triton-inference-server
Triton TensorRT-LLM 后端
★ 944+1近 7 天星标变化
#3
tutorials ↗@triton-inference-serverPython
此存储库包含 Triton Inference Server 的教程与示例
★ 861+0近 7 天星标变化
#4
pytriton ↗@triton-inference-serverPython
PyTriton 是一个类似 Flask/FastAPI 的接口，可简化 Triton 在 Python 环境中的部署。
★ 848+0近 7 天星标变化
#5
client ↗@triton-inference-serverC++
Triton Python、C++ 与 Java 客户端库，以及供 go、java 和 scala 使用的 GRPC 生成的客户端示例。
★ 700+0近 7 天星标变化
#6
python_backend ↗@triton-inference-serverC++
Triton 后端，支持以 Python 实现预处理、后处理及其他逻辑
★ 682+1近 7 天星标变化
#7
model_analyzer ↗@triton-inference-serverPython
Triton Model Analyzer 是一个 CLI 工具，协助更深入了解 Triton Inference Server 模型的运算与内存需求
★ 527+1近 7 天星标变化