मालिक · triton-inference-server
triton-inference-server
triton-inference-server की ट्रैक की गई ओपन सोर्स रिपॉजिटरी, स्टार के हिसाब से क्रमबद्ध।
7 रिपॉजिटरी
- #1
Triton Inference Server एक अनुकूलित क्लाउड और एज इन्फेरेंसिंग समाधान प्रदान करता है।
★ 10,958+0पिछले 7 दिनों में स्टार का बदलाव - #2
Triton TensorRT-LLM बैकएंड
★ 944+1पिछले 7 दिनों में स्टार का बदलाव - #3
इस रिपॉजिटरी में Triton Inference Server के लिए ट्यूटोरियल और उदाहरण शामिल हैं।
★ 861+0पिछले 7 दिनों में स्टार का बदलाव - #4
PyTriton एक Flask/FastAPI जैसा इंटरफ़ेस है जो Python वातावरण में Triton की तैनाती को सरल बनाता है।
★ 848+0पिछले 7 दिनों में स्टार का बदलाव - #5
Triton Python, C++ और Java क्लाइंट लाइब्रेरी, और go, java तथा scala के लिए GRPC-जनरेटेड क्लाइंट उदाहरण।
★ 700+0पिछले 7 दिनों में स्टार का बदलाव - #6
Triton बैकएंड जो Python में प्री-प्रोसेस, पोस्ट-प्रोसेसिंग और अन्य लॉजिक को लागू करने में सक्षम बनाता है।
★ 682+1पिछले 7 दिनों में स्टार का बदलाव - #7
Triton मॉडल एनालाइजर एक CLI टूल है जो Triton इन्फ्लुएंस सर्वर मॉडल की गणना और मेमोरी आवश्यकताओं को बेहतर ढंग से समझने में मदद करता है।
★ 527+1पिछले 7 दिनों में स्टार का बदलाव