Sujet · distributed-inference
distributed-inference
Dépôts open source suivis étiquetés distributed-inference, triés par étoiles.
Dépôts
4
Total d'étoiles
17 366
Étoiles en moyenne
4 342
Part
0,00%
Sujets associés
Sujets qui apparaissent souvent aux côtés de distributed-inference sur un même dépôt.
Ascensions récentes
Dépôts créés au cours des 90 derniers jours et étiquetés distributed-inference.
Aucun nouveau dépôt étiqueté avec ce sujet au cours des 90 derniers jours.
- #1
FlashInfer : bibliothèque de noyaux pour le service de LLM
★ 6 321+38Évolution des étoiles sur les 7 derniers jours - #2
Un gestionnaire de cluster GPU pour le service de modèles d'IA haute performance (vLLM, SGLang) et des instances GPU accessibles par SSH à la demande.
★ 5 593+21Évolution des étoiles sur les 7 derniers jours - #3
Atteignez des performances d'inférence de pointe avec des accélérateurs modernes sur Kubernetes
★ 4 390+69Évolution des étoiles sur les 7 derniers jours - #4
SGLang-Omni permet un service haute performance pour les modèles TTS, ASR, vocaux et omnimodaux.
★ 1 118+143Évolution des étoiles sur les 7 derniers jours
