microsoft/sarathi-serve
@microsoftUn moteur de service à faible latence et haut débit pour les LLM.
Étoiles
520
Bifurcations
66
Langage
Python
Licence
Apache-2.0
Dernier push
il y a 8 mois
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.