vllm-project/speculators
@vllm-projectUne bibliothèque unifiée pour construire, évaluer et stocker des algorithmes de décodage spéculatif pour l'inférence LLM dans vLLM.
Étoiles
815
Bifurcations
214
Langage
Python
Licence
Apache-2.0
Dernier push
il y a 1 jour
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.