vllm-project/llm-compressor
@vllm-projectBibliothèque compatible avec Transformers pour appliquer divers algorithmes de compression aux LLM, optimisant ainsi leur déploiement avec vLLM.
Étoiles
3 753
Bifurcations
644
Langage
Python
Licence
Apache-2.0
Dernier push
il y a 6 jours
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.