turboderp-org/exllamav3
@turboderp-orgBibliothèque d'inférence et de quantification optimisée pour exécuter des LLM localement sur des GPU grand public modernes.
Étoiles
1 267
Bifurcations
146
Langage
Python
Licence
MIT
Dernier push
il y a 1 semaine
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.