IST-DASLab/marlin
@IST-DASLabNoyau d'inférence LLM FP16xINT4 capable d'atteindre des accélérations quasi idéales d'environ 4x pour des tailles de lots moyennes de 16 à 32 jetons.
Étoiles
1 138
Bifurcations
92
Langage
Python
Licence
Apache-2.0
Dernier push
il y a 2 ans
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.