jmaczan/tiny-vllm
@jmaczanConstruisez votre propre moteur d'inférence LLM haute performance en C++ et CUDA - une version allégée de vLLM
Étoiles
1 094
Bifurcations
85
Langage
C++
Licence
Apache-2.0
Dernier push
il y a 2 semaines
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.