mit-han-lab/omniserve
@mit-han-lab[MLSys'25] QServe : Quantification W4A8KV4 et co-conception système pour un service LLM efficace ; [MLSys'25] LServe : Service efficace de LLM à longue séquence avec attention creuse unifiée.
Étoiles
856
Bifurcations
69
Langage
C++
Licence
Apache-2.0
Dernier push
il y a 2 ans
Intel associée (0)
Aucune intel associée pour le moment
Ce dépôt n'est encore apparu dans aucune des sources que le radar suit. Le collecteur suit un calendrier — revenez une fois qu'il couvre ce dépôt.