ztxz16

fastllm est une bibliothèque d'inférence de grands modèles de langage haute performance sans dépendances backend. Elle prend en charge le parallélisme tensoriel pour les modèles denses et l'inférence en mode mixte pour les modèles MOE, permettant d'exécuter DeepSeek sur n'importe quelle carte graphique de plus de 10 Go.