NVIDIA/Model-Optimizer

Une bibliothèque unifiée de techniques d'optimisation SOTA telles que la quantification, la distillation, l'élagage, la recherche d'architecture neuronale et le décodage spéculatif. Elle compresse les modèles de deep learning pour des frameworks de déploiement comme TensorRT-LLM, TensorRT, vLLM, etc., afin d'optimiser la vitesse d'inférence.