NVIDIA/Model-Optimizer

Una librería unificada de técnicas de optimización de modelos SOTA como cuantización, destilación, poda, búsqueda de arquitectura neuronal, decodificación especulativa, etc. Comprime modelos de deep learning para frameworks de implementación posteriores como TensorRT-LLM, TensorRT, vLLM, etc., para optimizar la velocidad de inferencia.