NVIDIA/Model-Optimizer

Uma biblioteca unificada de técnicas de otimização de modelos SOTA, como quantização, destilação, poda, busca de arquitetura neural, decodificação especulativa, etc. Compacta modelos de deep learning para frameworks de implantação downstream, como TensorRT-LLM, TensorRT, vLLM, etc., a fim de otimizar a velocidade de inferência.