NVIDIA/Model-Optimizer

Eine einheitliche Bibliothek für SOTA-Modelloptimierungstechniken wie Quantisierung, Distillation, Pruning, Neural Architecture Search, Speculative Decoding usw. Sie komprimiert Deep-Learning-Modelle für nachgeschaltete Bereitstellungsframeworks wie TensorRT-LLM, TensorRT, vLLM usw., um die Inferenzgeschwindigkeit zu optimieren.