NVIDIA/Model-Optimizer

量子化、蒸留、プルーニング、ニューラルアーキテクチャ探索、予測的デコードなどのSOTAモデル最適化技術の統合ライブラリ。TensorRT-LLM、TensorRT、vLLMなどの下流デプロイメントフレームワーク向けにディープラーニングモデルを圧縮し、推論速度を最適化する。