NVIDIA/Model-Optimizer

Pustaka terpadu untuk teknik optimasi model SOTA seperti kuantisasi, distilasi, pruning, pencarian arsitektur saraf, speculative decoding, dll. Pustaka ini mengompresi model deep learning untuk kerangka kerja deployment hilir seperti TensorRT-LLM, TensorRT, vLLM, dll. guna mengoptimalkan kecepatan inferensi.