NVIDIA/Model-Optimizer

양자화, 증류, 가지치기(pruning), 신경 아키텍처 검색, 추측 디코딩 등 SOTA 모델 최적화 기술을 통합한 라이브러리입니다. TensorRT-LLM, TensorRT, vLLM 등의 다운스트림 배포 프레임워크를 위해 딥러닝 모델을 압축하여 추론 속도를 최적화합니다.