NVIDIA/Model-Optimizer

Thư viện thống nhất các kỹ thuật tối ưu hóa mô hình SOTA như lượng tử hóa, chưng cất, cắt tỉa, tìm kiếm kiến trúc thần kinh, giải mã dự đoán, v.v. Nó nén các mô hình deep learning cho các framework triển khai hạ nguồn như TensorRT-LLM, TensorRT, vLLM, v.v. để tối ưu hóa tốc độ suy luận.