NVIDIA/TensorRT-LLM

TensorRT LLM menyediakan API Python yang mudah digunakan bagi pengguna untuk mendefinisikan Large Language Models (LLM) dan mendukung optimasi terkini untuk melakukan inferensi secara efisien pada GPU NVIDIA. TensorRT LLM juga berisi komponen untuk membuat runtime Python dan C++ yang mengatur eksekusi inferensi dengan performa tinggi.