NVIDIA/TensorRT-LLM

TensorRT LLM ofrece a los usuarios una API de Python fácil de usar para definir Modelos de Lenguaje Grande (LLMs) y admite optimizaciones de vanguardia para realizar inferencias de manera eficiente en GPUs NVIDIA. TensorRT LLM también contiene componentes para crear entornos de ejecución en Python y C++ que organizan la ejecución de inferencias de alto rendimiento.