NVIDIA/TensorRT-LLM

TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles de langage étendus (LLM) et prend en charge des optimisations de pointe pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants pour créer des runtimes Python et C++ qui orchestrent l'exécution de l'inférence de manière performante.