NVIDIA/TensorRT-LLM

TensorRT LLM cung cấp cho người dùng một API Python dễ sử dụng để định nghĩa các Mô hình Ngôn ngữ Lớn (LLM) và hỗ trợ các tối ưu hóa tiên tiến nhất để thực thi suy luận hiệu quả trên GPU NVIDIA. TensorRT LLM cũng bao gồm các thành phần để tạo môi trường thực thi (runtime) Python và C++ giúp điều phối quá trình thực thi suy luận đạt hiệu suất cao.