blackwell

Engine suy luận và phục vụ hiệu suất cao, tối ưu bộ nhớ cho các LLM

SGLang là framework phục vụ hiệu suất cao cho các mô hình ngôn ngữ lớn và mô hình đa phương thức.

TensorRT LLM cung cấp cho người dùng một API Python dễ sử dụng để định nghĩa các Mô hình Ngôn ngữ Lớn (LLM) và hỗ trợ các tối ưu hóa tiên tiến nhất để thực thi suy luận hiệu quả trên GPU NVIDIA. TensorRT LLM cũng bao gồm các thành phần để tạo môi trường thực thi (runtime) Python và C++ giúp điều phối quá trình thực thi suy luận đạt hiệu suất cao.

OpenLake là một công cụ lưu trữ hiệu suất cao dành cho việc suy luận LLM và huấn luyện GPU hiệu quả

TokenSpeed là một engine suy luận LLM với tốc độ ánh sáng.

Parallax là một framework phân phối mô hình phục vụ giúp bạn xây dựng cụm AI của riêng mình ở bất kỳ đâu

cuDNN Frontend là điểm truy cập hiện đại, mã nguồn mở của NVIDIA vào thư viện cuDNN và tập hợp ngày càng phát triển các kernel mã nguồn mở hiệu năng cao.