cuda

Các phương pháp hay nhất và hướng dẫn viết mã huấn luyện PyTorch phân tán

Gói phần mềm đại số tuyến tính số học

Trình kết xuất Monte Carlo đa nền tảng hiệu suất cao dựa trên LuisaCompute.

Tối ưu hóa quá trình huấn luyện và suy luận AlphaFold trên các cụm GPU.

AutoDock cho GPU và các bộ tăng tốc khác

Một tập con của các mô-đun mạng thần kinh trong PyTorch, được viết bằng Python sử dụng Triton của OpenAI.

Ứng dụng và hướng dẫn để cấu hình dễ dàng Windows, Linux, MacOS, Google TV, Stremio, Home Assistant và nhiều nền tảng khác (bao gồm WSL2, trình điều khiển GPU & công cụ phát triển). Cải thiện trải nghiệm người dùng và năng suất của bạn.

Go với trí tuệ của riêng bạn - Các ứng dụng Go tích hợp trực tiếp llama.cpp để suy luận cục bộ sử dụng tăng tốc phần cứng.

Yet Another Language Model: Suy luận LLM bằng C++/CUDA, không sử dụng thư viện ngoại trừ I/O.

Nhúng với độ méo tối thiểu bằng PyTorch.

DaCe - Lập trình song song lấy dữ liệu làm trung tâm

NVIDIA NVSHMEM là giao diện lập trình song song cho GPU NVIDIA dựa trên OpenSHMEM. NVSHMEM có thể giảm đáng kể chi phí liên lạc và điều phối đa tiến trình bằng cách cho phép lập trình viên thực hiện giao tiếp một chiều từ bên trong các nhân CUDA và trên các luồng CUDA.

Trình mô phỏng Radar được xây dựng bằng Python và C++

Dự án thực hành cho sinh viên, hướng dẫn tự xây dựng khung suy luận mô hình lớn hỗ trợ LLama2/3 và Qwen2.5 từ con số không.

Thư viện C++ single-header giúp đơn giản hóa việc sử dụng CUDA Runtime Compilation (NVRTC).

Bộ sưu tập mở các phương pháp luận hỗ trợ huấn luyện thành công các mô hình ngôn ngữ lớn.

Một số phương pháp tối ưu hóa phép nhân ma trận bán chính xác (HGEMM) sử dụng tensor core với WMMA API và lệnh MMA PTX

Từ mô hình giáo viên đến mô hình tối ưu — engine chưng cất & phục vụ LLM từ đầu: các kernel Triton/CUDA tùy chỉnh, chưng cất FSDP, phân trang KV batching liên tục, giải mã suy đoán, gateway Rust, oracle JAX và công cụ diễn giải.

FlashRT là công cụ suy luận thời gian thực hiệu năng cao cho các tác vụ AI có độ trễ thấp và batch nhỏ. Tích hợp chủ đạo bao gồm điều khiển VLA sản xuất cho Pi0, Pi0.5, GROOT N1.6 và Pi0-FAST. Ngoài ra còn hỗ trợ LLM như qwen3.6-27B

Công cụ suy luận mini qwen3-0.6B tĩnh, chạy trên CUDA, không cần phụ thuộc

Phòng thực hành thuật toán LLM với lý thuyết, lời giải và các trường hợp kiểm thử. Hướng dẫn thực hành thuật toán từ cơ bản đến nâng cao cho các mô hình lớn, bao gồm giải thích nguyên lý, phân tích đáp án, trường hợp kiểm thử và thực hành CUDA/Triton.

Sử dụng VRAM của GPU NVIDIA làm không gian swap trên Linux. Được xây dựng cho các máy tính xách tay có bộ nhớ hàn chết và không thể nâng cấp. Nếu bạn có card RTX với 8GB VRAM đang nhàn rỗi và hệ thống đang phải swap sang SSD, công cụ này sẽ tận dụng lượng VRAM đó.

Phần mềm xử lý hình ảnh cho kính hiển vi điện tử lạnh (cryo-electron microscopy)

Cụm Slurm sử dụng docker-compose

Gói cu cung cấp giao diện chuẩn (idiomatic) cho CUDA Driver API.

Triển khai lại Holistically-Nested Edge Detection trong PyTorch

Trực quan hóa dữ liệu và dò tia (ray tracing) trong Python dựa trên framework OptiX 9.1.

INSTA - Instant Volumetric Head Avatars [CVPR2023]

Docker Image cho Ubuntu Desktop hỗ trợ ứng dụng GUI tăng tốc phần cứng GPU. Bạn có thể truy cập Container bằng ssh hoặc remote desktop, giống như Cloud VM.

Danh sách các dự án mã nguồn mở nổi bật về CUDA, cuda-python, cuBLAS, cuDNN, CUTLASS, TensorRT, TensorRT-LLM, Triton, TVM, MLIR, PTX và Điện toán hiệu năng cao (HPC).