cuda-kernels

Catatan belajar CUDA modern dengan PyTorch untuk pemula, 200+ CUDA Kernel, Tensor Cores, HGEMM, FA-2 MMA.

Sampel untuk pengembang CUDA yang mendemonstrasikan fitur-fitur dalam CUDA Toolkit

LMDeploy adalah toolkit untuk mengompresi, mendistribusikan, dan melayani LLM.

Ekosistem pustaka dan alat untuk menulis serta mengeksekusi kode GPU cepat sepenuhnya dalam Rust.

Server inferensi spekulatif LLM untuk perangkat konsumen dan heterogen

Pustaka Komputasi Inti CUDA.

Deep learning dalam Rust, dengan tensor yang diperiksa bentuknya dan jaringan saraf

Pembungkus (wrapper) Rust yang aman di sekitar CUDA toolkit

Pustaka pembelajaran mesin dengan API TypeScript dan backend Rust. Kompatibilitas CUDA dan WebGPU. Dibangun untuk memahami cara kerja internal kerangka kerja dan model ML.

Frontend cuDNN adalah titik masuk modern dan sumber terbuka milik NVIDIA ke perpustakaan cuDNN serta kumpulan kernel sumber terbuka performa tinggi yang terus berkembang.

Pustaka Pembandingan Kernel CUDA

Mesin inferensi LLM murni Rust + CUDA — tanpa PyTorch, kompatibel dengan OpenAI, melayani Qwen3 hingga Kimi-K2

FlashRT adalah mesin inferensi waktu nyata berkinerja tinggi untuk beban kerja AI batch kecil yang sensitif terhadap latensi. Integrasi utamanya adalah kontrol VLA produksi untuk Pi0, Pi0.5, GROOT N1.6, dan Pi0-FAST. Juga mendukung LLM seperti qwen3.6-27B