Cuda

Pelatihan LLM dalam C/CUDA murni yang sederhana

Primitif grafis saraf instan: NeRF yang sangat cepat dan banyak lagi.

Catatan belajar CUDA modern dengan PyTorch untuk pemula, 200+ CUDA Kernel, Tensor Cores, HGEMM, FA-2 MMA.

Runtime fungsional yang optimal dan sangat paralel dalam Rust

DeepEP: pustaka komunikasi expert-parallel yang efisien

DeepGEMM: pustaka kernel BLAS yang bersih dan efisien di GPU

Proyek ini adalah implementasi resmi dari makalah CVPR2019 kami "Deep High-Resolution Representation Learning for Human Pose Estimation"

CTC paralel yang cepat.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention mencapai percepatan 2-5x dibandingkan dengan FlashAttention, tanpa kehilangan metrik end-to-end pada model bahasa, gambar, dan video.

Primitif tile untuk kernel yang cepat

Cara mengoptimalkan algoritma tertentu di CUDA.

Paket ini berisi kode asli AlexNet tahun 2012.

Sampel Pustaka CUDA.

Mirage Persistent Kernel: Mengompilasi LLM menjadi MegaKernel.

cuGraph - Pustaka Analisis Grafik RAPIDS

Kode contoh untuk buku pemrograman CUDA saya

t-SNE yang dipercepat GPU untuk CUDA dengan binding Python

Uji NCCL

[MICRO'23, MLSys'22] TorchSparse: Kerangka Kerja Pelatihan dan Inferensi yang Efisien untuk Konvolusi Jarang pada GPU.

Algoritma FSA/FST, terdiferensiasi, dengan kompatibilitas PyTorch.

RTP-LLM: Mesin inferensi LLM performa tinggi Alibaba untuk berbagai aplikasi.

Perkalian matriks CUDA cepat dari awal

FlashKDA: kernel Kimi Delta Attention berkinerja tinggi

Flash Attention dalam ~100 baris CUDA (hanya forward pass)

Panduan implementasi manual dan wawancara operator CUDA

Materi pelatihan yang terkait dengan Seri Pelatihan CUDA NVIDIA (www.olcf.ornl.gov/cuda-training-series/).

[ICML2025] SpargeAttention: Perhatian jarang tanpa pelatihan yang mempercepat inferensi model apa pun.