Cuda

Entraînement de LLM en C/CUDA simple et brut

Primitives graphiques neuronales instantanées : NeRF ultra-rapide et plus encore.

Notes d'apprentissage modernes sur CUDA avec PyTorch pour débutants, incluant plus de 200 noyaux CUDA, Tensor Cores, HGEMM, FA-2 MMA.

Un runtime fonctionnel optimal et massivement parallèle écrit en Rust.

DeepEP : une bibliothèque de communication efficace pour le parallélisme d'experts

DeepGEMM : bibliothèque de noyaux BLAS propre et efficace sur GPU

Implémentation officielle de notre article CVPR2019 "Deep High-Resolution Representation Learning for Human Pose Estimation".

CTC parallèle rapide.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention permet une accélération de 2 à 5x par rapport à FlashAttention, sans perte de métriques de bout en bout pour les modèles de langage, d'image et de vidéo.

Primitives de tuiles pour des noyaux rapides.

Guide d'optimisation d'algorithmes en CUDA.

Ce paquet contient le code original d'AlexNet de 2012.

Exemples de bibliothèque CUDA.

Mirage Persistent Kernel : compilation de LLM dans un MegaKernel.

cuGraph - Bibliothèque d'analyse de graphes RAPIDS

Exemples de code pour mon livre sur la programmation CUDA

t-SNE accéléré par GPU pour CUDA avec des bindings Python.

Tests NCCL.

[MICRO'23, MLSys'22] TorchSparse : Framework d'entraînement et d'inférence efficace pour la convolution creuse sur GPU

Algorithmes FSA/FST, différentiables, avec compatibilité PyTorch.

RTP-LLM : moteur d'inférence LLM haute performance d'Alibaba pour diverses applications.

Multiplication de matrices CUDA rapide développée à partir de zéro

FlashKDA : noyaux d'attention Kimi Delta haute performance.

Flash Attention en environ 100 lignes de CUDA (passe avant uniquement).

Guide d'implémentation et d'entretien pour les opérateurs CUDA

Supports de formation associés à la série de formations CUDA de NVIDIA (www.olcf.ornl.gov/cuda-training-series/)

[ICML2025] SpargeAttention : Une attention creuse sans entraînement qui accélère l'inférence de tout modèle.