cuda-kernels

Notes d'apprentissage modernes sur CUDA avec PyTorch pour débutants, incluant plus de 200 noyaux CUDA, Tensor Cores, HGEMM, FA-2 MMA.

Exemples pour les développeurs CUDA démontrant les fonctionnalités du CUDA Toolkit.

LMDeploy est une boîte à outils pour la compression, le déploiement et la mise en service de LLM.

Écosystème de bibliothèques et d'outils pour écrire et exécuter du code GPU rapide entièrement en Rust.

Serveur d'inférence spéculative LLM pour matériel grand public et hétérogène

Bibliothèques de calcul pour cœurs CUDA

Deep learning en Rust, avec des tenseurs et réseaux de neurones vérifiés par forme.

Wrapper Rust sécurisé pour le toolkit CUDA.

Une bibliothèque de machine learning avec une API TypeScript et un backend Rust. Compatible CUDA et WebGPU. Conçue pour comprendre le fonctionnement interne des frameworks et modèles de ML.

cuDNN Frontend est le point d'entrée moderne et open-source de NVIDIA vers la bibliothèque cuDNN et une collection croissante de noyaux open-source haute performance.

Bibliothèque de benchmarking pour noyaux CUDA

Moteur d'inférence LLM en Rust pur et CUDA — sans PyTorch, compatible avec OpenAI, servant Qwen3 vers Kimi-K2.

FlashRT est un moteur d'inférence haute performance en temps réel pour les charges de travail IA à faible lot et sensibles à la latence. L'intégration phare concerne le contrôle VLA en production pour Pi0, Pi0.5, GROOT N1.6 et Pi0-FAST. Il prend également en charge les LLM tels que qwen3.6-27B.