cuda-kernels

Notas de estudo modernas de CUDA com PyTorch para iniciantes, mais de 200 kernels CUDA, Tensor Cores, HGEMM, FA-2 MMA.

Exemplos para desenvolvedores CUDA que demonstram recursos do CUDA Toolkit

LMDeploy é um toolkit para compressão, implantação e serviço de LLMs.

Ecossistema de bibliotecas e ferramentas para escrever e executar código GPU rápido inteiramente em Rust.

Servidor de inferência especulativa de LLM para hardware de consumo e heterogêneo

Bibliotecas de Computação do Núcleo CUDA

Deep learning em Rust, com tensores verificados por forma e redes neurais

Wrapper seguro em Rust para o toolkit CUDA

Biblioteca de aprendizado de máquina com API em TypeScript e back-end em Rust. Compatível com CUDA e WebGPU. Criada para entender o funcionamento interno de frameworks e modelos de ML.

O frontend do cuDNN é o ponto de entrada moderno e de código aberto da NVIDIA para a biblioteca cuDNN e uma coleção crescente de kernels de código aberto de alto desempenho.

Biblioteca de benchmarking de Kernel CUDA.

Mecanismo de inferência de LLM em Pure Rust + CUDA — sem PyTorch, compatível com OpenAI, serve de Qwen3 a Kimi-K2

FlashRT é um motor de inferência em tempo real de alto desempenho para cargas de trabalho de IA de lote pequeno e sensíveis à latência. A integração principal é o controle VLA de produção para Pi0, Pi0.5, GROOT N1.6 e Pi0-FAST. Também suporta LLM, por exemplo, qwen3.6-27B