Cuda

Entrenamiento de LLM en C/CUDA puro y simple

Primitivas gráficas neuronales instantáneas: NeRF ultrarrápido y más

Notas de aprendizaje de CUDA moderno con PyTorch para principiantes, más de 200 CUDA Kernels, Tensor Cores, HGEMM, FA-2 MMA.

Un tiempo de ejecución funcional óptimo y masivamente paralelo en Rust

DeepEP: una biblioteca de comunicación paralela de expertos eficiente

DeepGEMM: librería de kernels BLAS limpia y eficiente en GPU

El proyecto es una implementación oficial de nuestro artículo de CVPR2019 "Deep High-Resolution Representation Learning for Human Pose Estimation"

CTC paralelo rápido.

[ICLR2025, ICML2025, NeurIPS2025 Spotlight] Quantized Attention logra una aceleración de 2 a 5 veces en comparación con FlashAttention, sin perder métricas de extremo a extremo en modelos de lenguaje, imagen y video.

Primitivas de mosaico para núcleos rápidos

Cómo optimizar algunos algoritmos en CUDA.

Este paquete contiene el código original de AlexNet de 2012.

Ejemplos de bibliotecas CUDA

Mirage Persistent Kernel: Compilación de LLMs en un MegaKernel

cuGraph - Biblioteca de análisis de grafos RAPIDS

Código de ejemplo para mi libro de programación en CUDA

t-SNE acelerado por GPU para CUDA con bindings para Python

Pruebas de NCCL

[MICRO'23, MLSys'22] TorchSparse: Framework eficiente de entrenamiento e inferencia para convolución dispersa en GPUs.

Algoritmos FSA/FST, diferenciables y compatibles con PyTorch.

RTP-LLM: motor de inferencia de LLM de alto rendimiento de Alibaba para diversas aplicaciones.

Multiplicación de matrices rápida en CUDA desde cero

FlashKDA: núcleos de atención Kimi Delta de alto rendimiento

Flash Attention en ~100 líneas de CUDA (solo forward pass)

Guía de implementación manual y entrevistas sobre operadores CUDA.

Materiales de formación asociados a la serie de entrenamiento CUDA de NVIDIA (www.olcf.ornl.gov/cuda-training-series/)

[ICML2025] SpargeAttention: una atención dispersa sin entrenamiento que acelera la inferencia de cualquier modelo.